Vorgetäuschter Erfolg
Der Agent erklärt die Aufgabe für erledigt, obwohl das Zielsystem nicht geändert wurde.
KI-TESTS / ZUVERLÄSSIGKEITSENGINEERING
Eine überzeugende Antwort beweist nicht, dass ein Agent das richtige Tool aufgerufen, den richtigen Datensatz geändert oder eine Grenze eingehalten hat. Wir entwickeln wiederholbare Evaluierungen für LLM-Workflows, RAG, MCP-Integrationen und vernetzte Geschäftssysteme – mit nachvollziehbaren Befunden und konkreten Verbesserungen.
INTERAKTIV / BEISPIELBEWERTUNG
Wechseln Sie zwischen Beispiel-Traces und sehen Sie, warum die endgültige Antwort als Abnahmetest nicht ausreicht.
FALL 01 / VERIFIZIERTcrm.update_contact · approved=trueDAS PROBLEM
KI-Workflows verbinden Modellentscheidungen, Tools, APIs und wechselnde Daten. Eine gute Formulierung kann eine falsche Aktion, fehlende Belege oder einen unbemerkten Fehler verbergen.
Der Agent erklärt die Aufgabe für erledigt, obwohl das Zielsystem nicht geändert wurde.
Ein plausibler Tool-Aufruf verwendet die falsche ID, den falschen Endpunkt oder unpassende Parameter.
Der Agent versucht eine Aktion, für die eine Berechtigung oder menschliche Entscheidung erforderlich wäre.
WAS WIR PRÜFEN
Jede Evaluation richtet sich nach der Aufgabe des Agenten und den verfügbaren Systemen. Wir trennen Antwortqualität von Tool-Ausführung und Endzustand und testen die relevanten Fehlerbilder.
Prüfen, ob das gewünschte Geschäftsergebnis erreicht wurde, und den tatsächlichen Systemzustand mit dem erwarteten vergleichen.
Tool-Auswahl, Argumente, Reihenfolge, Übergaben und doppelte Aktionen prüfen – nicht nur die Abschlussnachricht.
Korrektheit, Quellenbelege und angemessene Ablehnung anhand geprüfter Beispiele und passender Kriterien beurteilen.
Tool-Erkennung, Eingabeschemata, Berechtigungen, abgelehnte Aufrufe und Kompatibilität in einer festgelegten MCP-Umgebung testen.
Repräsentative und ungewöhnliche Fälle nach Änderungen an Prompt, Modell, Tool oder API erneut durchlaufen lassen.
Timeouts, Teiländerungen, Wiederholungen und Eskalation testen; Latenz und Ressourcennutzung erfassen, soweit messbar.
UNSER VORGEHEN
Wir beginnen mit einem klaren Akzeptanzkriterium, verfolgen die echte Ausführung und unterscheiden Modellaussagen von beobachtbaren Systemänderungen.
Einen Agenten oder kritischen Ablauf wählen. Erlaubte Aktionen, erwartete Ergebnisse und Zugriff festlegen.
Repräsentative Szenarien, Randfälle und von Menschen geprüfte Bewertungskriterien erstellen.
Szenarien in freigegebener Umgebung ausführen und relevante Tool-Aufrufe und Zustände dokumentieren.
Verhalten bewerten und Aussagen mit tatsächlichen Daten und Berechtigungen vergleichen.
Reproduzierbare Fehler, Prioritäten und Tests für spätere Änderungen dokumentieren.
TECHNISCHE ERGEBNISSE
Eine Bewertung muss eine technische Entscheidung ermöglichen: Was ist gescheitert, unter welchen Bedingungen, wie wichtig ist es und wurde die Reparatur verifiziert?
Definierte Eingaben, erwartetes Tool-Verhalten, realistische Fehler und Abnahmekriterien.
Relevante Aufrufe, Ausgaben und Vergleich mit dem tatsächlichen Zustand; Umgang mit sensiblen Daten nach Absprache.
Reproduktionsschritte, Bewertung der Schwere, Belege und umsetzbare Empfehlungen.
Tests und dokumentierte Prüfungen für spätere Prompt-, Modell- und Integrationsänderungen.
TECHNISCHE GRUNDLAGEN
Unsere eigenen Projekte zeigen Arbeit mit reproduzierbaren Prüfungen, Tool-Grenzen und menschlichen Freigaben. Sie sind keine angeblichen Evaluationsergebnisse von Kunden.
AGENTEN / BENCHMARKS
Benchmark- und Agenten-Werkzeuge zeigen, wie sich Evaluierungen nachvollziehbar ausführen und prüfen lassen.
Projekt ansehenWEB-VALIDIERUNG / FESTE PRÜFUNGEN
Strukturierte Prüfergebnisse und reproduzierbare Fehlerkontrollen bilden eine deterministische Vergleichsbasis.
Projekt ansehenFREIGABEN / ZUGRIFFSGRENZEN
Explizite Freigaben und sichere Ablehnung zeigen, wie folgenreiche Aktionen unter menschlicher Kontrolle bleiben.
Projekt ansehenUMFANG & BERECHTIGUNGEN
Wir testen nur Systeme und Umgebungen, für die Sie eine Freigabe erteilen. Datenverarbeitung, Zugang und Abnahmekriterien klären wir vor der Ausführung.
HÄUFIGE FRAGEN
Antworten zu LLM-Evaluation, Agententests, MCP, RAG, Zugängen und Ergebnissen.
LLM-Evaluation misst meist die Qualität einer Ausgabe anhand von Beispielen und Kriterien. Bei KI-Agententests prüfen wir zusätzlich den gesamten Ablauf: Tool-Auswahl, Argumente, Berechtigungen, Zustandsänderungen und Fehlerbehebung. Der richtige Umfang hängt davon ab, ob Ihr System nur Inhalte erzeugt oder in andere Systeme eingreift.
Ja, in einer festgelegten und freigegebenen Umgebung. MCP-Tests können Tool-Erkennung, Schemas, erlaubte und abgelehnte Aufrufe, Berechtigungen und bestimmte Clients abdecken. Unterstützung und Authentifizierung unterscheiden sich je nach Produkt; wir prüfen die konkrete Kombination statt allgemeine Kompatibilität zu versprechen.
Eine RAG-Evaluation kann Relevanz der gefundenen Inhalte, Vollständigkeit des Kontexts, Belege für Aussagen, korrekte Zitate und begründete Ablehnung einschließen. Wir unterscheiden Retrieval-Fehler von Generierungsfehlern und nutzen einen gemeinsam festgelegten Beispieldatensatz.
Wir vergleichen die Aussage des Agenten mit dem tatsächlichen Zustand im Zielsystem. Ein Tool kann beispielsweise HTTP 200 zurückgeben, obwohl eine CRM-Änderung nicht gespeichert wurde. Mit Ihrer Freigabe prüfen wir den Endzustand, die Aufrufe und eine wiederholbare Testbedingung.
Nicht zwingend. Wir bevorzugen Staging, künstliche oder anonymisierte Daten, eingeschränkte Berechtigungen und Zugangsdaten in Ihrer Infrastruktur. Ist eine Prüfung an echten Daten notwendig, vereinbaren wir vorher genaue Zugriffe und Schutzmaßnahmen. Es gibt keine ungefragten Änderungen in Produktivsystemen.
Sie erhalten einen abgegrenzten Testplan, repräsentative Fälle, relevante Traces oder Zustandsbelege, einen priorisierten Fehlerbericht und je nach Umgebung wiederverwendbare Prüfungen. Bekannte Grenzen und nötige menschliche Entscheidungen werden dokumentiert, damit Entwickler die Befunde reproduzieren können.
Ja, wenn Agent und Testumgebung wiederholbare Ausführung erlauben, lassen sich Regressionstests in bestehende Build- oder Freigabeprozesse integrieren. Deterministische Prüfungen, menschliche Bewertungen und modellgestützte Scores haben unterschiedliche Zwecke. Wir dokumentieren, wann welche Methode sinnvoll ist.
Wir beginnen mit einem konkreten Ablauf, seinen angebundenen Systemen, Berechtigungen und wenigen typischen Fehlerfällen. Ein begrenztes Pilotprojekt ist meist der beste Ausgangspunkt. Umfang, Systemzugang und mögliche laufende Überwachung bestimmen das Angebot; es gibt keinen Pauschalpreis für alle Agenten.
Nein. Modelle, APIs, Daten und Nutzeranfragen können sich ändern. Evaluation vermindert Unsicherheit durch definierte Tests und erkennt Regressionen, beweist aber nicht, dass alle möglichen Fehler ausgeschlossen sind. Wir halten geprüfte Fälle, Belege und Restrisiken ausdrücklich fest.
MIT EINEM KRITISCHEN ABLAUF STARTEN
Nennen Sie die Aufgabe, verwendete Tools, Zielsysteme und einen Fehler, der besonders teuer wäre. Wir definieren einen begrenzten Testplan, Akzeptanzkriterien und die Belege für Ihre Freigabeentscheidung.