Skip to main content

KI-TESTS / ZUVERLÄSSIGKEITSENGINEERING

KI-Agenten testen. Belege statt Behauptungen.

Eine überzeugende Antwort beweist nicht, dass ein Agent das richtige Tool aufgerufen, den richtigen Datensatz geändert oder eine Grenze eingehalten hat. Wir entwickeln wiederholbare Evaluierungen für LLM-Workflows, RAG, MCP-Integrationen und vernetzte Geschäftssysteme – mit nachvollziehbaren Befunden und konkreten Verbesserungen.

  • Evaluation von KI-Agenten
  • LLM-Regressionstests
  • MCP-Tool-Prüfungen
eval / trace-inspectorBeispiel

INTERAKTIV / BEISPIELBEWERTUNG

Eine Anfrage. Drei mögliche Ergebnisse.

Wechseln Sie zwischen Beispiel-Traces und sehen Sie, warum die endgültige Antwort als Abnahmetest nicht ausreicht.

Auftrag: einen CRM-Kontakt nur mit Zustimmung des Nutzers ändern.
FALL 01 / VERIFIZIERT
Anfrage
Tool
System
Prüfung
Erwartetes Ergebnis
Eine genehmigte Änderung aktualisiert den vorgesehenen Kontakt.
Tool-Aufruf
crm.update_contact · approved=true
Tatsächlicher Zustand
Nur der beabsichtigte CRM-Datensatz wurde geändert.
BESTANDEN — Ergebnis geprüft
Nur illustrative Testfälle. Die Vorschau führt kein Modell aus, verbindet sich nicht mit einem CRM und zeigt keine Kundenergebnisse.

DAS PROBLEM

Die Antwort klingt richtig, obwohl der Prozess scheitert.

KI-Workflows verbinden Modellentscheidungen, Tools, APIs und wechselnde Daten. Eine gute Formulierung kann eine falsche Aktion, fehlende Belege oder einen unbemerkten Fehler verbergen.

01 / FEHLERMODUS

Vorgetäuschter Erfolg

Der Agent erklärt die Aufgabe für erledigt, obwohl das Zielsystem nicht geändert wurde.

02 / FEHLERMODUS

Falsches Tool oder Argument

Ein plausibler Tool-Aufruf verwendet die falsche ID, den falschen Endpunkt oder unpassende Parameter.

03 / FEHLERMODUS

Fehlende Freigabe

Der Agent versucht eine Aktion, für die eine Berechtigung oder menschliche Entscheidung erforderlich wäre.

WAS WIR PRÜFEN

Die gesamte Aufgabe messen, nicht nur den Text.

Jede Evaluation richtet sich nach der Aufgabe des Agenten und den verfügbaren Systemen. Wir trennen Antwortqualität von Tool-Ausführung und Endzustand und testen die relevanten Fehlerbilder.

01

Aufgabenerfolg und Systemzustand

Prüfen, ob das gewünschte Geschäftsergebnis erreicht wurde, und den tatsächlichen Systemzustand mit dem erwarteten vergleichen.

02

Tool-Auswahl und Ablauf

Tool-Auswahl, Argumente, Reihenfolge, Übergaben und doppelte Aktionen prüfen – nicht nur die Abschlussnachricht.

03

LLM-Evaluation und Quellenbezug

Korrektheit, Quellenbelege und angemessene Ablehnung anhand geprüfter Beispiele und passender Kriterien beurteilen.

04

Tests für MCP-Server

Tool-Erkennung, Eingabeschemata, Berechtigungen, abgelehnte Aufrufe und Kompatibilität in einer festgelegten MCP-Umgebung testen.

05

Regressionstests nach Änderungen

Repräsentative und ungewöhnliche Fälle nach Änderungen an Prompt, Modell, Tool oder API erneut durchlaufen lassen.

06

Fehlerbehebung, Latenz und Kosten

Timeouts, Teiländerungen, Wiederholungen und Eskalation testen; Latenz und Ressourcennutzung erfassen, soweit messbar.

UNSER VORGEHEN

Ein Test. Von Anfang bis Ende.

Wir beginnen mit einem klaren Akzeptanzkriterium, verfolgen die echte Ausführung und unterscheiden Modellaussagen von beobachtbaren Systemänderungen.

  1. Umfang klären

    Einen Agenten oder kritischen Ablauf wählen. Erlaubte Aktionen, erwartete Ergebnisse und Zugriff festlegen.

  2. Tests entwerfen

    Repräsentative Szenarien, Randfälle und von Menschen geprüfte Bewertungskriterien erstellen.

  3. Ablauf aufzeichnen

    Szenarien in freigegebener Umgebung ausführen und relevante Tool-Aufrufe und Zustände dokumentieren.

  4. Ergebnisse abgleichen

    Verhalten bewerten und Aussagen mit tatsächlichen Daten und Berechtigungen vergleichen.

  5. Befunde übergeben

    Reproduzierbare Fehler, Prioritäten und Tests für spätere Änderungen dokumentieren.

TECHNISCHE ERGEBNISSE

Nutzbare Belege. Keine Schaubilder ohne Nutzen.

Eine Bewertung muss eine technische Entscheidung ermöglichen: Was ist gescheitert, unter welchen Bedingungen, wie wichtig ist es und wurde die Reparatur verifiziert?

01

Szenario-Datensatz

Definierte Eingaben, erwartetes Tool-Verhalten, realistische Fehler und Abnahmekriterien.

02

Trace- und Zustandsbelege

Relevante Aufrufe, Ausgaben und Vergleich mit dem tatsächlichen Zustand; Umgang mit sensiblen Daten nach Absprache.

03

Priorisierter Fehlerbericht

Reproduktionsschritte, Bewertung der Schwere, Belege und umsetzbare Empfehlungen.

04

Wiederverwendbare Testsuite

Tests und dokumentierte Prüfungen für spätere Prompt-, Modell- und Integrationsänderungen.

BEISPIEL-BEFUND / EVAL-047

Erfolg gemeldet. Zustand unverändert.

ERWARTET
Kontaktadresse nach Freigabe aktualisiert
BEOBACHTET
Agent meldete „fertig“; gespeicherte Adresse unverändert
NÄCHSTER SCHRITT
Freigabe gesperrt, bis die Änderung nachgewiesen ist
Nur illustrative Testfälle. Die Vorschau führt kein Modell aus, verbindet sich nicht mit einem CRM und zeigt keine Kundenergebnisse.

TECHNISCHE GRUNDLAGEN

Echte Entwicklungsarbeit. Nachprüfbare Grundlagen.

Unsere eigenen Projekte zeigen Arbeit mit reproduzierbaren Prüfungen, Tool-Grenzen und menschlichen Freigaben. Sie sind keine angeblichen Evaluationsergebnisse von Kunden.

AGENTEN / BENCHMARKS

GodPrompt

Benchmark- und Agenten-Werkzeuge zeigen, wie sich Evaluierungen nachvollziehbar ausführen und prüfen lassen.

Projekt ansehen

WEB-VALIDIERUNG / FESTE PRÜFUNGEN

Web Validator

Strukturierte Prüfergebnisse und reproduzierbare Fehlerkontrollen bilden eine deterministische Vergleichsbasis.

Projekt ansehen

FREIGABEN / ZUGRIFFSGRENZEN

NoFax

Explizite Freigaben und sichere Ablehnung zeigen, wie folgenreiche Aktionen unter menschlicher Kontrolle bleiben.

Projekt ansehen

UMFANG & BERECHTIGUNGEN

Verantwortliche Tests brauchen klare Grenzen.

Wir testen nur Systeme und Umgebungen, für die Sie eine Freigabe erteilen. Datenverarbeitung, Zugang und Abnahmekriterien klären wir vor der Ausführung.

Was enthalten sein kann

  • Freigegebene Testpläne, Beispieldaten und definierte Szenarien
  • Tool- und Zustandsprüfungen in erlaubten Umgebungen
  • Reproduktion von Fehlern, Priorisierung und Übergabe
  • Regressionstests passend zum vereinbarten Ablauf

Was wir nicht versprechen

  • Kein Versprechen, jeden zukünftigen Modellfehler zu finden
  • Keine Tests fremder oder produktiver Systeme ohne Freigabe
  • Keine Penetrationstests oder formale Zertifizierung
  • Kein universeller Score für unterschiedliche Workflows

HÄUFIGE FRAGEN

Vor einer Zuverlässigkeitsprüfung für KI.

Antworten zu LLM-Evaluation, Agententests, MCP, RAG, Zugängen und Ergebnissen.

Was unterscheidet LLM-Evaluation von KI-Agententests?

LLM-Evaluation misst meist die Qualität einer Ausgabe anhand von Beispielen und Kriterien. Bei KI-Agententests prüfen wir zusätzlich den gesamten Ablauf: Tool-Auswahl, Argumente, Berechtigungen, Zustandsänderungen und Fehlerbehebung. Der richtige Umfang hängt davon ab, ob Ihr System nur Inhalte erzeugt oder in andere Systeme eingreift.

Können Sie MCP-Server und Tools für ChatGPT oder Claude testen?

Ja, in einer festgelegten und freigegebenen Umgebung. MCP-Tests können Tool-Erkennung, Schemas, erlaubte und abgelehnte Aufrufe, Berechtigungen und bestimmte Clients abdecken. Unterstützung und Authentifizierung unterscheiden sich je nach Produkt; wir prüfen die konkrete Kombination statt allgemeine Kompatibilität zu versprechen.

Prüfen Sie RAG-Systeme und belegte Antworten?

Eine RAG-Evaluation kann Relevanz der gefundenen Inhalte, Vollständigkeit des Kontexts, Belege für Aussagen, korrekte Zitate und begründete Ablehnung einschließen. Wir unterscheiden Retrieval-Fehler von Generierungsfehlern und nutzen einen gemeinsam festgelegten Beispieldatensatz.

Wie erkennen Sie einen vom Agenten behaupteten Erfolg ohne Ergebnis?

Wir vergleichen die Aussage des Agenten mit dem tatsächlichen Zustand im Zielsystem. Ein Tool kann beispielsweise HTTP 200 zurückgeben, obwohl eine CRM-Änderung nicht gespeichert wurde. Mit Ihrer Freigabe prüfen wir den Endzustand, die Aufrufe und eine wiederholbare Testbedingung.

Benötigen Sie Zugang zu echten Kundendaten oder Produktivsystemen?

Nicht zwingend. Wir bevorzugen Staging, künstliche oder anonymisierte Daten, eingeschränkte Berechtigungen und Zugangsdaten in Ihrer Infrastruktur. Ist eine Prüfung an echten Daten notwendig, vereinbaren wir vorher genaue Zugriffe und Schutzmaßnahmen. Es gibt keine ungefragten Änderungen in Produktivsystemen.

Welche Ergebnisse erhalten wir nach der Evaluation?

Sie erhalten einen abgegrenzten Testplan, repräsentative Fälle, relevante Traces oder Zustandsbelege, einen priorisierten Fehlerbericht und je nach Umgebung wiederverwendbare Prüfungen. Bekannte Grenzen und nötige menschliche Entscheidungen werden dokumentiert, damit Entwickler die Befunde reproduzieren können.

Kann die Testsuite vor jedem Release laufen?

Ja, wenn Agent und Testumgebung wiederholbare Ausführung erlauben, lassen sich Regressionstests in bestehende Build- oder Freigabeprozesse integrieren. Deterministische Prüfungen, menschliche Bewertungen und modellgestützte Scores haben unterschiedliche Zwecke. Wir dokumentieren, wann welche Methode sinnvoll ist.

Wie bestimmen Sie Aufwand, Zeitrahmen und Preis?

Wir beginnen mit einem konkreten Ablauf, seinen angebundenen Systemen, Berechtigungen und wenigen typischen Fehlerfällen. Ein begrenztes Pilotprojekt ist meist der beste Ausgangspunkt. Umfang, Systemzugang und mögliche laufende Überwachung bestimmen das Angebot; es gibt keinen Pauschalpreis für alle Agenten.

Garantiert eine Evaluation, dass der Agent nie wieder fehlschlägt?

Nein. Modelle, APIs, Daten und Nutzeranfragen können sich ändern. Evaluation vermindert Unsicherheit durch definierte Tests und erkennt Regressionen, beweist aber nicht, dass alle möglichen Fehler ausgeschlossen sind. Wir halten geprüfte Fälle, Belege und Restrisiken ausdrücklich fest.

MIT EINEM KRITISCHEN ABLAUF STARTEN

Was muss Ihr Agent zuverlässig erledigen?

Nennen Sie die Aufgabe, verwendete Tools, Zielsysteme und einen Fehler, der besonders teuer wäre. Wir definieren einen begrenzten Testplan, Akzeptanzkriterien und die Belege für Ihre Freigabeentscheidung.