Skip to main content

AI TESTIRANJE / INŽENJERING POUZDANOSTI

Testiranje AI agenata. Dokazi prije povjerenja.

Uvjerljiv odgovor ne dokazuje da je agent odabrao pravi alat, promijenio pravi zapis ili poštovao ovlasti. Pripremamo ponovljive evaluacije za LLM procese, RAG, MCP integracije i povezane poslovne sustave – uz trag onoga što se dogodilo i konkretne prijedloge popravaka.

  • Evaluacija AI agenata
  • LLM regresijski testovi
  • Provjera MCP alata
eval / trace-inspectorprimjer

INTERAKTIVNO / PRIMJER EVALUACIJE

Jedan zahtjev. Tri moguća ishoda.

Usporedite ilustrativne tragove i pogledajte zašto samo završni odgovor nije dovoljan test.

Zadatak: promijeniti kontakt u CRM-u samo uz korisnikovo odobrenje.
SLUČAJ 01 / PROVJERENO
Zahtjev
Alat
Sustav
Provjera
Očekivani ishod
Odobrena promjena ažurira točno određeni kontakt.
Poziv alata
crm.update_contact · approved=true
Stvarno stanje
Promijenjen je samo namjeravani CRM zapis.
USPJEŠNO — ishod provjeren
Samo ilustrativni primjeri. Prikaz ne pokreće model, ne pristupa CRM-u i ne prikazuje rezultate klijenata.

PROBLEM

Odgovor zvuči točno, a proces može zakazati.

AI procesi povezuju odluke modela, alate, API-je i promjenjive podatke. Dobro sročen odgovor može prikriti pogrešnu radnju, nedostatak dokaza ili kvar koji korisnik nikad ne vidi.

01 / NAČIN OTKAZA

Lažno prijavljen uspjeh

Agent kaže da je zadatak završen, ali ciljni sustav nije ažuriran.

02 / NAČIN OTKAZA

Pogrešan alat ili argument

Uvjerljiv poziv upotrebljava pogrešan ID zapisa, krajnju točku ili parametre.

03 / NAČIN OTKAZA

Preskočeno odobrenje

Agent pokušava izvršiti radnju za koju je potrebna dozvola ili ljudska odluka.

ŠTO PROVJERAVAMO

Mjerimo cijeli zadatak, ne samo odgovor.

Svaku evaluaciju prilagođavamo poslu agenta i dostupnim sustavima. Razlikujemo kvalitetu odgovora od izvršenja alata i stvarnog stanja te testiramo važne načine otkaza.

01

Uspjeh zadatka i stanje sustava

Provjeravamo je li nastao željeni poslovni ishod i uspoređujemo stvarno stanje sa zadanim rezultatom.

02

Ispravno korištenje alata

Provjeravamo odabir alata, argumente, redoslijed poziva, predaje i ponovljene radnje, a ne samo posljednju poruku.

03

LLM evaluacija i potkrijepljeni odgovori

Ocjenjujemo točnost, potporu izvora i opravdano odbijanje prema ljudski pregledanim primjerima i kriterijima.

04

Testiranje MCP poslužitelja

U dogovorenom okruženju provjeravamo otkrivanje alata, ulazne sheme, ovlasti, odbijene pozive i kompatibilnost klijenata.

05

Regresijski testovi nakon promjena

Ponavljamo uobičajene i rubne slučajeve nakon promjene prompta, modela, alata ili API-ja.

06

Oporavak, latencija i trošak

Testiramo isteke vremena, djelomične upise, ponovne pokušaje i eskalaciju; mjerimo latenciju i potrošnju kada su dostupne.

NAŠ POSTUPAK

Jedan test. Od početka do kraja.

Počinjemo jasnim kriterijem prihvaćanja, slijedimo izvršavanje i razlikujemo izjave modela od vidljivih promjena u sustavu.

  1. Dogovor opsega

    Odabiremo jednog agenta ili ključni proces. Definiramo dopuštene radnje, očekivane rezultate i pristup.

  2. Dizajn testova

    Pripremamo reprezentativne scenarije, rubne slučajeve i kriterije koje pregledava čovjek.

  3. Bilježenje tragova

    Izvodimo scenarije u odobrenom okruženju te bilježimo pozive alata i relevantna stanja.

  4. Usporedba rezultata

    Ocjenjujemo ponašanje i uspoređujemo tvrdnje s podacima i pravima pristupa.

  5. Predaja nalaza

    Dokumentiramo ponovljive greške, prioritete i testove koje tim može ponovno pokrenuti.

INŽENJERSKI REZULTATI

Korisni dokazi. Ne samo uredna nadzorna ploča.

Evaluacija mora omogućiti jasnu odluku: što je otkazalo, kada, zašto je važno i je li popravak provjeren.

01

Skup testnih scenarija

Definirani ulazi, očekivano ponašanje alata, realni otkazi i kriteriji prihvaćanja.

02

Tragovi i dokazi o stanju

Relevantni pozivi, odgovori i usporedba sa stvarnim stanjem uz dogovoreno postupanje s osjetljivim podacima.

03

Prioritizirani izvještaj o greškama

Koraci za reprodukciju, ozbiljnost, dokazi i konkretne preporuke za popravak.

04

Ponovljivi regresijski testovi

Testovi i upute za provjeru nakon budućih promjena prompta, modela ili integracije.

PRIMJER NALAZA / EVAL-047

Prijavljen uspjeh. Bez promjene.

OČEKIVANO
Adresa kontakta ažurirana nakon odobrenja
ZABILJEŽENO
Agent je rekao „gotovo”, ali je spremljena adresa ostala ista
SLJEDEĆI KORAK
Objava zaustavljena dok se upis ne potvrdi
Samo ilustrativni primjeri. Prikaz ne pokreće model, ne pristupa CRM-u i ne prikazuje rezultate klijenata.

PROJEKTI IZA PRISTUPA

Stvaran razvoj. Provjerljivi temelji.

Naši projekti pokazuju rad s ponovljivim testovima, granicama alata i ljudskim odobrenjima. Ne predstavljamo ih kao rezultate evaluacija za klijente.

AGENTI / BENCHMARK TESTOVI

GodPrompt

Benchmark alati i strukturirani procesi agenata pokazuju kako evaluacije učiniti ponovljivima i preglednima.

Pogledajte projekt

WEB PROVJERE / DETERMINISTIČKI TESTOVI

Web Validator

Strukturirani rezultati i dosljedno otkrivanje pogrešaka stvaraju determinističku osnovu za usporedbu.

Pogledajte projekt

ODOBRENJA / GRANICE PRISTUPA

NoFax

Izričita odobrenja i odbijanje neovlaštenih radnji pokazuju kako zadržati ljudski nadzor.

Pogledajte projekt

OPSEG I DOPUŠTENJA

Odgovorno testiranje počinje granicama.

Testiramo samo sustave i okruženja za koja ste dali odobrenje. Prije izvođenja dogovaramo kriterije, pristup i obradu podataka.

Što može biti uključeno

  • Odobreni testni planovi, uzorci podataka i scenariji
  • Provjera alata i stanja u dopuštenim okruženjima
  • Reprodukcija grešaka, prioriteti i upute za predaju
  • Regresijski testovi za odabrani proces

Što ne obećavamo

  • Ne jamčimo otkrivanje svih budućih pogrešaka modela
  • Ne testiramo tuđe ili produkcijske sustave bez odobrenja
  • Ne nudimo penetracijski test ni formalnu certifikaciju
  • Ne koristimo jednu ocjenu za nepovezane procese

ČESTA PITANJA

Prije provjere pouzdanosti AI agenata.

Odgovori o LLM evaluaciji, agentima, MCP-u, RAG-u, pristupu i isporuci.

Koja je razlika između LLM evaluacije i testiranja AI agenta?

LLM evaluacija najčešće provjerava kvalitetu izlaznog odgovora na poznatim primjerima i prema zadanim kriterijima. Testiranje agenta prati i odluke tijekom procesa: izbor alata, argumente, dozvole, promjene stanja i oporavak. Opseg ovisi o tome generira li sustav samo sadržaj ili djeluje u povezanim sustavima.

Možete li testirati MCP poslužitelj i alate za ChatGPT ili Claude?

Da, u točno određenom i odobrenom okruženju. Testiranje MCP-a može uključivati otkrivanje alata, provjeru shema, dopuštene i odbijene pozive, granice ovlasti i podršku odabranih klijenata. Podrška i prijava razlikuju se po proizvodima, pa provjeravamo stvarnu kombinaciju.

Evaluirate li RAG sustave i odgovore s izvorima?

RAG evaluacija može provjeravati relevantnost pronađenih izvora, potpunost konteksta, potporu tvrdnji, točne citate i odbijanje odgovora bez dokaza. Razlikujemo pogreške dohvaćanja od pogrešaka generiranja, uz prethodno dogovoren skup reprezentativnih dokumenata.

Kako otkrivate da agent lažno prijavljuje uspjeh?

Uspoređujemo tvrdnju agenta sa stvarnim stanjem ciljnog sustava. Alat može vratiti HTTP 200 iako se CRM zapis ili vrijednost u bazi nisu promijenili. Uz dopuštenje provjeravamo spremljene podatke, relevantne pozive i ponovljiv uvjet kojim se rezultat potvrđuje.

Trebate li stvarne korisničke podatke i pristup produkciji?

Ne nužno. Radije koristimo testno okruženje, sintetičke ili anonimizirane primjere, ograničena prava i vjerodajnice pod vašim nadzorom. Kada je provjera u produkciji neizbježna, točan opseg i zaštitne mjere dogovaramo unaprijed. Ne mijenjamo stvarne podatke samo radi demonstracije.

Što dobivamo nakon evaluacije?

Isporučujemo ograničen plan testiranja, reprezentativne slučajeve, relevantne tragove ili dokaze stanja, prioritizirani izvještaj i ponovljive provjere ako ih okruženje podržava. Bilježimo poznata ograničenja i slučajeve koji zahtijevaju ljudsku procjenu kako bi tim mogao ponoviti nalaze.

Mogu li se regresijski testovi pokretati prije svakog izdanja?

Da, ako agent i okruženje omogućuju ponovljivo izvođenje, scenarije možemo uključiti u postojeći testni ili objavni proces. Determinističke provjere, ljudska procjena i bodovanje uz pomoć modela služe različitim svrhama. Dokumentiramo koje rezultate treba smatrati blokadom objave.

Kako određujete opseg, trajanje i cijenu?

Počinjemo jednim procesom, povezanim sustavima, dozvolama i manjim skupom tipičnih scenarija otkaza. Ograničen pilot često je najbolji početak. Složenost, pristup okruženju i eventualno stalno praćenje određuju ponudu; cijena ne može biti jednaka za sve agente.

Može li evaluacija jamčiti da AI agent nikad neće pogriješiti?

Ne. Model, API-ji, podaci i korisnički zahtjevi mogu se promijeniti. Evaluacija smanjuje neizvjesnost provjeravanjem definiranih slučajeva i otkrivanjem regresija, ali ne dokazuje da su sve buduće pogreške nemoguće. Zato jasno navodimo pokrivenost i preostale rizike.

KRENIMO OD JEDNOG VAŽNOG PROCESA

Što vaš agent mora napraviti ispravno?

Opišite zadatak agenta, alate, ciljne sustave i pogrešku koja bi imala ozbiljne posljedice. Definirat ćemo ograničen plan evaluacije, kriterije prihvaćanja i dokaze potrebne za odluku o objavi.