Lažno prijavljen uspjeh
Agent kaže da je zadatak završen, ali ciljni sustav nije ažuriran.
AI TESTIRANJE / INŽENJERING POUZDANOSTI
Uvjerljiv odgovor ne dokazuje da je agent odabrao pravi alat, promijenio pravi zapis ili poštovao ovlasti. Pripremamo ponovljive evaluacije za LLM procese, RAG, MCP integracije i povezane poslovne sustave – uz trag onoga što se dogodilo i konkretne prijedloge popravaka.
INTERAKTIVNO / PRIMJER EVALUACIJE
Usporedite ilustrativne tragove i pogledajte zašto samo završni odgovor nije dovoljan test.
SLUČAJ 01 / PROVJERENOcrm.update_contact · approved=truePROBLEM
AI procesi povezuju odluke modela, alate, API-je i promjenjive podatke. Dobro sročen odgovor može prikriti pogrešnu radnju, nedostatak dokaza ili kvar koji korisnik nikad ne vidi.
Agent kaže da je zadatak završen, ali ciljni sustav nije ažuriran.
Uvjerljiv poziv upotrebljava pogrešan ID zapisa, krajnju točku ili parametre.
Agent pokušava izvršiti radnju za koju je potrebna dozvola ili ljudska odluka.
ŠTO PROVJERAVAMO
Svaku evaluaciju prilagođavamo poslu agenta i dostupnim sustavima. Razlikujemo kvalitetu odgovora od izvršenja alata i stvarnog stanja te testiramo važne načine otkaza.
Provjeravamo je li nastao željeni poslovni ishod i uspoređujemo stvarno stanje sa zadanim rezultatom.
Provjeravamo odabir alata, argumente, redoslijed poziva, predaje i ponovljene radnje, a ne samo posljednju poruku.
Ocjenjujemo točnost, potporu izvora i opravdano odbijanje prema ljudski pregledanim primjerima i kriterijima.
U dogovorenom okruženju provjeravamo otkrivanje alata, ulazne sheme, ovlasti, odbijene pozive i kompatibilnost klijenata.
Ponavljamo uobičajene i rubne slučajeve nakon promjene prompta, modela, alata ili API-ja.
Testiramo isteke vremena, djelomične upise, ponovne pokušaje i eskalaciju; mjerimo latenciju i potrošnju kada su dostupne.
NAŠ POSTUPAK
Počinjemo jasnim kriterijem prihvaćanja, slijedimo izvršavanje i razlikujemo izjave modela od vidljivih promjena u sustavu.
Odabiremo jednog agenta ili ključni proces. Definiramo dopuštene radnje, očekivane rezultate i pristup.
Pripremamo reprezentativne scenarije, rubne slučajeve i kriterije koje pregledava čovjek.
Izvodimo scenarije u odobrenom okruženju te bilježimo pozive alata i relevantna stanja.
Ocjenjujemo ponašanje i uspoređujemo tvrdnje s podacima i pravima pristupa.
Dokumentiramo ponovljive greške, prioritete i testove koje tim može ponovno pokrenuti.
INŽENJERSKI REZULTATI
Evaluacija mora omogućiti jasnu odluku: što je otkazalo, kada, zašto je važno i je li popravak provjeren.
Definirani ulazi, očekivano ponašanje alata, realni otkazi i kriteriji prihvaćanja.
Relevantni pozivi, odgovori i usporedba sa stvarnim stanjem uz dogovoreno postupanje s osjetljivim podacima.
Koraci za reprodukciju, ozbiljnost, dokazi i konkretne preporuke za popravak.
Testovi i upute za provjeru nakon budućih promjena prompta, modela ili integracije.
PROJEKTI IZA PRISTUPA
Naši projekti pokazuju rad s ponovljivim testovima, granicama alata i ljudskim odobrenjima. Ne predstavljamo ih kao rezultate evaluacija za klijente.
AGENTI / BENCHMARK TESTOVI
Benchmark alati i strukturirani procesi agenata pokazuju kako evaluacije učiniti ponovljivima i preglednima.
Pogledajte projektWEB PROVJERE / DETERMINISTIČKI TESTOVI
Strukturirani rezultati i dosljedno otkrivanje pogrešaka stvaraju determinističku osnovu za usporedbu.
Pogledajte projektODOBRENJA / GRANICE PRISTUPA
Izričita odobrenja i odbijanje neovlaštenih radnji pokazuju kako zadržati ljudski nadzor.
Pogledajte projektOPSEG I DOPUŠTENJA
Testiramo samo sustave i okruženja za koja ste dali odobrenje. Prije izvođenja dogovaramo kriterije, pristup i obradu podataka.
ČESTA PITANJA
Odgovori o LLM evaluaciji, agentima, MCP-u, RAG-u, pristupu i isporuci.
LLM evaluacija najčešće provjerava kvalitetu izlaznog odgovora na poznatim primjerima i prema zadanim kriterijima. Testiranje agenta prati i odluke tijekom procesa: izbor alata, argumente, dozvole, promjene stanja i oporavak. Opseg ovisi o tome generira li sustav samo sadržaj ili djeluje u povezanim sustavima.
Da, u točno određenom i odobrenom okruženju. Testiranje MCP-a može uključivati otkrivanje alata, provjeru shema, dopuštene i odbijene pozive, granice ovlasti i podršku odabranih klijenata. Podrška i prijava razlikuju se po proizvodima, pa provjeravamo stvarnu kombinaciju.
RAG evaluacija može provjeravati relevantnost pronađenih izvora, potpunost konteksta, potporu tvrdnji, točne citate i odbijanje odgovora bez dokaza. Razlikujemo pogreške dohvaćanja od pogrešaka generiranja, uz prethodno dogovoren skup reprezentativnih dokumenata.
Uspoređujemo tvrdnju agenta sa stvarnim stanjem ciljnog sustava. Alat može vratiti HTTP 200 iako se CRM zapis ili vrijednost u bazi nisu promijenili. Uz dopuštenje provjeravamo spremljene podatke, relevantne pozive i ponovljiv uvjet kojim se rezultat potvrđuje.
Ne nužno. Radije koristimo testno okruženje, sintetičke ili anonimizirane primjere, ograničena prava i vjerodajnice pod vašim nadzorom. Kada je provjera u produkciji neizbježna, točan opseg i zaštitne mjere dogovaramo unaprijed. Ne mijenjamo stvarne podatke samo radi demonstracije.
Isporučujemo ograničen plan testiranja, reprezentativne slučajeve, relevantne tragove ili dokaze stanja, prioritizirani izvještaj i ponovljive provjere ako ih okruženje podržava. Bilježimo poznata ograničenja i slučajeve koji zahtijevaju ljudsku procjenu kako bi tim mogao ponoviti nalaze.
Da, ako agent i okruženje omogućuju ponovljivo izvođenje, scenarije možemo uključiti u postojeći testni ili objavni proces. Determinističke provjere, ljudska procjena i bodovanje uz pomoć modela služe različitim svrhama. Dokumentiramo koje rezultate treba smatrati blokadom objave.
Počinjemo jednim procesom, povezanim sustavima, dozvolama i manjim skupom tipičnih scenarija otkaza. Ograničen pilot često je najbolji početak. Složenost, pristup okruženju i eventualno stalno praćenje određuju ponudu; cijena ne može biti jednaka za sve agente.
Ne. Model, API-ji, podaci i korisnički zahtjevi mogu se promijeniti. Evaluacija smanjuje neizvjesnost provjeravanjem definiranih slučajeva i otkrivanjem regresija, ali ne dokazuje da su sve buduće pogreške nemoguće. Zato jasno navodimo pokrivenost i preostale rizike.
KRENIMO OD JEDNOG VAŽNOG PROCESA
Opišite zadatak agenta, alate, ciljne sustave i pogrešku koja bi imala ozbiljne posljedice. Definirat ćemo ograničen plan evaluacije, kriterije prihvaćanja i dokaze potrebne za odluku o objavi.