Lažno prijavljen uspeh
Agent kaže da je posao završen, ali ciljni sistem nije ažuriran.
AI TESTIRANJE / INŽENJERING POUZDANOSTI
Uverljiv odgovor ne dokazuje da je agent izabrao pravi alat, promenio pravi zapis ili poštovao dozvole. Pravimo ponovljive evaluacije za LLM procese, RAG, MCP integracije i povezane poslovne sisteme – sa zapisom onoga što se stvarno dogodilo i predlogom popravki.
INTERAKTIVNO / PRIMER EVALUACIJE
Uporedite ilustrativne tragove i pogledajte zašto samo završni odgovor nije dovoljan test.
SLUČAJ 01 / PROVERENOcrm.update_contact · approved=truePROBLEM
AI procesi spajaju odluke modela, alate, API-je i promenljive podatke. Dobro formulisan odgovor može sakriti pogrešnu radnju, nedostatak dokaza ili kvar koji korisnik ne vidi.
Agent kaže da je posao završen, ali ciljni sistem nije ažuriran.
Uverljiv poziv koristi pogrešan ID zapisa, krajnju tačku ili parametre.
Agent pokušava radnju koja zahteva dozvolu ili ljudsku odluku.
ŠTA PROVERAVAMO
Svaku evaluaciju prilagođavamo poslu agenta i dostupnim sistemima. Odvajamo kvalitet odgovora od izvršenja alata i konačnog stanja i proveravamo relevantne vrste grešaka.
Proveravamo da li je nastao željeni poslovni ishod i upoređujemo stvarno stanje sa očekivanim.
Ispitujemo izbor alata, argumente, redosled poziva, predaje i duple radnje, ne samo završnu poruku.
Ocenjujemo tačnost, potkrepljenost izvorima i opravdano odbijanje prema primerima koje pregleda čovek.
U dogovorenom okruženju proveravamo otkrivanje alata, šeme ulaza, dozvole, odbijene pozive i kompatibilnost klijenata.
Ponavljamo tipične i granične slučajeve posle promene prompta, modela, alata ili API-ja.
Ispitujemo isteke vremena, delimične upise, ponovne pokušaje i eskalaciju, a gde je moguće pratimo kašnjenje i potrošnju.
NAČIN RADA
Počinjemo jasnim kriterijumom prihvatanja, pratimo izvršenje i razlikujemo tvrdnje modela od stvarnih promena u sistemu.
Biramo jednog agenta ili kritičan proces i određujemo dozvoljene radnje, očekivane rezultate i pristup.
Pripremamo reprezentativne scenarije, granične slučajeve i kriterijume koje proverava čovek.
Izvršavamo scenarije u odobrenom okruženju i beležimo relevantne pozive alata i stanja.
Ocenjujemo ponašanje i upoređujemo tvrdnje sa stvarnim podacima i pravima pristupa.
Dokumentujemo ponovljive greške, prioritete i testove za sledeće izmene.
INŽENJERSKI REZULTATI
Evaluacija treba da vodi jasnoj odluci: šta nije uspelo, kada, zašto je važno i da li je popravka proverena.
Definisani ulazi, očekivano ponašanje alata, realne greške i kriterijumi prihvatanja.
Relevantni pozivi, odgovori i poređenje sa stvarnim stanjem uz dogovoreno postupanje sa osetljivim podacima.
Koraci za reprodukciju, ozbiljnost, dokazi i konkretne preporuke za otklanjanje problema.
Testovi i uputstva za proveru posle budućih izmena prompta, modela ili integracije.
PROJEKTI IZA PRISTUPA
Naši projekti pokazuju iskustvo sa ponovljivim proverama, granicama alata i ljudskim odobrenjem. Ne predstavljamo ih kao rezultate evaluacije za klijente.
AGENTI / BENCHMARK TESTOVI
Benchmark alati i strukturisani procesi agenata pokazuju kako evaluacije učiniti ponovljivim i preglednim.
Pogledajte projekatVEB PROVERE / DETERMINISTIČKI TESTOVI
Strukturisani rezultati i dosledno otkrivanje grešaka daju determinističku osnovu za poređenje.
Pogledajte projekatODOBRENJA / GRANICE PRISTUPA
Izričita odobrenja i odbijanje nedozvoljenih radnji pokazuju kako važni postupci ostaju pod nadzorom čoveka.
Pogledajte projekatOBIM I DOZVOLE
Testiramo samo sisteme i okruženja za koje imate odobrenje. Pre izvođenja dogovaramo kriterijume, pristup i rukovanje podacima.
ČESTA PITANJA
Odgovori o LLM evaluaciji, testiranju agenata, MCP-u, RAG-u, pristupu i isporuci.
LLM evaluacija najčešće meri kvalitet izlaznog odgovora prema primerima i kriterijumima. Testiranje agenata proverava i tok zadatka: izbor alata, argumente, dozvole, promene stanja i oporavak. Pravi obim zavisi od toga da li sistem samo generiše sadržaj ili deluje u povezanim servisima.
Da, u precizno određenom i odobrenom okruženju. Testiranje MCP-a može uključiti otkrivanje alata, validaciju šema, dozvoljene i odbijene pozive, granice pristupa i izabrane klijente. Podrška i način prijave razlikuju se po proizvodu, pa proveravamo konkretnu kombinaciju umesto univerzalne kompatibilnosti.
RAG evaluacija može proveravati relevantnost pronađenih izvora, potpunost konteksta, potkrepljenost tvrdnji, tačnost citata i odbijanje odgovora kada dokazi nedostaju. Razdvajamo greške pretrage od grešaka generisanja uz dogovoreni skup reprezentativnih dokumenata.
Poredimo tvrdnju agenta sa stvarnim stanjem ciljnog sistema. Alat može vratiti HTTP 200 iako CRM zapis ili vrednost u bazi nije promenjena. Uz odobrenje proveravamo podatke, relevantne pozive i formiramo ponovljiv test kojim se rezultat potvrđuje.
Ne nužno. Prednost dajemo testnom okruženju, sintetičkim ili anonimizovanim primerima, ograničenim dozvolama i kredencijalima pod vašom kontrolom. Kada je produkciona provera neophodna, precizan obim i mere zaštite dogovaramo unapred. Ne menjamo stvarne podatke samo radi demonstracije.
Isporučujemo ograničen plan testiranja, reprezentativne scenarije, relevantne tragove ili dokaze stanja, izveštaj sa prioritetima i ponovljive provere kada ih okruženje podržava. Navodimo poznata ograničenja i slučajeve za ljudsku procenu kako bi inženjeri mogli da ponove nalaze.
Da, kada agent i okruženje podržavaju ponovljivo izvršavanje, scenariji mogu postati deo postojećeg testnog ili objavnog procesa. Determinističke provere, ljudska procena i bodovanje pomoću modela imaju različite zadatke. Dokumentujemo koji rezultati treba da blokiraju objavu.
Počinjemo jednim procesom, povezanim sistemima, dozvolama i nekoliko tipičnih primera grešaka. Ograničen pilot je često najbolji početak. Složenost, pristup okruženju i eventualno stalno praćenje određuju ponudu; ista cena za sve agente ne bi bila realna.
Ne. Model, API-ji, podaci i zahtevi korisnika mogu se menjati. Evaluacija smanjuje neizvesnost proverom definisanih slučajeva i otkrivanjem regresija, ali ne dokazuje da su sve moguće greške isključene. Zato jasno navodimo obim i preostale rizike.
KRENIMO OD JEDNOG VAŽNOG PROCESA
Opišite zadatak agenta, korišćene alate, ciljne sisteme i grešku sa ozbiljnim posledicama. Odredićemo ograničen plan evaluacije, kriterijume prihvatanja i dokaze potrebne za odluku o objavi.