Sigurnost AI agenata: rizici autonomnih sustava

AI agent je sustav koji ne samo da generira tekst, nego i djeluje. On dobiva cilj, sam razlaže zadatak na korake, poziva vanjske alate, čita i piše podatke te pokreće radnje u drugim sustavima. Obična LLM aplikacija prima pitanje i vraća odgovor. Agent prelazi iz svijeta riječi u svijet radnji: ako ima pristup e-pošti, bazi, API-ju ili plaćanjima, on te alate stvarno koristi da ostvari zadani cilj. Upravo ta sposobnost djelovanja čini agenta korisnim, ali i mijenja narav rizika.

Za reguliranu hrvatsku tvrtku u financijama, zdravstvu ili kritičnoj infrastrukturi razlika je velika. Klasična LLM aplikacija u najgorem slučaju kaže nešto pogrešno. Agent može nešto pogrešno učiniti: poslati podatke krivom primatelju, obrisati zapis, izvršiti uplatu ili otvoriti pristup koji nije smio. To podiže pitanja odgovornosti, zaštite osobnih podataka pod GDPR-om i operativne otpornosti koju traži DORA za financijske institucije. Sigurnost agenta zato nije ista tema kao sigurnost chatbota. Treba je tretirati zasebno, jer model sada ima ruke, a ne samo glas.

Ovo je dio našeg pregleda sigurnosti AI sustava. Tema se naslanja na sigurnost LLM aplikacija i OWASP popis rizika za LLM, pa ih vrijedi pročitati zajedno.

Po čemu se agent razlikuje od običnog chatbota

Tri svojstva razdvajaju agenta od obične LLM aplikacije. Prvo je planiranje: agent sam razlaže cilj na niz koraka i odlučuje redoslijed, umjesto da daje jedan odgovor na jedno pitanje. Drugo je pozivanje alata: agent ne opisuje radnju riječima, nego stvarno poziva funkciju, API ili naredbu da je izvrši. Treće je autonomno djelovanje: agent može pokrenuti više koraka u nizu bez da ga čovjek odobrava na svakom koraku.

Ta tri svojstva zajedno znače da agent zatvara petlju između odluke i radnje. Chatbot predloži, čovjek izvrši. Agent predloži i izvrši sam. Zbog toga se pogreška ne zaustavlja na ekranu, nego se prelijeva u sustave s kojima je agent povezan. Što je agent autonomniji i što ima više alata, to je veći raspon onoga što može učiniti, namjerno ili pogreškom. Iz perspektive sigurnosti to znači da granicu rizika više ne određuje sam model, nego skup alata i ovlasti koje smo agentu dali.

Zašto agenti pojačavaju rizik

Agenti pojačavaju rizik iz tri razloga koji se međusobno množe. Prvo, djeluju brzo i u petlji: agent može izvesti desetke poziva alata u sekundama, prije nego što itko stigne primijetiti da nešto ne valja. Pogreška se ne događa jednom, nego se ponavlja kroz cijeli niz koraka. Drugo, imaju ovlasti: da bi obavio posao, agent dobiva pristup podacima i sustavima, a svaki pristup je potencijalna šteta ako se zloupotrijebi.

Treći razlog je lanac poziva alata. Agent često koristi izlaz jednog alata kao ulaz za sljedeći. Ako jedan korak vrati zlonamjeran ili pogrešan sadržaj, taj sadržaj može tiho preusmjeriti ostatak lanca. Tako jedna kompromitirana točka pokreće niz radnji koje agent obavi bez dodatne provjere. Kombinacija brzine, ovlasti i lančanog djelovanja pretvara malu slabost u veliki incident.¹

Sigurnost agenta nije u tome da nikad ne pogriješi, nego da pogreška ne može izazvati veliku štetu.

Glavni rizici AI agenata

Rizici agenata grade se na rizicima LLM aplikacija, ali su ozbiljniji jer agent djeluje, a ne samo govori.¹ Tablica ispod sažima glavne kategorije i konkretnu posljedicu svake od njih. Svaki rizik traži kontrolu u arhitekturi sustava, ne samo bolji prompt.

Prekomjerna agencija je najčešća greška u praksi. Tim agentu da široke ovlasti da bude koristan, a onda te iste ovlasti postaju glavni vektor štete. Identitet i tajne agenta često se podcijene: agent se autenticira prema drugim sustavima, pa njegovi vjerodajni podaci vrijede koliko i lozinka administratora.

Obrana: kako ograničiti štetu

Sigurnost agenta nije u tome da nikad ne pogriješi, nego da pogreška ne može izazvati veliku štetu. Cilj je suziti raspon onoga što agent može učiniti i ugraditi provjere na osjetljivim mjestima. Koraci ispod čine osnovni okvir koji primjenjujemo kod procjene agentskih sustava.

1. 01
   Primijenite najmanje ovlasti

   Agent dobiva pristup samo alatima i podacima nužnima za zadatak, ništa više. Odvojite uloge: agent koji čita ne treba prava brisanja.
2. 02
   Tražite ljudsku potvrdu za osjetljive radnje

   Plaćanja, brisanja, slanje podataka van i promjene prava neka uvijek traže ljudsko odobrenje prije izvršenja.
3. 03
   Izolirajte agenta u sandbox

   Pokrećite alate u ograničenom okruženju s mrežnim i resursnim granicama, da agent ne može doseći ono što nije predviđeno.
4. 04
   Validirajte ulaze i izlaze

   Provjerite sadržaj koji ulazi u agenta i izlaz alata prije nego ga upotrijebi kao ulaz za sljedeći korak.
5. 05
   Bilježite sve radnje

   Vodite potpun zapis koraka, poziva alata i odluka, da omogućite nadzor, otkrivanje anomalija i istragu.

Ove kontrole rade zajedno. Najmanje ovlasti smanjuju domet svake pogreške. Ljudska potvrda zaustavlja nepovratne radnje. Izolacija sprečava da agent dosegne ono što nije njegovo. Validacija prekida lanac prompt injection napada. Bilježenje pretvara nevidljiv problem u nešto što se može otkriti i istražiti.

MCP i povezivanje agenta sa sustavima

Da bi agent pozivao alate, treba standardan način spajanja na izvore podataka i servise. Model Context Protocol, poznat kao MCP, jedan je takav otvoreni protokol koji agentu daje sučelje prema vanjskim alatima i podacima. On olakšava integraciju, ali svaki spoj na novi sustav istovremeno širi površinu napada. Svaki MCP server kojem agent vjeruje postaje izvor podataka i naredbi, pa ga treba tretirati kao komponentu od povjerenja s vlastitim rizicima opskrbnog lanca.

Praktično pravilo je jednostavno: svaki alat ili spoj koji dodate agentu mora proći istu provjeru kao i bilo koja druga ovlast. Tko ga kontrolira, koje podatke vidi, što može pokrenuti i može li njegov izlaz preusmjeriti agenta. Nepouzdan ili kompromitiran MCP server može agentu servirati skrivene upute jednako kao zlonamjerna e-pošta. Zato povezivanje sa sustavima treba biti namjerna odluka, a ne zadana postavka.

Kako testirati agentni sustav

Agentni sustav se ne testira kao obična aplikacija. Osim funkcionalnih testova, treba protivnički ispitati granice ovlasti i otpornost na manipulaciju. Cilj je otkriti može li se agent navesti da prekorači zadatak, zloupotrijebi alat ili oda tajne. To je posao za protivničko testiranje i procjenu arhitekture, ne samo za pregled koda.

• Pokušajte prompt injection kroz sve podatke koje agent obrađuje, uključujući dokumente, e-poštu i izlaz alata.
• Provjerite poštuje li agent najmanje ovlasti ili se može navesti da pozove alate izvan zadatka.
• Testirajte zaobilaženje ljudske potvrde za osjetljive radnje, primjerice kroz lančane pozive.
• Ispitajte može li agent odati svoje tajne, tokene ili sistemski prompt.
• Provjerite zaustavljaju li mehanizmi izolacije agenta kad pokuša doseći zabranjeni resurs.

Po našem iskustvu, najviše nalaza dolazi iz kombinacije prompt injection napada i preširokih ovlasti, a stvarna procjena ovisi o opsegu sustava i broju povezanih alata. Testiranje treba ponavljati nakon svake promjene alata ili ovlasti, jer novi spoj može otvoriti put koji prije nije postojao. Vrijedi i provjeriti zaustavlja li agent niz radnji kad ga čovjek prekine, jer autonomna petlja koja se ne može prekinuti sama je po sebi rizik.

Nadzor i detekcija anomalnog ponašanja

Kontrole prije rada nisu dovoljne. Agent treba i nadzor u radu, jer se nove slabosti pojavljuju s novim podacima i zadacima. Temelj je potpun zapis svakog koraka: koji je cilj agent dobio, koje je alate pozvao, s kojim ulazima i kakvim ishodom. Bez tog zapisa incident je nevidljiv.

Na vrhu zapisa gradi se detekcija anomalija. Pratite obrasce koji odstupaju od normale: nagli porast poziva alata, pristup podacima koje agent inače ne dira, pokušaje radnji izvan dopuštenog opsega ili izlaze koji izgledaju kao da ih je netko ubacio. Takav nadzor najbolje se vodi kroz zreo proces, primjerice sigurnosni operativni centar i plan odgovora na incidente. Cilj je primijetiti odstupanje rano, dok je šteta još mala.

Veza sa širim AI rizicima

Sigurnost agenata dio je šire teme upravljanja AI-jem. Naslanja se na sigurnost LLM aplikacija, OWASP Top 10 za LLM i prompt injection, a povezuje se i sa shadow AI problemom kad zaposlenici uvedu agente bez nadzora. Tvrtke koje uvode agente trebaju jasna pravila o tome koje radnje agent smije, tko ih odobrava i kako se bilježe.²

Kako Raptoric pomaže

Procjenjujemo agentske sustave, njihove ovlasti, tajne i granice te ih protivnički testiramo na prompt injection i zlouporabu alata. Pomažemo postaviti kontrole koje ograničavaju štetu i nadzor koji rano otkriva anomalije, kroz sigurnost umjetne inteligencije. Dogovorite uvodni razgovor.