Sigurnost AI agenata: rizici autonomnih sustava

AI agent je sustav koji ne samo da generira tekst, nego i djeluje: poziva alate, šalje zahtjeve, čita i piše podatke te pokreće radnje u drugim sustavima. To ga čini moćnim, ali i mijenja narav rizika. Klasična LLM aplikacija u najgorem slučaju kaže nešto pogrešno; agent može nešto pogrešno učiniti. Ovaj tekst objašnjava zašto sigurnost AI agenata zaslužuje posebnu pažnju i kako ograničiti štetu.

Ovo je dio našeg pregleda sigurnosti AI sustava. Procjenu agentskih sustava pružamo kroz sigurnost umjetne inteligencije.

Po čemu se agent razlikuje

Obična LLM aplikacija prima pitanje i daje odgovor. Agent dobiva cilj i sam odlučuje koje korake poduzeti da ga ostvari, često u više koraka i uz pozivanje vanjskih alata. Time prelazi iz svijeta riječi u svijet radnji. Ako agent ima pristup e-pošti, bazama ili plaćanjima, pogreška ili zlonamjeran unos više nisu samo neugodni, nego mogu izazvati stvarnu štetu.

Glavni rizici

Rizici agenata grade se na rizicima LLM aplikacija, ali su ozbiljniji jer agent djeluje.¹

• Prekomjerne ovlasti, gdje agent smije više nego što je za zadatak potrebno.
• Prompt injection koji preusmjeri agenta da izvrši neželjenu radnju.
• Lančane radnje, gdje jedna pogreška pokrene niz drugih bez nadzora.
• Slijepo povjerenje u izlaz alata koje agent koristi.
• Nedostatak zapisa, pa se ne zna što je agent učinio i zašto.

Kako ograničiti štetu

Sigurnost agenta nije u tome da nikad ne pogriješi, nego da pogreška ne može izazvati veliku štetu.

1. 01
   Primijenite najmanje ovlasti

   Agent dobiva pristup samo alatima i podacima nužnima za zadatak.
2. 02
   Tražite potvrdu za osjetljive radnje

   Plaćanja, brisanja i slanje podataka neka traže ljudsko odobrenje.
3. 03
   Postavite granice

   Definirajte što agent nikad ne smije, neovisno o uputama.
4. 04
   Provjeravajte ulaze alata

   Ne dopustite da sadržaj iz vanjskih izvora tiho preusmjeri agenta.
5. 05
   Bilježite sve radnje

   Vodite zapis koraka agenta da omogućite nadzor i istragu.

Kako Raptoric pomaže

Procjenjujemo agentske sustave, njihove ovlasti i granice te pomažemo postaviti kontrole koje ograničavaju štetu, kroz sigurnost umjetne inteligencije. Dogovorite uvodni razgovor.