Kako su aplikacije nad velikim jezičnim modelima postale uobičajene, pojavila se potreba za zajedničkom referencom rizika, jednako kao što OWASP Top 10 postoji za web aplikacije. OWASP je zato objavio poseban popis najvažnijih rizika LLM aplikacija.1 On pomaže razvojnim timovima i naručiteljima da razumiju gdje takvi sustavi najčešće zakažu. Ovaj tekst pregledava kategorije i povezuje ih s onim što tvrtka treba poduzeti.
Klasični OWASP Top 10 pokriva web aplikacije, ali LLM sustavi imaju rizike koje on ne obuhvaća: ponašanje modela, ulaz u prirodnom jeziku i nedeterminizam. Poseban popis odgovara na to i daje struci zajednički jezik za rizike AI aplikacija. Kao i web popis, nije zakon ni certifikat, nego praktična polazna referenca.
Pregled kategorija
Popis se s razvojem područja mijenja, ali srž rizika ostaje slična.1
Kategorija
Što znači
Prompt injection
Unos mijenja ponašanje modela ili zaobilazi pravila.
Curenje osjetljivih podataka
Model otkrije povjerljive ili osobne podatke u odgovoru.
Rizik opskrbnog lanca
Nepouzdani modeli, podaci ili komponente trećih strana.
Trovanje podataka
Zlonamjeran sadržaj u podacima za učenje ili bazi znanja.
Nesiguran rad s izlazom
Aplikacija slijepo vjeruje tekstu koji model generira.
Prekomjerne ovlasti
Model ili agent smiju pokretati radnje šire nego što trebaju.
Prekomjerna potrošnja
Nekontrolirani upiti troše resurse ili stvaraju trošak.
Pregled glavnih rizika OWASP popisa za LLM aplikacije.
Kako koristiti popis
Popis je najkorisniji kao kontrolna lista kroz cijeli životni ciklus AI aplikacije.
01
U dizajnu
Razmotrite koje kategorije vrijede za vaš sustav prije gradnje.
02
U razvoju
Ugradite ograničenja ovlasti i provjeru izlaza, ne oslanjajte se na prompt.
03
U testiranju
Protivnički testirajte prompt injection i pokušaje curenja podataka.
04
U radu
Nadzirite upite i odgovore te pratite potrošnju i sumnjive obrasce.
Jer LLM sustavi imaju rizike koje klasični web popis ne pokriva: ponašanje modela, ulaz u prirodnom jeziku i nedeterminizam. Poseban popis daje struci zajednički jezik za te rizike.
Je li OWASP popis za LLM obvezujući?+
Nije zakon ni certifikat, nego praktična referenca. Mnogi sigurnosni zahtjevi i procjene pozivaju se na njega, pa ga vrijedi koristiti kao osnovni kriterij kvalitete AI aplikacija.
Koji su rizici na vrhu popisa?+
Prompt injection, curenje osjetljivih podataka i nesiguran rad s izlazom modela među najvažnijima su. Svaki od njih traži kontrole u arhitekturi, ne samo bolji prompt.
Kako početi koristiti popis?+
Kao kontrolnu listu kroz cijeli životni ciklus: u dizajnu, razvoju, testiranju i radu. Za svaku kategoriju procijenite vrijedi li za vaš sustav i koje kontrole je pokrivaju.
Izvori
1OWASP. OWASP Top 10 for Large Language Model Applications. Open Worldwide Application Security Project, 2025. Poveznica
2NIST. AI Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023. Poveznica
Želite li ovakvu provjeru na vlastitim sustavima?
Naš tim definirat će opseg posla s vama u 30-minutnom razgovoru.
