Sigurnost AI sustava
AI prijetnje za tvrtke: kako napadači koriste umjetnu inteligenciju
15. lipnja 2026. · 9 min čitanja
Testiranje sigurnosti AI sustava provjerava mogu li napadači preko chatbota, AI agenata ili izvora podataka doći do podataka i radnji do kojih ne smiju. Testiramo LLM aplikacije, agente, RAG sustave i zaštitne mehanizme.

Testiramo cijeli sustav, ne samo model: alate koje agent koristi, izvore podataka i ovlasti. Za svaki nalaz dajemo konkretan ispravak.
Cijeli sustav, ne samo model
Testiramo agente, alate, RAG i aplikaciju oko modela.
Kontrole izvan prompta
Ograničene ovlasti alata, provjera izlaza i bilježenje aktivnosti.
Ponovni test uključen
Nakon uvođenja kontrola ponavljamo test i pisano potvrđujemo rezultat.
Svaku stavku možete naručiti zasebno ili ih spojiti u jedan projekt.
Testiranje ponašanja modela: jailbreak tehnike, štetni odgovori i zaobilaženje ograničenja.
Izravno i neizravno ubacivanje uputa kroz poruke, dokumente i izvore podataka.
Provjeravamo može li napadač navesti agenta da izvrši radnju koju ne smije.
Provjera RAG sustava na curenje podataka, trovanje izvora i manipulaciju kontekstom.
Pomažemo dizajnirati i provjeriti kontrole koje ograničavaju ponašanje AI sustava.
Pravila korištenja AI‑ja usklađena s NIST AI RMF‑om i EU AI Actom.
Naše istraživanje o sigurnosti AI agenata i MCP‑a.Napadna površina MCP‑a i AI agenata
Četiri faze, od mapiranja sustava do ponovnog testa.
Dokumentiramo modele, agente, izvore podataka i granice povjerenja među njima.
Provodimo prompt injection, zlouporabu alata i druge napade na sustav koji radi.
Provjeravamo zaustavljaju li postojeće kontrole napade.
Predajemo ispravke i preporuke, a nakon uvođenja kontrola radimo ponovni test.
OWASP vodi popis deset najvažnijih rizika aplikacija s velikim jezičnim modelima. Svaki rizik testiramo na vašem sustavu.
| Rizik | Primjer napada | Kako testiramo |
|---|---|---|
| LLM01 Prompt injection | Uputa skrivena u e-poruci ili dokumentu navede asistenta da proslijedi podatke napadaču | Izravno i neizravno ubacivanje uputa kroz poruke, dokumente, web stranice i odgovore alata |
| LLM02 Otkrivanje osjetljivih informacija | Chatbot otkrije podatke drugog korisnika ili interni dokument | Pokušaji izvlačenja podataka drugih korisnika i dokumenata izvan ovlasti |
| LLM03 Lanac opskrbe | Kompromitiran model, dodatak ili biblioteka iz javnog repozitorija | Pregled izvora modela, dodataka i ovisnosti |
| LLM04 Trovanje podataka i modela | Zlonamjeran dokument u bazi znanja mijenja odgovore sustava | Ubacivanje zatrovanih dokumenata u izvore koje sustav koristi, uz vaš dogovor |
| LLM05 Nesigurno postupanje s izlazom | Odgovor modela izvrši se kao kod u pregledniku ili kao upit nad bazom | Provjera kako aplikacija obrađuje izlaz modela |
| LLM06 Prekomjerna autonomija | Agent s pravom slanja e-pošte i brisanja datoteka izvrši radnju koju je zatražio napadač | Navođenje agenta na radnje izvan namjene i provjera ovlasti svakog alata |
| LLM07 Curenje sistemskog prompta | Napadač izvuče sistemski prompt s internim pravilima ili ključem za API | Pokušaji izvlačenja uputa i provjera ima li u njima tajni |
| LLM08 Slabosti vektora i ugradnji | Pretraga u RAG sustavu vrati dokumente drugog odjela ili drugog klijenta | Provjera kontrole pristupa na razini dokumenata u bazi vektora |
| LLM09 Dezinformacije | Asistent izmisli uvjete ugovora koje korisnik shvati kao istinite | Provjera ponašanja u kritičnim scenarijima i oslanjanja na izvore |
| LLM10 Neograničena potrošnja | Automatizirani upiti stvore velik trošak ili preopterete servis | Provjera ograničenja upita, duljine konteksta i troška po korisniku |
Za AI agente dodajemo rizike iz OWASP Top 10 za agentne aplikacije (2026), poput zlouporabe alata, preširokih ovlasti agenata i trovanja memorije. Pregled svih deset LLM rizika na hrvatskom donosimo u tekstu OWASP Top 10 za LLM aplikacije.
Model ne razlikuje vaše upute od teksta koji je pročitao. Zato se zaštita gradi oko modela, a ne u promptu.
Asistent koji čita e-poštu, dokumente ili web stranice obrađuje i tekst koji je napisao napadač. Uputa skrivena u tom tekstu, na primjer u bijelom tekstu na bijeloj pozadini, za model ima istu težinu kao vaš sistemski prompt. Dodatna rečenica u promptu, poput zabrane otkrivanja podataka, smanjuje broj uspješnih napada, ali ih ne zaustavlja. Detaljnije objašnjenje nalazi se u tekstu prompt injection i sistemski prompt.
Pravilo koje primjenjujemo
Pretpostavite da će napadač prije ili kasnije upravljati modelom. Sigurnost sustava tada ovisi o tome što model smije učiniti, a ne o tome što mu je rečeno da ne čini.
Agent ne samo da odgovara, nego i djeluje. Svaki alat koji mu date proširuje napadnu površinu.
| Dio sustava | Što provjeravamo |
|---|---|
| AI agent | Može li sadržaj koji agent pročita promijeniti njegov cilj i navesti ga na radnju izvan namjene |
| Alati i ovlasti | Koje radnje svaki alat smije izvršiti, s kojim pravima i tko ih odobrava |
| RAG i baza znanja | Vidi li korisnik kroz pretragu samo dokumente koje smije vidjeti i može li netko zatrovati izvore |
| MCP poslužitelji | Kako čuvaju tokene i tajne, odvajaju li korisnike i provjeravaju li opise alata koje agent dobiva |
| Memorija agenta | Može li napadač upisati uputu u memoriju koja kasnije utječe na druge razgovore |
Napadnu površinu MCP-a i AI agenata detaljno smo analizirali u istraživanju MCP and AI agent attack surface, objavljenom na engleskom jeziku. Rizike agenata na hrvatskom opisujemo u tekstovima sigurnost AI agenata i sigurnost LLM i RAG aplikacija.
Većina projekata traje od dva do četiri tjedna, ovisno o broju aplikacija, agenata i alata. Pisanu ponudu šaljemo u roku od 48 sati nakon uvodnog razgovora. Ako AI funkcija radi unutar postojeće aplikacije, test možemo spojiti s pentestom web aplikacije.
EU AI Act izričito traži otpornost AI sustava na napade, a ostali propisi vrijede i za AI.
| Propis | Što traži | Kako pomaže test |
|---|---|---|
| EU AI Act: članak 15. | Visokorizični AI sustavi moraju biti otporni na pokušaje zlouporabe, uključujući trovanje podataka i modela, zavaravajuće ulaze i napade na povjerljivost | Pokazuje koliko je sustav otporan i daje dokaz za tehničku dokumentaciju |
| EU AI Act: članak 55. | Adversarijalno testiranje modela opće namjene sa sistemskim rizikom | Izvještaj testa s ponovljivim napadima i ponovnim testom |
| GDPR: članci 32. i 35. | Mjere primjerene riziku i procjenu učinka kad AI obrađuje osobne podatke | Pronalazi putove kojima osobni podaci cure kroz model ili bazu znanja |
| NIS2: Zakon o kibernetičkoj sigurnosti, članak 30. | Iste mjere upravljanja rizicima vrijede i za AI sustave, uključujući kontrolu pristupa i otklanjanje ranjivosti | Dokazuje da su AI sustavi uključeni u procjenu djelotvornosti mjera |
Svaki projekt završava izvještajima za upravu i tehnički tim.
Ako vašeg pitanja nema ovdje, postavite ga inženjeru na uvodnom razgovoru.
Prvo mapiramo modele, agente, alate, izvore podataka i ovlasti. Zatim sustav napadamo tehnikama iz OWASP Top 10 za LLM aplikacije: prompt injection, izvlačenje podataka, zlouporaba alata i trovanje izvora. Za svaki nalaz dajemo ponovljiv primjer napada i ispravak na razini arhitekture, a ne samo prompta.
AI red teaming je testiranje AI sustava iz perspektive napadača. Pokušavamo navesti model ili agenta da otkrije podatke, zaobiđe ograničenja ili izvrši radnju koju ne smije. Razlika od klasičnog penetracijskog testa je u tome što napadamo i ponašanje modela, a ne samo aplikaciju i infrastrukturu oko njega.
Ne. Model obrađuje nepouzdan tekst iz e-pošte, dokumenata ili web stranica s istim povjerenjem kao vaše upute, pa ga dobro sročen napad uvijek može nadjačati. Učinkovite kontrole su izvan prompta: najmanje ovlasti za alate, odobrenje čovjeka za osjetljive radnje, provjera izlaza i bilježenje svih poziva alata.
Cijelu aplikaciju. Najozbiljniji nalazi rijetko su u samom modelu, nego u onome što mu je dopušteno: koje dokumente vidi, koje alate može pozvati i s kojim ovlastima. Zato testiramo dohvat podataka, alate, ovlasti agenata i način na koji aplikacija obrađuje odgovor modela.
Da. Provjeravamo može li sadržaj koji agent pročita promijeniti njegov cilj, koje ovlasti imaju alati i tko odobrava radnje, te kako MCP poslužitelji čuvaju tokene i odvajaju korisnike. Napadnu površinu MCP-a i AI agenata opisali smo u našem istraživanju na engleskom jeziku.
Tuđe modele ne testiramo bez dopuštenja pružatelja, ali testiramo vašu primjenu. Provjeravamo koje dokumente i podatke asistent može dohvatiti, vide li zaposlenici preko njega više nego što smiju i može li ga sadržaj iz e-pošte ili dokumenta navesti na neželjenu radnju.
Većina projekata traje od dva do četiri tjedna. Cijena ovisi o broju aplikacija, agenata i povezanih alata te o tome testiramo li i izvore podataka. Pisanu ponudu šaljemo u roku od 48 sati nakon uvodnog razgovora. Ponovni test nakon uvođenja kontrola uključen je u cijenu.
Članak 15. EU AI Acta traži da visokorizični AI sustavi budu otporni na pokušaje zlouporabe, uključujući trovanje podataka, napade na model i povjerljivost. Članak 55. traži adversarijalno testiranje modela opće namjene sa sistemskim rizikom. Izvještaj testa s ponovnim testom možete koristiti kao dokaz tih aktivnosti.
Sigurnost AI sustava
15. lipnja 2026. · 9 min čitanja
Sigurnost AI sustava
15. lipnja 2026. · 8 min čitanja
Sigurnost AI sustava
15. lipnja 2026. · 8 min čitanja
Recite nam što trebate zaštititi. Odgovaramo u roku jednog radnog dana.
Napišete nam što trebate. Odgovaramo u roku jednog radnog dana.
30 minuta o vašim sustavima i potrebama.
Opseg, rok i cijena u roku od 48 sati.