Prijeđi na sadržaj

Sigurnost AI sustava

Testiranje sigurnosti AI sustava provjerava mogu li napadači preko chatbota, AI agenata ili izvora podataka doći do podataka i radnji do kojih ne smiju. Testiramo LLM aplikacije, agente, RAG sustave i zaštitne mehanizme.

Prolaz u podatkovnom centru
Trajanje
2 do 4 tjedna
Oblik suradnje
Jednokratno ili godišnji ugovor
Okvir
OWASP Top 10 za LLM (2025)
Rezultat
Nalazi, ispravci i ponovni test

Testiramo cijeli sustav, ne samo model: alate koje agent koristi, izvore podataka i ovlasti. Za svaki nalaz dajemo konkretan ispravak.

  • Cijeli sustav, ne samo model

    Testiramo agente, alate, RAG i aplikaciju oko modela.

  • Kontrole izvan prompta

    Ograničene ovlasti alata, provjera izlaza i bilježenje aktivnosti.

  • Ponovni test uključen

    Nakon uvođenja kontrola ponavljamo test i pisano potvrđujemo rezultat.

Što usluga obuhvaća

Svaku stavku možete naručiti zasebno ili ih spojiti u jedan projekt.

  • AI red teaming

    Testiranje ponašanja modela: jailbreak tehnike, štetni odgovori i zaobilaženje ograničenja.

  • Testiranje na prompt injection

    Izravno i neizravno ubacivanje uputa kroz poruke, dokumente i izvore podataka.

  • Sigurnost AI agenata i alata

    Provjeravamo može li napadač navesti agenta da izvrši radnju koju ne smije.

  • Procjena RAG arhitekture

    Provjera RAG sustava na curenje podataka, trovanje izvora i manipulaciju kontekstom.

  • Zaštitni mehanizmi (guardrails)

    Pomažemo dizajnirati i provjeriti kontrole koje ograničavaju ponašanje AI sustava.

  • Politike i upravljanje AI‑jem

    Pravila korištenja AI‑ja usklađena s NIST AI RMF‑om i EU AI Actom.

Kako radimo

Četiri faze, od mapiranja sustava do ponovnog testa.

  1. Mapiranje sustava

    Dokumentiramo modele, agente, izvore podataka i granice povjerenja među njima.

  2. Testiranje napadima

    Provodimo prompt injection, zlouporabu alata i druge napade na sustav koji radi.

  3. Provjera zaštite

    Provjeravamo zaustavljaju li postojeće kontrole napade.

  4. Izvještaj i ponovni test

    Predajemo ispravke i preporuke, a nakon uvođenja kontrola radimo ponovni test.

Što testiramo: OWASP Top 10 za LLM aplikacije (2025)

OWASP vodi popis deset najvažnijih rizika aplikacija s velikim jezičnim modelima. Svaki rizik testiramo na vašem sustavu.

RizikPrimjer napadaKako testiramo
LLM01 Prompt injectionUputa skrivena u e-poruci ili dokumentu navede asistenta da proslijedi podatke napadačuIzravno i neizravno ubacivanje uputa kroz poruke, dokumente, web stranice i odgovore alata
LLM02 Otkrivanje osjetljivih informacijaChatbot otkrije podatke drugog korisnika ili interni dokumentPokušaji izvlačenja podataka drugih korisnika i dokumenata izvan ovlasti
LLM03 Lanac opskrbeKompromitiran model, dodatak ili biblioteka iz javnog repozitorijaPregled izvora modela, dodataka i ovisnosti
LLM04 Trovanje podataka i modelaZlonamjeran dokument u bazi znanja mijenja odgovore sustavaUbacivanje zatrovanih dokumenata u izvore koje sustav koristi, uz vaš dogovor
LLM05 Nesigurno postupanje s izlazomOdgovor modela izvrši se kao kod u pregledniku ili kao upit nad bazomProvjera kako aplikacija obrađuje izlaz modela
LLM06 Prekomjerna autonomijaAgent s pravom slanja e-pošte i brisanja datoteka izvrši radnju koju je zatražio napadačNavođenje agenta na radnje izvan namjene i provjera ovlasti svakog alata
LLM07 Curenje sistemskog promptaNapadač izvuče sistemski prompt s internim pravilima ili ključem za APIPokušaji izvlačenja uputa i provjera ima li u njima tajni
LLM08 Slabosti vektora i ugradnjiPretraga u RAG sustavu vrati dokumente drugog odjela ili drugog klijentaProvjera kontrole pristupa na razini dokumenata u bazi vektora
LLM09 DezinformacijeAsistent izmisli uvjete ugovora koje korisnik shvati kao istiniteProvjera ponašanja u kritičnim scenarijima i oslanjanja na izvore
LLM10 Neograničena potrošnjaAutomatizirani upiti stvore velik trošak ili preopterete servisProvjera ograničenja upita, duljine konteksta i troška po korisniku
OWASP Top 10 za LLM aplikacije (2025) i kako ga testiramo

Za AI agente dodajemo rizike iz OWASP Top 10 za agentne aplikacije (2026), poput zlouporabe alata, preširokih ovlasti agenata i trovanja memorije. Pregled svih deset LLM rizika na hrvatskom donosimo u tekstu OWASP Top 10 za LLM aplikacije.

Zašto prompt injection ne rješava bolji prompt

Model ne razlikuje vaše upute od teksta koji je pročitao. Zato se zaštita gradi oko modela, a ne u promptu.

Asistent koji čita e-poštu, dokumente ili web stranice obrađuje i tekst koji je napisao napadač. Uputa skrivena u tom tekstu, na primjer u bijelom tekstu na bijeloj pozadini, za model ima istu težinu kao vaš sistemski prompt. Dodatna rečenica u promptu, poput zabrane otkrivanja podataka, smanjuje broj uspješnih napada, ali ih ne zaustavlja. Detaljnije objašnjenje nalazi se u tekstu prompt injection i sistemski prompt.

  • Najmanje ovlasti za svaki alat: agent koji čita kalendar ne treba pravo slanja e-pošte.
  • Odobrenje čovjeka za osjetljive radnje, poput plaćanja, slanja podataka van tvrtke ili brisanja.
  • Kontrola pristupa na razini podataka: model smije dohvatiti samo dokumente koje smije vidjeti i korisnik.
  • Provjera izlaza prije nego što ga aplikacija prikaže, izvrši ili proslijedi.
  • Bilježenje svih poziva alata, kako bi se zlouporaba mogla otkriti i istražiti.

Pravilo koje primjenjujemo

Pretpostavite da će napadač prije ili kasnije upravljati modelom. Sigurnost sustava tada ovisi o tome što model smije učiniti, a ne o tome što mu je rečeno da ne čini.

AI agenti, RAG i MCP poslužitelji

Agent ne samo da odgovara, nego i djeluje. Svaki alat koji mu date proširuje napadnu površinu.

Dio sustavaŠto provjeravamo
AI agentMože li sadržaj koji agent pročita promijeniti njegov cilj i navesti ga na radnju izvan namjene
Alati i ovlastiKoje radnje svaki alat smije izvršiti, s kojim pravima i tko ih odobrava
RAG i baza znanjaVidi li korisnik kroz pretragu samo dokumente koje smije vidjeti i može li netko zatrovati izvore
MCP poslužiteljiKako čuvaju tokene i tajne, odvajaju li korisnike i provjeravaju li opise alata koje agent dobiva
Memorija agentaMože li napadač upisati uputu u memoriju koja kasnije utječe na druge razgovore
Što provjeravamo kod agenata, RAG sustava i MCP poslužitelja

Napadnu površinu MCP-a i AI agenata detaljno smo analizirali u istraživanju MCP and AI agent attack surface, objavljenom na engleskom jeziku. Rizike agenata na hrvatskom opisujemo u tekstovima sigurnost AI agenata i sigurnost LLM i RAG aplikacija.

Što trebamo od vas i koliko test traje

  • Pristup aplikaciji ili testnom okruženju, s računima za svaku korisničku ulogu.
  • Opis sustava: koje modele koristite, koje alate agent može pozvati, koje izvore podataka čita i s kojim ovlastima.
  • Sistemski prompt i postavke zaštitnih mehanizama, ako želite dublji test. Tada nalaze možemo povezati s konkretnim uzrokom.
  • Dogovor o granicama, na primjer da agent tijekom testa ne šalje stvarne poruke izvan tvrtke.
  • Kontakt osobu iz tima koji razvija ili održava sustav.

Većina projekata traje od dva do četiri tjedna, ovisno o broju aplikacija, agenata i alata. Pisanu ponudu šaljemo u roku od 48 sati nakon uvodnog razgovora. Ako AI funkcija radi unutar postojeće aplikacije, test možemo spojiti s pentestom web aplikacije.

Sigurnost AI sustava i propisi

EU AI Act izričito traži otpornost AI sustava na napade, a ostali propisi vrijede i za AI.

PropisŠto tražiKako pomaže test
EU AI Act: članak 15.Visokorizični AI sustavi moraju biti otporni na pokušaje zlouporabe, uključujući trovanje podataka i modela, zavaravajuće ulaze i napade na povjerljivostPokazuje koliko je sustav otporan i daje dokaz za tehničku dokumentaciju
EU AI Act: članak 55.Adversarijalno testiranje modela opće namjene sa sistemskim rizikomIzvještaj testa s ponovljivim napadima i ponovnim testom
GDPR: članci 32. i 35.Mjere primjerene riziku i procjenu učinka kad AI obrađuje osobne podatkePronalazi putove kojima osobni podaci cure kroz model ili bazu znanja
NIS2: Zakon o kibernetičkoj sigurnosti, članak 30.Iste mjere upravljanja rizicima vrijede i za AI sustave, uključujući kontrolu pristupa i otklanjanje ranjivostiDokazuje da su AI sustavi uključeni u procjenu djelotvornosti mjera
Što propisi traže za sigurnost AI sustava

Što dobivate

Svaki projekt završava izvještajima za upravu i tehnički tim.

  • Nalazi s ponovljivim primjerima napada

  • Analiza zlouporabe agenata i alata

  • Preporuke za zaštitne mehanizme

  • Smjernice za upravljanje AI rizicima

  • Ponovni test nakon uvođenja kontrola

Česta pitanja

Ako vašeg pitanja nema ovdje, postavite ga inženjeru na uvodnom razgovoru.

Kako se testira sigurnost AI sustava?

Prvo mapiramo modele, agente, alate, izvore podataka i ovlasti. Zatim sustav napadamo tehnikama iz OWASP Top 10 za LLM aplikacije: prompt injection, izvlačenje podataka, zlouporaba alata i trovanje izvora. Za svaki nalaz dajemo ponovljiv primjer napada i ispravak na razini arhitekture, a ne samo prompta.

Što je AI red teaming?

AI red teaming je testiranje AI sustava iz perspektive napadača. Pokušavamo navesti model ili agenta da otkrije podatke, zaobiđe ograničenja ili izvrši radnju koju ne smije. Razlika od klasičnog penetracijskog testa je u tome što napadamo i ponašanje modela, a ne samo aplikaciju i infrastrukturu oko njega.

Može li se prompt injection riješiti boljim sistemskim promptom?

Ne. Model obrađuje nepouzdan tekst iz e-pošte, dokumenata ili web stranica s istim povjerenjem kao vaše upute, pa ga dobro sročen napad uvijek može nadjačati. Učinkovite kontrole su izvan prompta: najmanje ovlasti za alate, odobrenje čovjeka za osjetljive radnje, provjera izlaza i bilježenje svih poziva alata.

Testirate li samo model ili cijelu aplikaciju?

Cijelu aplikaciju. Najozbiljniji nalazi rijetko su u samom modelu, nego u onome što mu je dopušteno: koje dokumente vidi, koje alate može pozvati i s kojim ovlastima. Zato testiramo dohvat podataka, alate, ovlasti agenata i način na koji aplikacija obrađuje odgovor modela.

Testirate li AI agente i MCP poslužitelje?

Da. Provjeravamo može li sadržaj koji agent pročita promijeniti njegov cilj, koje ovlasti imaju alati i tko odobrava radnje, te kako MCP poslužitelji čuvaju tokene i odvajaju korisnike. Napadnu površinu MCP-a i AI agenata opisali smo u našem istraživanju na engleskom jeziku.

Testirate li Microsoft Copilot ili ChatGPT koje koristimo?

Tuđe modele ne testiramo bez dopuštenja pružatelja, ali testiramo vašu primjenu. Provjeravamo koje dokumente i podatke asistent može dohvatiti, vide li zaposlenici preko njega više nego što smiju i može li ga sadržaj iz e-pošte ili dokumenta navesti na neželjenu radnju.

Koliko traje i koliko košta testiranje AI sustava?

Većina projekata traje od dva do četiri tjedna. Cijena ovisi o broju aplikacija, agenata i povezanih alata te o tome testiramo li i izvore podataka. Pisanu ponudu šaljemo u roku od 48 sati nakon uvodnog razgovora. Ponovni test nakon uvođenja kontrola uključen je u cijenu.

Kako je testiranje povezano s EU AI Actom?

Članak 15. EU AI Acta traži da visokorizični AI sustavi budu otporni na pokušaje zlouporabe, uključujući trovanje podataka, napade na model i povjerljivost. Članak 55. traži adversarijalno testiranje modela opće namjene sa sistemskim rizikom. Izvještaj testa s ponovnim testom možete koristiti kao dokaz tih aktivnosti.

Kontaktirajte nas

Recite nam što trebate zaštititi. Odgovaramo u roku jednog radnog dana.

Što slijedi

  1. Poruka

    Napišete nam što trebate. Odgovaramo u roku jednog radnog dana.

  2. Razgovor

    30 minuta o vašim sustavima i potrebama.

  3. Ponuda

    Opseg, rok i cijena u roku od 48 sati.