Sigurnost AI sustava
AI agenti: sigurnosni rizici autonomnih sustava
15. lipnja 2026. · 8 min čitanja
EU AI Act, službeno Uredba (EU) 2024/1689 ili Akt o umjetnoj inteligenciji, postavlja obveze prema razini rizika AI sustava i vrijedi izravno u cijeloj Uniji. Najstroži zahtjevi, uključujući otpornost i kibernetičku sigurnost, vrijede za visokorizične sustave.
Na koga se odnosi. Na one koji razvijaju, uvode ili distribuiraju AI sustave u EU‑u, s najviše obveza za visokorizične sustave.
Dobavljači i korisnici AI sustava
Svi koji razvijaju, uvode ili distribuiraju AI sustave koji se koriste u Uniji.
Timovi s visokorizičnim sustavima
Ili oni koji još utvrđuju u koju razinu rizika njihovi sustavi spadaju.
AI u reguliranim proizvodima
Tvrtke koje AI ugrađuju u proizvode na koje se već primjenjuju propisi o sigurnosti proizvoda.
Što uredba traži od vas, u četiri dijela.
Za svaki sustav utvrđujete je li zabranjen, visokorizičan, ograničenog ili minimalnog rizika.
Upravljanje rizikom, upravljanje podacima i tehnička dokumentacija za visokorizične sustave.
Učinkovit ljudski nadzor i transparentnost prema korisnicima.
Točnost, otpornost i kibernetička sigurnost primjerene namjeni sustava, uključujući zaštitu od manipulacije ponašanjem modela.
Isporučujemo testiranja, kontrole i dokumentaciju. Ne djelujemo kao prijavljeno tijelo ni kao pravni savjetnik.
Popisujemo AI sustave u tvrtki i razvrstavamo ih prema zahtjevima uredbe.
Testiramo modele, agente i procese oko njih prema zahtjevima otpornosti i sigurnosti.
Projektiramo i provjeravamo kontrole koje ponašanje AI sustava drže u zadanim granicama.
Pripremamo dokumentaciju usklađenu s EU AI Actom i okvirom NIST AI RMF.
Obveze ovise o tome za što se AI sustav koristi, a ne o tehnologiji.
| Razina | Primjeri | Obveze |
|---|---|---|
| Neprihvatljiv rizik | Društveno bodovanje, manipulacija koja iskorištava ranjivosti, neciljano prikupljanje slika lica s interneta, prepoznavanje emocija na radnom mjestu i u školi, izrada intimnog sadržaja bez pristanka | Zabranjeno (članak 5.) |
| Visok rizik | AI u zapošljavanju, obrazovanju, procjeni kreditne sposobnosti, kritičnoj infrastrukturi i biometriji te AI kao sigurnosna komponenta proizvoda poput medicinskih uređaja | Upravljanje rizikom, dokumentacija, ljudski nadzor, otpornost i kibernetička sigurnost, ocjena sukladnosti |
| Ograničen rizik | Chatboti, sustavi koji stvaraju tekst, sliku, zvuk ili video, deepfake sadržaj | Transparentnost: korisnik mora znati da razgovara s AI-jem, a umjetno stvoren sadržaj mora biti označen (članak 50.) |
| Minimalan rizik | Filtri neželjene pošte, preporuke u video igrama | Nema posebnih obveza |
Isti model može biti u različitim razinama ovisno o namjeni. Chatbot za korisničku podršku ima obveze transparentnosti, a isti model koji rangira kandidate za posao postaje visokorizičan sustav.
Uredba se primjenjuje u fazama. Izmjene iz srpnja 2026. pomaknule su rokove za visokorizične sustave.
| Datum | Što se primjenjuje |
|---|---|
| 1. kolovoza 2024. | Uredba stupa na snagu |
| 2. veljače 2025. | Zabranjene prakse i obveza AI pismenosti zaposlenika |
| 2. kolovoza 2025. | Obveze za modele opće namjene, nadležna tijela i kazne |
| 2. kolovoza 2026. | Obveze transparentnosti iz članka 50. i većina ostalih odredbi. Generativni sustavi koji su na tržištu bili prije tog datuma označavaju sadržaj od 2. prosinca 2026. |
| 2. kolovoza 2027. | Modeli opće namjene koji su na tržištu bili prije 2. kolovoza 2025. |
| 2. prosinca 2027. | Samostalni visokorizični sustavi iz Priloga III., na primjer u zapošljavanju, obrazovanju i procjeni kreditne sposobnosti |
| 2. kolovoza 2028. | Visokorizični sustavi ugrađeni u proizvode iz Priloga I., na primjer u medicinske uređaje |
Rokove za visokorizične sustave pomaknula je Uredba (EU) 2026/1744, poznata kao Digital Omnibus o umjetnoj inteligenciji, objavljena u Službenom listu EU 24. srpnja 2026. Odgoda ne smanjuje zahtjeve, nego daje više vremena za pripremu. Ista izmjena dodala je nove zabranjene prakse i ublažila obvezu AI pismenosti: tvrtke moraju poduzeti mjere za razvoj pismenosti zaposlenika, umjesto da je jamče.
Zahtjevi iz članaka 9. do 15. odnose se na pružatelja, a korisnik ima vlastite obveze iz članka 26.
| Zahtjev | Članak | Što znači u praksi |
|---|---|---|
| Sustav upravljanja rizikom | 9. | Rizici se prepoznaju, procjenjuju i smanjuju kroz cijeli životni vijek sustava, uključujući testiranje |
| Podaci i upravljanje podacima | 10. | Podaci za učenje, provjeru i testiranje moraju biti relevantni, reprezentativni i provjereni na pristranost |
| Tehnička dokumentacija | 11. | Dokumentacija koja nadležnom tijelu pokazuje da sustav ispunjava zahtjeve |
| Bilježenje događaja | 12. | Sustav automatski bilježi događaje potrebne za praćenje i istragu |
| Transparentnost prema korisniku | 13. | Upute iz kojih korisnik razumije mogućnosti, ograničenja i pravilnu upotrebu sustava |
| Ljudski nadzor | 14. | Čovjek može razumjeti rad sustava, pratiti ga i zaustaviti |
| Točnost, otpornost i kibernetička sigurnost | 15. | Otpornost na pogreške i napade, uključujući trovanje podataka i modela, zavaravajuće ulaze i napade na povjerljivost |
Korisnik visokorizičnog sustava koristi ga prema uputama, osigurava ljudski nadzor, prati rad i čuva zapise koje sustav stvara. Javna tijela i korisnici koji AI koriste za procjenu kreditne sposobnosti ili cijene životnog i zdravstvenog osiguranja prije upotrebe provode i procjenu učinka na temeljna prava (članak 27.).
Zahtjev iz članka 15. provjeravamo testiranjem: kroz testiranje sigurnosti AI sustava napadamo model, agente i izvore podataka i dokumentiramo otpornost sustava.
| Uloga | Tko je to | Glavne obveze |
|---|---|---|
| Pružatelj | Tvrtka koja razvija AI sustav ili ga stavlja na tržište pod svojim imenom | Ispunjavanje zahtjeva za razinu rizika, dokumentacija, ocjena sukladnosti i registracija visokorizičnih sustava |
| Korisnik | Tvrtka koja AI sustav koristi u svom poslovanju | Upotreba prema uputama, ljudski nadzor, čuvanje zapisa i obavještavanje osoba na koje sustav utječe |
| Uvoznik i distributer | Tvrtka koja sustav uvozi ili prodaje na tržištu EU-a | Provjera da sustav ima potrebnu dokumentaciju i oznake |
Kad korisnik postaje pružatelj
Tvrtka koja visokorizični sustav stavi na tržište pod svojim imenom, bitno ga izmijeni ili mu promijeni namjenu tako da postane visokorizičan preuzima obveze pružatelja (članak 25.). Zato je popis AI sustava s ulogom tvrtke za svaki sustav prvi korak.
| Povreda | Najviša kazna |
|---|---|
| Zabranjene prakse | 35 milijuna eura ili 7 % ukupnog godišnjeg svjetskog prometa |
| Ostale obveze, uključujući visokorizične sustave i transparentnost | 15 milijuna eura ili 3 % prometa |
| Netočni ili obmanjujući podaci nadležnim tijelima | 7,5 milijuna eura ili 1 % prometa |
| Pružatelji modela opće namjene | 15 milijuna eura ili 3 % prometa, izriče ih Europska komisija |
Primjenjuje se viši od dva iznosa. Za mala i srednja poduzeća primjenjuje se niži iznos.
Uključite i alate koje zaposlenici koriste bez odobrenja IT-ja. Rizike takvih alata opisujemo u tekstu shadow AI.
Za svaki sustav utvrdite je li zabranjen, visokorizičan ili ima obveze transparentnosti te jeste li pružatelj ili korisnik.
Zabrane vrijede od veljače 2025., a označavanje chatbota i generiranog sadržaja od kolovoza 2026.
Do prosinca 2027. ili kolovoza 2028. uvedite upravljanje rizikom, dokumentaciju, bilježenje i ljudski nadzor.
Članak 15. traži otpornost na napade. Rezultati testa postaju dio tehničke dokumentacije.
EU AI Act ne zamjenjuje GDPR. Ako AI sustav obrađuje osobne podatke, vrijede oba propisa, uključujući sigurnost obrade iz članka 32. GDPR-a, opisanu na stranici GDPR usklađenost i sigurnost obrade. Pravna tumačenja i ocjenu sukladnosti ne provodimo: radimo popis i razvrstavanje sustava, testiranje i tehničku dokumentaciju.
Tri usluge koje pokrivaju pripremu za EU AI Act.
Ako vašeg pitanja nema ovdje, postavite ga inženjeru na uvodnom razgovoru.
Gotovo sigurno, ako razvijate, uvodite ili koristite AI sustave u Europskoj uniji. Obveze ovise o namjeni sustava i vašoj ulozi. Za većinu tvrtki koje AI samo koriste vrijede zabranjene prakse, AI pismenost i transparentnost, a znatno više obveza imaju pružatelji i korisnici visokorizičnih sustava.
Uredba je na snazi od 1. kolovoza 2024. i primjenjuje se u fazama: zabranjene prakse od 2. veljače 2025., obveze za modele opće namjene od 2. kolovoza 2025., a transparentnost od 2. kolovoza 2026. Visokorizični sustavi iz Priloga III. slijede od 2. prosinca 2027., a oni iz Priloga I. od 2. kolovoza 2028.
Jesu. Uredba (EU) 2026/1744, objavljena u Službenom listu EU 24. srpnja 2026., pomaknula je rok za samostalne visokorizične sustave na 2. prosinca 2027., a za sustave u reguliranim proizvodima na 2. kolovoza 2028. Obveze transparentnosti nisu odgođene i primjenjuju se od 2. kolovoza 2026.
Sustav koji se koristi u području navedenom u Prilogu III., poput zapošljavanja, obrazovanja, procjene kreditne sposobnosti, kritične infrastrukture ili biometrije, ili sustav koji je sigurnosna komponenta proizvoda iz Priloga I., poput medicinskog uređaja. Razina ovisi o namjeni, pa isti model može biti visokorizičan u jednoj primjeni, a u drugoj ne.
Za zabranjene prakse do 35 milijuna eura ili 7 % ukupnog godišnjeg svjetskog prometa, za ostale obveze do 15 milijuna eura ili 3 %, a za netočne podatke nadležnim tijelima do 7,5 milijuna eura ili 1 %. Primjenjuje se viši iznos, a za mala i srednja poduzeća niži.
Imate manje obveza, ali ne nijednu. Morate poduzeti mjere za AI pismenost zaposlenika i ne smijete koristiti AI za zabranjene prakse. Ako chatbot stavite pred korisnike ili objavljujete umjetno stvoren sadržaj, vrijede obveze transparentnosti. Ako AI koristite za odluke o zapošljavanju, postajete korisnik visokorizičnog sustava.
Za visokorizične sustave: sustav upravljanja rizikom, kvalitetne i provjerene podatke, tehničku dokumentaciju, automatsko bilježenje događaja, upute za korisnike, ljudski nadzor te točnost, otpornost i kibernetičku sigurnost. Te zahtjeve pretvaramo u konkretne zadatke za razvojni tim i provjeravamo ih testiranjem.
Izravno. Članak 15. traži otpornost visokorizičnih sustava na napade poput trovanja podataka, zavaravajućih ulaza i napada na povjerljivost, a članak 55. adversarijalno testiranje modela opće namjene sa sistemskim rizikom. Izvještaj testa s ponovnim testom postaje dio tehničke dokumentacije i dokaz spremnosti.
Recite nam što trebate zaštititi. Odgovaramo u roku jednog radnog dana.
Napišete nam što trebate. Odgovaramo u roku jednog radnog dana.
30 minuta o vašim sustavima i potrebama.
Opseg, rok i cijena u roku od 48 sati.