AI prijetnje za tvrtke: kako napadači koriste umjetnu inteligenciju

Umjetna inteligencija mijenja krajolik prijetnji za tvrtke s dvije strane istovremeno, pa je korisno odvojiti ih od početka. Na jednoj strani napadači koriste AI kao alat: pišu uvjerljiviji phishing na hrvatskom, kloniraju glas i lice rukovoditelja za prijevaru, brže pišu zlonamjerni kod i automatiziraju izviđanje meta. Na drugoj strani vaši vlastiti AI sustavi postaju nova meta: jezični modeli, asistenti i agenti koje uvodite u poslovanje mogu se zloupotrijebiti kroz injekciju prompta, mogu procuriti povjerljive podatke ili mogu izvršiti radnje koje napadač potajno usmjeri. Za reguliranu hrvatsku tvrtku to znači da AI nije samo prilika za produktivnost, nego i kategorija rizika koju treba mjeriti i njome upravljati.

Važno je odmah postaviti realnu mjeru. AI ne stvara potpuno nove vrste napada koliko snižava trošak i podiže razinu starih. Phishing, prijevara s lažnim nalogom za plaćanje i krađa podataka postoje godinama. AI ih čini jeftinijima, bržima i uvjerljivijima, pa stara obrana koja se oslanjala na prepoznavanje loše napisanih poruka ili stranog naglaska više ne drži. Za tvrtke u financijama, zdravstvu, kritičnoj infrastrukturi i SaaS-u to je dovoljan razlog da AI rizik uđu u redovni registar rizika, uz već poznate prijetnje. Ovaj tekst daje pregled obiju strana, konkretne mjere obrane i vezu s regulativom, bez pretjerivanja u oba smjera.

AI kao alat napadača

Prva strana rizika ne ovisi o tome koristite li vi AI. Napadači ga koriste protiv vas u svakom slučaju. Generativni modeli pisanje uvjerljivih poruka na hrvatskom svode na nekoliko sekundi, pa jezične i gramatičke pogreške koje su nekad odavale prijevaru gotovo nestaju. Isti modeli omogućuju prilagodbu svake poruke pojedinoj meti, na temelju javno dostupnih podataka s mreže i društvenih platformi, što ranije nije bilo isplativo u velikom broju.

Tehnologija kloniranja glasa i videa dodatno mijenja igru. Napadaču je dovoljno nekoliko sekundi snimke glasa, koju lako nađe u javnom nastupu ili webinaru, da generira uvjerljiv lažni poziv direktora. Deepfake video u stvarnom vremenu već se koristi za lažne sastanke na kojima napadač glumi člana uprave i traži hitnu uplatu. Cilj je gotovo uvijek isti: navesti zaposlenika da izvrši plaćanje ili otkrije pristup, prije nego stigne provjeriti zahtjev kroz uobičajeni kanal.

• Uvjerljiviji phishing i spear phishing, gdje AI piše besprijekoran hrvatski i prilagođava poruku svakoj meti, o čemu detaljno pišemo u tekstu o phishingu i socijalnom inženjeringu.
• Deepfake glasa i videa, gdje napadač klonira glas ili lice rukovoditelja kako bi odobrio lažnu uplatu ili zahtjev za pristup.
• Ubrzano pisanje i prilagodba zlonamjernog koda, gdje modeli pomažu napadaču da brže generira i mijenja varijante malwarea kako bi izbjegao detekciju.
• Automatizirano izviđanje, gdje AI prikuplja i povezuje podatke o tvrtki, zaposlenicima i tehnologiji te predlaže najslabije točke za ulaz.
• Generiranje lažnih stranica i sadržaja u razmjeru, od kopija prijavnih portala do prilagođenih poruka za svaki odjel.

Ovo nije nagađanje o budućnosti. Procjena prijetnji agencije ENISA phishing i socijalni inženjering svrstava među vodeće i najustrajnije oblike napada, a porast pristupačnih AI alata izravno povećava njihovu kvalitetu i opseg.¹ Praktična posljedica je jasna. Obrana se više ne može oslanjati na to da će zaposlenik prepoznati sumnjivu poruku po pogreškama. Mora se oslanjati na postupke i tehničke kontrole koji vrijede i kad je poruka savršena.

Prijevara s lažnim nalogom za plaćanje

Najskuplji oblik napada potpomognutog AI-jem za hrvatske tvrtke nije složeni proboj sustava, nego prijevara s poslovnom e-poštom i lažnim nalogom za plaćanje. Napadač se predstavlja kao direktor, dobavljač ili partner i traži uplatu na novi račun. AI taj scenarij čini opasnijim jer dodaje uvjerljiv glas u telefonskom pozivu ili video u kratkom sastanku, čime potvrđuje lažni e-mail i uklanja posljednju sumnju zaposlenika.

Obrana od ove prijetnje gotovo je u potpunosti proceduralna, ne tehnička. Nijedan filtar e-pošte ne zaustavlja zahtjev koji dolazi kroz savršeno kloniran glas. Zaustavlja ga pravilo da se svaka promjena bankovnog računa i svaka neuobičajena uplata potvrđuje drugim, neovisnim kanalom, prema unaprijed poznatom kontaktu, a ne broju iz dolazne poruke. Više o mehanici ovog napada pišemo u tekstu o prijevari s poslovnom e-poštom.

1. 01
   Definirajte prag za obveznu provjeru

   Odredite iznos i tip transakcije iznad kojih je provjera drugim kanalom obavezna, bez iznimke, uključujući promjenu bankovnog računa dobavljača.
2. 02
   Koristite neovisni kanal

   Potvrdu tražite pozivom na unaprijed poznati broj ili kroz odvojeni sustav, nikad odgovorom na istu poruku ili pozivom na broj iz nje.
3. 03
   Uvedite princip četiri oka

   Velike uplate moraju odobriti dvije osobe, tako da pritisak na jednog zaposlenika nije dovoljan za prolaz transakcije.
4. 04
   Uklonite hitnost kao izgovor

   Naučite tim da je upravo zahtjev za hitnošću i tajnošću najjači signal prijevare, a ne razlog za preskakanje provjere.
5. 05
   Vježbajte scenarij

   Provedite simulacije i edukaciju o deepfakeovima kako bi tim prepoznao da glas i video više nisu dokaz identiteta.

AI kao nova meta: vaši vlastiti sustavi

Druga strana rizika nastaje kad sami uvodite AI. Čim u proizvod ili interni proces ugradite jezični model, asistenta ili agenta, taj sustav postaje meta. Razlog je u prirodi modela. On ne razlikuje pouzdanu uputu razvojnog tima od zlonamjernog teksta koji stigne kroz korisnički unos, dokument ili web stranicu koju obrađuje. Sav tekst za njega je potencijalna naredba.

Najpoznatija prijetnja je injekcija prompta, gdje napadač tekstom preusmjeri ponašanje sustava. Može to učiniti izravno, kroz unos, ili neizravno, sakrivanjem uputa u dokument ili stranicu koju model kasnije dohvati. Kad model uz to ima i ovlasti da djeluje, da šalje e-poštu, mijenja podatke ili poziva druge sustave, manipuliran model postaje manipuliran izvršitelj. Tu injekcija prompta prestaje biti problem teksta i postaje problem stvarnih radnji. Ovu temu razrađujemo u tekstu o sigurnosti AI sustava i injekciji prompta te kroz OWASP popis deset glavnih rizika za LLM aplikacije.

• Injekcija prompta, izravna kroz korisnički unos ili neizravna kroz dokumente i web sadržaj koji model obrađuje.
• Curenje podataka, gdje model otkrije povjerljive podatke, tajne ili sadržaj drugih korisnika kroz svoje odgovore.
• Zlouporaba ovlasti agenata, gdje model koji može izvršavati radnje postane opasan ako ga napadač uspije usmjeriti.
• Trovanje podataka i modela, gdje napadač iskvari podatke za treniranje ili dohvat kako bi trajno promijenio ponašanje sustava.
• Zaobilaženje zaštita, gdje napadač navede model da učini ono što su sigurnosne kontrole trebale spriječiti.

Kad model može djelovati, manipuliran model postaje manipuliran izvršitelj. Injekcija prompta tada prestaje biti problem teksta i postaje problem radnji.

Shadow AI: ono što ne vidite

Posebna kategorija rizika nastaje kad zaposlenici koriste AI alate bez znanja i odobrenja tvrtke. To je shadow AI, AI inačica skrivenog IT-a. Marketing lijepi nacrt ugovora u javni alat radi sažetka, developer šalje izvorni kod vanjskom asistentu radi pregleda, financije ubacuju tablicu s podacima u besplatni chatbot. Povjerljivi podaci tako završe u sustavima koje nitko nije procijenio, često bez ikakvog traga i izvan kontrole tvrtke.

Rješenje nije zabrana, jer zabrana samo gura korištenje dublje u sjenu. Rješenje je ponuda odobrenih i sigurnih alata, jasna pravila što se smije unositi, klasifikacija podataka i nadzor korištenja. Tvrtka ne može zaštititi AI za koji ne zna da ga koristi, pa je prvi korak uvijek popis stvarnog korištenja. Cijelu problematiku razrađujemo u tekstu o shadow AI-u u organizaciji.

Tablica: prijetnja, pojačanje AI-jem i obrana

Sljedeća tablica povezuje glavne prijetnje s načinom na koji ih AI pojačava i s mjerom obrane koja stvarno djeluje. Cilj je vidjeti da svaka prijetnja ima konkretan, izvediv odgovor, a ne samo opću zabrinutost.

Što tvrtke konkretno trebaju napraviti

Obrana od AI prijetnji spaja tri smjera: obranu od napada potpomognutih AI-jem, sigurnost vlastitih AI sustava i upravljanje korištenjem AI-a u organizaciji. Nijedan smjer sam nije dovoljan. Tvrtka koja samo testira svoj model, a ne educira ljude o deepfakeovima, i dalje gubi novac na lažnom nalogu za plaćanje.

• Educirajte zaposlenike o deepfakeovima i o tome da glas i video više nisu dokaz identiteta, kroz redovite i konkretne vježbe.
• Uvedite postupke provjere plaćanja drugim kanalom i princip četiri oka za sve osjetljive transakcije.
• Testirajte vlastite AI sustave prije i nakon uvođenja, kroz protivničko testiranje koje otkriva injekciju prompta i druge slabosti prije napadača.
• Ograničite ovlasti i pristup AI agenata, tako da manipulacija samog modela ne može izazvati veliku štetu.
• Donesite politiku korištenja AI-a s popisom odobrenih alata i jasnim pravilima o tome koji se podaci smiju unositi.
• Gradite sposobnost detekcije i odgovora, jer nijedna zaštita nije savršena, kroz usluge detekcije i odgovora.

Po našem iskustvu, najveći pomak donose jeftine i jednostavne mjere, prije svega postupak provjere plaćanja i edukacija o deepfakeovima, dok je dubinsko testiranje AI sustava potrebno tek onima koji AI sami grade ili duboko integriraju. Stvarna procjena ovisi o opsegu i o tome koliko AI sustav može samostalno djelovati.

Veza s regulativom

Upravljanje AI rizicima sve je više i regulatorna obveza, ne samo dobra praksa. EU akt o umjetnoj inteligenciji, Uredba (EU) 2024/1689, za visokorizične sustave izravno traži otpornost, točnost i kibernetičku sigurnost, uključujući zaštitu od pokušaja manipulacije ponašanjem modela.² To znači da injekcija prompta i trovanje podataka nisu samo tehnički problem, nego pitanje usklađenosti. Detaljno o opsegu i rokovima pišemo u tekstu o EU aktu o umjetnoj inteligenciji.

Uz to, GDPR kroz članak 32. traži mjere primjerene riziku za zaštitu osobnih podataka, što obuhvaća i podatke koje obrađuju vaši AI sustavi. Tvrtke koje AI uvode ozbiljno time istovremeno ispunjavaju i sigurnosne i regulatorne zahtjeve, pa se ulaganje ne troši dvaput. Suprotno tome, AI uveden bez kontrola lako postaje istovremeno sigurnosni incident i povreda propisa.

Kako Raptoric pomaže

Raptoric je neovisna tvrtka za kibernetičku sigurnost. Ne prodajemo AI alate, pa naša procjena rizika nije pod utjecajem proizvoda koji bismo htjeli prodati. Testiramo vlastite AI sustave klijenata kroz protivničko testiranje, pomažemo postaviti politiku korištenja i postupke provjere te povezujemo AI rizik s vašim regulatornim obvezama. Ako gradite ili uvodite AI i želite znati gdje su vam stvarne slabosti, pogledajte našu uslugu sigurnosti AI sustava i dogovorite uvodni razgovor.