Sigurnost LLM i RAG aplikacija: što tvrtka mora znati

Sve više tvrtki gradi aplikacije nad velikim jezičnim modelima (LLM), često uz pristup zvan RAG, gdje model odgovara koristeći vlastite dokumente i bazu znanja tvrtke. Takve aplikacije donose stvarnu vrijednost, ali i napadnu površinu koja se ne ponaša kao klasični softver. Ulaz je prirodni jezik, a model je nedeterminističan, pa stari obrasci obrane ne pokrivaju nove rizike. Ovaj tekst objašnjava glavne prijetnje LLM i RAG aplikacija i kako ih smanjiti.

Ovo je dio našeg pregleda sigurnosti AI sustava. Procjenu i jačanje AI aplikacija pružamo kroz sigurnost umjetne inteligencije.

Zašto su LLM aplikacije poseban slučaj

Klasična aplikacija ima predvidljiv ulaz i izlaz. LLM aplikacija prima slobodan tekst i generira slobodan tekst, pa napadač može uputama u prirodnom jeziku pokušati promijeniti ponašanje sustava. Uz to, model nema ugrađen pojam povjerljivosti: ako ima pristup nekom podatku, može ga u odgovoru otkriti. Zato sigurnost mora biti u tome što model smije, ne u tome kako ga molimo da se ponaša.

Glavni rizici

OWASP održava zaseban popis najvažnijih rizika LLM aplikacija.¹ Najvažniji su sljedeći.

Poseban rizik RAG sustava

RAG sustav odgovara koristeći dokumente koje mu tvrtka da. To donosi dvije opasnosti. Prva je kontrola pristupa: ako model dohvaća dokumente bez provjere tko ih smije vidjeti, korisnik može kroz pitanje doći do podataka za koje nema ovlasti. Druga je trovanje: ako u bazu znanja uđe dokument sa skrivenim uputama, te upute mogu utjecati na buduće odgovore. Kontrola pristupa dokumentima mora vrijediti i za model, ne samo za korisnika.

Kako smanjiti rizik

Sigurnost LLM aplikacije gradi se u arhitekturi, ne u tekstu prompta.²

1. 01
   Ograničite ovlasti modela

   Model dobiva pristup samo podacima i radnjama koje su nužne za zadatak.
2. 02
   Poštujte kontrolu pristupa u RAG-u

   Dohvat dokumenata mora poštovati prava korisnika koji postavlja pitanje.
3. 03
   Provjeravajte izlaz

   Ne vjerujte slijepo tekstu modela; provjerite ga prije nego pokrene radnju.
4. 04
   Filtrirajte i pratite

   Bilježite upite i odgovore te pratite sumnjive obrasce.
5. 05
   Testirajte protivnički

   Provjerite otpornost na prompt injection i pokušaje curenja podataka.

Kako Raptoric pomaže

Procjenjujemo i testiramo LLM i RAG aplikacije te pomažemo postaviti arhitekturu u kojoj model ne može više nego što smije, kroz sigurnost umjetne inteligencije. Dogovorite uvodni razgovor.