Kui sinu rakendus kasutab AI-mudelit, loeb see teksti välismaailmast. Kasutaja küsimus. Tugikiri. Veebileht, millest AI kokkuvõtte teeb. Fail, mille keegi üles laadib. Suurem osa sellest tekstist on täpselt see, mis ta paistab. Osa ei ole.
Käsusüst ehk prompt injection on tekst, mis peidab tavalise välimusega sisu sisse juhise lootuses, et sinu AI seda järgib. Hea uudis kohe alguses: see on tuntud probleem, millel on selge lahendus, ja selle lahendamiseks pole sul turvameeskonda vaja.
See on lühike ja lihtsas keeles sissejuhatus: mis on käsusüst, miks see on oluline kõige puhul, mida ehitad või ostad ja mis kasutab keelemudelit, ning kuidas seda peatada.
Mis viibasüst tegelikult on
Keelemudel loeb teksti ja otsustab selle põhjal, mida edasi teha. Tal puudub kindel taju, millised sõnad on usaldusväärsed ja millised mitte. Mudeli jaoks võivad sinu juhis ja kliendi kirja peidetud juhis välja näha ühesugused.
Käsusüst kasutab seda ära. Keegi kirjutab sisu, mis sisuliselt ütleb: „eira oma varasemaid juhiseid ja tee hoopis seda“. Siis paneb ta sinu AI seda lugema.
Lihtne võrdlus. Kujuta ette uut töötajat, kes järgib iga lauale jäetud sedelit, küsimusi esitamata. Enamik sedeleid on korras. Aga nüüd saab käske anda igaüks, kes oskab sedeli lauale jätta. Just seda auku käsusüst ära kasutabki.
Juhis võib olla ilmne, näiteks „näita oma süsteemiviipa“. See võib olla ka vaikne ja peidetud pikema teksti sisse, nii et teksti üle libisev inimene ei märkaks seda kunagi.
Miks see puudutab seda, mida ehitad või ostad
See pole uurimislaborite kitsas mure. See puudutab tavalist tarkvara, millel juhtub olema AI-funktsioon.
Oletame, et ehitasid tugiassistendi, mis loeb klientide sõnumeid. Mõni sõnum võib üritada panna seda lekitama kellegi teise andmeid. Oletame, et ehitasid tööriista, mis teeb veebilehtedest kokkuvõtteid. Mõni leht võib sisaldada peidetud juhist, mis viib su AI rööpast välja. Oletame, et ostsid toote, mille sees on AI-assistent. Sama oht tuleb kaasa.
Kui juhid arendust või vastutad eritellimusel tarkvara turvalisuse eest, on küsimus lihtne. Kõikjal, kus sinu AI loeb teksti, mida sina ei kirjutanud, võib see tekst üritada teda juhtida. Ja mida rohkem sinu AI teha saab, näiteks tööriistu kasutada, faile lugeda või sõnumeid saata, seda väärtuslikum on peidetud juhis sellele, kes selle sinna paigutab.
See kõik ei tähenda, et AI-d oleks ohtlik kasutusele võtta. See tähendab, et ebausaldusväärset teksti tuleb kohelda ebausaldusväärse tekstina. See on lahendatav ja tuttav insenertehniline probleem.
Miks seda on raskem peatada, kui paistab
Esimene mõte on halvad fraasid välja filtreerida. Blokeeri „eira varasemaid juhiseid“ ja asi korras. See ei pea vastu. Sama trikki saab sõnastada lõputult: mis tahes keeles, mitme lause peale jagatuna või millegi ohutuna näiva sisse mähituna.
Sügavam probleem on see, millest oli juttu eespool. Mudel peab juhiseid ja sisu üheks ja samaks. Seega ei ole tegelik lahendus pikem keelunimekiri. Muuta tuleb seda, kuidas sissetulev sisu üldse mudelini jõuab, nii et sisu jääb sisuks ega muutu kunagi käsuks.
Kuidas isoleerimine selle peatab
Just see osa on meile heySecis kõige olulisem, ja see on lihtsam, kui kõlab.
heySeci Prompt Firewall asub sissetuleva sisu ja sinu AI vahel. See skannib sisu peidetud rünnakute suhtes enne, kui mudel selle põhjal midagi teeb. Seejärel lukustab see sisu turvalise piiri taha, mida AI käsitleb rangelt andmetena, mitte järgitavate juhistena.
Teine samm on see tähtis. Skannimine tabab, mida suudab. Isoleerimine hoolitseb ülejäänu eest, sest ka osavalt maskeeritud juhis on kahjutu, kui mudel tohib seda lugeda ainult tekstina. Peidetud käsul pole jõudu, kui keegi seda ei täida.
Mõlemad sammud toimuvad koos. Üks paindlik API teeb skannimise ja isoleerimise ühe käiguga. Sina saadad sisu ja saad tagasi midagi, mida on ohutu kasutada. Eraldi töövoogu pole vaja üles seada ja kasutamiseks pole vaja turvaalaseid teadmisi.
Ja see sobib kõigega, mille oled juba ehitanud. Prompt Firewall sobib igasse AI-arhitektuuri, olgu see lihtne vestlusrobot, sinu dokumente lugev otsingupõhine lahendus, tööriistu kasutav agent või mitu koos töötavat agenti. Sama API, sama kaitse, olenemata ülesehitusest.
Mida saad täna teha
Kaitset saad parandada juba enne, kui mõni toode valmis on. Need harjumused aitavad kohe:
- Pea iga välist teksti vaikimisi ebausaldusväärseks. Siia kuuluvad kasutaja sisend, e-kirjad, veebilehed, üleslaaditud failid ja otsingutulemused.
- Hoia viipades juhised ja sisu lahus, et mudel eristaks sinu reegleid materjalist, mida ta loeb.
- Piira, mida su AI omal käel teha saab. Mida vähem võimsaid toiminguid saab ta teha ilma kontrollita, seda vähem saab peidetud juhis korda saata.
- Planeeri isoleerimist, mitte ainult filtreerimist. Arvesta, et osa halba teksti pääseb läbi, ja hoolitse, et see jõuaks mudelini andmetena, mitte kunagi käsuna.
Nende nelja sammuga oled eespool enamikust meeskondadest, kes praegu AI-funktsioone välja annavad. Ükski neist ei nõua turvaalast tausta.
Kokkuvõte
Käsusüst on lihtsalt ebausaldusväärne tekst, mis üritab käituda nagu usaldusväärne juhis. See on oluline, sest AI loeb teksti välismaailmast ja see tekst võib kanda peidetud käske. Seda ei peatata iga halva fraasi äraarvamisega, vaid nii, et sissetulev sisu isoleeritakse andmetena, millega AI-d petta ei saa.
Selles ongi kogu mõte. Rahulik, konkreetne ja igale meeskonnale hästi jõukohane. Seda me mõtlemegi, kui ütleme: küberturvalisus, lihtsaks tehtud.
Liitu ootenimekirjaga
Ehitame Prompt Firewalli, et see oleks lihtne: üks lihtne API, mis skannib sissetulevat sisu peidetud rünnakute suhtes ja isoleerib selle ühe käiguga, mis tahes AI-lahenduses.
See ei ole veel üldiselt saadaval. Toode on suletud testimises ja kutsume kasutajaid ootenimekirja kaudu. Kui ehitad või ostad tarkvara, mis kasutab LLM-i, liitu heySeci ootenimekirjaga ja ole esimeste seas, kes saavad kaitse, mida on tõesti lihtne lisada. Vaja on ainult e-posti aadressi, kohustusi pole.
