Zneužívá obtížnost spolehlivého oddělení důvěryhodných směrů od nedůvěryhodného obsahu v kontextu modelu. Přímá injekce pochází od interagujícího uživatele; nepřímá injekce je zasazena do obsahu, který systém později zpracovává, jako webová stránka, e-mail, dokument, obrázek, výsledek nástroje či retrieval záznam.
Důsledek závisí méně na samotném textu než na aplikaci kolem modelu. Izolovaný asistent může produkovat nechtěnou odpověď, zatímco agent s přístupem k privátním datům, přihlašovacím údajům či externím nástrojům by mohl zpřístupnit informace či iniciovat neautorizované akce. Obrana by proto měla předpokládat, že vytvořený obsah může ovlivnit model, a omezovat, co jakýkoli výsledný výstup smí udělat.
Klíčové body
Hranice důvěryIdentifikujte každou cestu, která přidává text, obrázky, získané záznamy či výstup nástrojů do kontextu, a označujte externí obsah jako nedůvěryhodný i když se objevuje uvnitř známého dokumentu.
Redukce dopaduDejte modelům a nástrojům identity s nejmenšími privilegii, oddělte citlivá data, omezujte dostupné akce, validujte argumenty nástrojů a vyžadujte nezávislé schválení pro operace s vysokým dopadem.
Detekce a testováníCvičte přímé, nepřímé, kódované, vícejazyčné, multimodální a vícekrokové případy; logujte model, prompt, získaný obsah, volání nástrojů a autorizační rozhodnutí potřebná k vyšetření výsledků.
Důležité omezeníSystémové prompty, vstupní filtry, oddělovače a detektory založené na modelu mohou snížit riziko, ale neposkytují univerzální hranici prompt injection. Aplikace musí zůstat bezpečná, když model následuje nepřátelské instrukce či emituje nepřátelský výstup.