Exploatează dificultatea de a separa fiabil direcțiile de încredere de conținutul de neîncredere în contextul modelului. O injecție directă vine de la utilizatorul care interacționează; o injecție indirectă este plantată în conținut pe care sistemul îl procesează ulterior, precum o pagină web, un e-mail, un document, o imagine, un rezultat de instrument sau o înregistrare de regăsire.
Consecința depinde mai puțin de textul singur decât de aplicația din jurul modelului. Un asistent izolat ar putea produce un răspuns nedorit, în timp ce un agent cu acces la date private, credențiale sau instrumente externe ar putea divulga informații sau iniția acțiuni neautorizate. Apărările ar trebui prin urmare să presupună că un conținut confecționat malițios poate influența modelul și să limiteze ce poate face orice ieșire rezultată.
Puncte esențiale
Frontiere de încredereIdentificați fiecare cale care adaugă text, imagini, înregistrări regăsite sau ieșiri de instrumente în context și etichetați conținutul extern drept de neîncredere chiar și când apare în interiorul unui document familiar.
Reducerea impactuluiDați modelelor și instrumentelor identități cu privilegii minime, separați datele sensibile, constrângeți acțiunile disponibile, validați argumentele instrumentelor și cereți aprobare independentă pentru operațiuni cu impact mare.
Detecție și testareExersați cazuri directe, indirecte, codificate, multilingve, multimodale și în mai mulți pași; jurnalizați modelul, promptul, conținutul regăsit, apelurile de instrumente și deciziile de autorizare necesare pentru a investiga rezultatele.
Limitare importantăPrompturile de sistem, filtrele de intrare, delimitatorii și detectorii bazate pe model pot reduce riscul, dar nu furnizează o frontieră universală împotriva injecției de prompturi. Aplicația trebuie să rămână sigură când modelul urmează instrucțiuni ostile sau emite ieșiri ostile.