Wykorzystuje trudność niezawodnego oddzielania zaufanych wskazówek od niezaufanej treści w kontekście modelu. Bezpośrednie wstrzyknięcie pochodzi od współdziałającego użytkownika; pośrednie wstrzyknięcie jest zaszyte w treści, którą system później przetwarza, takiej jak strona internetowa, e-mail, dokument, obraz, wynik narzędzia lub rekord wyszukiwania.
Konsekwencja zależy mniej od samego tekstu niż od aplikacji wokół modelu. Izolowany asystent może wyprodukować niepożądaną odpowiedź, podczas gdy agent z dostępem do prywatnych danych, poświadczeń lub zewnętrznych narzędzi mógłby ujawnić informacje lub zainicjować nieautoryzowane działania. Obrony powinny zatem zakładać, że spreparowana treść może wpłynąć na model, i ograniczać, co wynikające wyjście może zrobić.
Najważniejsze punkty
Granice zaufaniaZidentyfikuj każdą ścieżkę dodającą tekst, obrazy, pobrane rekordy lub wyjście narzędzi do kontekstu oraz oznaczaj zewnętrzną treść jako niezaufaną nawet wtedy, gdy pojawia się wewnątrz znajomego dokumentu.
Redukcja wpływuNadawaj modelom i narzędziom tożsamości o minimalnych uprawnieniach, oddzielaj wrażliwe dane, ograniczaj dostępne akcje, waliduj argumenty narzędzi i wymagaj niezależnego zatwierdzenia dla operacji o dużym wpływie.
Wykrywanie i testowanieĆwicz przypadki bezpośrednie, pośrednie, zakodowane, wielojęzyczne, multimodalne i wieloetapowe; loguj model, prompt, pobraną treść, wywołania narzędzi i decyzje autoryzacji potrzebne do zbadania wyników.
Istotne ograniczeniePrompty systemowe, filtry wejściowe, ograniczniki i detektory oparte na modelu mogą redukować ryzyko, ale nie zapewniają uniwersalnej granicy przeciw wstrzykiwaniu promptów. Aplikacja musi pozostawać bezpieczna, gdy model wykonuje wrogie instrukcje lub emituje wrogie wyjście.