Taki system może planować kroki, zachowywać pamięć, wybierać narzędzia i działać za użytkownika. Jego granica bezpieczeństwa obejmuje model, kod orkiestracji, prompty, pamięć, interfejsy narzędzi, poświadczenia, podłączone dane, innych agentów i środowisko działania.
Ryzyka obejmują pośrednie wstrzykiwanie promptów, manipulowane wyniki narzędzi, nadmierne uprawnienia, ekspozycję poświadczeń, zatrutą pamięć, podszywanie między agentami i szkodliwe łańcuchy dozwolonych działań. Awarie mogą też wystąpić bez atakującego, gdy agent błędnie rozumie cel lub optymalizuje zły cel. Kontrole powinny ograniczać, co agent może obserwować i zmieniać, z silniejszym zatwierdzaniem dla działań o konsekwencjach.
Najważniejsze punkty
Ograniczony autorytetNadawaj każdemu narzędziu i przepływowi wąsko określone, krótkożyjące poświadczenia; ograniczaj miejsca docelowe, dane, typy akcji, wydatki i czas wykonania; wymagaj zatwierdzenia dla kroków o dużym wpływie.
Ochrona kontekstu i pamięciOddzielaj użytkowników i zadania, oznaczaj i waliduj niezaufaną treść, kontroluj, co trwa, rejestruj pochodzenie i zapobiegaj cichłemu nadpisywaniu autoryzowanych celów przez pobrane instrukcje.
Obserwacja i izolacjaLoguj prompty, decyzje, wywołania narzędzi i wyniki tam, gdzie proporcjonalne; wykrywaj nietypowe łańcuchy działań; używaj piaskownic, limitów szybkości, kontroli transakcji i niezawodnych mechanizmów zatrzymania lub wycofania.
Zapewnienie całego systemuTestuj realistyczne ataki wieloetapowe i przypadkowe awarie, w tym kompromitację narzędzi, zatruwanie pamięci, kaskadowych agentów i odtwarzanie z częściowo wykonanych działań.
Istotne ograniczenieBezpieczeństwo agentic AI to wschodząca dziedzina z niedomkniętą terminologią, protokołami i metodami zapewnienia. Konwencjonalne kontrole oprogramowania, tożsamości i ryzyka AI pozostają konieczne, ale mogą w pełni nie adresować delegowanego i adaptacyjnego zachowania.