Takový systém může plánovat kroky, udržovat paměť, vybírat nástroje a jednat za uživatele. Jeho bezpečnostní hranice zahrnuje model, orchestrační kód, prompty, paměť, rozhraní nástrojů, přihlašovací údaje, připojená data, jiné agenty a prostředí akce.
Rizika zahrnují nepřímý prompt injection, manipulované výsledky nástrojů, nadměrná oprávnění, expozici přihlašovacích údajů, otrávenou paměť, impersonifikaci mezi agenty a škodlivé řetězce povolených akcí. Selhání mohou nastat i bez útočníka, když agent špatně pochopí cíl či optimalizuje nesprávný účel. Kontroly by měly omezovat, co agent může pozorovat a měnit, se silnějším schvalováním pro akce s důsledky.
Klíčové body
Ohraničená autoritaDejte každému nástroji a workflow úzce ohraničené, krátko žijící přihlašovací údaje; omezujte cíle, data, typy akcí, utrácení a dobu vykonávání; a vyžadujte schválení pro kroky s vysokým dopadem.
Ochrana kontextu a pamětiOddělujte uživatele a úkoly, označujte a validujte nedůvěryhodný obsah, řiďte, co persistuje, zaznamenávejte provenienci a předcházejte tomu, aby získané instrukce tiše přepsaly autorizované cíle.
Pozorování a zadrženíLogujte prompty, rozhodnutí, volání nástrojů a výsledky tam, kde je to přiměřené; detekujte abnormální řetězce akcí; používejte sandboxy, limity rychlosti, kontroly transakcí a spolehlivé mechanismy zastavení či rollbacku.
Assurance celého systémuTestujte realistické vícekrokové útoky a náhodná selhání, včetně kompromitace nástrojů, otravy paměti, kaskádujících agentů a obnovy z částečně dokončených akcí.
Důležité omezeníZabezpečení agentní AI je vznikající obor s neusazenou terminologií, protokoly a metodami assurance. Konvenční kontroly softwaru, identity a rizika AI zůstávají nutné, ale nemusí plně řešit delegované a adaptivní chování.