Az ilyen rendszer lépéseket tervezhet, memóriát tarthat fenn, eszközöket választhat és a felhasználó nevében cselekedhet. Biztonsági határába a modell, orkesztrációs kód, promptok, memória, eszközinterfészek, hitelesítő adatok, csatlakoztatott adatok, más ügynökök és a műveleti környezet tartozik.
A kockázatok közé tartozik a közvetett prompt injection, manipulált eszközeredmények, túlzott jogosultságok, hitelesítőadat-kitettség, megmérgezett memória, ügynökök közötti megszemélyesítés és megengedett műveletek káros láncolatai. A meghibásodások támadó nélkül is bekövetkezhetnek, ha egy ügynök félreérti a célt vagy rossz célkitűzést optimalizál. A kontrolloknak korlátozniuk kell, mit figyelhet és változtathat meg az ügynök, a következményes műveletekhez erősebb jóváhagyással.
Legfontosabb pontok
Korlátozott felhatalmazásAdjon minden eszköznek és munkafolyamatnak szűk hatókörű, rövid életű hitelesítő adatokat; korlátozza a célállomásokat, adatokat, művelettípusokat, költést és végrehajtási időt; és kérjen jóváhagyást a nagy hatású lépésekhez.
Kontextus- és memóriavédelemVálassza szét a felhasználókat és feladatokat, címkézze és validálja a nem megbízható tartalmat, szabályozza, mi perzisztál, rögzítse az eredetet, és akadályozza meg, hogy a visszakeresett utasítások csendben felülírják a jogos célokat.
Megfigyelés és visszafogásNaplózza a promptokat, döntéseket, eszközhívásokat és eredményeket arányosan; észlelje az abnormál műveletláncokat; használjon sandboxokat, sebességkorlátokat, tranzakcióellenőrzéseket és megbízható leállítási vagy visszagörgetési mechanizmusokat.
Egészrendszer-biztosítékTeszteljen valósághű többlépéses támadásokat és véletlen meghibásodásokat — beleértve az eszközkompromittálódást, memóriamérgezést, kaszkádoló ügynököket és a részlegesen végrehajtott műveletekből való helyreállítást.
Fontos korlátAz agensalapú AI-biztonság feltörekvő terület megállapodatlan terminológiával, protokollokkal és biztosítékmódszerekkel. A hagyományos szoftver-, identitás- és AI-kockázati kontrollok továbbra is szükségesek, de nem feltétlenül kezelik teljesen a delegált és adaptív viselkedést.