Un astfel de sistem poate planifica pași, păstra memorie, selecta instrumente și acționa pentru un utilizator. Frontiera sa de securitate include modelul, codul de orchestrare, prompturile, memoria, interfețele instrumentelor, credențialele, datele conectate, alți agenți și mediul de acțiune.
Riscurile includ injecția indirectă de prompturi, rezultate manipulate ale instrumentelor, permisiuni excesive, expunerea credențialelor, memoria otrăvită, impersonarea între agenți și lanțuri dăunătoare de acțiuni permise. Eșecurile pot apărea și fără un atacator când un agent înțelege greșit un obiectiv sau optimizează obiectivul greșit. Controalele ar trebui să limiteze ce poate agentul observa și schimba, cu aprobare mai puternică pentru acțiuni cu consecințe.
Puncte esențiale
Autoritate delimitatăDați fiecărui instrument și flux de lucru credențiale cu domeniu îngust și durată scurtă; restricționați destinațiile, datele, tipurile de acțiuni, cheltuielile și timpul de execuție; și cereți aprobare pentru pașii cu impact mare.
Protecția contextului și memorieiSeparați utilizatorii și sarcinile, etichetați și validați conținutul de neîncredere, controlați ce persistă, înregistrați proveniența și preveniți instrucțiunile regăsite să suprascrie silențios obiectivele autorizate.
Observare și izolareJurnalizați prompturile, deciziile, apelurile de instrumente și rezultatele acolo unde este proporțional; detectați lanțuri anormale de acțiuni; folosiți sandbox-uri, limite de rată, verificări de tranzacții și mecanisme fiabile de oprire sau revenire.
Asigurare la nivel de sistemTestați atacuri realiste în mai mulți pași și eșecuri accidentale, inclusiv compromiterea instrumentelor, otrăvirea memoriei, agenți în cascadă și recuperarea din acțiuni parțial completate.
Limitare importantăSecuritatea AI agentică este un domeniu emergent cu terminologie, protocoale și metode de asigurare nestabilite. Controalele convenționale de software, identitate și risc AI rămân necesare, dar s-ar putea să nu adreseze complet comportamentul delegat și adaptiv.