Procesul de învățare absoarbe manipularea, care poate reduce performanța generală, denatura o decizie țintită sau crea o ușă din spate care se activează când apare un declanșator ales. Atacatorul poate compromite o sursă de date, un pipeline de colectare, un proces de adnotare, o buclă de feedback sau un depozit de seturi de date.
Termenul privește în primul rând datele care afectează învățarea, inclusiv seturile de date de preantrenare, fine-tuning și consolidare sau feedback. Manipularea unei surse de regăsire la momentul inferenței este descrisă de regulă mai precis ca otrăvire a generării augmentate prin regăsire sau otrăvire a bazei de cunoștințe; coruperea unui set de evaluare poate invalida asigurarea chiar dacă nu alterează modelul implementat.
Puncte esențiale
Descendența datelorÎnregistrați originea, metoda de colectare, licența, transformările, etichetele, versiunile, aprobările și modelele sau experimentele care au consumat fiecare set de date.
Controale preventiveLimitați și auditați accesul de scriere, separați datele de evaluare de încredere, autentificați reviziile aprobate, protejați pipeline-urile și depozitele și evaluați datele din surse externe sau contribuite de utilizatori.
DetecțieFolosiți revizuire statistică și semantică, analiza duplicatelor și valorilor aberante, eșantionare țintită, comparații de surse și teste pentru declanșatoare suspecte sau influență concentrată.
RecuperarePăstrați dovezi, identificați datele afectate și modelele derivate, reveniți la o versiune de încredere a setului de date, reantrenați acolo unde este necesar și închideți slăbiciunea de ingestie sau autorizare.
Limitare importantăExemplele otrăvite pot părea legitime, iar un subset mic, atent ales, poate fi influent. Curățarea datelor reduce expunerea, dar nu poate certifica că un set de date este benign; datele de calitate slabă sau nereprezentative fără intenție adversativă sunt o problemă de calitate a datelor, nu otrăvire.