Examinează cum un adversar poate influența date, modele, intrări, ieșiri sau fluxuri de lucru înconjurătoare pentru a încălca obiective de confidențialitate, integritate, disponibilitate sau utilizare acceptabilă. Este un corp de cunoștințe de atac și apărare, nu numele unui singur exploit specific.
Taxonomia curentă a NIST organizează atacurile folosind dimensiuni precum etapa ciclului de viață, scopul adversarului, obiectivul, capabilitatea și cunoașterea. Familiile relevante includ evaziunea la momentul inferenței, otrăvirea în timpul antrenamentului, atacurile pe confidențialitate și abuzul sistemelor generative prin promptare sau utilizare greșită. Sistemele reale moștenesc și slăbiciuni convenționale în identități, API-uri, software, servicii cloud și lanțuri de aprovizionare, așa că o evaluare de ML adversativ ar trebui să conecteze comportamentul modelului la aplicația completă.
Puncte esențiale
Etapa ataculuiDeterminați dacă adversarul poate afecta colectarea datelor, antrenamentul, distribuția modelului, implementarea, intrările de inferență, regăsirea, feedback-ul sau acțiunile conectate.
Condițiile adversaruluiPrecizați ce acces, cunoaștere, control, resurse și oportunități de interogare presupune un atac; un rezultat cu acces complet la model s-ar putea să nu se transfere la un serviciu remote.
Obiective de securitateEvaluați eșecurile de disponibilitate, încălcările de integritate nețintite sau țintite, pierderea confidențialității, furtul modelului și utilizarea abuzivă față de consecințe semnificative pentru contextul implementat.
Practica defensivăCombinați evaluarea la nivel de model cu proveniență, control al accesului, inginerie sigură, monitorizare, răspuns la incidente și constrângeri asupra deciziilor sau acțiunilor din aval.
Limitare importantăRobustelea față de un benchmark sau o metodă de atac cunoscută nu este securitate generală. Atacatorii se adaptează, ipotezele de cercetare variază, iar controalele care îmbunătățesc o proprietate pot lăsa frontierele de încredere ale aplicației sau umane expuse.