În loc să corupă exemplele de învățare, atacatorul influențează direct ponderile, gradientele, actualizările, punctele de control sau un artefact de model. Rezultatul poate fi degradare largă a performanței, erori țintite, o ușă din spate aleasă de atacator sau o pierdere a integrității modelului care apare doar în anumite condiții.
Căile de atac relevante includ un participant compromis care trimite actualizări malițioase în timpul învățării federate, modificări neautorizate în interiorul unui pipeline de antrenament și un model preantrenat sau fine-tunat otrăvit introdus prin lanțul de aprovizionare AI. Protecția depinde prin urmare de cunoașterea originii artefactelor și actualizărilor de model, a cui le putea modifica și a dovezilor care susțin promovarea în producție.
Puncte esențiale
Suprafață de atacRevizuiți registrele de modele, depozitele de artefacte, joburile de antrenament, participanții distribuiți sau federați, agregarea actualizărilor, formatele de serializare, pipeline-urile de implementare și sursele terțe de modele.
Controale de integritateRestricționați accesul de scriere, separați atribuțiile, semnați și verificați artefactele acolo unde este suportat, păstrați liniile de descendență și hash-urile, aprobați sursele de încredere și protejați sistemele care construiesc și distribuie modele.
EvaluareComparați comportamentul candidat cu linii de bază și seturi de validare protejate independent, testați pentru declanșatoare țintite și schimbări neașteptate de capabilitate și investigați diferențele inexplicabile înainte de lansare.
RăspunsPăstrați artefactul suspect și dovezile de proveniență, eliminați versiunile afectate din distribuție, identificați implementările în aval, restaurați o versiune de încredere și abordați calea de actualizare compromisă.
Limitare importantăEvaluarea modelului nu poate epuiza fiecare intrare sau comportament ascuns posibil. Trecerea unui benchmark nu dovedește integritatea parametrilor, în timp ce un fine-tune autorizat obișnuit sau un defect accidental de antrenament nu este otrăvire dacă nu este implicată manipulare adversativă.