Spíše než korumpovat výukové příklady, útočník přímo ovlivňuje váhy, gradienty, aktualizace, checkpointy či artefakt modelu. Výsledek může být široká degradace výkonu, cílené chyby, backdoor vybraný útočníkem či ztráta integrity modelu, která se objeví pouze za konkrétních podmínek.
Relevantní útočné cesty zahrnují kompromitovaného účastníka předkládajícího škodlivé aktualizace během federovaného učení, neautorizované změny uvnitř trénovací pipeline a otrávený předtrénovaný či dolaďovaný model zavedený skrze dodavatelský řetězec AI. Ochrana proto závisí na znalosti, odkud artefakty a aktualizace modelu pocházely, kdo je mohl modifikovat a jaké důkazy podporují povýšení do produkce.
Klíčové body
Útočná plochaPřezkoumejte registry modelů, repozitáře artefaktů, trénovací úlohy, distribuované či federované účastníky, agregaci aktualizací, serializační formáty, pipeline nasazení a zdroje modelů třetích stran.
Kontroly integrityOmezte zápisový přístup, oddělte povinnosti, podepisujte a verifikujte artefakty tam, kde je to podporováno, uchovávejte lineage a hashe, schvalujte důvěryhodné zdroje a chraňte systémy, které modely budují a distribuují.
EvaluaceSrovnávejte chování kandidáta s nezávisle chráněnými baseline a holdouty, testujte cílené spouštěče a neočekávané změny schopností a vyšetřujte nevysvětlené rozdíly před vydáním.
ReakceUchovejte podezřelý artefakt a důkazy provenience, odstraňte dotčené verze z distribuce, identifikujte downstream nasazení, restaurovávejte důvěryhodnou verzi a adresujte kompromitovanou cestu aktualizace.
Důležité omezeníEvaluace modelu nemůže vyčerpat každý možný vstup či skryté chování. Splnění benchmarku nedokazuje integritu parametrů, zatímco obyčejné autorizované doladění či náhodná trénovací vada není otravou, pokud není zapojena adversariální manipulace.