Proces učení absorbuje manipulaci, která může snížit celkový výkon, vychýlit cílené rozhodnutí či vytvořit backdoor aktivující se, když se objeví zvolený spouštěč. Útočník může kompromitovat datový zdroj, sběrnou pipeline, proces anotace, smyčku zpětné vazby či repozitář datasetu.
Termín se primárně týká dat, která ovlivňují učení, včetně pretrainingu, doladění a datasetů posilování či zpětné vazby. Manipulace retrieval zdroje v čase inference je obvykle přesněji popsána jako otrava retrieval-augmented generation či otrava znalostní báze; korumpování evaluační sady může zneplatnit assurance, i když nemění nasazený model.
Klíčové body
Lineage datZaznamenávejte původ, metodu sběru, licenci, transformace, labely, verze, schválení a modely či experimenty, které každý dataset konzumovaly.
Preventivní kontrolyOmezujte a auditujte zápisový přístup, oddělujte důvěryhodná evaluační data, autentizujte schválené revize, chraňte pipeline a repozitáře a hodnoťte externě získaná či uživatelsky přispěná data.
DetekcePoužívejte statistický a sémantický přezkum, analýzu duplikátů a outlierů, cílené vzorkování, srovnání zdrojů a testy podezřelých spouštěčů či koncentrovaného vlivu.
ObnovaUchovejte důkazy, identifikujte dotčená data a odvozené modely, vraťte se k důvěryhodné verzi datasetu, přetrénujte tam, kde je to nutné, a uzavřete slabost ingestu či autorizace.
Důležité omezeníOtrávené příklady mohou vypadat legitimně a malá, pečlivě zvolená podmnožina může být vlivná. Čištění dat snižuje expozici, ale nemůže certifikovat, že dataset je neškodný; nekvalitní či nereprezentativní data bez adversariálního záměru jsou problém kvality dat, nikoli otrava.