# Co je otrávení modelu?

> Otrávení modelu (model poisoning) je útok ve fázi trénování, v němž protivník manipuluje model či jeho parametry, aby změnil pozdější chování.

- Kanonická URL: https://yellowcube.eu/cs/glossary/model-poisoning/
- Vydavatel: Yellow Cube
- Jazyk: cs
- Kontakt: hello@yellowcube.eu

## Obsah

Spíše než korumpovat výukové příklady, útočník přímo ovlivňuje váhy, gradienty, aktualizace, checkpointy či artefakt modelu. Výsledek může být široká degradace výkonu, cílené chyby, backdoor vybraný útočníkem či ztráta integrity modelu, která se objeví pouze za konkrétních podmínek.

Relevantní útočné cesty zahrnují kompromitovaného účastníka předkládajícího škodlivé aktualizace během federovaného učení, neautorizované změny uvnitř trénovací pipeline a otrávený předtrénovaný či dolaďovaný model zavedený skrze dodavatelský řetězec AI. Ochrana proto závisí na znalosti, odkud artefakty a aktualizace modelu pocházely, kdo je mohl modifikovat a jaké důkazy podporují povýšení do produkce.

### Klíčové body

- **Útočná plocha:** Přezkoumejte registry modelů, repozitáře artefaktů, trénovací úlohy, distribuované či federované účastníky, agregaci aktualizací, serializační formáty, pipeline nasazení a zdroje modelů třetích stran.
- **Kontroly integrity:** Omezte zápisový přístup, oddělte povinnosti, podepisujte a verifikujte artefakty tam, kde je to podporováno, uchovávejte lineage a hashe, schvalujte důvěryhodné zdroje a chraňte systémy, které modely budují a distribuují.
- **Evaluace:** Srovnávejte chování kandidáta s nezávisle chráněnými baseline a holdouty, testujte cílené spouštěče a neočekávané změny schopností a vyšetřujte nevysvětlené rozdíly před vydáním.
- **Reakce:** Uchovejte podezřelý artefakt a důkazy provenience, odstraňte dotčené verze z distribuce, identifikujte downstream nasazení, restaurovávejte důvěryhodnou verzi a adresujte kompromitovanou cestu aktualizace.
- **Důležité omezení:** Evaluace modelu nemůže vyčerpat každý možný vstup či skryté chování. Splnění benchmarku nedokazuje integritu parametrů, zatímco obyčejné autorizované doladění či náhodná trénovací vada není otravou, pokud není zapojena adversariální manipulace.

### Související termíny

[Otrávení dat](<https://yellowcube.eu/cs/glossary/data-poisoning/>) · [Adversariální strojové učení](<https://yellowcube.eu/cs/glossary/adversarial-machine-learning/>) · [Zabezpečení dodavatelského řetězce softwaru](<https://yellowcube.eu/cs/glossary/software-supply-chain-security/>) · [Správa stavu zabezpečení AI (AI-SPM)](<https://yellowcube.eu/cs/glossary/ai-security-posture-management/>) · [Bezpečnost AI](<https://yellowcube.eu/cs/glossary/ai-security/>)

### Zdroje

[NIST AI 100-2 E2025, Adversarial Machine Learning Taxonomy](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) · [MITRE ATLAS](https://atlas.mitre.org/) · [CISA and UK NCSC Guidelines for Secure AI System Development](https://www.cisa.gov/news-events/alerts/2023/11/26/cisa-and-uk-ncsc-unveil-joint-guidelines-secure-ai-system-development)

## Pojďme budovat chytřejší kybernetickou obranu Společně

Dlouhodobá partnerství stavíme na důvěře, odbornosti a společném úspěchu. Ať chcete rozvíjet své podnikání, rozšířit nabídku kybernetické bezpečnosti nebo uvést inovativní řešení na nové trhy, v Yellow Cube najdete spolehlivého partnera.

[Spojte se s Yellow Cube](<mailto:hello@yellowcube.eu?subject=Partnership>)

## Uvedení zdroje a rozsah

Tato verze Markdown vzniká ze stejných schválených záznamů jako kanonická stránka HTML. Při citování použijte kanonickou adresu.