# Čo je adverziálne strojové učenie?

> Adverziálne strojové učenie (adversarial machine learning) je pole zaoberajúce sa útokmi, ktoré exploitujú systémy strojového učenia, a metódami na pochopenie a zmiernenie týchto útokov.

- Kanonická URL: https://yellowcube.eu/sk/glossary/adversarial-machine-learning/
- Vydavateľ: Yellow Cube
- Jazyk: sk
- Kontakt: hello@yellowcube.eu

## Obsah

Skúma, ako útočník môže ovplyvniť údaje, modely, vstupy, výstupy alebo okolité workflow na porušenie cieľov dôvernosti, integrity, dostupnosti alebo prijateľného použitia. Je to súbor poznania útoku a obrany, nie meno jedného špecifického exploitu.

Aktuálna taxonómia NIST organizuje útoky pomocou dimenzií ako štádium životného cyklu, útočníkov cieľ, objektív, schopnosť a znalosť. Relevantné rodiny zahŕňajú eváziu v čase inferencie, otrávenie počas tréningu, útoky súkromia a zneužitie generatívnych systémov cez promptovanie alebo nesprávne použitie. Reálne systémy tiež dedične nesú konvenčné slabiny v identitách, API, softvéri, cloudových službách a dodávateľských reťazcoch, takže hodnotenie adverzívneho ML má spájať správanie modelu s kompletnou aplikáciou.

### Kľúčové body

- **Štádium útoku:** Určiť, či útočník môže ovplyvniť zber údajov, tréning, distribúciu modelu, nasadenie, vstupy inferencie, získavanie, spätnú väzbu alebo pripojené akcie.
- **Podmienky útočníka:** Uviesť, aký prístup, znalosti, kontrolu, zdroje a príležitosti dopytovania útok predpokladá; výsledok pod plným prístupom k modelu nemusí preniesť na vzdialenú službu.
- **Bezpečnostné ciele:** Hodnotiť zlyhania dostupnosti, necielené alebo cielené porušenia integrity, stratu súkromia, krádež modelu a zneužitie voči dôsledkom zmysluplným pre nasadený kontext.
- **Obranná prax:** Kombinovať evaluáciu na úrovni modelu s provenienciou, riadením prístupu, bezpečným inžinierstvom, monitorovaním, reakciou na incidenty a obmedzeniami na downstream rozhodnutia alebo akcie.
- **Dôležité obmedzenie:** Robustnosť voči známymu benchmarku alebo útočnej metóde nie je všeobecná bezpečnosť. Útočníci sa adaptujú, výskumné predpoklady sa líšia a kontroly, ktoré zlepšujú jednu vlastnosť, môžu zanechať hranice aplikácie alebo ľudskej dôvery vystavené.

### Súvisiace pojmy

[Bezpečnosť AI](<https://yellowcube.eu/sk/glossary/ai-security/>) · [Data poisoning](<https://yellowcube.eu/sk/glossary/data-poisoning/>) · [Model poisoning](<https://yellowcube.eu/sk/glossary/model-poisoning/>) · [Prompt injection](<https://yellowcube.eu/sk/glossary/prompt-injection/>) · [AI red teaming](<https://yellowcube.eu/sk/glossary/ai-red-teaming/>)

### Zdroje

[NIST AI 100-2 E2025, Adversarial Machine Learning Taxonomy](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) · [NIST AI Security and Resilience](https://www.nist.gov/artificial-intelligence/ai-research-security-and-resilience) · [MITRE ATLAS](https://atlas.mitre.org/)

## Uvedenie zdroja a rozsah

Táto verzia Markdown sa generuje z rovnakých schválených záznamov ako kanonická stránka HTML. Pri citovaní použite kanonickú URL.