# Co je red teaming AI?

> Red teaming AI je autorizovaná, strukturovaná adversariální evaluace systému AI.

- Kanonická URL: https://yellowcube.eu/cs/glossary/ai-red-teaming/
- Vydavatel: Yellow Cube
- Jazyk: cs
- Kontakt: hello@yellowcube.eu

## Obsah

Testeři přijímají relevantní perspektivy útočníka či zneužití a pokoušejí se produkovat nepřijatelné chování, obejít kontroly, exponovat data, zneužít připojené schopnosti či odhalit slabiny v modelu, aplikaci a provozním procesu. Cíl může zahrnovat prompty, retrieval, chování modelu, API, identity, nástroje, infrastrukturu a lidský dohled — nikoli pouze konverzaci chatbota.

Užitečná zakázka začíná modelem hrozeb, cíli, pravidly zapojení a měřitelnými kritérii úspěchu. Testeři zaznamenávají reprodukovatelné důkazy a podmínky, které učinily každý výsledek možným, zatímco vlastníci prioritizují nálezy, zlepšují kontroly a retestují. Metody mohou zahrnovat manuální exploraci, automatizované generování testů, známé útočné techniky a cvičení založená na scénářích, ale výsledky potřebují expertní interpretaci ve skutečném podnikovém kontextu systému.

### Klíčové body

- **Rozsah a autorizace:** Definujte systémy, data, uživatele, poskytovatele, integrace, zakázané akce, eskalační kontakty a pojistky pro dostupnost, soukromí a třetí strany.
- **Reprezentativní testování:** Pokryjte přímé a nepřímé útoky promptů, zpřístupnění informací, nebezpečné použití nástrojů, selhání autorizace, předpoklady dodavatelského řetězce a relevantní škody na úrovni modelu či společenské.
- **Užitečné výstupy:** Uchovejte prompty, vstupy, verze modelu a aplikace, odpovědi, stopy nástrojů, očekávané chování, dopad, opakovatelnost a navrhovaná zlepšení kontrol.
- **Provozní rytmus:** Testujte před důležitými vydáními a po změnách modelů, promptů, retrieval zdrojů, nástrojů, oprávnění či kontextu nasazení; sledujte nálezy skrze nápravu a verifikaci.
- **Důležité omezení:** AI red teaming může objevit selhání, ale nemůže dokázat, že systém je bezpečný či zabezpečený. Pokrytí je konečné, chování modelu se může lišit a výsledek bodu-v-čase nemusí reprezentovat pozdější verze, kontexty či lépe vybavené útočníky.

### Související termíny

[Red team](<https://yellowcube.eu/cs/glossary/red-team/>) · [Penetrační testování](<https://yellowcube.eu/cs/glossary/penetration-testing/>) · [Modelování hrozeb](<https://yellowcube.eu/cs/glossary/threat-modeling/>) · [Adversariální strojové učení](<https://yellowcube.eu/cs/glossary/adversarial-machine-learning/>) · [Prompt injection](<https://yellowcube.eu/cs/glossary/prompt-injection/>) · [Bezpečnost AI](<https://yellowcube.eu/cs/glossary/ai-security/>)

### Zdroje

[OWASP GenAI Red Teaming Guide](https://genai.owasp.org/resource/genai-red-teaming-guide/) · [NIST AI 600-1, Generative AI Profile](https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence) · [MITRE ATLAS](https://atlas.mitre.org/)

## Pojďme budovat chytřejší kybernetickou obranu Společně

Dlouhodobá partnerství stavíme na důvěře, odbornosti a společném úspěchu. Ať chcete rozvíjet své podnikání, rozšířit nabídku kybernetické bezpečnosti nebo uvést inovativní řešení na nové trhy, v Yellow Cube najdete spolehlivého partnera.

[Spojte se s Yellow Cube](<mailto:hello@yellowcube.eu?subject=Partnership>)

## Uvedení zdroje a rozsah

Tato verze Markdown vzniká ze stejných schválených záznamů jako kanonická stránka HTML. Při citování použijte kanonickou adresu.