# Mi az AI red teaming?

> Az AI red teaming egy AI-rendszer felhatalmazott, strukturált adverszáriális értékelése.

- Kanonikus URL: https://yellowcube.eu/hu/glossary/ai-red-teaming/
- Kiadó: Yellow Cube
- Nyelv: hu
- Kapcsolat: hello@yellowcube.eu

## Tartalom

A tesztelők releváns támadói vagy visszaélési perspektívákat vesznek fel, és megpróbálnak elfogadhatatlan viselkedést előállítani, kontrollokat megkerülni, adatot kitenni, csatlakoztatott képességekkel visszaélni, vagy gyengeségeket feltárni a modellben, alkalmazásban és üzemi folyamatban. A célpont magában foglalhatja a promptokat, visszakeresést, modellviselkedést, API-kat, identitásokat, eszközöket, infrastruktúrát és emberi felügyeletet — nem csupán egy chatbot-beszélgetést.

A hasznos megbízás fenyegetésmodelllel, célkitűzésekkel, beavatkozási szabályokkal és mérhető sikerkritériumokkal kezdődik. A tesztelők reprodukálható bizonyítékot és az egyes eredményeket lehetővé tévő feltételeket rögzítenek, miközben a tulajdonosok priorizálják a megállapításokat, javítják a kontrollokat és újratesztelnek. A módszerek közé tartozhat a kézi felfedezés, automatizált tesztgenerálás, ismert támadási technikák és forgatókönyvalapú gyakorlatok, de az eredmények szakértői értelmezést igényelnek a rendszer tényleges üzleti kontextusában.

### Legfontosabb pontok

- **Hatókör és felhatalmazás:** Határozza meg a rendszereket, adatokat, felhasználókat, szolgáltatókat, integrációkat, tiltott műveleteket, eszkalációs kapcsolatokat és a rendelkezésre állást, adatvédelmet és harmadik feleket védő intézkedéseket.
- **Reprezentatív tesztelés:** Fedje le a közvetlen és közvetett prompttámadásokat, információközlést, nem biztonságos eszközhasználatot, jogosítási hibákat, ellátáslánci feltevéseket és a releváns modellszintű vagy társadalmi károkat.
- **Hasznos kimenetek:** Őrizze meg a promptokat, bemeneteket, modell- és alkalmazásverziókat, válaszokat, eszköznyomokat, várt viselkedést, hatást, megismételhetőséget és javasolt kontrolljavításokat.
- **Üzemi ritmus:** Teszteljen fontos kiadások előtt és a modellek, promptok, visszakeresési források, eszközök, jogosultságok vagy bevetési kontextus változása után; kövesse a megállapításokat az orvosláson és ellenőrzésen át.
- **Fontos korlát:** Az AI red teaming felfedezhet meghibásodásokat, de nem bizonyíthatja, hogy a rendszer biztonságos. A lefedettség véges, a modellviselkedés változhat, és egy időpontra szóló eredmény nem feltétlenül reprezentálja a későbbi verziókat, kontextusokat vagy jobban ellátott támadókat.

### Kapcsolódó kifejezések

[Red team](<https://yellowcube.eu/hu/glossary/red-team/>) · [Behatolási teszt](<https://yellowcube.eu/hu/glossary/penetration-testing/>) · [Fenyegetésmodellezés](<https://yellowcube.eu/hu/glossary/threat-modeling/>) · [Adverszáriális gépi tanulás](<https://yellowcube.eu/hu/glossary/adversarial-machine-learning/>) · [Prompt injection](<https://yellowcube.eu/hu/glossary/prompt-injection/>) · [AI-biztonság](<https://yellowcube.eu/hu/glossary/ai-security/>)

### Források

[OWASP GenAI Red Teaming Guide](https://genai.owasp.org/resource/genai-red-teaming-guide/) · [NIST AI 600-1, Generative AI Profile](https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence) · [MITRE ATLAS](https://atlas.mitre.org/)

## Forrásmegjelölés és hatókör

Ez a Markdown-változat ugyanazokból a jóváhagyott tartalmi rekordokból készül, mint a kanonikus HTML-oldal. Hivatkozáskor a kanonikus URL-t használja.