# Čo je bezpečnosť agentickej AI?

> Bezpečnosť agentickej AI je prax ochrany systémov AI, ktoré prenasledujú ciele cez delegovaný prístup k nástrojom, službám alebo iným agentom.

- Kanonická URL: https://yellowcube.eu/sk/glossary/agentic-ai-security/
- Vydavateľ: Yellow Cube
- Jazyk: sk
- Kontakt: hello@yellowcube.eu

## Obsah

Taký systém môže plánovať kroky, zadržiavať pamäť, vyberať nástroje a konať za používateľa. Jeho bezpečnostná hranica zahŕňa model, orchestrovací kód, prompty, pamäť, rozhrania nástrojov, poverenia, pripojené údaje, iných agentov a prostredie akcie.

Riziká zahŕňajú nepriamu injekciu promptu, manipulované výsledky nástrojov, nadmerné oprávnenia, expozíciu poverení, otrávenú pamäť, impersonáciu medzi agentmi a škodlivé reťazce povolených akcií. Zlyhania môžu tiež nastať bez útočníka, keď agent nesprávne pochopí cieľ alebo optimalizuje nesprávny cieľ. Kontroly majú limitovať, čo agent dokáže pozorovať a meniť, so silnejším schvaľovaním pre akcie so závažnými dôsledkami.

### Kľúčové body

- **Ohraničená autorita:** Dať každému nástroju a workflow úzko ohraničené, krátko žijúce poverenia; obmedziť destinácie, údaje, typy akcií, výdavky a čas vykonávania; a vyžadovať schválenie pre vysoko-impaktové kroky.
- **Ochrana kontextu a pamäte:** Oddeliť používateľov a úlohy, označovať a validovať nedôveryhodný obsah, riadiť, čo perzistuje, zaznamenávať provenienciu a predchádzať tomu, aby získané inštrukcie ticho prepisovali autorizované ciele.
- **Pozorovanie a zadržanie:** Logovať prompty, rozhodnutia, volania nástrojov a výsledky tam, kde je to primerané; detekovať abnormálne reťazce akcií; použiť sandboxy, rate limity, kontroly transakcií a spoľahlivé mechanizmy zastavenia alebo rollbacku.
- **Assurance celého systému:** Testovať realistické viackrokové útoky a náhodné zlyhania, vrátane kompromitácie nástroja, otrávenia pamäte, kaskádových agentov a obnovy z čiastočne dokončených akcií.
- **Dôležité obmedzenie:** Bezpečnosť agentickej AI je vznikajúce pole s neustálenou terminológiou, protokolmi a metódami assurance. Konvenčné kontroly softvéru, identity a rizika AI zostávajú potrebné, ale nemusia plne adresovať delegované a adaptívne správanie.

### Súvisiace pojmy

[Bezpečnosť AI](<https://yellowcube.eu/sk/glossary/ai-security/>) · [Prompt injection](<https://yellowcube.eu/sk/glossary/prompt-injection/>) · [Princíp najmenších oprávnení](<https://yellowcube.eu/sk/glossary/least-privilege/>) · [Správa rizík AI](<https://yellowcube.eu/sk/glossary/ai-risk-management/>) · [DevSecOps](<https://yellowcube.eu/sk/glossary/devsecops/>)

### Zdroje

[NIST AI 800-5: Summary Analysis of Responses to the RFI Regarding Security Considerations for AI Agents](https://www.nist.gov/publications/summary-analysis-responses-request-information-regarding-security-considerations-ai) · [NIST: Tool Use in Agent Systems](https://www.nist.gov/news-events/news/2025/08/lessons-learned-consortium-tool-use-agent-systems) · [NIST AI Risk Management Framework](https://www.nist.gov/itl/ai-risk-management-framework)

## Uvedenie zdroja a rozsah

Táto verzia Markdown sa generuje z rovnakých schválených záznamov ako kanonická stránka HTML. Pri citovaní použite kanonickú URL.