# Czym jest zatruwanie modelu?

> Zatruwanie modelu (model poisoning) to atak etapu treningu, w którym przeciwnik manipuluje modelem lub jego parametrami, by zmienić późniejsze zachowanie.

- Kanoniczny adres URL: https://yellowcube.eu/pl/glossary/model-poisoning/
- Wydawca: Yellow Cube
- Język: pl
- Kontakt: hello@yellowcube.eu

## Treść

Zamiast korumpować przykłady treningowe, atakujący bezpośrednio wpływa na wagi, gradienty, aktualizacje, punkty kontrolne lub artefakt modelu. Wynikiem może być szeroka degradacja wydajności, ukierunkowane błędy, wybrany przez atakującego backdoor lub utrata integralności modelu pojawiająca się tylko pod szczególnymi warunkami.

Istotne ścieżki ataku obejmują skompromitowanego uczestnika przesyłającego złośliwe aktualizacje podczas federated learning, nieautoryzowane zmiany wewnątrz potoku treningowego oraz zatruty model wytrenowany lub dostrajany wprowadzony przez łańcuch dostaw AI. Ochrona zależy zatem od wiedzy o tym, skąd artefakty i aktualizacje modelu pochodzą, kto mógł je modyfikować i jakie dowody wspierają promocję do produkcji.

### Najważniejsze punkty

- **Powierzchnia ataku:** Przejrzyj rejestry modeli, repozytoria artefaktów, zadania treningowe, uczestników rozproszonych lub federacyjnych, agregację aktualizacji, formaty serializacji, potoki wdrażania i źródła modeli stron trzecich.
- **Kontrole integralności:** Ograniczaj dostęp zapisu, oddzielaj obowiązki, podpisuj i weryfikuj artefakty tam, gdzie wspierane, zachowuj rodowód i hasze, zatwierdzaj zaufane źródła i chroń systemy budujące oraz dystrybuujące modele.
- **Ewaluacja:** Porównuj zachowanie kandydata z niezależnie chronionymi liniami bazowymi i zestawami holdout, testuj ukierunkowane wyzwalacze i nieoczekiwane zmiany zdolności oraz badaj niewyjaśnione różnice przed wydaniem.
- **Odpowiedź:** Zachowaj podejrzany artefakt i dowody pochodzenia, usuń dotknięte wersje z dystrybucji, zidentyfikuj wdrożenia dalsze, przywróć zaufaną wersję i adresuj skompromitowaną ścieżkę aktualizacji.
- **Istotne ograniczenie:** Ewaluacja modelu nie może wyczerpać każdego możliwego wejścia ani ukrytego zachowania. Zaliczenie benchmarku nie dowodzi integralności parametrów, a zwykłe autoryzowane dostrojenie lub przypadkowy defekt treningu nie jest zatruciem, o ile nie jest zaangażowana manipulacja przeciwnika.

### Powiązane terminy

[Zatruwanie danych](<https://yellowcube.eu/pl/glossary/data-poisoning/>) · [Adversarial machine learning](<https://yellowcube.eu/pl/glossary/adversarial-machine-learning/>) · [Bezpieczeństwo łańcucha dostaw oprogramowania](<https://yellowcube.eu/pl/glossary/software-supply-chain-security/>) · [Zarządzanie postawą bezpieczeństwa AI (AI-SPM)](<https://yellowcube.eu/pl/glossary/ai-security-posture-management/>) · [Bezpieczeństwo AI](<https://yellowcube.eu/pl/glossary/ai-security/>)

### Źródła

[NIST AI 100-2 E2025, Adversarial Machine Learning Taxonomy](https://csrc.nist.gov/pubs/ai/100/2/e2025/final) · [MITRE ATLAS](https://atlas.mitre.org/) · [CISA and UK NCSC Guidelines for Secure AI System Development](https://www.cisa.gov/news-events/alerts/2023/11/26/cisa-and-uk-ncsc-unveil-joint-guidelines-secure-ai-system-development)

## Budujmy skuteczniejszą cyberobronę razem

Budujemy trwałe partnerstwa oparte na zaufaniu, wiedzy i wspólnych sukcesach. Chcesz rozwijać firmę, poszerzyć ofertę cyberbezpieczeństwa lub wprowadzić innowacyjne rozwiązania na nowe rynki? Yellow Cube wspiera Cię na każdym z tych etapów.

[Skontaktuj się z Yellow Cube](<mailto:hello@yellowcube.eu?subject=Partnership>)

## Źródło i zakres informacji

Ta wersja Markdown jest generowana z tych samych zatwierdzonych treści co kanoniczna strona HTML. Przy cytowaniu użyj kanonicznego adresu URL.