Co přináší AI Act a jak se na něj připravit?

Technologie AI se stává nedílnou součástí moderního světa – od zdravotnictví přes dopravu až po HR systémy. Přestože většina AI řešení přináší benefity, některé mohou představovat vážná rizika, například diskriminaci, ztrátu soukromí nebo ohrožení základních práv.

AI Act proto:

■ zavádí klasifikaci AI systémů podle míry rizika – od minimálního po nepřípustné;

■ stanovuje přísnější pravidla pro vysoce rizikové systémy;

■ zakazuje některé nebezpečné aplikace (např. biometrické sledování ve veřejném prostoru v reálném čase).

Ale co to konkrétně znamená pro firmy, které umělou inteligenci vyvíjejí, používají nebo dovážejí na evropský trh? A proč je dobré začít s přípravou už teď?

Proč AI Act vznikl a co je jeho účelem?

AI Act zavádí povinnosti pro vývoj, nasazení a provoz AI systémů v EU. Systémy se rozdělují do kategorií podle rizikovosti. Pro oblast kyberbezpečnosti má zásadní význam kategorie takzvaných high‑risc systémů – tedy AI systémů používaných například pro:

■ detekci kybernetických hrozeb;

■ analýzu chování uživatelů (UEBA);

■ klasifikaci nebo prioritizaci incidentů;

■ rozhodování v rámci bezpečnostních operací (např. SOAR systémy). U těchto systémů budou vyžadována konkrétní opatření z hlediska řízení rizik, testování modelů, transparentnosti rozhodování a auditovatelnosti.

Kdo je povinen se AI Actem řídit?

Regulace se týká všech firem, které chtějí vyvíjet, dodávat nebo používat AI na území EU, bez ohledu na to, odkud pochází. Výjimky platí pro použití v oblasti obrany, národní bezpečnosti nebo pro čistě osobní účely.

Týká se následujících typů subjektů:

■ Firmy vyvíjející vlastní AI nástroje pro oblast bezpečnosti.

■Dodavatelé bezpečnostních řešení a služeb, kteří AI používají jako součást detekčních a rozhodovacích mechanismů.

■ Organizace z regulovaných sektorů, které využívají AI nástroje třetích stran a musí ověřit jejich shodu s legislativou.

■ Subjekty spadající pod jiné evropské regulace jako NIS2, DORA, GDPR, které s AI Actem tvoří vzájemně provázaný rámec požadavků.

Pravidla se různí pro poskytovatele a uživatele

Poskytovateli (providers) jsou firmy vyvíjející a prodávající AI systémy, Uživateli (deployers) jsou firmy a organizace, které AI pouze využívají.

Jaká pravidla platí pro poskytovatele AI?

Firmy, které vyvíjejí AI systémy – zejména ty vysoce rizikové – budou muset dodržet řadu povinností.

Patří mezi ně:

■ Zavedení systému řízení rizik a kvality.

■ Vedení technické dokumentace a automatických záznamů.

■ Prokazování shody formou certifikace (conformity assessment).

■ Transparentnost vůči zákazníkům a úřadům.

■ Označení CE pro vysoce rizikové systémy.

■ Informování o incidentech a nedostatcích.

Jaké jsou povinnosti firem, které AI „jen“ používají?

Ani běžní uživatelé AI se odpovědnosti nevyhnou – zejména u vysoce rizikových systémů (například scoringy uchazečů o práci, AI v kritických infrastrukturních oblastech a podobně) budou muset firmy využívající AI:

■ Zajistit, aby byl systém používán podle návodu.

■ Provést posouzení dopadů na základní práva (tam, kde je to nutné).

■ Školit zaměstnance v oblasti AI.

■ Informovat dotčené osoby, že rozhodnutí bylo učiněno či ovlivněno AI.

Uchovávat záznamy a spolupracovat s dohledovými úřady. U systémů s nízkým rizikem, jako jsou chatboti nebo deepfake videa, postačí oznámit uživatelům, že komunikují se strojem.

Zvláštní kapitolu tvoří obecně použitelné – generické – AI modely (GPAI)

Modely jako GPT-4, Claude nebo Gemini budou mít vlastní sadu pravidel:

■ Povinnost vést technickou dokumentaci.

■ Popis schopností a omezení modelu.

■ Zavedení politiky pro dodržování autorských práv.

■ U „systémově významných modelů“ navíc hodnocení rizik a hlášení incidentů.

Sankce: až 35 milionů eur nebo 7 % obratu!

Nedodržení pravidel se může výrazně prodražit. Regulace proto není něco, co lze nechat „na poslední chvíli“. Firmy by měly začít řešit soulad s regulací už při návrhu AI systémů, ať už patří do kategorie poskytovatelů, nebo uživatelů, a to nejen kvůli legislativním požadavkům a bezpečnostním rizikům, ale i z hlediska konkurenční výhody.