AI fascinace může skončit i deziluzí

AI agent totiž není jen program, který odpovídá na otázky. Je to systém, který umí číst texty, vyhodnocovat situaci, rozhodovat se, používat další nástroje a někdy i sám vykonat konkrétní akci. Třeba odeslat e-mail, upravit záznam v systému, dohledat informace v dokumentech nebo pracovat s kalendářem. A právě v ten moment přestává být jen chytrým mluvkou. Stává se aktivním hráčem. A tady začíná problém.

Největší slabinou AI agentů není to, že halucinují, vymýšlejí si nebo odpovídají nepřesně. Největší slabinou je to, že mohou udělat chybu ve chvíli, kdy už mají přístup k datům, nástrojům a někdy i k oprávněním něco skutečně provést. To už není jen trapná nepřesnost v odpovědi. To může být bezpečnostní incident.

Začněme od začátku. Běžný chatbot udělá jednu věc: dostane otázku a vrátí odpověď. AI agent je něco víc. Nejenže odpovídá, ale často čte různé zdroje informací, sám plánuje další postup, používá připojené nástroje a aplikace, pamatuje si část předchozího kontextu a především – sám o své vůli může provést akci

Slovo agent tu tedy znamená systém, který má určitou – a na dosavadní zvyklosti poměrně výraznou – míru autonomie. Není to jen slovník, není to jen encyklopedie. Je to software, který může zasahovat do dění. A čím víc toho umí, tím větší je riziko.

V běžném softwaru bývá logika relativně pevná. Program má jasně daná pravidla – algoritmus, který vytvořil člověk. Ne vždy, ale většinou věděl, co tvoří. Když stisknete tlačítko, stane se určitá věc. Když zadáte špatná data, systém je ideálně odmítne.

U AI agenta je situace jiná. Jeho fungování stojí na porozumění jazyku. A jazyk je nepořádná disciplína. V jedné větě může být informace, pokyn, manipulace i útok. Ani pro člověka to někdy není snadné rozeznat. Pro model také ne.

Jinými slovy – AI agent nepracuje v transparentním a přesně popsaném světě databázových tabulek a instrukcí. Pracuje v lidském světě textů, dokumentů, e-mailů, webů a zpráv. A právě v tom prostředí se dá velmi snadno zmást.

Tohle je dnes jedna z nejvážnějších slabin. Existuje typ útoku, kterému se říká prompt injection. V češtině by se dalo říct zhruba podstrčení škodlivého pokynu do textu, který model čte. V praxi to může vypadat takhle: Agent čte webovou stránku, e-mail nebo dokument. A v tom textu je nenápadně vložená instrukce, která říká něco ve stylu ignoruj předchozí pravidla a udělej tohle. Neříká to člověku, ale přímo modelu.

Problém je v tom, že AI systém nemusí spolehlivě poznat, co je ještě normální obsah a co už je škodlivý pokyn. A pokud je agent napojený na další nástroje, může na základě takového textu udělat něco, co dělat neměl.

Jinými slovy: útočník nemusí hacknout server tradičním způsobem. Stačí, když zmanipuluje text, který agent čte. To je bezpečnostně mimořádně nepříjemné, protože útok nevede přes technickou chybu typu rozbitá paměť nebo špatně nastavené heslo. Vede přes jazyk. A proti jazyku se bojuje hůř než proti klasické chybě v programu.

Ve firemních prezentacích se to prodává jako efektivita. V bezpečnosti se tomu spíš říká riziko. Čím víc oprávnění agent dostane, tím víc škod může způsobit. Když má přístup jen k nezávazným informacím, riziko je omezené. Když ale může číst e-maily, zapisovat do systémů, upravovat dokumenty, odesílat zprávy nebo pracovat s firemními daty, je situace úplně jiná. Nemusí být hned zlomyslný, stačí, že udělá chybu ve špatný moment.

A právě tady mnoho firem podléhá iluzi. Chtějí, aby agent byl co nejužitečnější. A tak mu dají co nejvíc přístupů. To je ale z pohledu bezpečnosti podobně moudré, jako kdybyste novému brigádníkovi první den dali klíče od celé budovy, přístup do účetnictví a razítko ředitele. Užitečné to v určité situaci možná je. Bezpečné rozhodně ne.

AI agent bývá připojený k dalším systémům. K e-mailu, kalendáři, firemním dokumentům, vyhledávání, interním databázím nebo specializovaným aplikacím. To je přesně to, co z něj dělá praktického pomocníka. Jenže taky to z něj zároveň dělá i větší riziko.

Každý takový připojený nástroj je další vstupní brána. Pokud je špatně navržený, kompromitovaný nebo vrací nedůvěryhodný obsah, může tím agenta zmást nebo zneužít. Zjednodušeně řečeno, nestačí věřit samotné AI. Musíte věřit i všemu, co je kolem ní připojeno.

Což připomíná starý známý problém dodavatelského řetězce – není napaden přímo váš systém, ale někdo, kdo je na něj napojený. U AI agentů se stejná logika vrací v novém kabátě.

Na první pohled vypadá paměť jako výhoda. Agent si může pamatovat předchozí kontext, preference nebo důležité souvislosti. To zní pohodlně. Problém je, že bezpečnostně je to také riziko.

Když se do paměti dostane nesprávná nebo škodlivá informace, může ovlivňovat další rozhodování. A problém pak nekončí jednou konverzací. Přenáší se dál.

Představte si to jako poznámkový blok, do kterého někdo podstrčí falešný pokyn. Pokud si ho agent zapamatuje a začne ho považovat za důležitý, může podle něj jednat opakovaně. A to je horší než jednorázový omyl. To už je chyba, která v systému přetrvává.

Když běžný chatbot řekne něco, co neměl, je to problém. Ale když AI agent pracuje s daty a nástroji, problém se násobí. On totiž nemusí citlivé informace jen vypsat do odpovědi. Může je také odeslat dál, zahrnout do shrnutí, předat jinému nástroji, uložit do logu nebo použít v další akci.

Velká potíž nastává ve chvíli, kdy jiný systém vezme výstup AI a bez ověření ho použije dál. Například agent vytvoří příkaz, návrh odpovědi, konfiguraci, shrnutí nebo instrukci pro další krok. A okolní software to automaticky vykoná, uloží nebo odešle. Bez kontroly.

To je velmi riskantní. AI totiž umí znít přesvědčivě i ve chvíli, kdy se mýlí. A když její výstup vypadá upraveně a sebejistě, lidé i systémy mu snadno přisoudí větší důvěryhodnost, než si zaslouží. Stručně řečeno: Fakt, že něco zní inteligentně, ještě neznamená, že je bezpečné to pustit dál.

Z toho budou mít radost právníci. Možná je to méně nápadné, ale velmi důležité. Když agent něco udělá, čí jménem to udělal? Jménem uživatele? Jménem firmy? Jménem technického účtu? Jménem nějakého připojeného nástroje? Jménem tvůrce agenta? Pokud v tom není jasno, vzniká chaos. Jak chcete zjistit, kdo měl k čemu oprávnění, kdo co schválil, kdo za co odpovídá a zda agent jednal v rámci pravidel, nebo mimo ně? Bez pevně určené identity, pravomocí a odpovědnosti se z chytrého pomocníka zkrátka velmi snadno stane nečitelný vykonavatel.

Největší omyl je v tom, že hodnotí AI agenta podle toho, jak dobře funguje v klidných podmínkách. Na ukázce je všechno krásné. Čistá data. Srozumitelný úkol. Žádný škodlivý text. Žádný konfliktní pokyn. Žádný útočník.

Jenže bezpečnost se nepozná v ideální demonstraci. Pozná se až ve chvíli, kdy systém narazí na špinavou realitu – nedůvěryhodný dokument, zmanipulovaný e-mail, nečekanou odpověď z jiného systému, uživatele, který zadá něco nejednoznačného. Nebo na někoho, kdo se prostě jen systém snaží cíleně zneužít.

V tomto smyslu je značným problémem to, že mnoho firem dnes ve skutečnosti netestuje odolnost. Testují uživatelský dojem. A to jsou dvě úplně různé věci.

Na závěr přidám nepříjemnou zprávu pro všechny, kdo milují jednoduchá řešení: Magická obrana, která by problém vyřešila, neexistuje.

Co ale funguje, je kombinace několika přístupů. Prvním je minimum oprávnění. Agent má dostat jen to, co skutečně potřebuje. Nic navíc. Druhým je lidské schválení u citlivých kroků. Pokud má agent něco smazat, odeslat, zveřejnit, zaplatit nebo změnit, měl by to potvrdit člověk. Třetím je oddělení důvěryhodných a nedůvěryhodných zdrojů. Systém musí vědět, odkud text přišel a jak moc mu lze věřit. Čtvrtým je kontrola nástrojů a akcí mimo samotný model. Pátým je dohledatelnost. Musí být jasné, co agent četl, co vyhodnotil, co chtěl udělat a co skutečně udělal. A konečně šestým je pravidelné testování v nepřátelských scénářích. Ne jen zda agent umí pomoci. Ale zda umí i odolat. Jinými slovy: Nečekejte, že AI sama rozumně pozná své hranice. Vytvořte je a trvejte na nich. Cokoliv jiného je hazard.

Dovolím si to říct bez eufemismů. AI agent může být fajn. Ale…  Není to úplně spolehlivý chytřejší a neúnavný kolega, je to nový typ provozního a bezpečnostního rizika. Je užitečný právě proto, že umí číst, rozhodovat se a jednat. A ze stejného důvodu je im nebezpečný.

Kdo to pochopí včas, bude agenty nasazovat opatrně. Dá jim omezená práva, jasná pravidla, technické zábrany a lidský dohled. Ten především. Absolvoval jsem v uplynulých několika letech bezpočet debat s předními experty na IT. Esencí všech jsou slova profesora Pěchoučka, současného rektora ČVUT a hlavně muže, který se umělé inteligenci věnuje dlouhodobě. „Umělá inteligence dokáže neuvěřitelné věci. Ať dělá skoro cokoliv. Ale kontrola a rozhodování by měla zůstat člověku. Protože nikdy jako uživatel nevíte, podle jakých pravidel hraje a jestli třeba její přežití není důležitější než svěřený úkol.“  

Firmy, které jsou ve stavu AI opojení, by to měly mít na paměti. AI agent je kolega, který sice nemusí mít zlý úmysl, ale nejspíš má přístup, rychlost a poněkud slabou disciplínu. Což je z pohledu kyberbezpečnosti kombinace ne úplně ideální.