Představte si: váš finanční ředitel je na videohovoru a žádá vás o okamžitý převod 5 milionů. Dává vám všechny potřebné bankovní údaje. Běžná rutina. Tak proč ne?

Jenže – nebyl to vůbec váš finanční ředitel. Jak je to možné? Viděli jste ho na vlastní oči, slyšeli jeho nezaměnitelný hlas. I ostatní kolegové na hovoru vypadali reálně. Ale transakci už jste stihli odeslat.

Tahle situace se skutečně stala zaměstnanci globální inženýrské firmy Arup, která kvůli deepfaku přišla o 25 milionů dolarů. V jiných případech lidé naletěli „Elonu Muskovi“ či „vedení Goldman Sachs“, kteří na sociálních sítích nadšeně propagovali investice. A šéf jedné agentury v reklamním gigantu WPP málem naletěl deepfaku svého údajného CEO během schůzky na Teams.

Experti varují už léta, že AI technologie jako deepfaky dospějí do nebezpečné fáze – a ta chvíle právě nastala. Deepfaky se šíří od Hollywoodu až po Bílý dům. Ačkoliv firmy o těchto incidentech zpravidla mlčí, počet útoků prudce roste. Podle Deloitte budou ztráty z AI podvodů v USA do roku 2027 dosahovat 40 miliard dolarů.

Nový trh, starý problém 

Podnikatelé milují výzvy – ale tohle je něco jiného. Deepfaky se vyvíjejí rychleji, než je kdo stihne analyzovat. Každý den přichází nová varianta, nový způsob, nové riziko.

USA začaly regulaci deepfaků, AI komunita navrhuje ochrany jako digitální podpisy či vodoznaky. Ale podvodníci takové bariéry ignorují.

Naděje se proto vkládají do „detekce deepfaků“ – nástroje, které rozpoznají, zda je daný obsah vytvořený umělou inteligencí. Jenže i tyto nástroje mohou situaci zhoršit: hackeři je používají jako trenažéry, aby vytvořili ještě dokonalejší podvrhy.

Startupy mají výhodu – mohou být rychlejší než velké firmy. Podle výzkumnice Ankity Mittal z firmy The Insight Partners má trh s detekcí deepfaků obrovský růstový potenciál. A právě startupy jako Reality Defender nebo GetReal se snaží být první.

Reality Defender, sídlící v bývalé budově Western Union v New Yorku, založil bývalý expert na kyberbezpečnost z Goldman Sachs Ben Colman. Firma tvrdí, že dokáže v reálném čase s 99% přesností odhalit hlasové a video deepfaky. Jejími klienty jsou banky a státní instituce – jména neprozrazuje.

Hany Farid, profesor z UC Berkeley a spoluzakladatel startupu GetReal, ukazuje při videohovoru, jak je jeho hlas v reálném čase přehráván přes vizuální podobu mladého Asijce. Je to živý deepfake. GetReal spolupracuje například s Visou a John Deerem.

Deepfaky se neodhalují snadno 

Deepfaky nevznikají jedním způsobem – jsou výsledkem různých technik, které se neustále vyvíjejí. Detektory proto neříkají „pravda“ nebo „lež“, ale spíše „vysoká pravděpodobnost“, „slabá indikace“ atd. Někteří to kritizují, jiní oceňují jako způsob, jak varovat firmy.

Oba startupy pracují v extrémně rychlém tempu a neustále aktualizují své modely. Reality Defender má 80 % týmu složeného z výzkumníků a inženýrů, často najímá rovnou Ph.D. studenty.


Vyšetřování jako na bojišti 

Firmy mají interní „červené týmy“ (hledají zranitelnosti) a „modré týmy“ (chrání systém). GetReal například analyzuje nesoulad mezi zvukem a pohybem rtů, nepřirozené stíny nebo kompresi obrazu – tedy znaky, které AI těžko napodobí.

Podle Farida není cílem úplná eliminace hrozeb, ale jejich zpomalení a odhalení. „Šikovný hacker vás možná přelstí, ale většinu amatérů tím odradíte.“

AI funguje jen tak dobře, jak kvalitní jsou data, na kterých se učí. U deepfake detekce je to obtížné – nejenže je nutné znát různé generátory deepfaků, ale i mít reálná videa a nahrávky. A těch je málo. Reality Defender si proto vytváří data částečně sám – včetně spolupráce s firmami, které deepfaky vytvářejí legálně (např. ElevenLabs, Respeecher).

Snaží se i inovativně: např. chtěl nahrát hlas řidičů taxislužby ve volných chvílích – to sice nevyšlo, ale pomohlo týmu pochopit, co vše může být považováno za „normální šum“.

Reality Defender dokonce vyvíjí notebooky s offline detekcí – chrání tak své know-how před zneužitím.


Jiný přístup: ověřit pravost, ne detekovat podvod 

Joshua McKenty, zakladatel platformy Polyguard, razí jinou cestu: „Nezjišťuji, co je falešné. Ověřuji, co je skutečné.“

Jeho systém pracuje jako „reality check“ – při důležitém hovoru přes telefon nebo video musí účastníci ověřit svou identitu pomocí biometrie, občanky nebo pasu. Ideální pro právní jednání, nábor nebo komunikaci s bankéři.

Klienti už teď zahrnují právní kanceláře, personalisty nebo správce majetku. Přístup Polyguardu chválí i odborníci z Alan Turing Institute: „Autentizace je jednodušší a přímější než detekce podvodu.“


A pak jsou tu ti, kteří čistí škody 

Manželé Arrigoni původně vyvíjeli software pro vyhledávání revenge porn – nelegálně sdílených intimních záběrů. Když ale zjistili, že jejich systém dokáže odhalit i deepfaky celebrit, zaměřili se na nový trh.

Jejich firma Loti dokáže najít video nebo audio klon vaší tváře či hlasu. Stačí jim 3 fotografie a pár sekund zvuku. Detekují i podvržené účty nebo reklamní zneužití identity. Pomáhá jim i zákon „Take It Down Act“, který vyžaduje odstranění neautorizovaných materiálů.

Luke Arrigoni říká: „Místo detekce deepfaků věříme ve využití rozpoznávání obličeje – neptáme se, zda je to pravé nebo falešné. Ptáme se: Jste to vy?“


Vyplatí se to všechno? 

Zatím není jasné, jestli je byznys kolem boje s deepfaky dlouhodobě udržitelný. Startupy jsou závislé na investorech a musí neustále investovat do výzkumu. Ale trh roste a firmy i státy si začínají uvědomovat, jak velké riziko představují AI podvody.

V budoucnu se tyto technologie pravděpodobně stanou běžnou součástí zabezpečení, podobně jako dnes antiviry. Až přijde skutečně velký incident – třeba falešná tiskovka Fortune 500 firmy – trh se může dramaticky rozběhnout.

„Jednou si manažeři řeknou: ‚To už není sranda‘,“ uzavírá CEO GetReal.