Detekce obsahu manipulovaného umělou inteligencí je náročný závod ve zbrojení

Detekce obsahu manipulovaného umělou inteligencí je náročný závod ve zbrojení

Nahé fotky popové superstar Taylor Swift nedávno zaplavily sociální média X, kde si je prohlížely a sdílely miliony uživatelů. Ale obrázky nebyly skutečné – byly to deepfakes vytvořené pomocí umělé inteligence (AI). Incident rozdmýchal debatu o regulaci deepfakes a vyvolal takovou pozornost, že se do toho zapojil i Bílý dům.

O řešeních se nyní diskutuje mezi politiky a velkými technologickými společnostmi. Je ale vůbec možné se takovému útoku bránit? Podle Mortena Marupa, který se zabývá výzkumem umělé inteligence na DTU Compute, by to mohl být velmi obtížný úkol.

Deepfake využívá hluboké učení k vytváření textu, obrázků, řeči nebo videa , které jsou prezentovány jako skutečné, ale zdaleka tomu tak nejsou. Vývoj deepfakes se rozběhl v roce 2014, kdy byl vyvinut princip učení AI Generative Adversarial Network (GAN).

Tento princip umožňuje modelům umělé inteligence trénovat proti jiným modelům umělé inteligence určeným k detekci deepfakes. Od té doby byly vyvinuty modely umělé inteligence, díky nimž je ještě těžší rozlišit mezi falešným a realitou, a na internetu je k dispozici mnoho deepfake nástrojů.

"Princip učení GAN je založen na závodech ve zbrojení mezi dvěma modely umělé inteligence: jedním, který generuje deepfakes, a druhým, který se snaží rozlišit mezi tím, co je skutečné a vytvořeným umělou inteligencí. Deepfake modely se testují proti modelům navrženým k jejich detekci. Model umělé inteligence navržený pro vytváření deepfakes je trénován proti jinému modelu umělé inteligence, který má určit, zda je, řekněme, obrázek skutečný nebo falešný, a z tohoto modelu umělé inteligence se naučí, jak je třeba jej zlepšit.

„Tento závod mezi dvěma modely umělé inteligence – jeden se snaží generovat a druhý odhalovat falešný materiál – bude pokračovat, dokud detekční model nebude schopen rozlišovat mezi realitou a falešným. To je to, co je tak obtížné pro lidi i modely AI. rozeznat rozdíl mezi tím, co je skutečné a falešné,“ říká Marup.

Co jsou deepfakes?

Deepfakes jsou počítačem generovaný text, obrázky, zvuky, řeč nebo video, které se prezentují jako skutečné, ale nejsou. Pro člověka může být velmi obtížné rozeznat, zda je něco skutečné nebo vytvořené AI – v některých případech téměř nemožné. Deepfakes jsou často generovány na principu učení GAN, ale dnes existuje i mnoho dalších metod pro generování deepfakes.

Technické společnosti a výzkumníci pracují na vývoji modelů umělé inteligence, které dokážou detekovat deepfakes, ale i tyto modely mohou mít potíže s poznáním rozdílu.

Prohlášení nejsou zárukou

Studie DR zjistila, že 1 ze 3 dětí ve věku 9 – 14 let nikdy nezvažuje možnost, že by fotografie a videa na sociálních sítích mohly být zmanipulovány. Mnoho deepfakes nyní vedlo společnost Meta, která vlastní Facebook a Instagram, k tomu, aby se snažila detekovat obrázky a videa, která jsou vytvořena počítačem.

Zákon EU o AI – první legislativa o AI na světě – zároveň stanoví povinnost deklarovat počítačově generovaný obsah. Přestože se v této oblasti připravuje regulace a technologické společnosti se budou snažit odhalovat deepfakes, Marup věří, že neexistuje žádná záruka, že se v budoucnu můžeme vyhnout tomu, abychom viděli mnohem více deepfake obsahu.

 

"Začít deklarovat deepfake je rozhodně důležitý krok, ale stále se najdou lidé, kteří dokážou generovat obsah, aniž by to bylo deklarováno. Probíhá výzkum vývoje detektorů deepfake na bázi umělé inteligence, ale pak jsme zpátky u závodu ve zbrojení. A je to závod ve zbrojení, který bude podle mě velmi těžké vyhrát. Nesmíme proto zavírat oči a jen předpokládat, že cokoli, co není prohlášeno za deepfake, je skutečné,“ říká Marup.

V současné době existuje další metoda pro detekci deepfakes, která zcela obchází AI a je založena na důkladném výzkumu.

"Můžete zkusit zkontrolovat deepfake proti jiným informacím. Pokud videoklip ukazuje něco, co se stalo například na Ukrajině, můžete to porovnat s tehdejšími satelitními fotkami a informacemi o počasí a zjistit, zda vše odpovídá videoklipu. Například, pršelo ten den, přesto videoklip ukazuje oblohu bez mráčku?

"Jediným problémem je, že modely umělé inteligence mohou mít potenciálně také přístup k informacím, se kterými video porovnáváme. Dobrý deepfake tedy zajistí, že ve videu bude pršet," říká Marup.

Svět dezinformací

V roce 2019 obdržel generální ředitel britské energetické společnosti telefonát od svého nadřízeného v mateřské společnosti v Německu a řekl mu, aby převedl 220 000 EUR na bankovní účet. Ve skutečnosti byl generální ředitel oklamán hlubokým podvodem. Podvodník použil AI ke generování hlasu svého nadřízeného tak přesvědčivě, že ředitel peníze okamžitě převedl. V únoru 2024 zažila velká společnost v Hongkongu podobný incident a byla podvedena ve výši 25,6 milionů USD.

V Dánsku bude ministerstvo zahraničních věcí pečlivěji sledovat diplomatické videokonverzace poté, co ministr zahraničí Lars Lakke Rasmussen (M) loni zažil falešný hovor od skupiny ruských komiků, kteří předstírali tvář a hlas Moussy Faki, předseda komise Africké unie.

I když může být velmi obtížné zabránit podobným podvodům a šíření dezinformací generovaných deepfake, Marup věří, že větší povědomí o problémech je klíčem k omezení problému.

"Požadavky na deklaraci znesnadní běžným uživatelům provádět deepfake, aniž by byli odhaleni, ale i nadále budou existovat významní hráči, kteří budou podvádět ostatní nebo ovlivňovat demokratické procesy. Musíme proto uznat, že tyto technologie existují, a jednat podle toho."

"Musíme praktikovat kritiku zdroje a pochopit, že žijeme ve světě dezinformací, kde existuje manipulace, kterou lze velmi obtížně odhalit. Jako společnost může být ohroženo naše společné chápání toho, co je skutečné. Bude to velký problém." pokud začneme odmítat pravdy jako dezinformace a falešné, protože nezapadají do našeho pohledu na svět,“ říká Marup.

Obrázky Taylor Swift byly následně smazány a vyhledávání pomocí jména zpěvačky bylo na X na určitou dobu zakázáno, aby se zabránilo sdílení nových obrázků. Od té doby několik amerických politiků, včetně kongresmanky Yvette Clarke (demokratka), požadovalo přijetí legislativy zakazující vytváření a sdílení deepfakes jako pornografického obsahu na internetu.