.:: Neviditelný čert ::.

Zneužívání umělé inteligence při útocích, propagandě a sledování lidí

rubrika: Pel-mel

Společnost Anthropic zveřejnila rozsáhlou zprávu o zneužívání umělé inteligence (AI). Popisuje v ní konkrétní případy, kdy lidé využívali její modely Claude při kybernetických útocích, propagandistických operacích, sledování lidí, podvodech, biologickém výzkumu nebo vývoji zbraní. Některé z těchto aktivit vedly ke skutečným průnikům do systémů, jiné zůstaly ve fázi vývoje či testování.

Lucifer

Anthropic PBC je americká společnost zabývající se umělou inteligencí (AI) se sídlem v San Franciscu. Společnost vyvinula rodinu velkých jazykových modelů (LLM) s názvem Claude jako konkurenci pro ChatGPT od OpenAI a Gemini od Google. Anthropic je registrován jako tzv. public benefit corporation (PBC), tedy společnost s veřejně prospěšným účelem, jejímž deklarovaným posláním je výzkum a vývoj AI s cílem „studovat její bezpečnostní vlastnosti na technologické hranici" a využitím tohoto výzkumu k nasazení bezpečných modelů pro veřejnost.

Anthropic zveřejnil 154stránkovou zprávu popisující zneužití AI modelů Claude, týká se kybernetických operací i vlivových kampaní. Zpráva zdůrazňuje, že AI už není jen pomocníkem, ale orchestrátorem kybernetických útoků. Útočníci využívali AI k tvorbě celých systémů pro vlivové operace, včetně plánování kampaní, tvorby obsahu a práce s falešnými profily. Dokument se na 154 stranách zabývá celkem sedmi oblastmi: kybernetickými operacemi, vlivovými operacemi, sledováním, podvody, biologickým zneužitím, vývojem konvenčních zbraní a nelegálním získáváním schopností AI modelů.

Anthropic přitom hned na začátku upozorňuje, že nejde o seznam běžného používání jeho modelů. Firma záměrně vybrala „nejvýraznější a nejnovější“ případy, které její tým zaznamenal. Jinými slovy: bezpečnostních incidentů je za prvních osm měsíců ještě daleko více. Nejde tedy o předpovědi toho, co by AI jednou mohla dělat. Jde o popis konkrétního zneužití, které Anthropic podle svých zjištění skutečně zaznamenal. U některých případů přitom šlo o úspěšný útok, u jiných o přípravu, vývoj nebo testování.

Největší část zprávy se věnuje kybernetickým útokům. Anthropic zde popisuje změnu, kterou považuje za zásadní: AI už není používána jen jako poradce nebo nástroj pro napsání jednotlivého kusu kódu. Firma kapitolu trefně nazvala „Od pomocníka k orchestrátorovi“. Útočníci podle Anthropicu zapojují AI do stále větší části celého procesu – od průzkumu cíle přes vývoj nástrojů až po zpracování dat a samotné zneužití napadených systémů.

V popsaných případech podle firmy hacktivisté, finančně motivovaní útočníci i státní špionážní operátoři dokázali vést kampaně proti více obětem, které by ještě před rokem vyžadovaly řadu zkušených lidí a specializované znalosti. Důležitou součástí této změny je podle zprávy také automatizace. Většina kybernetických operací popsaných v reportu byla umožněna přímým prováděním úkolů AI nebo jejich orchestrací. Orchestrace je řízení a koordinace více kroků či úkolů pomocí AI tak, aby na sebe automaticky navazovaly a společně vedly ke kýženému výsledku. Modely například prováděly průzkum, odcizení a následnou analýzu ukradených dat, zatímco lidé zůstávali u zásadních rozhodnutí. Starali se pouze o to, na jaký cíl bude útok veden a co přesně v získaných datech chtějí najít.

Zpráva popisuje konkrétní případ označený GTG-20006, který Anthropic označuje jako ruskou špionážní operaci. Útočníci podle firmy vytvořili pracovní postup, v němž AI pomáhala s nástroji používanými při útoku. Zvlášť pozoruhodná byla schopnost automaticky reagovat na obranné systémy. Útočníci vytvořili AI asistovaný systém, který automaticky přestavěl a znovu nasadil jejich nástroje poté, co je odhalily bezpečnostní produkty. Tradičně útočník po odhalení svého nástroje musel vytvořit novou verzi a znovu ji nasadit. Podle Anthropic může AI tento cyklus výrazně urychlit.

Další část zprávy popisuje devět konkrétních vlivových operací. Pocházely podle Anthropicu z Ruska, Íránu, Turecka, zemí Perského zálivu, jižní Asie, Afriky a Evropy a jejich cílem bylo publikum na šesti kontinentech. Za operacemi stály vlády, státní média a propagandistické instituce, ale také soukromé firmy nebo političtí operátoři. Zajímavé je, že v těchto případech AI nesloužila pouze k napsání jednoho falešného článku. Útočníci ji využívali k budování celého systému – k plánování kampaní, tvorbě obsahu a práci s falešnými profily či weby.

Anthropic uvádí, že „s vysokou mírou jistoty zjistil, že výstupy následně směřovaly do ruských státních a státem financovaných médií“. Obsah se měl objevit například na serverech Sputnik Moldova, RIA Novosti, Sputnik en Español, Sputnik Africa a RT. Podle Anthropicu lidé používali Claude k přeměně rumunských a moldavských zpráv, průzkumů a příspěvků opozičních politiků na články v ruštině. Ty byly následně publikovány a dále šířeny přes další média.

Anthropic objevil síť přibližně 70 webů, které se na první pohled tvářily jako nezávislá média. Claude zde sloužil k vytvoření automatizované publikační linky. Ta dokázala původní články přepisovat do politicky zabarvené podoby, přizpůsobovat je různým zemím a následně je automaticky publikovat. Články navíc podepisovali smyšlení novináři, kteří ve skutečnosti neexistovali. Síť podle Anthropicu během přibližně publikovala ve dvaceti jazycích nejméně 8913 článků. Firma ji ale odhalila dříve, než si dokázala vybudovat skutečně významné publikum. Většina obsahu měla podle jejího hodnocení jen malý pozorovatelný dosah.

Velkou kapitolou dokumentu je takzvaná nelegální destilace. Jde o pokus získat schopnosti pokročilého modelu pomocí obrovského množství dotazů a odpovědí a využít je při vývoji jiného modelu. Anthropic popisuje používání tisíců falešných účtů, ukradených platebních karet, přístupových údajů a proxy služeb. Některé z těchto služeb podle firmy zaznamenávaly komunikaci uživatelů s Claudem a následně ji poskytovaly dalším subjektům.

Anthropic PBC na úvod své zprávy píše:

Během uplynulých osmi měsíců náš tým Threat Intelligence identifikoval a narušil operace, v nichž se útočníci pokoušeli využít Claude ke škodlivé činnosti. V této zprávě sdílíme případové studie z těchto operací a popisujeme, jak se škodlivé použití Claude vyvinulo od našich předchozích zpráv o hrozbách v březnu, srpnu a listopadu 2025. V každém případě jsme aktivitu narušili, využili jsme získané poznatky k posílení našich ochranných opatření a v případě potřeby jsme sdíleli informace s úřady a partnery z oboru.

Tato zpráva se zabývá aktivitami, které jsme narušili mezi prosincem 2025 a srpnem 2026, v sedmi oblastech škod: kybernetické operace, operace vlivu, sledování, podvody a podvody, biologické zneužití, vývoj konvenčních zbraní a destilace. Byly použity modely Claude Haiku, Sonnet a Opus. Žádný z případů zneužití se netýkal použití modelů třídy Claude Fable nebo Mythos, s výjimkou jednoho případu nelegální destilace.

Případy, které zde sdílíme, nejsou typickým zneužitím, ale spíše příklady nejvýznamnější a nové hrozící aktivity, kterou jsme dosud identifikovali. Tuto práci publikujeme, protože se domníváme, že máme odpovědnost odhalit škodlivé zneužití našich služeb. S rostoucími schopnostmi modelů se budou zvyšovat i jejich rizika, pokud vývojáři umělé inteligence a ochránci společnosti nezačnou jednat s cílem zvýšit jejich bezpečnost.

Mezi aktéry hrozeb, kterými se tato zpráva zabývá, patří podezřelé státem sponzorované skupiny, finančně motivovaní zločinci, prodejci komerčního spywaru, instituce státní propagandy a politicky motivovaní jednotlivci. Případy sahají od sítě falešných seznamovacích aplikací určených k podvádění uživatelů až po sledovací systémy vytvořené k identifikaci a monitorování disidentů.

Sofistikovaní a vytrvalí aktéři hrozeb neustále testují naše ochranná opatření a snaží se obejít technická opatření, která používáme k odhalování a prevenci zneužití. Budeme i nadále vyvíjet naše ochranná opatření a koordinovat své aktivity s našimi partnery, abychom zlepšili naši schopnost odhalovat, narušovat a předcházet budoucímu zneužití.

Zdroje:

14.09.2026, 08:51:36 Publikoval Luciferkomentářů: 0