Vodoznaky v digitálním věku: bezpečnost nebo iluze?

Transparenz: Redaktionell erstellt und geprüft.
Veröffentlicht am

Výzkumníci z univerzity v Bochumi prezentují nové bezpečnostní mezery v sémantických vodoznakech pro obsah generovaný umělou inteligencí.

Forschende der Uni Bochum präsentieren neue Sicherheitslücken bei semantischen Wasserzeichen für KI-generierte Inhalte.
Výzkumníci z univerzity v Bochumi prezentují nové bezpečnostní mezery v sémantických vodoznakech pro obsah generovaný umělou inteligencí.

Vodoznaky v digitálním věku: bezpečnost nebo iluze?

Rychlý rozvoj umělé inteligence (AI) vyvolal boom ve vytváření obsahu, který je často těžké odlišit od skutečné práce. Zejména při generování obrázků a textů je naléhavá potřeba jasně identifikovat jejich původ. Výzkumné týmy po celém světě pracují na řešeních pro identifikaci děl generovaných umělou inteligencí a bojují proti šíření dezinformací.

Ústředním tématem této diskuse je použití vodoznaků. Tyto technologie by mohly pomoci prokázat, zda byl obrázek generován AI. V obrazových souborech se používají viditelné a neviditelné vodoznaky, přičemž sémantické vodoznaky jsou považovány za zvláště robustní. Jsou hluboce zakořeněny v procesu vytváření obrazu, a proto je jejich odstranění považováno za obtížnější. Nedávno však výzkumníci kybernetické bezpečnosti na Ruhr University Bochum objevili bezpečnostní mezery v těchto sémantických vodoznakech. Výsledky byly prezentovány na konferenci Computer Vision and Pattern Recognition (CVPR) 15. června 2025 v Nashvillu v USA. Andreas Müller, součást výzkumného týmu, vysvětluje, že útočníci mohou podvrhnout nebo odstranit sémantické vodoznaky pomocí jednoduchých prostředků. Jeho tým vyvinul dvě nové možnosti útoku, které tyto technologie ohrožují.

Digitální vodoznaky pro texty

Souběžně s vývojem v oblasti zpracování obrazu se vědci z Fakulty médií, Fraunhoferova institutu pro technologii digitálních médií IDMT a Artefact Germany zaměřují na digitální vodoznaky pro psané texty a mluvený jazyk. Váš projekt „Lantmark“ si klade za cíl učinit automatizovaný obsah rozpoznatelným za účelem posílení transparentnosti a důvěryhodnosti v digitálních komunikačních prostorech. Výzkum se zaměřuje především na technologii textového vodoznaku, která skrývá označení v textu, aby bylo možné sledovat původ a případné změny.

Klíčovým cílem tohoto projektu je upravit velké jazykové modely (LLM) tak, aby nesly digitální podpis. Mělo by být možné odlišit tyto značkové jazykové modely od neznačkových, aby bylo možné včas odhalit neoprávněná hlášení. Projekt je financován částkou přibližně 1,07 milionu eur spolkovým ministerstvem školství a výzkumu a je součástí opatření na vývoj bezpečných technologií ve stále více propojeném světě.

Technologický kontext a vývoj

Potřeba vodoznaků roste, zvláště když se hranice mezi realitou a fikcí stále více stírají. Technologie jako C2PA a SynthID jsou stále důležitější pro lepší rozpoznání obsahu generovaného umělou inteligencí. C2PA zaznamenává původ a zpracování snímků v metadatech a je již podporována renomovanými výrobci fotoaparátů, jako jsou Leica a Canon. Meta, společnost stojící za Facebookem, také plánuje na svých platformách označovat obrázky generované umělou inteligencí.

Kromě toho Google pracuje na SynthID, což je proces pro neviditelné označování obrázků generovaných umělou inteligencí, které jsou vetkány přímo do struktury pixelů. Tyto technologie mají za cíl propagovat autenticitu obsahu a jsou podporovány iniciativami, jako je Content Authenticity Initiative (CAI), které spustily společnosti jako Adobe a Microsoft.

Rozvoj těchto technologií je klíčový, zvláště když přibývají právní spory kolem používání obsahu generovaného umělou inteligencí. Například společnost Getty Images zažalovala Stability AI za použití více než 12 milionů obrázků ze své databáze. Podobná obvinění proti OpenAI vznesl New York Times, což podtrhlo naléhavost vytvoření jasných značek pro digitální obsah.