Digitale Wasserzeichen: Der Kampf gegen Manipulation im Netz beginnt!

Digitale Wasserzeichen: Der Kampf gegen Manipulation im Netz beginnt!

Wissenschaftler*innen der Fakultät Medien, des Fraunhofer-Instituts für Digitale Medientechnologie IDMT und von Artefact Germany arbeiten gemeinsam an einem innovativen Projekt, um digitale Wasserzeichen für Texte und gesprochene Sprache zu erforschen. Dieses Projekt, benannt „Lantmark – Potential und Grenzen von Large Language Models für Anwendungen im Watermarking von Text und gesprochener Sprache“, hat das Ziel, automatisch generierte Inhalte erkennbar zu machen, um die Transparenz und Vertrauenswürdigkeit in digitalen Kommunikationsräumen zu stärken. In einer zunehmend digitalen Welt ist es wichtig, dass Nutzende nachvollziehen können, ob ein Text von einem Menschen oder einem Programm erstellt wurde, was die Grundlage für das Projekt bildet, wie uni-weimar.de berichtet.

Im Fokus steht das Text-Watermarking, ein Verfahren zur versteckten Markierung von Texten, das sowohl der Nachverfolgbarkeit der Herkunft als auch der Erkennung von Textänderungen dient. Ein zentrales Element des Projekts ist die Modifikation großer Sprachmodelle (LLMs), sodass diese eine digitale Signatur tragen, die gebrandete von nicht-gebrandeten Modellen unterscheidet. Durch zertifizierte Sprachmodelle können nicht-autorisierte Meldungen über Personen oder Unternehmen aufgedeckt werden, was einen wesentlichen Schritt zur Bekämpfung von Verbreitung falscher Informationen darstellt.

Bimodale Authentifizierung in digitalen Räumen

Ein weiteres Ziel des Forschungsprojekts ist die Entwicklung anwendbarer Verfahren zur Bekämpfung von Manipulation in digitalen Räumen. Das Projekt wird vom Bundesministerium für Bildung und Forschung mit rund 1,07 Millionen Euro gefördert und soll eine einzigartige Kombination aus Text- und Audioanalyse bieten. Dies ermöglicht eine bimodale Authentifizierung, die sowohl geschriebene als auch gesprochene Inhalte erfasst.

Zusätzlich zur praktischen Umsetzung der Wasserzeichen-Technologie gibt es auch theoretische Fundierungen. So wurde kürzlich ein Artikel mit dem Titel „A Watermark for Large Language Models“ von John Kirchenbauer und fünf weiteren Autoren eingereicht, der sich mit der Minderung potenzieller Schäden durch Wasserzeichen für große Sprachmodelle beschäftigt. Diese Wasserzeichen sind unsichtbare Signale, die algorithmisch aus einem kurzen Token-Bereich erkennbar sind und können mit minimalem Einfluss auf die Textqualität in generiertem Text eingebettet werden, wie auf arxiv.org dargestellt wird.

Technologie und Funktionsweise der Wasserzeichen

Die Funktionsweise dieser Wasserzeichen-Technologie basiert auf der Auswahl einer randomisierten Menge von „grünen“ Tokens vor der Wortgenerierung, gefolgt von einer behutsamen Förderung der Verwendung dieser Tokens während des Samplings. Dies ermöglicht eine effiziente Erkennung der Wasserzeichen durch einen Open-Source-Algorithmus, ohne dass Zugang zur API oder zu den Parametern des Sprachmodells erforderlich ist. Zudem wird ein statistischer Test zur Erkennung des Wasserzeichens vorgeschlagen, der interpretierbare p-Werte liefert.

Der Artikel beschreibt die Testung des Wasserzeichens mit einem mehr als milliardenschweren Modell der Open Pretrained Transformer (OPT) Familie und diskutiert die Robustheit sowie die Sicherheit des Wasserzeichens, was die Relevanz und Anwendungsmöglichkeiten dieser Forschung weiter untermauert.