Eine neue Studie, veröffentlicht in Nature Machine Intelligence, untersucht tiefgreifend, wie das menschliche Gehirn visuelle Informationen verarbeitet und dabei eine Verbindung zur Sprache herstellt. Unter der Leitung von Prof. Dr. Tim C. Kietzmann von der Universität Osnabrück, einem der Co-Erstautoren der Studie, wurde ein innovativer Ansatz entwickelt, um die Interaktion zwischen visueller Wahrnehmung und sprachlichen Modellen zu erforschen.
Im Rahmen der Forschung wurden Probanden Bilder in einem Magnetresonanztomographen (MRT) gezeigt, während ihre Hirnaktivität aufgezeichnet wurde. Die Studie stellte die Hypothese auf, dass das visuelle System Informationen so verarbeitet, dass sie mit sprachlichen Strukturen kompatibel sind. Prof. Dr. Adrien Doerig, der jetzt an der Freien Universität Berlin tätig ist, bezeichnete diese mögliche Verbindung als eine universelle „lingua franca“ zwischen den verschiedenen Hirnregionen.
Künstliche Intelligenz und menschliche Hirnaktivität
Ein herausragendes Ergebnis der Studie ist, dass die heutigen Sprachmodelle, insbesondere große Sprachmodelle (Large Language Models), bemerkenswerte Ähnlichkeiten in ihrer Aktivität aufweisen wie das menschliche visuelle System. Die durch die Studie trainierten künstlichen neuronalen Netze waren in der Lage, aus Bildern präzise sprachliche Repräsentationen vorherzusagen. Diese Modelle übertreffen viele gegenwärtige KI-Technologien in der Fähigkeit, die Hirnaktivität zu modellieren.
Ein zentraler Fokus liegt auf der Funktionsweise des Frontallappens, der sich beim Verarbeiten visueller Informationen als besonders aktiv erweist. Neueste Erkenntnisse unterstreichen, dass der Frontallappen nicht nur für visuelle Wahrnehmung, sondern auch für kognitive Prozesse wie Denken und Entscheidungsfindung verantwortlich ist. Während der Forschung sahen 13 Teilnehmer insgesamt 28 Bilder — darunter Gesichter und bekannte Orte —, wobei ihre Gehirnaktivität mehrere Male über die Zeit hinweg gemessen wurde.
Die Ergebnisse zeigten, dass die Aktivierungen im Frontallappen stärkere Verbindungen zu textbasierten Netzwerken aufwiesen, während die Korrelationen mit visuellen Netzwerken geringer waren. Dies deutet darauf hin, dass das Gehirn visuelle Informationen eng mit sprachlichen Verarbeitungsprozessen verknüpft, ein Befund, der die traditionelle Ansicht in Frage stellt, wonach der Frontallappen ausschließlich motorischen und entscheidungsbezogenen Aufgaben zugeordnet ist. Die Studie lässt darauf schließen, dass bei der Präsentation der Bilder die Aktivität im Frontallappen länger mit textbezogenen Reaktionen korrelierte.
Visuelle Wahrnehmung und neue Forschungsansätze
Ein weiterer wichtiger Aspekt der Forschung ist die Funktion der unterschiedlichen Sehfelder. Das foveale Sichtfeld, das nur 1% des gesamten Sichtfeldes ausmacht, spielt eine entscheidende Rolle bei Aktivitäten wie Lesen, während peripheres Sehen für Orientierung und Navigation entscheidend ist. Die Rolle des peripheren Sehens wird oft weniger beachtet, was im Projekt PERFORM untersucht wird. Hierbei wird die Komplexität der transsakkadischen Wahrnehmung beleuchtet, ein Prozess, der noch wenig verstanden ist.
Außerdem haben Kinder bei Tests zur Positionswahrnehmung in der Peripherie schlechtere Ergebnisse erzielt als Erwachsene, jedoch zeigten sie schnellere Korrekturen durch Blickbewegungen. Dies deutet darauf hin, dass das Gehirn sensorische Informationslücken nahtlos ergänzt, was die Relevanz der multidimensionalen Wahrnehmung unterstreicht. Diese Erkenntnisse fließen nun in ein neues Forschungsprojekt namens SENCES ein, das sich mit der Vervollständigung sensorischer Informationen im Gehirn beschäftigt.
Die fortlaufende Forschung in diesen Bereichen könnte nicht nur unser Verständnis für die komplexe Wechselwirkung zwischen visueller Wahrnehmung und Sprache vertiefen, sondern auch praktische Anwendungen in der Verbesserung von Gehirn-Computer-Schnittstellen sowie der Entwicklung visueller Prothesen für Menschen mit Sehbeeinträchtigungen tragen. In Anbetracht der Vielzahl an unentdeckten Parametern bleibt es spannend, was zukünftige Forschungen aus diesen jüngsten Erkenntnissen hervorbringen werden.
