Die Integration von Künstlicher Intelligenz (KI) in medizinische Produkte hat das Potenzial, die Qualität der medizinischen Versorgung entscheidend zu verbessern. Dies bekräftigt ein Forschungsteam um Prof. Stephen Gilbert vom Else Kröner Fresenius Zentrum (EKFZ) an der Technischen Universität Dresden (TUD), das sich intensiv mit den menschlichen Faktoren im Umgang mit KI-gestützten Medizinprodukten auseinandersetzt. Ein zentraler Aspekt der aktuellen Forschung ist die Erkenntnis, dass die Sicherheit und Leistungsfähigkeit dieser Technologien nicht allein von komplexen Algorithmen abhängen. Vielmehr spielen die Nutzer und deren Interaktionen mit den Systemen eine entscheidende Rolle.TU Dresden berichtet, dass die Analyse der Risiken der Mensch-KI-Interaktion auf bestehenden Standards, regulatorischen Leitlinien und wissenschaftlicher Literatur basiert. Dies führte zur Identifikation von sieben zentralen Risiken, die im Umgang mit KI-Systemen auftreten können.
Die ermittelten Risiken sind unter anderem Missverständnisse aufgrund der intransparenten Natur von KI, ein unangemessenes Vertrauen in deren Empfehlungen sowie der sogenannte Automatisierungsbias, der zu einer unkritischen Übernahme von KI-Vorschlägen führt. Weitere Faktoren sind der Kompetenzverlust (Deskilling), Technostress bei den Nutzern, ungeprüfte Ausweitung der Einsatzgebiete und Fehler durch Systemänderungen. Diese Problematik wird durch die bestehenden regulatorischen Vorgaben, die viele menschliche Risiken nur unzureichend berücksichtigen, weiter verschärft. Um dem entgegenzuwirken, haben die Forscher in Zusammenarbeit mit den Expert:innen der University of Oxford und des Geneva University Hospital einen praxisorientierten Leitfaden entwickelt.
Empfehlungen zur sicheren Nutzung von KI
Die sieben Empfehlungen, die sich aus der Analyse ergeben, richten sich sowohl an Hersteller als auch an Prüfstellen. Wichtig ist eine klare Definition der Nutzer und der Einsatzbereiche, sowie eine verständliche Darstellung der Ergebnisse. Weiterhin müssen KI-Anwendungen in klinische Abläufe integriert und entsprechende Schulungen für die Anwender bereitgestellt werden. Eine transparente Kommunikation von Systemänderungen zählt ebenso zu den Empfehlungen wie die kontinuierliche Prüfung nach der Markteinführung.Bundesärztekammer hebt hervor, dass die Entwicklung in der KI zur präziseren Diagnostik und individuelleren Behandlungsplänen beiträgt.
Das langfristige Ziel des Forschungsteams ist es, menschliche Einflussfaktoren in die Regulierung und Bewertung von KI-basierten Gesundheitstechnologien zu integrieren. Die nächste Phase sieht eine Überprüfung und Weiterentwicklung der Empfehlungen anhand konkreter Pilotanwendungen vor. Unterstützt wird das EKFZ für Digitale Gesundheit, das 2019 gegründet wurde, durch eine Förderung in Höhe von 40 Millionen Euro über zehn Jahre.
In der breiteren Perspektive wird deutlich, dass die Welt der Medizin vor einem fundamentalen Wandel steht, der durch den Einfluss von KI geprägt wird. Der Gesundheitssektor wird nicht nur effizienter, sondern auch nutzerfreundlicher gestaltet. Die gesellschaftliche Akzeptanz und Anpassungsfähigkeit sind nun gefordert, um die Vorteile dieser revolutionären Technologie voll ausschöpfen zu können. Dabei ist es essenziell, dass die Systeme einen Dialog mit den Nutzern ermöglichen und die Komplexität der Technologien verständlich machen.