In einer Zeit, in der Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) zunehmend in der medizinischen Versorgung Einzug halten, stehen die Sicherstellung der Patientensicherheit und die Optimierung klinischer Abläufe im Vordergrund. Ein Forschungsteam an der Technischen Universität Dresden, geleitet von Prof. Stephen Gilbert, hat nun einen wegweisenden Leitfaden entwickelt, der die menschlichen Faktoren bei der Nutzung von KI-gestützten Medizinprodukten in den Blick nimmt. Dieser Leitfaden soll Herstellern und Prüfstellen helfen, die potenziellen Risiken der Mensch-KI-Interaktion besser zu verstehen und zu minimieren, wie tu-dresden.de berichtet.
Die Forscher identifizierten insgesamt sieben zentrale Risiken, die bei der Nutzung von KI-Systemen im klinischen Alltag auftreten können. Diese reichen von Missverständnissen aufgrund der intransparenten Natur der KI bis hin zu technologischem Stress bei den Nutzern. Hierzu zählen unter anderem auch unangemessenes Vertrauen in die Technologie, „Automatisierungsbias“ und Kompetenzverlust des medizinischen Personals. Ein solcher Verlust an Qualifikationen, auch Deskilling genannt, ist ein ernstzunehmendes Problem, da er die Entscheidungsfindung und die Fähigkeiten der Fachkräfte direkt beeinträchtigen kann. Diese Risiken können zusätzliche Belastungen und Fehlerquellen im Klinikalltag schaffen.
Regulatorische Herausforderungen und Lösungen
Während der Einsatz von KI in der MedTech-Branche seit den 1990er-Jahren an Bedeutung gewonnen hat, sind auch die regulatorischen Rahmenbedingungen in einem ständigen Wandel. Die FDA hat bis zum 20. Dezember 2024 insgesamt 1.016 KI/ML-gestützte Medizinprodukte zugelassen, was ein starkes Indiz für die Dynamik in diesem Bereich ist. Doch mit der technologischen Weiterentwicklung kommen auch neue Herausforderungen, wie vamstar.io schildert.
Die Regulierungsbehörden müssen historische Zulassungsverfahren überdenken und den dynamischen Charakter von KI-Entwicklungen berücksichtigen. Hierzu gehören die Notwendigkeit eines kontinuierlichen Monitorings nach der Markteinführung und die Anpassung der regulatorischen Rahmenwerke, um Echtzeit-Daten und adaptive KI-Modelle zu integrieren. Als zentrales Anliegen wird auch die Verbesserung der Transparenz und Erklärbarkeit der Systeme genannt, um den sogenannten „Black-Box“-Effekt zu vermeiden.
Empfehlungen für die Praxis
Der neue Leitfaden der Dresdner Forschungsgruppe enthält sieben praxisorientierte Empfehlungen für Hersteller von KI-Medizinprodukten. Diese richten sich an die Gestaltung der Systeme, die Schulung des medizinischen Personals sowie die kontinuierliche Überwachung der Systeme nach ihrer Einführung. Unter anderem wird geraten, klar definierte Nutzergruppen und Einsatzbereiche festzulegen und Ergebnisse verständlich darzustellen. Die Integration in klinische Abläufe soll ebenso gefördert werden, um die Nutzerfreundlichkeit zu erhöhen und potenziellen Fehlern vorzubeugen.
Das langfristige Ziel der Forscher ist es, Menschen und deren Interaktionen systematisch in die Regulierung und Bewertung von KI-basierten Gesundheitstechnologien einzubeziehen. In Zusammenarbeit mit Experten der University of Oxford und des Geneva University Hospital wird angestrebt, die Empfehlungen in konkreten Pilotanwendungen zu testen und weiterzuentwickeln.
Zusammenfassend lässt sich sagen, dass die Integration von KI in der Medizin weitreichende Chancen verspricht, aber auch umfassende regulatorische und ethische Überlegungen erfordert. Nur durch eine enge Zusammenarbeit zwischen Forschung, Industrie und Regulierungsbehörden kann eine sichere und effektive Nutzung gewährleistet werden.