Forskning om AI: Nya sätt att förbättra begripligheten i förklaringsprocessen!

Forskning om AI: Nya sätt att förbättra begripligheten i förklaringsprocessen!

Den 10 september 2025 kommer Collaborative Research Center/Transregio 318 "Constructing Explainability" vid universiteten i Bielefeld och Paderborn att göra en inventering efter fyra år av intensiv forskning. Under ledning av Prof. Dr. Katharina Rohlfing och Prof. Dr. Philipp Cimiano fokuserar på målet att undersöka förståeligheten och förklarabarheten av artificiell intelligens (AI). Användarnas involvering i förklaringsprocessen är också särskilt relevant, en aspekt som ger ny fart åt forskningen. Samarbetet omfattade totalt 20 projekt och sex syntesgrupper och avslutas med den första finansieringsfasen i slutet av året.

Ett nyckelresultat av forskningen är upptäckten att nuvarande "förklarliga AI"-system ofta ser förklaringar som en enkelriktad gata. Processen att förstå, å andra sidan, ses alltmer som ett ömsesidigt utbyte. Därför utvecklades ett nytt ramverk för "Social Explainable AI" (sXAI), som fokuserar på att anpassa förklaringar till användarnas reaktioner i realtid. Denna utveckling drivs av tvärvetenskapliga team som kombinerar datavetenskap, lingvistik och psykologi.

Analys av förklaringsprocessen

Rohlfings team undersökte verkliga samtal för att avgöra hur förklaringsprocessen fungerar. Det visade sig att förklaringar ofta börjar med en monolog, men de förklarade är aktivt delaktiga genom att ställa frågor eller signalera förvirring. Analysen övervägde också användningen av språk och gester för att visa förståelse. Dessa fynd har visat att konceptet ”ställningar” – gradvis stöd för lärande – är till hjälp för att optimera förklaringsprocessen.

An example of such a development is the SNAPE system, which was designed in project A01. Den reagerar lyhört på personens reaktioner och anpassar förklaringarna individuellt till respektive situation. Det är därför forskare i allt högre grad fokuserar på samarbete, social lämplighet och själva förklaringsprocessen för att göra AI-system både effektivare och mer användarvänliga.

Juridiska och tekniska utmaningar

Utmaningarna är olika, särskilt i det juridiska sammanhanget. Ökande lagar angående företags ansvar för deras AI-system, såsom General Data Protection Regulation (GDPR) i Europa, kräver transparent delning av information om beslutsprocesser. Explainable Artificial Intelligence (XAI) syftar till att göra dessa processer mer begripliga för att främja förtroende och underlätta användarinteraktion.

Tekniker för att uppnå förklarabarhet, såsom tekniker för egenskapstillskrivning, kontrafaktiska förklaringar och framträdande kartor, är redan etablerade i forskningen. Men komplexiteten hos AI-modeller är fortfarande ett hinder; Många av dessa modeller uppfattas ofta som "svarta lådor", vilket avsevärt begränsar insynen i beslutsfattandet. Dessutom blir behovet av tydliga riktlinjer för att främja en ansvarsfull användning av AI allt tydligare.

Sammantaget visar forskning inom Collaborative Research Center att förklaringsbarheten av AI inte bara har tekniska dimensioner, utan också juridiska och sociala dimensioner. Synen på förklarabarhet måste utvecklas för att uppmuntra aktiv användarinteraktion och fokusera på slutanvändarnas olika behov.