Forskning på AI: Nye måter å forbedre forståelighet i forklaringsprosessen!

Forskning på AI: Nye måter å forbedre forståelighet i forklaringsprosessen!

10. september 2025 vil Collaborative Research Center/Transregio 318 «Constructing Explainability» ved universitetene i Bielefeld og Paderborn gjøre status etter fire år med intensiv forskning. Under ledelse av Prof. Dr. Katharina Rohlfing og Prof. Dr. Philipp Cimiano fokuserer på målet om å forske på forståelighet og forklarbarhet av kunstig intelligens (AI). Involvering av brukere i forklaringsprosessen er også spesielt relevant, et aspekt som setter ny fart på forskningen. Samarbeidet omfattet totalt 20 prosjekter og seks syntesegrupper og avsluttes med første finansieringsfase ved utgangen av året.

Et nøkkelresultat av forskningen er funnet at nåværende "forklarlig AI"-systemer ofte ser på forklaringer som en enveiskjørt gate. Forståelsesprosessen blir derimot i økende grad sett på som en gjensidig utveksling. Derfor ble det utviklet et nytt rammeverk for «Social Explainable AI» (sXAI), som fokuserer på å tilpasse forklaringer til brukerreaksjoner i sanntid. Denne utviklingen er drevet av tverrfaglige team som kombinerer informatikk, lingvistikk og psykologi.

Analyse av forklaringsprosessen

Rohlfings team undersøkte virkelige samtaler for å finne ut hvordan forklaringsprosessen fungerer. Det viste seg at forklaringer ofte begynner med en monolog, men de som forklares er aktivt involvert ved å stille spørsmål eller signalisere forvirring. Analysen tok også for seg bruk av språk og gester for å demonstrere forståelse. Disse funnene har vist at konseptet «stillas» – gradvis støtte for læring – er nyttig for å optimalisere forklaringsprosessen.

Et eksempel på en slik utvikling er SNAPE-systemet, som ble designet i prosjekt A01. Den reagerer følsomt på personens reaksjoner og tilpasser forklaringene individuelt til den respektive situasjonen. Det er derfor forskerne i økende grad fokuserer på samarbeid, sosial hensiktsmessighet og selve forklaringsprosessen for å gjøre AI-systemer både mer effektive og mer brukervennlige.

Juridiske og tekniske utfordringer

Utfordringene er mangfoldige, spesielt i juridisk sammenheng. Økende lover angående selskapers ansvar for deres AI-systemer, slik som General Data Protection Regulation (GDPR) i Europa, krever transparent deling av informasjon om beslutningsprosesser. Forklarbar kunstig intelligens (XAI) har som mål å gjøre disse prosessene mer forståelige for å fremme tillit og lette brukerinteraksjon.

Teknikker for å oppnå forklarbarhet, som funksjonsattribusjonsteknikker, kontrafaktiske forklaringer og fremtredende kart, er allerede etablert i forskningen. Men kompleksiteten til AI-modeller er fortsatt et hinder; Mange av disse modellene blir ofte oppfattet som «svarte bokser», noe som i betydelig grad begrenser åpenheten i beslutningstaking. I tillegg blir behovet for klare retningslinjer for å fremme ansvarlig bruk av AI stadig tydeligere.

Samlet sett viser forskning i Collaborative Research Center at forklaringsevnen til AI ikke bare har tekniske dimensjoner, men også juridiske og sosiale dimensjoner. Synet på forklarbarhet må utvikles for å oppmuntre til aktiv brukerinteraksjon og fokusere på de ulike behovene til sluttbrukere.