Výzkum AI: Nové způsoby, jak zlepšit srozumitelnost v procesu vysvětlování!

Výzkum AI: Nové způsoby, jak zlepšit srozumitelnost v procesu vysvětlování!

10. září 2025 provede Collaborative Research Center/Transregio 318 „Constructing Explainability“ na univerzitách v Bielefeldu a Paderbornu po čtyřech letech intenzivního výzkumu bilanci. Pod vedením Prof. Dr. Kathariny Rohlfing a Prof. Dr. Philippa Cimiana se zaměřuje na cíl výzkumu srozumitelnosti a vysvětlitelnosti umělé inteligence (AI). Zapojení uživatelů do procesu vysvětlování je také obzvláště důležité, což je aspekt, který dává nový impuls výzkumu. Spolupráce zahrnovala celkem 20 projektů a šest syntézních skupin a končí první fází financování na konci roku.

Klíčovým výsledkem výzkumu je zjištění, že současné systémy „vysvětlitelné umělé inteligence“ často považují vysvětlení za jednosměrnou ulici. Proces porozumění je na druhé straně stále více vnímán jako vzájemná výměna. Proto byl vyvinut nový rámec pro „Social Explainable AI“ (sXAI), který se zaměřuje na přizpůsobení vysvětlení reakcím uživatelů v reálném čase. Tento vývoj je řízen interdisciplinárními týmy, které kombinují informatiku, lingvistiku a psychologii.

Analýza vysvětlovacího procesu

Rohlfingův tým zkoumal skutečné rozhovory, aby zjistil, jak proces vysvětlení funguje. Ukázalo se, že vysvětlování často začíná monologem, ale vysvětlovaní jsou aktivně zapojeni kladením otázek nebo signalizací zmatku. Analýza také zvážila použití jazyka a gest k prokázání porozumění. Tato zjištění ukázala, že koncept „lešení“ – postupná podpora učení – pomáhá optimalizovat proces vysvětlování.

Příkladem takového vývoje je systém SNAPE, který byl navržen v projektu A01. Citlivě reaguje na reakce člověka a individuálně přizpůsobuje vysvětlení příslušné situaci. Proto se výzkumníci stále více zaměřují na spolupráci, sociální vhodnost a samotný proces vysvětlování, aby byly systémy AI efektivnější a uživatelsky přívětivější.

Právní a technické výzvy

Výzvy jsou různé, zejména v právním kontextu. Rostoucí zákony týkající se odpovědnosti společností za jejich systémy AI, jako je obecné nařízení o ochraně osobních údajů (GDPR) v Evropě, vyžadují transparentní sdílení informací o rozhodovacích procesech. Vysvětlitelná umělá inteligence (XAI) si klade za cíl učinit tyto procesy srozumitelnějšími pro podporu důvěry a usnadnění interakce uživatelů.

Techniky pro dosažení vysvětlitelnosti, jako jsou techniky přiřazování rysů, kontrafaktuální vysvětlení a mapy význačnosti, jsou již ve výzkumu zavedeny. Složitost modelů umělé inteligence však zůstává překážkou; Mnohé z těchto modelů jsou často vnímány jako „černé skříňky“, což výrazně omezuje transparentnost rozhodování. Kromě toho je stále jasnější potřeba jasných pokynů na podporu odpovědného používání umělé inteligence.

Celkově výzkum v Collaborative Research Center ukazuje, že vysvětlitelnost AI nemá pouze technické rozměry, ale také právní a sociální rozměry. Pohled na vysvětlitelnost se musí vyvíjet, aby podporoval aktivní interakci uživatelů a zaměřil se na různorodé potřeby koncových uživatelů.