AI:s hemligheter: Varför förklaring är avgörande!

AI:s hemligheter: Varför förklaring är avgörande!

Den 4 april 2025 kommer vikten av förklarlig artificiell intelligens (AI) att belysas igen i vetenskapliga kretsar. Datoralgoritmer som kan lära sig har gjort betydande framsteg de senaste åren, men står inför ett centralt problem: deras brist på transparens. Detta påverkar särskilt beslutsprocesser, som ofta uppfattas som en "svart låda". Till exempel, när det kommer till fordonsigenkänning med AI, är det ofta oklart vilka funktioner algoritmerna använder i sina beslut. Prof. Dr. Jürgen Bajorath, som leder området för AI inom biovetenskap vid Lamarr Institute och Life Science Informatics-programmet vid universitetet i Bonn, betonar att dessa modeller inte ska litas blint på.

Att undersöka AIs förklarabarhet är centralt för att förstå när algoritmer är tillförlitliga i sitt beslutsfattande. Förklarbarhet beskriver förmågan hos ett AI-system att på ett transparent sätt förklara vilka kriterier som är avgörande för dess resultat. Inom kemi och läkemedelsupptäckt är dessa krav särskilt utmanande eftersom kemiska språkmodeller ofta föreslår nya molekyler utan att förklara varför dessa förslag görs.

Konceptet med förklarlig AI

Initiativet Explainable AI (XAI) syftar till att reda ut de ofta komplexa beslutsprocesserna för AI-algoritmer. Avslag på låneansökningar av ett AI-system lämnar ofta frustration och misstro eftersom orsaken till beslutet fortfarande är oklar. XAI kan hjälpa till att övervinna dessa utmaningar. Viktiga aspekter är transparens och förtroende, särskilt inom kritiska områden som sjukvård, bank och autonom körning, där beslut kan få allvarliga konsekvenser för människor.

XAI-metoder inkluderar att identifiera inflytelserika egenskaper för förutsägelser såväl som lokala modeller som förklarar specifika förutsägelser (som LIME). Dessa metoder är viktiga för att upptäcka och minimera potentiella fördomar i AI-modellerna. Nuvarande tillämpningar av XAI sträcker sig från förklaringar till medicinska diagnoser till transparenta beslut i tillverkningsprocesser.

Förklarbarhetens utmaningar

Även om framsteg har gjorts finns det ett antal utmaningar som måste övervinnas. Det finns en målkonflikt mellan den önskade modellens komplexitet, vilket ofta leder till en "svart låda", och beslutens förklaringsbarhet. Även stora språkmodeller (LLM) påverkas här, eftersom deras komplexa strukturer kan omöjliggöra en enkel förklaring. Dessutom måste utvecklingsresurser för användarvänliga XAI-verktyg allokeras för att främja en bredare användning.

Bajorath varnar för att de funktioner som AI anser vara relevanta inte nödvändigtvis har en kausal inverkan på önskade utfall. För att validera de föreslagna molekylstrukturerna är kemiska experiment väsentliga för att förstå om funktionerna faktiskt är relevanta. Plausibilitetskontroller är därför viktiga.

Sammanfattningsvis är AI-systemens förklarbarhet och transparens inte bara ett tekniskt krav, utan en nödvändighet för ansvarsfull och etisk användning i samhället. Som ranktracker.com anteckningar, tydliga förklaringar främjar förtroende och är avgörande för efterlevnad av juridiska standarder.

Användningen av adaptiva algoritmer har därför potential att avsevärt främja forskning inom naturvetenskap. Detta kräver dock en djup förståelse för deras styrkor och svagheter för att säkerställa att utvecklingen är både etisk och effektiv. Fraunhofer beskriver hur relevanta förklaringsmetoder kan bidra till att inte bara förbättra teknologier, utan också för att säkerställa överföring av ansvar i beslutsprocesser.

Med tanke på de olika tillämpningsområdena förblir diskussionen om förklarbarheten av AI-beslut ett centralt ämne i det vetenskapliga samfundet.