NextGen AI - Wenn die KI im Falle eines unvermeidlichen Unfalls entscheidet, wer sterben muss!
Während die generative KI und die darunter liegenden Large Language Modelle (LLM) lediglich anhand von Wahrscheinlichkeitsrechnungen auf das nächstlogische Wort referenziert, geht die explorative KI einen deutlichen Schritt weiter. Explainable AI (XAI) beschreibt die Herausforderung, dass Menschen verstehen, wieso ein Algorithmus der künstlichen Intelligenz eine Entscheidung trifft.
XAI beschreibt somit also die Frage nach der Erklärbarkeit von künstlicher Intelligenz. Mit zunehmendem Einsatz von künstlicher Intelligenz in unserem Alltag steigt entsprechend auch die Frage nach der “inneren Mechanik” einer Künstlichen Intelligenz sowie das Bedürfnis nach einer Nachvollziehbarkeit der Entscheidungswege. Die Grundlage von XAI ist somit die Frage, wie die KI zu einem bestimmten Ergebnis kommt.
Explainable AI umfasst eine Reihe von Prozessen und Methoden, die es den Nutzern ermöglichen, die von den Algorithmen des maschinellen Lernens (ML) erzeugten Ergebnisse und Ausgaben zu verstehen und ihnen zu vertrauen. Die Erklärungen, die das KI Ergebnis begleiten, sollen Bedenken und Herausforderungen ansprechen, die von der Benutzerakzeptanz bis hin zu Governance und Rechtswirksamkeit reichen. Diese „Erklärbarkeit“ ist entscheidend für die Fähigkeit der KI, das Vertrauen der Benutzer zu gewinnen, was auf dem Markt erforderlich ist, um die Akzeptanz und den Nutzen von KI zu fördern und die breite Masse für den Einsatz von KI zu gewinnen.
Wie wird eine Künstliche Intelligenz eine Explainable AI?
Wie man eine KI nachvollziehbar macht, hängt sehr stark davon ab, wofür sie eingesetzt wird. Geht es beispielsweise um automatisierte bürokratische Vorgänge, kann eine Explainable AI sich sehr einfach auf einzelne Posten beziehen. Bei der Nichtbewilligung eines Antrages kann sie beispielsweise bestimmte Angaben nennen und mit statistischen Bezügen begründen. Noch besser ist es aber, wenn die KI zugleich Tipps gibt, wie der nächste Antrag, bewilligt wird.
Schwieriger wird das ganze schon bei der Bilderkennung, da zu jedem einzelnen Pixel gleich mehrere Informationen vorhanden sein können. Die Künstliche Intelligenz könnte für das Ergebnis eine Heatmap anbieten, welche die zur Erkennung relevantesten Bereiche des Bildes markiert. Für die Erkennung eines Tieres wäre meist nicht viel Erklärung notwendig, da sich viele Tiere anhand ihrer spezifischen Merkmale relativ schnell identifizieren lassen. Es gibt aber auch abstraktere Anwendungsfälle. So könnten Ärzte womöglich selbst von der KI lernen, welche Bereiche für die Diagnose der Explainable AI relevant waren und dadurch neue Diagnoseverfahren entwickeln.
Wichtig ist die Erklärbarkeit aber auch dann, wenn eine KI moralische Entscheidungen zu treffen hat. Das wäre beim Autonomen Fahren im schlimmsten Fall die Entscheidung, wer bei einem nahezu unausweichlichen Unfall sterben müsste. Schon gerichtlich ist dann eine Explainable AI wichtig, die ihre Analyse und Entscheidungsfindung möglichst nachvollziehbar dokumentiert. Beweisbilder gibt es ohnehin, aber trotzdem ist es wichtig wie die KI bestimmte Parameter wie die Größe von Menschengruppen, Alter, Familienstand und andere Faktoren in der Entscheidungsfindung berücksichtigt. Zudem dürfen manche Faktoren je nach Gesetz auch gar nicht in die Kalkulation der KI mit einfließen. Hier braucht es also eine Explainable AI, bei der man sich nicht einfach nur mit dem Ergebnis zufrieden gibt.
Was auf den ersten Blick angsteinflößend wirkt, kann in Zukunft aber zu einem digitalen Turbo-Booster werden. Langwierige Verwaltungsangelegenheiten oder Gerichtsverfahren können mithilfe von XAI , etwas wenn XAI tausende von Präzedenzfälle in Sekundenschnelle durchsucht und dem Richter für die Urteilsfindung wertvolle Argumentationshilfen liefert.
Wie Explainable AI Transparenz schafft und Vertrauen aufbaut
Um nützlich zu sein, müssen die anfänglichen Rohdaten entweder zu einer vorgeschlagenen oder ausgeführten Aktion führen. Von einem Benutzer zu verlangen, dass er von Anfang an einem völlig autonomen Arbeitsablauf vertraut, ist für die allermeisten oft ein zu großer Sprung. Daher ist es notwendig, dem Benutzer zu erlauben, die unterstützenden Ebenen von unten nach oben zu durchlaufen und nachzuvollziehen. Der Workflow der Benutzeroberfläche (UI) ermöglicht es dem Benutzer, die einzelnen Ebenen der Ereignisse bis hin zu den Roheingaben zu durchdringen und letztendlich auch zu verstehen. Dies erleichtert Transparenz und Vertrauen.
Zusammenfassend gibt es fünf Gründe, warum Erklärungen von Machine- oder Deep-Learning-Modellen notwendig sind:
Unterstützung für die menschliche Entscheidungsfindung: Darunter ist zu verstehen, dass es Möglichkeiten gibt, die Entscheidungen der KI für einen Menschen verständlich zu erklären, und vor allem zu verstehen, welche Kombination von Input-Parametern zu einer Entscheidung führt. Je komplizierter und je größer die Modelle sind, desto aufwendiger ist dies. Als Beispiel hierfür dient, dass eine Ärztin oder Arzt verstehen muss, warum die KI eine Therapie vorschlägt, um gegenüber einer Patientin oder einem Patienten eine Erklärung für eine geplante Behandlung zu haben.
Verbesserte Transparenz: Durch Transparenz kann der User Vertrauen zum System aufbauen. Denn wenn dieser in der Lage ist zu verstehen, wie das Modell agiert beziehungsweise wie es zu einer Entscheidung kommt, resultiert daraus ein gemeinsames Verständnis zwischen KI und Mensch. Dieses gleiche Verständnis führt zu Akzeptanz und Vertrauen beim Menschen.
Debugging: Die Möglichkeit, ein System zu debuggen, zum Beispiel wenn Fehler auftreten oder das KI-Modell sich unvorhergesehen verhält. Wenn zum Beispiel Kredite für junge Personen mit gutem Gehalt abgelehnt werden und es wichtig ist zu verstehen, warum das so ist, um das Modell zu optimieren.
Auditing: Hierbei geht es um die Möglichkeit, für zukünftige regulatorische Anforderungen gewappnet zu sein. Hierbei ist insbesondere der zukünftige AI Act relevant. Mehr dazu erfahrt ihr übrigens in diesem Blog-Beitrag. Es ist wichtig, dass ein Modell verstanden wird, um seine Sicherheit bewerten zu können.
Verifikation von Generalisierbarkeit und Vertrauen: Für KI-Modelle ist es immer wichtig zu erkennen, ob sie in der Lage sind zu generalisieren. Nur wenn das der Fall ist, kann das Vertrauen in das System wachsen. Dies gehört zu einem wichtigen Forschungsfeld namens Trustworthy AI, das bereits in dem genannten Blog-Beitrag näher erklärt wurde.
Welche Methoden umfasst Explainable AI?
Es existieren verschiedene Methoden bzw. Ansätze, um Transparenz und Verständnis für künstliche Intelligenz zu schaffen. In Folgenden sind die wichtigsten zusammengefasst:
Die Layer-wise Relevance Propagation (LRP; etwa: „Schicht für Schicht erfolgende Übertragung von Bedeutung“) wurde erstmals 2015 beschrieben. Hierbei handelt es sich um eine Technik zur Bestimmung der Merkmale von Eingangsvektoren, die am stärksten zum Ausgabeergebnis eines neuronalen Netzwerks beitragen.
Die Counterfactual Method („kontrafaktische Methode“) beschreibt, wie Daten-Input (Texte, Bilder, Diagramme etc.) nach Erhalt eines Resultats ganz gezielt verändert werden. Im Anschluss wird beobachtet, inwiefern sich das Ausgaberesultat dadurch verändert.
Local Interpretable Model-Agnostic Explanations (LIME) ist ein Erklärmodell mit ganzheitlichem Anspruch. Es will jeden maschinellen Klassifikator und die daraus folgende Prognose erklären können. Dadurch sollen die Daten und Vorgehensweisen auch für fachfremde Nutzer verständlich gemacht werden.
In welchen Bereichen kann XAI große Vorteile schaffen?
Für Unternehmen und deren Führungskräfte, die Transparenz, Genauigkeit und unvoreingenommene Entscheidungen sicherstellen müssen, sind Black Box-Ergebnisse gefährlich. Die Ablehnung eines Kredits, obwohl der Antragsteller eigentlich über die für die Genehmigung notwendige Kreditwürdigkeit und Zahlungsfähigkeit verfügt, könnte zu Diskriminierungsvorwürfen führen. Für jedes Unternehmen können Black Box-Modelle und schlechte Entscheidungen, die auf ihrer Grundlage getroffen werden, auch dazu führen, dass sie Kunden aufgrund von Vertrauensverlust oder verpassten Chancen verlieren. Im schlimmsten Fall können Entscheidungen auf Basis von herkömmlichen Black-Box Modellen sogar zu rechtswidrigen Entscheidungen verleiten, die erhebliche Konsequenzen nach sich ziehen.
Daher braucht es besonders in den „empfindlichen“ Arbeitsumgebungen KI-Modelle, die ihre Entscheidungen nachvollziehbar machen. Ist dies gewährleistet kann XAI in vielen Bereichen unseres täglichen Lebens sowie in unserem Berufsalltag erhebliche Vorteile generieren.
Ein erster Anwendungsfall ist die Verwendung von XAI zur Erkennung von Krankheiten im medizinischen Kontext. Ein Beispiel hierfür ist eine KI, die automatisiert Computertomographen-Bilder auf die Existenz oder Nichtexistenz von Krebszellen durchsucht. Da eine KI eine Entscheidung darüber fällt, welche Bilder die Ärztin oder der Arzt genauer untersuchen soll, muss erklärbar sein, wie die KI zu ihrer Entscheidung kommt. Ein derartiges System muss darauf optimiert sein muss, möglichst alle Verdachtsfälle bei Patientinnen und Patienten zu finden. Zeitgleich muss die KI aber möglichst wenig falsche Bilder senden, um das ärztliche Personal nicht zu überlasten, damit daraus keine Fehler resultieren.
Ein anderer Anwendungsfall bezieht sich auf das Credit Scoring und allgemein auf das Thema Liquiditätsvorhersagen. Hierbei sagt eine XAI das Risiko voraus, ob eine Person mit gewissen Eigenschaften (unter anderem Job, Gehalt oder Alter) in der Lage sein wird, einen Kredit in einer gewissen Höhe bedienen kann oder nicht. Hierbei ist Explainability wichtig, um zu verhindern, dass nicht gegen Artikel des Allgemeinen Gleichbehandlungsgesetzes verstoßen wird.
Ein weiterer Anwendungsfall ist Predictive Policing. Dabei handelt es sich um einen XAI-getriebenen Ansatz zur Vorhersage von Verbrechen. Diesen kann die Polizei nutzen, um Hotspots für Verbrechen zu erkennen und/oder um für bestimmte Personen die Wahrscheinlichkeit, ein Verbrechen zu begehen, vorherzusagen. Hier wiederum muss die Software sicherstellen, dass es nicht zu Problemen mit Racial Profiling und Diskriminierung kommt, daher es hier besonders wichtig zu verstehen, warum Modelle eine Vorhersage treffen.
Weitere Einsatzmöglichkeiten für XAI sind:
Versicherungsunternehmen, die mithilfe von XAI-Modellen Beitragssätze festlegen
Schadensregulierungen unter Verwendung von XAI-Modellen zur Berechnung von Auszahlungsbeträgen
Bildungseinrichtungen, die mithilfe von XAI-Modellen Bewerber annehmen oder ablehnen
Personalabteilungen, die mithilfe von XAI-Modellen Bewerber zu filtern
Kostenträger und Anbieter im Gesundheitswesen, die mithilfe von XAI-Modellen Behandlungsoptionen und Anspruchsentscheidungen erläutern
Comments