Einsatz von Anwendungen der künstlichen Intelligenz in der Sozialversicherung

Einsatzspektrum

Das bislang diskutierte Einsatzspektrum kann grob in zwei Bereiche differenziert werden: zum einen in KI-Systeme, die als Unterstützung für die Sachbearbeitung individuell entwickelt werden (Mustererkennung in großen Datensätzen – z. B. zur Verbesserung der Betrugserkennung) und zum anderen KI-Systembausteine, die in bestehende Prozesse eingebunden werden, um meist administrative Teilfunktionen zu automatisieren (Einsatz bei der digitalen Sprach- und Textverarbeitung zum Beispiel beim Posteingang oder Chatbots).

Zur Unterstützung der Sachbearbeitung in Form von Mustererkennung in großen Datensätzen wurden KI-Systeme diskutiert, die im Rahmen der Fehlverhaltensbekämpfung und Betrugserkennung eingesetzt werden sollen (siehe hierzu auch KI-Systeme zur Bekämpfung von Fehlverhalten im Gesundheitswesen). Mit Hilfe von Algorithmen soll die Identifizierung von Unregelmäßigkeiten bei Abrechnungen verbessert werden. KI-Systeme in diesen Anwendungsfällen setzen Technologien aus den Bereichen des Machine-Learning und neuronaler Netze ein, um die automatisierte Analyse der Datensätze zu optimieren.

Im Bereich der administrativen Teilfunktionen findet der Einsatz von KI z. B. schon bei der Klassifizierung von Dokumenten statt. Machine-Learning Technologien sollen hierbei zu einer Optimierung von Prozessabläufen und somit zu einer verbesserten Interaktion mit den Kunden führen. Auch eine Kommunikation über automatisierte, dialogbasierte Systeme (sog. Chatbots) findet bereits statt und verbessert die Interaktion zwischen Menschen und Computer. Eine solche Teilautomatisierung ist zudem im Bereich der Videoidentifizierung möglich. Neben der persönlichen Identifizierung mittels Videokonferenz sind Verfahren im Einsatz, die in der Finanzbranche bereits weitgehend etabliert sind. Dabei werden sog.  Deep-Learning Technologien zur Optimierung der Identifizierungsvorgänge eingesetzt.

Allgemeine Herausforderungen

Die individuelle Entwicklung eines KI-Systems ist ein aufwändiger Prozess. Als allgemeine Eingangsvoraussetzung muss für das zu lösende Problem einerseits eine präzise und gut eingrenzbare Fragestellung zugrunde liegen (wie z. B. Klassifizierungsfragen) und andererseits muss für die Beantwortung der Frage eine geeignete Datengrundlage zur Verfügung stehen. D. h. es müssen hinreichend Daten nach Relevanz, Qualität und Umfang vorhanden sein und aufbereitet werden können. Ansonsten besteht die Gefahr, dass es (ungewollt) zu Verzerrungen und Diskriminierungen (sog. Bias) in den Ergebnissen kommt, weil die Algorithmen mit bestehenden systematischen Ungleichgewichten trainiert worden sind, diese reproduzieren und auf diese Weise verstärken.

Wirtschaftlichkeit des Einsatzes

Die Entwicklung und der Einsatz von KI-Anwendungen sind aufwändig und nicht zwangsläufig erfolgsversprechend. In den meisten Fällen, die auch im Digitalausschuss diskutiert worden sind, ist daher ein „Proof of Concept“ durchgeführt worden. Einerseits sollte dabei zunächst die Machbarkeit untersucht werden (sowohl in technischer, aber auch in rechtlicher Hinsicht). Andererseits sind Annahmen für eine wirtschaftliche Begründung des Vorhabens nach den gängigen Standards herauszuarbeiten und zu validieren. Wie bei allen anderen technologischen Innovationen ist der Einsatz kein Selbstzweck und muss im Hinblick auf die Chancen und Risiken gut abgewogen werden.

Positive Effekte, die häufig nicht in Wirtschaftlichkeitsuntersuchungen abgebildet werden können, sind im Rahmen einzelner Beratungen deutlich geworden. Eine vertiefte und analytische Diskussion der Problemstellung führt oft schon zu Verbesserungen in der herkömmlichen Praxis, unabhängig davon, ob später eine KI-Anwendung zum Einsatz kommt. Voraussetzung für dieses „Business-Process-Reengineering“ ist ein kooperativer, interdisziplinärer Dialog, in dem FachspezialistInnen, Organisationsprofis und IT-Know-how eingebunden werden.

Datenschutzgrundsätze und die Blackbox-Verarbeitung

Die EU-Datenschutzgrundverordnung (DSGVO) beinhaltet Grundsätze für die Verarbeitung personenbezogener Daten, die auch für KI-Systeme gelten. Personenbezogene Daten müssen u. a. in einer für die betroffenen Person nachvollziehbaren Weise verarbeitet werden (Art. 5 Abs. 1 lit. a DSGVO). Der Grundsatz der Transparenz setzt insbesondere voraus, dass die Umstände der Verarbeitung in verständlicher, klarer und einfacher Sprache erklärt werden können. Je nach Art der KI-Anwendung sind verschiedene Maßnahmen erforderlich. Bei regelbasierten KI-Anwendungen (z. B. Entscheidungsbäume) kann die Funktionsweise in der Regel anhand der Eingangsdaten gut nachvollzogen werden (sog. White-Box-Modelle). Dem gegenüber sind Einzelentscheidungen komplexer neuronaler Netze, auf denen viele KI-Systeme derzeit beruhen, selbst für KI-Experten schwer nachvollziehbar und können ohne zusätzliche Methoden und Hilfsmittel nicht erklärt werden („Black-Box-Charakter“). Daher ist die Erklärbarkeit und Transparenz in der aktuellen KI-Forschung ein viel diskutiertes Thema und in der Praxis eine große Herausforderung (vgl. hierzu z. B. eine Studie im Auftrag des BMWi, Tom Kraus et al., Erklärbare KI, 2021,).

Auch wenn es aktuell hierfür noch keine gängigen Lösungen gibt, müssen sich die Verantwortlichen mit der Frage auseinandersetzen, wie die Verarbeitung in einer für die Betroffenen nachvollziehbaren Weise annähernd erklärt werden kann. Ein möglicher Ansatz könnte sein, nicht über den Verarbeitungsprozess an sich, sondern über die Faktoren und deren Grenzbereiche, die in den Entscheidungsprozess relevant sind, die Verarbeitung nachvollziehbar darzulegen. Auf jeden Fall muss für die Betroffenen aber erkennbar sein, dass KI-Anwendungen zum Einsatz kommen (Art. 13-15 DSGVO).

Anforderungen an die Datengrundlage

Eine weitere große Herausforderung beim Einsatz von KI-Systemen stellt die Datengrundlage dar. Insbesondere Modelle nach dem Machine-Learning-Ansatz bzw. neuronale Netze sind sehr „datenhungrig“. Daten müssen dabei bezogen auf die jeweilige Problemstellung (Relevanz) sowie in hinreichender Qualität und Quantität vorhanden sein.

Aus datenschutzrechtlicher Sicht führt dieser Datenhunger zu einer notwendigen Auslegung des Begriffs der Erforderlichkeit, die die Menge der zu bearbeitenden Daten mit einbezieht, und einer sich daraus ergebenden Abgrenzung bezogen auf den Grundsatz der Zweckbindung. In den allermeisten Anwendungsfällen sind die gesetzlichen Verarbeitungsbefugnisse dergestalt formuliert, dass für einen bestimmten Zweck Daten erhoben und verarbeitet werden dürfen. Liegt eine Aufgabenbefugnis vor oder ist eine Zweckänderung zulässig, ist eine Verarbeitung zulässig, soweit dies zur Erfüllung der zugrunde liegenden Aufgabe erforderlich ist.

Aus unserer Sicht fraglich ist, ob die Erforderlichkeit in Abhängigkeit der eingesetzten Technologien unterschiedlich beurteilt werden kann und dabei mildere Mittel, die gleich geeignet sind, mit berücksichtigt werden sollten. 

Anlasslose Verarbeitung 

In einigen von uns diskutierten Anwendungsfällen ist eine Abkehr von der einzelfallbezogenen hin zur anlasslosen (Vor-)Verarbeitung diskutiert worden. Als Beispiel kann generell die Abrechnungsprüfung herangezogen werden. Während im Rahmen der herkömmlichen Sachbearbeitung Einzelfälle überprüft werden, soll der Einsatz von KI genutzt werden, um Auffälligkeiten aus den Datenbeständen zu erkennen. Diese werden entweder der Sachbearbeitung bei der Eingabe angezeigt oder es werden Listen erzeugt, die Verdachtsfälle enthalten. Fraglich ist, ob diese Rasterung der Datenbestände mit der Reichweite der jeweiligen Verarbeitungsgrundlage begründet werden kann.

Insgesamt muss zu den datenschutzrechtlichen Fragestellungen eine dokumentierte Auseinandersetzung des Verantwortlichen erfolgen. Dies ist schon allein aufgrund der Rechenschaftspflichten unabdingbar (Artikel 5 Abs. 2 DSGVO).

Integration in die bestehenden Informationssysteme

Die Integration der KI-Anwendungen in bestehende Informationssysteme ist nach unserer Einschätzung oftmals ebenfalls noch eine große Herausforderung. Dabei geht es einerseits um Schnittstellen der sog. Quellsysteme, um die benötigten Daten ohne größeren Aufwand einfließen zu lassen und andererseits um Schnittstellen in den sog. Zielsystemen, um die Ergebnisse z. B. in Fehlerprüfungen von Dialogsystemen zu integrieren.

Vor diesem Hintergrund empfehlen wir in Diskussionen, die Einordnung der geplanten KI-Systeme in die Gesamtarchitektur darzustellen.

Organisatorische Auswirkungen beim Einsatz von KI-Systemen

Zu den organisatorischen Herausforderungen bei der Einführung von KI-Systemen gehören die Auswirkungen auf die Arbeitsprozesse. Dass der Einsatz von innovativen Anwendungssystemen zu veränderten Arbeitsprozessen und Anforderungen an die Sachbearbeitung führt, ist zwar nicht neu, allerdings ist die Angst vor Veränderungen gerade bei dem Einsatz von KI-Systemen besonders ausgeprägt. Oft bestehen Befürchtungen, von diesen Systemen ganz oder teilweise ersetzt zu werden. Diese Szenarien sind von Beginn an in einem begleitenden Veränderungsmanagement zu berücksichtigen und sollten durch akzeptanzfördernde Maßnahmen begegnet werden.

Dabei ist vor dem Hintergrund von Artikel 22 DSGVO und § 31a SGB X deutlich zu kommunizieren: Der Mensch bleibt in der Verantwortung. Eine vollautomatische Sachbearbeitung ist in den allermeisten Fällen – wie insgesamt die Vorstellung einer sog. starken KI, die den Menschen vollständig ersetzen kann – eine Utopie und ist rechtlich vielfach nicht möglich (z. B. bei Ermessensentscheidungen). In der Regel wird aber die Entscheidung vorbereitet und dadurch die Entscheidungsqualität verbessert.  

Interdisziplinäre Ausrichtung des Entwicklungsprozesses

Die oben ausgeführten Herausforderungen zeigen deutlich, dass die Gestaltung von KI-Systemen keine rein technologische Aufgabe ist. Vielmehr können solche komplexen Vorhaben nur gelingen, wenn die Herausforderungen von interdisziplinären Teams gemeinsam angegangen werden. Wir empfehlen daher von Beginn an, ein Projektteam aufzustellen, in dem die verschiedenen Fachexpertisen zusammengeführt werden. Neben der technologischen Perspektive sollten Expertinnen und Experten für die leistungs- und datenschutzrechtlichen, verwaltungsökonomischen und organisatorischen Perspektiven von Beginn an in den Gestaltungsprozess eingebunden werden.

Fazit und Ausblick

Wie eingangs schon angedeutet, sind die Einsatzfelder der KI in der Sozialversicherung bislang noch beschränkt. Zum einen sind uns Entwicklungsvorhaben bekannt, in denen KI bei der Entscheidungsunterstützung in der Sachbearbeitung eingesetzt werden soll. Zum anderen sind schon Systeme im Einsatz, die administrative Teilfunktionen unterstützen. Eine in der Fachpresse oftmals als „starke KI“ bezeichnete Ausprägung, d. h. Systeme, die proaktiv agieren und Entscheidungen selbständig treffen, existiert derzeit nach unserem Kenntnisstand noch nicht.

Wie generell beim Einsatz neuer Technologien sind verschiedene Herausforderungen zu meistern. Die Begründung der Wirtschaftlichkeit, die Umsetzung datenschutzrechtlicher Grundsätze, die organisatorischen Implikationen und die interdisziplinäre Herangehensweise sind besondere Herausforderungen bei dem Einsatz von KI in der Sozialversicherung. Der Digitalausschuss im BAS bietet hierzu eine vorhabenbegleitende Beratungen an (digitalausschuss@bas.bund.de).

Einige Fragen zur ersten Selbsteinschätzung

Die offene Frageliste soll eine erste Selbsteinschätzung unterstützen. Die Liste wird fortwährend erweitert. Ein Anspruch auf Vollständigkeit wird nicht erhoben.

• Gibt es vom Vorstand bzw. der Geschäftsführung strategische Vorgaben zum Umgang mit Künstlicher Intelligenz?
• Sind funktionale und nicht-funktionale Anforderungen so weit verstanden, dass abgeschätzt werden kann, ob und wie Künstliche Intelligenz zum Einsatz kommen kann?
• Wurden Domänenexpertinnen und Domänenexperten in hinreichendem Umfang in die Ideengenerierung mit einbezogen?
• Wurden konventionelle Alternativen untersucht, die auch ohne den Einsatz von KI zum gewünschten Ergebnis führen können?
• Wird der Einsatz der KI unter Berücksichtigung aller Kosten (insbesondere auch der Entwicklungskosten) voraussichtlich wirtschaftlicher sein als der Einsatz von bereits vorhandenen Ressourcen?
• Kann der Gesamtaufwand der Umsetzung schon valide geschätzt werden?
• Sind die rechtlichen Rahmenbedingungen und insbesondere die datenschutzrechtlichen Verarbeitungsbefugnisse für die benötigten Daten geklärt?
• Sind Qualität und Quantität der benötigten Daten gesichert?
• Gibt es bereits Infrastrukturen, die den Umgang mit großen Datenbeständen erlauben?
• Gibt es eine Datenerhebungsstrategie über den gesamten Lebenszyklus und werden entstehende Aufwände, wie zum Beispiel das kontinuierliche Labeln der Daten, berücksichtigt?
• Sind die Verarbeitungsweisen Gegenstand der Informationspflichten gegenüber den Betroffenen? Wie wird die Verarbeitungsweise transparent gemacht?
• Sind geeignete Methoden im Einsatz, um Bias in Trainingsdaten zu erkennen und zu verhindern?
• Sind Methoden zum Erkennen von falsch positiven und falsch negativen Fällen mit vertretbarem Aufwand implementierbar, um Risiken mit großen Auswirkungen abzufangen?
• Ist ein Prozess etabliert, der die Qualität insbesondere von Trainings- und Testdaten prüft und sichert?
• Ist geklärt, zu welchen Zeitpunkten Entscheidungen bezüglich eingesetzter Algorithmen wieder aufgenommen und überdacht werden müssen?
• Wie werden potenzielle Risiken überwacht?
• Wann und wie muss das System neu trainiert werden?

(Stand: 28. April 2022)