Scoring und Datenschutz: Neue Grenzen für Algorithmen

Der Schutz vor „maschinellen“ Entscheidungen

Zum Hintergrund: Die DSGVO verbietet es grundsätzlich, dass Entscheidungen, die für Betroffene rechtliche Wirkung entfalten, lediglich durch die automatisierte Verarbeitung von Daten getroffen werden. Gemäß DSGVO (Datenschutz-Grundverordnung) hat jeder Mensch das Recht, nicht allein durch eine automatisierte Entscheidung benachteiligt zu werden, die letzte Entscheidung hat somit eigenverantwortlich ein Mensch zu treffen.

Nun ist das Scoring nur ein Beispiel für derartige Entscheidungen: Das Urteil des EuGH ist deshalb auch auf den Einsatz vieler KI-Systeme übertragbar, wenn allein Algorithmen etwa belastende Entscheidungen über Personen treffen, beispielsweise bei Bewerberauswahlen, wie die Datenschutzaufsicht von Thüringen deutlich macht.

Erste Grenze: Der Mensch muss die letzte Entscheidung treffen

Ob bei Scoring oder bei KI-basierten Verfahren: Dem Urteil entsprechend müssen solche KI-basierten Bewertungen mit einer menschlichen Beurteilung verknüpft werden, so zum Beispiel auch der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit.

Diese Anforderung steht aber grundsätzlich im Konflikt mit der Funktionsweise autonomer Einschätzungen durch künstliche Intelligenz, wie die Aufsichtsbehörde betont. Nur durch eine engmaschige menschliche Steuerung des KI-Trainings lasse sich dieser Herausforderung begegnen. Die Entscheidungswege einer KI könnten oft nur in der Entwicklungsphase nachvollzogen und beeinflusst werden. Es sei daher Aufgabe der Entwicklerinnen und Entwickler, Transparenz herzustellen, und Aufgabe der Anwenderinnen und Anwender sei es, sich mit der Funktionsweise auseinanderzusetzen und sie in jedem Einzelfall zu überprüfen.

ollte diese Abgrenzung von Mensch und Maschine nicht gelingen, sind Bewertungen von Einzelpersonen durch eine künstliche Intelligenz nur in den engen Grenzen der DSGVO, machen die Datenschützer klar.

Zweite Grenze: Verbot bestimmter Datenkategorien

Damit sind die Vorgaben des Datenschutzrechts aber nicht erschöpft, wenn es um Verfahren ähnlich dem Scoring geht. So wird das deutsche Bundesdatenschutzgesetz (BDSG) ebenfalls entsprechend geändert, um genauere Vorgaben für Scoring zu etablieren.

Dazu Bundesinnenministerin Nancy Faeser mit Blick auf die BDSG-Änderung: „Wichtig für Verbraucherinnen und Verbraucher ist die Neuregelung zum Scoring, die ihre Rechte stärkt. Wir regeln klar, dass Daten zur ethnischen Herkunft, Gesundheitsdaten oder persönliche Informationen aus sozialen Netzwerken sowie die Wohnanschrift bei der automatisierten Berechnung der Zahlungsfähigkeit einer Person keine Rolle spielen dürfen.“

Konkret soll für Scoring in Zukunft gelten: Von der in der DSGVO vorgesehenen Möglichkeit für nationale Ausnahmen von dem Verbot „automatisierter Entscheidung im Einzelfall“ soll Gebrauch gemacht werden, indem dem Scoring neue Grenzen aufgezeigt werden.

So ist vorgesehen, dass für die Bildung von Wahrscheinlichkeitswerten beim Scoring folgende Daten nicht verwendet werden dürfen: besondere Kategorien personenbezogener Daten im Sinne von Artikel 9 Absatz 1 DSGVO wie die ethnische Herkunft, biometrische Daten und Gesundheitsdaten, der Name der betroffenen Person oder personenbezogene Daten aus ihrer Nutzung sozialer Netzwerke, Informationen über Zahlungseingänge und -ausgänge von Bankkonten, Anschriftendaten sowie Daten, die minderjährige Person betreffen.

Entsprechend werden auch KI-Anwendungen bestimmte Datenkategorien nicht oder nur unter bestimmten Voraussetzungen verarbeiten dürfen, wie der AI Act der EU zeigt. Social Scoring mithilfe Künstlicher Intelligenz und Emotionserkennung am Arbeitsplatz wird es demnach in Europa nicht geben. Zur biometrischen Fernidentifikation enthält die Verordnung strenge und einschränkende Vorgaben und beugt einer flächendeckenden biometrischen Überwachung vor, wie die Bundesregierung erläutert.

Wichtig ist dabei der risikobasierte Ansatz, den die KI-Verordnung verfolgt: Je höher das Risiko ist, desto strenger sind auch die Pflichten. Während KI-Systeme mit einem inakzeptablen Risiko (wie etwa Social Scoring) gänzlich verboten werden und für Hochrisiko-KI-Systeme strenge technische und organisatorische Anforderungen gelten, unterliegen Anwendungen mit geringem Risiko lediglich bestimmten Transparenz- und Informationspflichten.

Dabei hängen die Risiken auch mit den Datenkategorien und den Verarbeitungszwecken zusammen, ein Grund, warum der Datenschutz zum Beispiel die Verarbeitung bestimmter Datenkategorien stark beschränkt und Zweckänderungen verhindern will. Gerade bei KI ist dies wichtig, wo anfangs nicht klar sein könnte, wofür und wie welche Daten später einmal genutzt werden sollen.