Diskriminierung durch Maschinen: Wie die DSGVO hilft

Maschinen können anhand von Daten Einzelne oder Gruppen diskriminieren. Das ist zwar durch das Gleichbehandlungsgesetz verboten, aber erst die Datenschutz-Grundverordnung macht mit hohen Strafen den Schutz effektiv. 

Im Zeitalter der Digitalisierung vertrauen wir Maschinen immer mehr Entscheidungen an. Doch Maschinen handeln nicht ethisch. Wer das ignoriert, dem drohen bald hohe Geldbußen.

Die meisten Menschen haben es vermutlich noch nie bemerkt: Im Lauf ihres Lebens wurden sie schon häufig von einer Maschine aufgrund ihres Alters, Geschlechts, Wohnorts oder ihrer Abstammung benachteiligt. Preise mithilfe von Big Data zu gestalten, ist heute bereits Alltag, selbst entscheidende Kfz-Software steht kurz vor dem Marktdurchbruch.

Diskriminierung durch Maschinen ist bereits Alltag

Die Digitalisierung bewegt immer mehr Unternehmen dazu, Maschinen einzusetzen, um Entscheidungsprozesse zu automatisieren – ob bei der Auswahl von Bewerbern für eine Stelle oder eine Mietwohnung oder bei der individuellen Preisgestaltung beim Online-Shopping. Big-Data-basierte Preisgestaltungs-Software stellt statistisch signifikante Zusammenhänge zwischen der Zahlungsfähigkeit und anderen Eigenschaften von Kunden fest. Um es an einem fiktiven Beispiel zu illustrieren: Die automatisierte Datenanalyse könnte ergeben, dass im Durchschnitt die Zahlungsfähigkeit von Personen mit norwegisch klingenden Nachnamen höher ist als der allgemeine Durchschnitt. Verrechnet ein Unternehmen deshalb allen Kunden dieser Gruppe einen höheren Preis, so liegt eine grundsätzlich unzulässige Diskriminierung vor.

Maschinen diskriminieren auch bei reinen Zufällen

Ein weiteres grundlegendes Problem liegt darin, dass solche Big-Data-basierten Programme bei ihren Entscheidungen nicht zwischen ursächlichem und zufälligem Zusammenhang unterscheiden. So könnte eine statistische Analyse ergeben, dass Schwarzhaarige im Schnitt mehr Schulden haben als Kontaktlinsenträger – und sie daraufhin durch die Preisgestaltungs-Software benachteiligt werden.

Das geltende Recht verbietet gewisse Arten der Diskriminierung vollkommen, wobei im Detail die unterschiedlichen Lebensbereiche wie etwa Arbeit, Bildung oder das Sozialwesen auch unterschiedlich geregelt werden. Nach dem Gleichbehandlungsgesetz ist es insbesondere unzulässig, einzelne Personen oder Personengruppen beim Zugang zu öffentlich angebotenen Waren oder Dienstleistungen zu benachteiligen.

DSGVO bringt Strafen bei Diskriminierung

Da das Gleichbehandlungsgesetz jedoch für viele Arten der Diskriminierung keine Geldstrafen vorsieht, wird es in der Praxis oft vernachlässigt. Die neue Datenschutz-Grundverordnung der EU (DSGVO) wird dies nun ändern. Eine Verarbeitung personenbezogener Daten ist nur dann zulässig, wenn der Verarbeitungszweck rechtmäßig ist. Dies bedeutet nach der Praxis der Datenschutzbehörde, dass die Datenverarbeitung nicht dazu führen darf, dass sonstige Rechtsnormen verletzt werden.

Wird im Zuge einer Datenverarbeitung eine Entscheidung getroffen, die das Gleichbehandlungsgesetz verletzt, so liegt auch eine Verletzung des Datenschutzes vor. Diese kann dann nach der Datenschutz-Grundverordnung, die ab 25. Mai 2018 gilt, mit bis zu 20 Millionen Euro oder vier Prozent des weltweiten Konzernumsatzes bestraft werden. Über den Umweg des Datenschutzrechts gibt es damit ab Mai 2018 einen effektiven Diskriminierungsschutz.

Software: Diskriminierungsschutz implementieren

Wie kann sich ein Unternehmen davor schützen, dass die für automatisierte Entscheidungen eingesetzte Software zu diskriminierenden Entscheidungen führt? Erstens sollte die Software einen Diskriminierungsschutz implementiert haben. Unternehmen sind daher gut beraten, bei der Verhandlung der Lizenz- bzw. Entwicklungsverträge mit dem Softwarehersteller darauf zu achten, dass ein entsprechender Diskriminierungsschutz Teil des geschuldeten Funktionsumfangs ist.

Außerdem ist es essenziell, dass sich das Unternehmen nicht ganz auf die Maschine verlässt, insbesondere in den Fällen, in denen der Vertrag mit dem Softwarehersteller nicht frei verhandelt werden kann (z. B. weil es sich um ein standardisiertes Cloud-Service handelt). Deshalb ist es erforderlich, Data-Analysts zu beschäftigen, die regelmäßig die Qualität der von der Maschine getroffenen Entscheidungen prüfen. Sie müssen analysieren, ob es durch die getroffenen Entscheidungen zu einer unzulässigen Diskriminierung von Personengruppen kommt.

Conclusio

Erst wenn wir als Gesellschaft gelernt haben, unseren Maschinen ein Mindestmaß an Ethik beizubringen, sollten wir dazu übergehen, ihnen schwerwiegende Entscheidungen zu überlassen. Diese Entscheidungen regelmäßig zu kontrollieren, wird uns jedoch niemals erspart bleiben – und aus Unternehmenssicht auch notwendig sein, um das Risiko einer Rechtsverletzung zu minimieren.

Einführung in die Datenschutz-Grundverordnung

Dieser Text erschien unter dem Titel „Personal Pricing: Wie Datenschutz gegen Diskriminierung hilft“ am 18. September 2017 im „Rechtspanorama“ der Tageszeitung „Die Presse“.

Autor: und

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.