Wenn von zwei Personen mit den gleichen Bonitätsmerkmalen nur eine den gewünschten Privatkredit erhält und die andere wegen ihres Geschlechts oder ihrer Muttersprache nicht, dann liegt der Verdacht nahe, dass es sich um einen Fall von Diskriminierung handelt. Sozialwissenschaftliche Definitionen verstehen Diskriminierung als eine soziale Praxis, die den Zugang zu bestimmten materiellen wie immateriellen Gütern anhand von (vermeintlichen) Gruppenzugehörigkeiten beschränkt. Dabei dient die Abweichung vom jeweils angenommenen Normalfall als Unterscheidungsmerkmal und damit Diskriminierungsanlass. Was eine Diskriminierung ausmacht und wo sie beginnt, ist ein Produkt beständiger gesellschaftlicher Aushandlungsprozesse, wie etwa die Debatten um die »Ehe für alle« vor Augen führen.

Viele Entscheidungen, die auf digitalisierten Daten beruhen, bereiten algorithmische Entscheidungssysteme entweder vor oder treffen sie ganz, etwa zur Vergabe von Krediten, zur Auswahl von geeigneten Bewerbungen auf eine Stelle oder zur Berechnung eines individuellen Risikoprofils (z.&nbpsp;B. für eine bestimmte Krankheit, einen Zahlungsausfall oder auch für das Begehen einer Straftat). Algorithmische Entscheidungssysteme (AES) sind programmierte Verfahren, die aus einem bestimmten Input in verschiedenen, genau definierten Schrittfolgen einen Output berechnen und dabei potenziell sowohl die Datenerfassung und -analyse als auch die Deutung und Interpretation der Ergebnisse und schließlich die Ableitung einer Entscheidung(sempfehlung) aus den Ergebnissen vollziehen. Eine häufige Unterscheidung gliedert Algorithmen und AES danach, ob sie regelbasiert funktionieren oder aber lernen, also aus Trainingsdaten eigene Funktions- und Analyseregeln ableiten. Lernende Algorithmen bilden einen Teil maschineller Lernsysteme (ML), die auch mit dem Begriff der künstlichen Intelligenz (KI) beschrieben werden.

Ungleichbehandlungen spielen in vielen gesellschaftlichen Bereichen eine Rolle und sind als solche oftmals breit akzeptiert (etwa bei Altersgrenzen für die Teilnahme an politischen Wahlen oder für den Erwerb eines Führerscheins) – nicht jede Ungleichbehandlung ist also zwangsläufig ungerechtfertigt, also diskriminierend. Oftmals sind Ungleichbehandlungen für Betroffene allerdings schwer erkennbar, da die Grundlagen für getroffene Entscheidungen nicht zwangsläufig offengelegt werden (müssen). Wenn zunehmend mehr Entscheidungsprozesse automatisiert erfolgen, stellt sich die Frage, welche Folgen dies mit Blick auf soziale Diskriminierung hat. Werden bestehende gesellschaftliche Diskriminierungsrisiken algorithmisch fortgeschrieben und eventuell sogar potenziert? Oder sind AES vielmehr über menschliche Vorurteile erhaben und bewerten somit sachlicher?

Es erscheint verfrüht, ein allgemeines Urteil darüber zu fällen, ob AES dazu führen, dass es mehr, weniger oder neuartige soziale Diskriminierungen gibt. Der Bericht betrachtet vier Fallbeispiele aus den Bereichen der Arbeitsvermittlung, der medizinischen Versorgung, dem Strafvollzug und der automatisierten Personenerkennung und macht dabei deutlich, dass Ungleichbehandlungen durch AES häufig Fortführungen bekannter »vor-digitaler« Ungleichbehandlungen sind. Eines der Fallbeispiele, das zugleich einen der bekanntesten Fälle von algorithmisch unterstützter Ungleichbehandlung darstellt, beschreibt die vermeintlich höhere Wahrscheinlichkeit für verurteilte schwarze gegenüber weißen US-Amerikaner/-innen, als rückfallgefährdet eingestuft und in Folge dessen nur mit einer vergleichsweise hohen Kaution oder gar nicht auf Bewährung entlassen zu werden. Zugleich führen die Fallbeispiele vor Augen, dass die Frage, ob eine konkrete Ungleichbehandlung diskriminierend ist oder nicht, innerhalb einer Gesellschaft und innerhalb der Rechtsprechung oftmals hoch umstritten ist.

Gerade weil Diskriminierungen durch AES oftmals schwer festzustellen sind, zielt eine Reihe von Vorschlägen darauf ab, die Diskriminierungsrisiken von algorithmischen Entscheidungssystemen ex ante zu minimieren. Dabei stehen die Herstellung von Transparenz, eine Kontrolle und Evaluierung von AES sowie eine einheitliche Regulierung im Zentrum der Diskussion. So kann beispielsweise eine Kennzeichnungspflicht dazu beitragen, den Einsatz eines AES für die Betroffenen transparent zu machen, und durch eine risikoadaptierte Bewertung von AES können gesellschaftliche Folgewirkungen im Voraus abgeschätzt und je nach Kritikalität verschiedene Kontrollmaßnahmen etabliert werden. Diese Maßnahmen stellen nur einen Ausschnitt der derzeit diskutierten Ansätze dar, die darauf zielen, einen gesellschaftlichen und rechtlichen Umgang mit algorithmischen Entscheidungssystemen zu entwickeln, der Raum für Innovationen und Entwicklung bietet und zugleich Bürgerinnen und Bürgern Sicherheit vor Intransparenz und Diskriminierungen beim Zugang zu gesellschaftlich verfügbaren Gütern gewährt.