Bei Amazon zeigte sich erstmals öffentlich, wie KI Frauen systematisch diskriminieren kann. Die Firma hatte 2014 eine automatisierte Rekrutierungs-Software entwickelt, die mit Lebensläufen aus zehn Jahren Firmengeschichte gefüttert worden war, um aus neuen Bewerbungen objektiv die besten herauszufiltern. Nach drei Jahren wurde das Experiment als gescheitert betrachtet und abgebrochen: Die KI hatte systematisch die Bewerbungen von Frauen aussortiert, wodurch diese gar nicht erst die Chance auf ein Bewerbungsgespräch erhielten. Der Ausschluss von Frauen war nicht auf einen Fehler im Algorithmus zurückzuführen; die Software war vielmehr einwandfrei programmiert. Sie hatte die Unternehmenskultur von Amazon analysiert und perfekt reproduziert. Weil bei Amazon vor allem Männer angestellt sind, hatte die KI nach vergleichbaren Bewerbern gesucht und alle, die davon abwichen, ausgesondert.

Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.

Any fears we might have about unfair automated job rejection were illustrated in Amazon’s development of job-hiring software, which relied on algorithms trained on a data set of thousands of resumes that the company had used in their previous job hire decisions. By mathematically modeling the ideal types of applicants that the company had hired previously through human interview panels, the algorithm was faithfully reproducing the (un)conscious bias in decision-making that disproportionately favored male engineers. As was reported at the time, Amazon’s system taught itself that male candidates were preferable and eliminated or penalized résumés that included the word “women”—for example, as might be detected in the phrase “women’s chess club captain” (Dastin 2018). To paraphrase an old computer science adage, this was a case of “prejudice in, prejudice out.” This is a clear instance of the “coded bias” that Joy Buolamwini and colleagues were warning us about.

Die Personalabteilung des Onlinehändlers hatte eine KI darauf trainiert, Bewerbungsunterlagen zu analysieren, um zum Unternehmen passende Kandidaten zu finden. Gelernt hat die KI aus dem Material von in der Vergangenheit eingestellten Mitarbeitern. Bald stellte sich heraus, dass das System Männer bevorzugte – naheliegend, denn wie in jedem Tech-Konzern bestand die Belegschaft vor allem anfangs überwiegend aus Männern. Überraschend war allerdings, wie hartnäckig sich die Hinweise auf „Männlichkeit“ in den Trainingsdaten hielten: Selbst als die Amazon-Entwickler alle geschlechtsspezifischen Daten, vom Vornamen bis hin zur Universität entfernt hatten, lehnte die KI weibliche Bewerber eher ab. Letztlich stellte sich heraus, dass sich auch die Art und Weise unterscheidet, wie Männer und Frauen ihre Anschreiben verfassen, wie die KI-Spezialistin Kate Crawford in ihrem Buch „Atlas of AI“ beschreibt. Amazon hätte also auch die Formulierungen in eine wie auch immer geartete geschlechtsneutrale Form bringen müssen.

Aus Bewerbungsunterlagen und anderen Textdokumenten lassen sich Geschlecht und Name einfach löschen. Das Ergebnis sind scheinbar neutrale Trainingsdaten, die weder Frauen noch Menschen mit Migrationshintergrund benachteiligen. Doch manches Datenmaterial ist einfach derart durchtränkt von verräterischen Merkmalen wie Wohngegend, Besuch einer reinen Mädchen-/Jungenschule et cetera – , dass sich die Datensätze nicht vernünftig neutralisieren lassen, ohne sie komplett zu entwerten.
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.

Im Jahr 2014 entwickelte das Unternehmen ein KI-Tool, um die Suche nach neuem Personal zu unterstützen. Die KI sollte das Internet durchforsten und Menschen identifizieren, die gut zu Amazon passen könnten. Das Modell wurde darauf trainiert, in Lebensläufen 50000 Begriffe zu erkennen und Übereinstimmungen mit den Lebensläufen früherer erfolgreicher Angestellter bei Amazon zu finden. So sollte das Programm die Bewerberprüfung automatisieren und erheblich beschleunigen. «Jeder wollte diesen Heiligen Gral», sagte eine mit der Initiative vertraute Person gegenüber Reuters, «sie wollten buchstäblich eine Maschine haben, die hundert Lebensläufe ausspuckt und die besten fünf auswählt, die wir dann einstellen.» [324] Doch das Tool verwandelte sich vom Heiligen Gral in ein Trojanisches Pferd. Schon bald stellte Amazon fest, dass die KI männliche Kandidaten bevorzugte. Die Erklärung: Da in der Vergangenheit überwiegend Männer eingestellt worden waren, hatte das System gelernt, dass männliche Bewerber auch in Zukunft am besten zu dem E-Commerce-Giganten passen würden. Das System bewertete sämtliche weiblich assoziierten Informationen, wie das Hobby «Frauenfußball», als negativ. Aber auch versteckte weibliche Konnotationen wurden bestraft: Zum Beispiel bevorzugte die KI Verben, die in männlichen Lebensläufen häufiger vorkommen als in weiblichen. Keiner dieser Bias wurde absichtlich so programmiert. Aber sie waren gezielt erlernt worden. Zwar versuchte das Entwicklungsteam noch, das Modell zu retten. Da man jedoch trotz mehrerer Versuche nicht in der Lage war, diese Verzerrungen zu beseitigen, beschloss Amazon, das Tool ganz zu verwerfen.