/ en / Traditional / help

Beats Biblionetz - Begriffe

Amazons-KI-Bewerbungsverfahren

iconBiblioMap Dies ist der Versuch, gewisse Zusammenhänge im Biblionetz graphisch darzustellen. Könnte noch besser werden, aber immerhin ein Anfang!

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconDefinitionen

Herausforderungen der künstlichen IntelligenzBekannt ist auch ein Beispiel, wonach Amazon auf die Verwendung eines algorithmischen Kandidatenauswahlsystems verzichtete, nachdem festgestellt wurde, dass das System auf der Grundlage verzerrter Lerndaten männliche Kandidaten bevorzugte.
Von Interdepartementale Arbeitsgruppe künstliche Intelligenz im Buch Herausforderungen der künstlichen Intelligenz (2019) auf Seite  33
Gerd GigerenzerAmazon hat mittels maschinellem Lernen einen Algorithmus konzipiert, der Bewerber, männlich oder weiblich, für Stellungen in der Softwareentwicklung und anderen Jobs der Digitalbranche auf der Grundlage ihrer Profile bewertet. Man stellte sich vor, das System mit einigen hundert Profilen zu füttern und dann die fünf besten zu erhalten, die dann eingestellt würden. Zu ihrer Überraschung »mochte« die Maschine keine Frauen. Abermals befand sich der Bias in den Daten, der die Profile aller Bewerber der letzten zehn Jahre enthielt, wobei die Männer die weit überwiegende Mehrheit stellten. Als man die Vornamen aus den Bewerbungen entfernte, brachte das nicht viel; die KI fand andere Wege, etwa indem sie das Geschlecht aus einem Abschluss an einem reinen Frauencollege schloss.
Von Gerd Gigerenzer im Buch Klick (2021) im Text Transparenz
Bei Amazon zeigte sich erstmals öffentlich, wie KI Frauen systematisch diskriminieren kann. Die Firma hatte 2014 eine automatisierte Rekrutierungs-Software entwickelt, die mit Lebensläufen aus zehn Jahren Firmengeschichte gefüttert worden war, um aus neuen Bewerbungen objektiv die besten herauszufiltern. Nach drei Jahren wurde das Experiment als gescheitert betrachtet und abgebrochen: Die KI hatte systematisch die Bewerbungen von Frauen aussortiert, wodurch diese gar nicht erst die Chance auf ein Bewerbungsgespräch erhielten. Der Ausschluss von Frauen war nicht auf einen Fehler im Algorithmus zurückzuführen; die Software war vielmehr einwandfrei programmiert. Sie hatte die Unternehmenskultur von Amazon analysiert und perfekt reproduziert. Weil bei Amazon vor allem Männer angestellt sind, hatte die KI nach vergleichbaren Bewerbern gesucht und alle, die davon abwichen, ausgesondert.
Von Nadine A. Brügger im Text Die Informatik ist männlich (2021)

iconBemerkungen

Gerd GigerenzerBetrachten wir noch einmal die Philharmonieorchester. Nehmen wir an, ein Tech-Unternehmen trainiert ein tiefes neuronales Netzwerk darauf, die besten Mitglieder für ein Orchester zu finden. Es gibt die Profile von einhunderttausend Männern und Frauen ein, die sich in den letzten fünfzig Jahren um einen Platz in den besten Orchestern der Welt bemüht haben, und liefert außerdem die Information, ob sie eingestellt wurden oder nicht. Das Netz wird rasch entdecken, dass männlich zu sein ein starker Vorhersagefaktor ist, und den Bias der Vergangenheit reproduzieren.
Von Gerd Gigerenzer im Buch Klick (2021) im Text Transparenz
Katharina A. ZweigMan sieht an diesem Beispiel deutlich: Wenn der Selektionsprozess vorher schon zu einem verzerrten Ergebnis bezüglich einer sensitiven Eigenschaft geführt hat, kann ein Algorithmus, auch ohne dass er die zugrunde liegenden sensitiven Eigenschaften kennt, die Verzerrung durch eine Korrelarion der sensitiven Eigenschaft mit anderen Eigenschaften entdecken. In diesem Fall gab es also eine ziemlich eindeutige Korrelation zwischen verschiedenen Freizeitbeschäftigungen, einigen Colleges und dem Geschlecht. Wird das resultierende statistische Modell dann naiv weiterverwendet, kann sich die Verzerrung verstärken.
Von Katharina A. Zweig im Buch Ein Algorithmus hat kein Taktgefühl (2019) im Text Algorithmen, Diskriminierung und Ideologie auf Seite  213
Inzwischen weiss man: So einfach ist es nicht mit dem Ausmerzen von Vorurteilen und Stereotypen. Das zeigt etwa der Fall Amazon, der vor wenigen Wochen Schlagzeilen machte. Der Onlineversandhändler musste ein Rekrutierungsprojekt stoppen, weil dieses Frauen benachteiligte – wenn auch unabsichtlich. Für das Projekt hatte Amazon ein Computerprogramm entwickelt. Dieses sollte aus Hunderten eingehender Bewerbungen die besten auswählen, indem es die Bewerbungen nach Schlüsselbegriffen prüfte, welche für die jeweilige Stelle entscheidend waren. Gefüttert und trainiert wurde die Software mit erfolgreichen Bewerbungen von bereits angestellten Mitarbeitenden. Nun ist aber die Belegschaft bei Amazon – wie in der Technologiebranche üblich – hauptsächlich männlich. Das selbst lernende Programm erkannte dies und folgerte, dass Männer besser geeignet seien. So kam es, dass Bewerbungen von Frauen eher herausgefiltert wurden.
Von Andrea Fischer im Text Auch Maschinen können benachteiligen (2018) auf Seite  11
Neuronale DenkfehlerAus Bewerbungsunterlagen und anderen Textdokumenten lassen sich Geschlecht und Name einfach löschen. Das Ergebnis sind scheinbar neutrale Trainingsdaten, die weder Frauen noch Menschen mit Migrationshintergrund benachteiligen. Doch manches Datenmaterial ist einfach derart durchtränkt von verräterischen Merkmalen wie Wohngegend, Besuch einer reinen Mädchen-/Jungenschule et cetera – , dass sich die Datensätze nicht vernünftig neutralisieren lassen, ohne sie komplett zu entwerten.
Genau aus diesem Grund hat Amazon eine intern entwickelte KI zur Bewerberauswahl wieder eingestampft. Sie wurde mit den Unterlagen von Personen trainiert, die sich in der Vergangenheit erfolgreich bei Amazon beworben hatten. Das Ziel: aus einer Masse an Bewerbern automatisch die fünf geeignetsten Kandidaten herauszufiltern. Doch der Algorithmus bevorzugte nicht nur systematisch Männer, sondern schlug auch gänzlich unqualifizierte Kandidaten vor. Offensichtlich hatte die KI, die mit überwiegend männlich geprägten Bewerbungsunterlagen trainiert wurde, Indizien für einen männlichen Bewerber so stark gewichtet, dass dabei sogar die fachliche Qualifikation unter den Tisch fiel. Frappierend ist auch hier, dass sich die Daten offensichtlich nicht vernünftig aufbereiten ließen.
Laut Amazon hat die Empfehlung der KI niemals die Entscheidung für oder gegen einen Bewerber beeinflusst.
Von Andrea Trinkwalder in der Zeitschrift Neuronale Denkfehler (2018) im Text Irren ist künstlich

iconVerwandte Objeke

icon
Verwandte Begriffe
(Cozitation)
Googles Gorilla-Problem, amazon, bias, Predictive PolicingPredictive Policing, Algorithmusalgorithm

iconStatistisches Begriffsnetz  Dies ist eine graphische Darstellung derjenigen Begriffe, die häufig gleichzeitig mit dem Hauptbegriff erwähnt werden (Cozitation).

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.