Je nach Anwendungsgebiet ist die fehlende Nachvollziehbarkeit mehr oder weniger problematisch. Nutzt man AI für automatisierte Übersetzungen, dürfte das Problem wenig relevant sein, zumal die Bestimmung der Qualität einer Übersetzung relativ schnell ersichtlich ist. Doch wiederum im Beispiel des automatisierten Fahrens ist das Risiko, dass sich ein System in einer Situation völlig unerklärlich verhält, deutlich gravierender. Insbesondere wenn solche Fehler selten auftauchen, sind sie nur schwer zu antizipieren. Dies stellt auch ganz neue Anforderungen auf regulatorischer Ebene. So müsste ein KI-gesteuertes Fahrzeug neben der heute geltenden technischen Zulassung auch im Hinblick auf die Fähigkeit des KI-Fahrroboters zum sicheren automatisierten Betrieb des Verkehrsmittels evaluiert werden.

Mit dem Black-Box-Problem verbunden sind weitere Herausforderungen. So können Zusammenhänge in Daten erkenntlich werden, ohne dass eine zugrundeliegende Theorie vorhanden ist. Damit kann ein Modell funktionieren ohne dass sich begründen lässt, wie oder warum es für eine bestimmte Art von Problem wirksam ist. Auch ist die Leistung eines Modells angesichts der Black-Box-Problematik nur schwer vorherzusagen.33 Zudem können solche Modelle nicht mehr wie klassische Software umfassend getestet werden. All diese Probleme können den erfolgreichen Transfer eines Modells von der Entwicklung in die Realität erschweren. Allerdings sind in erster Linie bestimmte ML-Algorithmen des Deep Learning betroffen (siehe Anhang 2 für eine Erklärung). Dagegen führen beispielsweise bestimmte Formen des überwachten Lernens bei Klassifikationsaufgaben zu Ergebnissen, bei denen der Prozess der Klassifikation durchaus einsichtig ist.