Generative Machine-Learning-Systeme haben bereits den grössten Teil der weltweit verfügbaren Daten verarbeitet
Dieses Biblionetz-Objekt existiert erst seit April 2024.
Es ist deshalb gut möglich, dass viele der eigentlich vorhandenen Vernetzungen zu älteren Biblionetz-Objekten bisher nicht erstellt wurden.
Somit kann es sein, dass diese Seite sehr lückenhaft ist.
Bemerkungen
The data consumed by LLMs is already substantial, and it is not feasible to dramatically increase training sets by many orders of magnitude.
Von Carl Benedikt Frey, Michael Osborne im Text Generative AI and the Future of Work (2024) Heutige KI hat bei ihrem Training
schon einen Grossteil des Internets gesehen.
Wikipedia, Chat-Foren und digitalisierte
Bücher sind bereits verarbeitet.
Dazu mischt sich unter die Daten
im Internet immer mehr KI-gemachtes
Material.
Von Ruth Fulterer im Text Erstickt künstliche Intelligenz an sich selbst? (2024) Die Unternehmen zapfen alles an,
was sie finden können. Denn die Zeit
drängt. Nach Schätzungen des Forschungsinstituts
Epoch AI wird bereits
im Jahr 2028 öffentliches menschengemachtes
Material nicht mehr ausreichen,
um bessere KI zu trainieren.
Von Ruth Fulterer im Text Erstickt künstliche Intelligenz an sich selbst? (2024) 
Unter der Annahme, dass generative Machine-Learning-Systeme bereits den grössten Teil der weltweit verfügbaren Daten verarbeitet haben, ist keine Qualitätssteigerung aufgrund noch mehr Daten zu erwarten. Dies könnte ein Hinweis darauf sein, dass sich die Leistungssteigerung solcher Systeme verlangsamen könnte.
Wenn man zugrunde
legt, dass ein großes Sprachmodell mit Hunderten von Milliarden Worten
trainiert wurde, sind die digital verfügbaren Originaltexte bereits nahezu
ausgelesen. Genau zu dem Ergebnis kommt auch die Studie einer schottischdeutschen
Forschungsgruppe. Ihr zufolge ist der Fundus an neuen
hochwertigen Textdaten für die KI bereits 2026 erschöpft. Spätestens 2026
habe generative KI alles gelesen, was es zu lesen gibt.
Zitationsgraph
Zitationsgraph (Beta-Test mit vis.js)
7 Erwähnungen 
- Will we run out of data? - An analysis of the limits of scaling datasets in Machine Learning (Pablo Villalobos, Jaime Sevilla, Lennart Heim, Tamay Besiroglu, Marius Hobbhahn, Anson Ho) (2022)
- Generative AI and the Future of Work - A Reappraisal (Carl Benedikt Frey, Michael Osborne) (2024)
- Education for the Age of AI (Charles Fadel, Alexis Black, Robbie Taylor, Janet Slesinski, Katie Dunn) (2024)
- Alles überall auf einmal - Wie Künstliche Intelligenz unsere Welt verändert und was wir dabei gewinnen können (Miriam Meckel, Léa Steinacker) (2024)
- 6. Zwischen Amnesie und Autonomie - Wenn Bots mit Bots sprechen
- 6. Zwischen Amnesie und Autonomie - Wenn Bots mit Bots sprechen
- Will A.I. Ever Live Up to Its Hype? (Julia Angwin) (2024)
- KI-Trends kompakt - Künstliche Intelligenz: teuer, US-amerikanisch, Big-Tech-dominiert (Andrea Trinkwalder) (2024)
- Erstickt künstliche Intelligenz an sich selbst? (Ruth Fulterer) (2024)
Biblionetz-History 