/ en / Traditional / help

Beats Biblionetz - Begriffe

Generative Pretrained Transformer 3 (GPT-3)

iconBiblioMap Dies ist der Versuch, gewisse Zusammenhänge im Biblionetz graphisch darzustellen. Könnte noch besser werden, aber immerhin ein Anfang!

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconSynonyme

GPT-3, Generative Pretrained Transformer 3, GPT3

iconDefinitionen

Open AI hat im Mai 2020 das Sprachmodell GPT-3 vorgestellt. Mit 175 Milliarden Parametern war es das größte neuronale Netz zu dem Zeitpunkt, trainiert mit immensen Mengen an Wikipedia-Einträgen, Webveröffentlichungen und Buchtexten. Die Anwendungsmöglichkeiten des Generative Pretrained Transformer (GPT) sind wahrscheinlich noch gar nicht vollständig erfasst: Er generiert überzeugende Texte in unterschiedlichen Schreibstilen und Themengebieten, beantwortet Fragen, erzeugt Programmcode, übersetzt zwischen Sprachen und vieles mehr. Die Technik dahinter (siehe Kasten: Die innere Mechanik von GPT-3) markiert einen Wendepunkt in der automatischen Verarbeitung von natürlicher Sprache.
Von Dirk Hecker, Gerhard Paaß im Text Sprachversteher (2022)

iconBemerkungen

Mike SharplesYou should be worried. GPT-3 and programs like it are starting to take over routine writing tasks like composing blogs and writing news stories. They are good at summarizing magazine articles and academic papers. They can write convincing poetry. The computer games industry is adopting these programs to offer lifelike characters, with personalities and emotions, who can engage in deep conversation with players.
Von Mike Sharples, Rafael Perez Y Pérez im Buch Story Machines (2022) im Text Can a computer write a story?
Doris WeßelsDas GPT--Sprachmodell bietet eine deutliche Leistungssteigerung mit einem sehr breit gefächerten Einsatzspektrum. Das Sprachmodell arbeitet mit 175 Milliarden Parametern, d.h. der zehnfachen Menge im Vergleich zu den bisherigen KI-Sprachmodellen [Br20]. Erste Anwendungsbeispiele zeigen, dass neben der automatischen Generierung von Texten [Mo20] auch lauffähiger Software-Code generiert wird, indem der Anwender sprachgesteuert seine Anforderungen an die Software formuliert [Be20].
Von Doris Weßels, Eike Meyer im Text Original oder Plagiat? (2021)
Mike SharplesFor all its power in imitating a writer’s style, GPT-3 suffers from the same fundamental weaknesses as TAILOR and TALE-SPIN – it has no commonsense knowledge of the world and cannot read what it writes. A human author can plan the outline of a story, consider the traits of characters and how they interact, reflect on how the work has progressed so far, and make wholesale revisions and deletions. A neural network language generator can’t do any of that. Nor can it explain its inner workings in human terms. If – and this is a big if – a program can be designed to generate a cunning plot, compose in a consistent style, check and change the story as it goes, and express this in imaginative language, then it would be a threat to human wordsmiths or a powerful new tool for creative writing.
Von Mike Sharples, Rafael Perez Y Pérez im Buch Story Machines (2022) im Text Can a computer write a story?

iconVerwandte Objeke

icon
Verwandte Begriffe
(co-word occurance)
Generative Machine-Learning-Systeme (GMLS)computer-generated text(0.19), Generative Pretrained Transformer 4 (GPT-4)(0.17), Chat-GPT(0.13), GPT-2(0.1), RLHF (Reinforcement Learning from Human Feedback)(0.07), LaMDA (Language Model for Dialogue Applications)(0.04), GMLS & Bildung(0.04), GMLS & Schule(0.03)

iconHäufig erwähnende Personen

Doris Weßels Doris
Weßels
Mike Sharples Mike
Sharples
Rafael Pérez y Pérez Rafael Pérez y
Pérez

iconHäufig co-zitierte Personen

Ariel Herbert-Voss Ariel
Herbert-Voss
Mark Chen Mark
Chen
Christopher Hesse Christopher
Hesse
Clemens Winter Clemens
Winter
Jeffrey Wu Jeffrey
Wu
Daniel M. Ziegler Daniel M.
Ziegler
Aditya Ramesh Aditya
Ramesh
Rewon Child Rewon
Child
Eric Sigler Eric
Sigler
Gretchen Krueger Gretchen
Krueger
Sandhini Agarwal Sandhini
Agarwal
Amanda Askell Amanda
Askell
Pranav Shyam Pranav
Shyam
Arvind Neelakantan Arvind
Neelakantan
Jared Kaplan Jared
Kaplan
Melanie Subbiah Melanie
Subbiah
Nick Ryder Nick
Ryder
Benjamin Mann Benjamin
Mann
Kewal Dhariwal Kewal
Dhariwal
Tom Henighan Tom
Henighan
Dario Amodei Dario
Amodei
Mateusz Litwin Mateusz
Litwin
Girish Sastry Girish
Sastry
Prafulla Dhariwal Prafulla
Dhariwal
Tom B. Brown Tom B.
Brown
Alec Radford Alec
Radford
Sam McCandlish Sam
McCandlish
Christopher Berner Christopher
Berner
Jack Clark Jack
Clark
Benjamin Chess Benjamin
Chess
Scott Gray Scott
Gray

iconStatistisches Begriffsnetz  Dies ist eine graphische Darstellung derjenigen Begriffe, die häufig gleichzeitig mit dem Hauptbegriff erwähnt werden (Cozitation).

iconVorträge von Beat mit Bezug

iconEinträge in Beats Blog

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZeitleiste

icon120 Erwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo finden

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.