Generative Pretrained Transformer 3 (GPT-3)

Diese Grafik fensterfüllend anzeigen (SVG)

GPT-3, Generative Pretrained Transformer 3, GPT3

Open AI hat im Mai 2020 das Sprachmodell GPT-3 vorgestellt. Mit 175 Milliarden Parametern war es das größte neuronale Netz zu dem Zeitpunkt, trainiert mit immensen Mengen an Wikipedia-Einträgen, Webveröffentlichungen und Buchtexten. Die Anwendungsmöglichkeiten des Generative Pretrained Transformer (GPT) sind wahrscheinlich noch gar nicht vollständig erfasst: Er generiert überzeugende Texte in unterschiedlichen Schreibstilen und Themengebieten, beantwortet Fragen, erzeugt Programmcode, übersetzt zwischen Sprachen und vieles mehr. Die Technik dahinter (siehe Kasten: Die innere Mechanik von GPT-3) markiert einen Wendepunkt in der automatischen Verarbeitung von natürlicher Sprache.

Von Dirk Hecker, Gerhard Paaß im Text Sprachversteher (2022)

You should be worried. GPT-3 and programs like it are starting to take over routine writing tasks like composing blogs and writing news stories. They are good at summarizing magazine articles and academic papers. They can write convincing poetry. The computer games industry is adopting these programs to offer lifelike characters, with personalities and emotions, who can engage in deep conversation with players.

Von Mike Sharples, Rafael Perez Y Pérez im Buch Story Machines (2022) im Text Can a computer write a story?

Das GPT--Sprachmodell bietet eine deutliche Leistungssteigerung mit einem sehr breit gefächerten Einsatzspektrum. Das Sprachmodell arbeitet mit 175 Milliarden Parametern, d.h. der zehnfachen Menge im Vergleich zu den bisherigen KI-Sprachmodellen [Br20]. Erste Anwendungsbeispiele zeigen, dass neben der automatischen Generierung von Texten [Mo20] auch lauffähiger Software-Code generiert wird, indem der Anwender sprachgesteuert seine Anforderungen an die Software formuliert [Be20].

Von Doris Weßels, Eike Meyer im Text Original oder Plagiat? (2021)

For all its power in imitating a writer’s style, GPT-3 suffers from the same fundamental weaknesses as TAILOR and TALE-SPIN – it has no commonsense knowledge of the world and cannot read what it writes. A human author can plan the outline of a story, consider the traits of characters and how they interact, reflect on how the work has progressed so far, and make wholesale revisions and deletions. A neural network language generator can’t do any of that. Nor can it explain its inner workings in human terms. If – and this is a big if – a program can be designed to generate a cunning plot, compose in a consistent style, check and change the story as it goes, and express this in imaginative language, then it would be a threat to human wordsmiths or a powerful new tool for creative writing.

Von Mike Sharples, Rafael Perez Y Pérez im Buch Story Machines (2022) im Text Can a computer write a story?

Verwandte Begriffe
(co-word occurance)