/ en / Traditional / help

Beats Biblionetz - Texte

The Robots Are Coming

Exploring the Implications of OpenAI Codex on Introductory Programming
James Finnie-Ansley, Paul Denny, Brett A. Becker, Andrew Luxton-Reilly, James Prather
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)

iconZusammenfassungen

Beat Döbeli HoneggerGPT3 und das Rainfall-Problem.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 18.12.2022
Recent advances in artificial intelligence have been driven by an exponential growth in digitised data. Natural language processing, in particular, has been transformed by machine learning models such as OpenAI’s GPT-3 which generates human-like text so realistic that its developers have warned of the dangers of its misuse. In recent months OpenAI released Codex, a new deep learning model trained on Python code from more than 50 million GitHub repositories. Provided with a natural language description of a programming problem as input, Codex generates solution code as output. It can also explain (in English) input code, translate code between programming languages, and more. In this work, we explore how Codex performs on typical introductory programming problems. We report its performance on real questions taken from introductory programming exams and compare it to results from students who took these same exams under normal conditions, demonstrating that Codex outscores most students. We then explore how Codex handles subtle variations in problem wording using several published variants of the well-known “Rainfall Problem” along with one unpublished variant we have used in our teaching. We find the model passes many test cases for all variants. We also explore how much variation there is in the Codex generated solutions, observing that an identical input prompt frequently leads to very different solutions in terms of algorithmic approach and code length. Finally, we discuss the implications that such technology will have for computing education as it continues to evolve, including both challenges and opportunities.
Von James Finnie-Ansley, Paul Denny, Brett A. Becker, Andrew Luxton-Reilly, James Prather im Text The Robots Are Coming (2022)

iconDieses Konferenz-Paper erwähnt ...


Personen
KB IB clear
Sandhini Agarwal , Dario Amodei , Amanda Askell , Brett A. Becker , Christopher Berner , Tom B. Brown , Heather E. Bullock , Angela Carbone , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Beth Cook , Kewal Dhariwal , Prafulla Dhariwal , Kelly Downey , Alex D. Edgcomb , Julian Fernald , Kathi Fisler , Scott Gray , Mark Guzdial , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , Petri Ihantola , Essi Isohanni , Ville Isomöttönen , Chris W. Johnson 0002 , Jared Kaplan , Gretchen Krueger , Antti-Jussi Lakanen , Vesa Lappalainen , Mateusz Litwin , Andrew Luxton-Reilly , Benjamin Mann , Sam McCandlish , Charlie McDowell , Joe Michael Allen , Kris Miller , Elon Musk , Arvind Neelakantan , Keith Quille , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Otto Seppälä , Judy Sheard , Pranav Shyam , Eric Sigler , Simon , Elliot Soloway , Juha Sorva , Melanie Subbiah , Ilya Sutskever , Frank Vahid , Arto Vihavainen , Linda L. Werner , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler

Begriffe
KB IB clear
Algorithmusalgorithm , computergenerierte Texte / large language modelcomputer-generated text , deep learning , Generative Pretrained Transformer 3 (GPT-3) , GPT-2 , Informatikcomputer science , Informatik-Didaktikdidactics of computer science , Informatik-Unterricht (Fachinformatik)Computer Science Education , Künstliche Intelligenz (KI / AI)artificial intelligence , Lernenlearning , machine learning , Programmierenprogramming , Programmiersprachenprogramming languages , rainfall problem
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
2002 SIGCSE 2002 (Judith L. Gersting, Henry MacKay Walker, Scott Grissom) 9, 1, 1, 5, 2, 2, 2, 3, 3, 6, 5, 3 102863300
2009 Computer Science Education 4/20096, 1, 3, 1, 3, 4, 4, 15, 36, 6, 4, 4 1234430
2013 ICER 2013 (Beth Simon, Alison Clear, Quintin I. Cutts) 11, 1, 3, 7, 4, 1, 5, 2, 4, 7, 11, 2 511282536
2013 Koli Calling 2013 (Mikko-Jussi Laakso, Simon) 4, 10, 1, 1, 4, 2, 2, 4, 4, 2, 6, 11 10916393
2014 ICER 2014 (Quintin I. Cutts, Beth Simon, Brian Dorn) 4, 8, 3, 6, 2, 1, 7, 3, 4, 8, 10, 3 411663620
2015 Koli Calling 2015 (Päivi Kinnunen, Judy Sheard) 4, 8, 1, 2, 8, 2, 7, 2, 2, 5, 9, 3 41423469
2019 SIGCSE 2019 (Elizabeth K. Hawthorne, Manuel A. Pérez-Quiñones, Sarah Heckman, Jian Zhang 0036) 11, 5, 3, 4, 4, 1, 5, 4, 1, 8, 6, 7 352467627
2020 local web  Language Models are Few-Shot Learners (Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Kewal Dhariwal, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei) 26, 39, 8, 2, 1, 2, 4, 6, 8, 7, 6 2346109
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
1986 local web  Learning to program = learning to construct mechanisms and explanations (Elliot Soloway) 12, 1, 6, 5, 3, 1, 7, 2, 4, 9, 5, 3 1593355
2002 local web  The effects of pair-programming on performance in an introductory programming course (Charlie McDowell, Linda L. Werner, Heather E. Bullock, Julian Fernald) 6, 7, 1, 3, 7, 4, 5, 4, 3, 7, 9, 1 551176
2009 local web  A systematic review of tools that support peer assessment (Andrew Luxton-Reilly) 1100
2013 local web  Exploring hypotheses about media computation (Mark Guzdial) 13, 1, 2, 7, 1, 2, 6, 6, 4, 6, 5, 4 11124387
2013 local web  Academic integrity (Simon, Beth Cook, Judy Sheard, Angela Carbone, Chris W. Johnson 0002) 1200
2014 local web  The recurring rainfall problem (Kathi Fisler) 1, 2, 7, 2, 2, 1, 6, 1, 4, 6, 6, 1 651276
2015 local web  Revisiting rainfall to explore exam questions and performance on CS1 (Antti-Jussi Lakanen, Vesa Lappalainen, Ville Isomöttönen) 3, 5, 1, 1, 4, 1, 1, 7, 5, 2, 6, 5 176209
2015 local web  Do we know how difficult the rainfall problem is? (Otto Seppälä, Petri Ihantola, Essi Isohanni, Juha Sorva, Arto Vihavainen) 6, 1, 5, 10, 1, 2, 5, 4, 3, 7, 6, 1 1101273
2019 local web  50 Years of CS1 at SIGCSE (Brett A. Becker, Keith Quille) 3, 7, 1, 2, 7, 4, 8, 4, 2, 8, 7, 2 421272
2019 local web  An Analysis of Using Many Small Programs in CS1 (Joe Michael Allen, Frank Vahid, Alex D. Edgcomb, Kelly Downey, Kris Miller) 1100

iconDieses Konferenz-Paper erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese Grafik fensterfüllend anzeigen (SVG)

iconZeitleiste

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconAnderswo finden

icon

iconVolltext dieses Dokuments

Auf dem WWW The Robots Are Coming: Artikel als Volltext (lokal: PDF, 895 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieses Konferenz-Paper

Beat hat Dieses Konferenz-Paper während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.