/ en / Traditional / help

Beats Biblionetz - Texte

Testing of Detection Tools for AI-Generated Text

Debora Weber-Wulff, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut, Lorna Waddington
Publikationsdatum:
Erste Seite des Textes (PDF-Thumbnail)

iconZusammenfassungen

Beat Döbeli HoneggerDerzeit sind Erkennungswerkzeug für computergenerierte Texte nicht zuverlässig.
Von Beat Döbeli Honegger, erfasst im Biblionetz am 04.07.2023
Debora Weber-WulffRecent advances in generative pre-trained transformer large language models have emphasised the potential risks of unfair use of artificial intelligence (AI) generated content in an academic environment and intensified efforts in searching for solutions to detect such content. The paper examines the general functionality of detection tools for artificial intelligence generated text and evaluates them based on accuracy and error type analysis. Specifically, the study seeks to answer research questions about whether existing detection tools can reliably differentiate between human-written text and ChatGPT-generated text, and whether machine translation and content obfuscation techniques affect the detection of AI-generated text. The research covers 12 publicly available tools and two commercial systems (Turnitin and PlagiarismCheck) that are widely used in the academic setting. The researchers conclude that the available detection tools are neither accurate nor reliable and have a main bias towards classifying the output as human-written rather than detecting Aigenerated text. Furthermore, content obfuscation techniques significantly worsen the performance of tools. The study makes several significant contributions. First, it summarises up-to-date similar scientific and non-scientific efforts in the field. Second, it presents the result of one of the most comprehensive tests conducted so far, based on a rigorous research methodology, an original document set, and a broad coverage of tools. Third, it discusses the implications and drawbacks of using detection tools for AI-generated text in academic settings.
Von Debora Weber-Wulff, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut, Lorna Waddington im Text Testing of Detection Tools for AI-Generated Text (2023)

iconDieser Text erwähnt ...


Personen
KB IB clear
Sandhini Agarwal , Dario Amodei , Amanda Askell , Emily M. Bender , Christopher Berner , Tom B. Brown , Mark Chen , Benjamin Chess , Rewon Child , Jack Clark , Kewal Dhariwal , Prafulla Dhariwal , Timnit Gebru , Aidan N. Gomez , Scott Gray , Tom Henighan , Ariel Herbert-Voss , Christopher Hesse , Llion Jones , Lukasz Kaiser , Jared Kaplan , Gretchen Krueger , Mateusz Litwin , Benjamin Mann , Sam McCandlish , Angelina McMillan-Major , Arvind Neelakantan , Niki Parmar , Illia Polosukhin , Alec Radford , Aditya Ramesh , Nick Ryder , Girish Sastry , Noam Shazeer , Shmargaret Shmitchell , Pranav Shyam , Eric Sigler , Melanie Subbiah , Ilya Sutskever , Jakob Uszkoreit , Ashish Vaswani , Clemens Winter , Jeffrey Wu , Daniel M. Ziegler

Aussagen
KB IB clear
Jede automatisierte KI-Erkennung lässt sich auch automatisiert umgehen

Begriffe
KB IB clear
Chat-GPT , false positive rate , Generative Machine-Learning-Systeme (GMLS)computer-generated text , GMLS-Detektor , GPT Zero , Künstliche Intelligenz (KI / AI)artificial intelligence , Originality.AI , Plagiarismusplagiarism , Prüfung , Turnitin
icon
Bücher
Jahr  Umschlag Titel Abrufe IBOBKBLB
2020 local web  Language Models are Few-Shot Learners (Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Kewal Dhariwal, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei) 6, 8, 7, 6, 3, 2, 8, 2, 8, 5, 6, 4 40 5 4 147
icon
Texte
Jahr  Umschlag Titel Abrufe IBOBKBLB
2021 local web  On the Dangers of Stochastic Parrots (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell) 2, 7, 12, 8, 3, 2, 9, 5, 9, 7, 5, 4 43 25 4 158
2023 local web  Attention Is All You Need (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin) 25 6 0 0

iconDieser Text erwähnt vermutlich nicht ... Eine statistisch erstelle Liste von nicht erwähnten (oder zumindest nicht erfassten) Begriffen, die aufgrund der erwähnten Begriffe eine hohe Wahrscheinlichkeit aufweisen, erwähnt zu werden.

iconTagcloud

iconZitationsgraph

Diese Grafik ist nur im SVG-Format verfügbar. Dieses Format wird vom verwendeteten Browser offenbar nicht unterstützt.

Diese SVG-Grafik fensterfüllend anzeigen

iconZitationsgraph (Beta-Test mit vis.js)

iconErwähnungen  Dies ist eine nach Erscheinungsjahr geordnete Liste aller im Biblionetz vorhandenen Werke, die das ausgewählte Thema behandeln.

iconVolltext dieses Dokuments

Auf dem WWW Testing of Detection Tools for AI-Generated Text: Artikel als Volltext (lokal: PDF, 12049 kByte; WWW: Link OK )

iconAnderswo suchen  Auch im Biblionetz finden Sie nicht alles. Aus diesem Grund bietet das Biblionetz bereits ausgefüllte Suchformulare für verschiedene Suchdienste an. Biblionetztreffer werden dabei ausgeschlossen.

iconBeat und dieser Text

Beat hat Dieser Text während seiner Zeit am Institut für Medien und Schule (IMS) ins Biblionetz aufgenommen. Beat besitzt kein physisches, aber ein digitales Exemplar. Eine digitale Version ist auf dem Internet verfügbar (s.o.). Es gibt bisher nur wenige Objekte im Biblionetz, die dieses Werk zitieren.

iconBiblionetz-History Dies ist eine graphische Darstellung, wann wie viele Verweise von und zu diesem Objekt ins Biblionetz eingetragen wurden und wie oft die Seite abgerufen wurde.