Effectiveness of Computer-Based Instruction
An Updated Analysis
James A. Kulik, Chen-Lin Kulik
Erstpublikation in: Computers in Human Behavior, Vol. 7, pp. 75–94
Publikationsdatum:
Zusammenfassungen
Eine der bedeutenden Meta-Analysen zum computerunterstützten Lernen stammt von Kulik/ Kulik (1991). Die Autoren werteten insgesamt 248 Vergleichsstudien aus, davon waren 195 bereits in früheren Meta-Studien zusammengefasst worden, 53 kamen als aktuelle Studien hinzu. Von den 248 Studien wiesen 202 einen höheren Lernerfolg für das computerbasierte Lernen und 46 ein besseres Ergebnis für das konventionelle Lernen aus. Allerdings waren die Ergebnisse nur in 100 Studien statistisch signifikant, d.h. nicht zufallsbedingt: in 94 Fällen zu Gunsten des computerbasierten Lernens und in sechs Fällen zu Gunsten des konventionellen Unterrichtens.
Von Bardo Herzig, Gerhard Tulodziecki im Buch Regionale IT-Planung für Schulen (2003) im Text Neue pädagogische Möglichkeiten auf Seite 85So werteten KULIK/KULIK (1991) insgesamt 248 Vergleichsstudien zwisehen verschiedenen Formen computergestützten Lernens und konventionellem Unterricht aus. Von diesen zeigten 94 (= 38%) einen statistisch signifikant höheren Lernerfolg für das Computergestützte Lernen und 6 (=2%) ein signifikant höheres Lernergebnis für den konventionellen Unterricht. In 60% der Fälle gab es keine statistisch signifikanten Unterschiede. Allerdings ergab sich bei insgesamt 202 der Studien (= 81%) eine positive Differenz der Lernergebnisse zugunsten des computergestützten Lernens (einschließlich der 94 Studien mit signifikanten Unterschieden). Die durchschnittliche Effektstärke betrug 0.30 bei einer Spannbreite von -1.20 bis 2.17.
Von Gerhard Tulodziecki, Bardo Herzig im Buch Mediendidaktik (2004) im Text Forschungsergebnisse zum Lernen und Lehren mit Medien auf Seite 80Most discussions of the effectiveness of computer-based learning refer to the well-established meta-analyses conducted by Kulik and Kulik. Both are experts in evaluation at the university of Michigan and investigated several meta-analyses to analyse the effects of computer-based instruction (CBI) on students.
In this paper, they present the results of findings from 254 controlled evaluation studies that compared student learning in classes taught with and without CBI covering learners of all age levels. They argue that reviewers must take into account the results from numerous studies carried out in different places, at different times, and under different conditions to be able to reach general conclusions. At the beginning of the paper, they introduce several existing positive results on computer-based instruction of different meta-analyses, but point out the timeworn publications these analyses were based on. As computers and their role for instruction have changed, earlier reviews have to be updated to determine whether the record of effectiveness of CBI has changed with the development of new software in recent years.
The authors explain their meta-analytic approach used for this review for which studies of an issue through objective and replicable searches have to be located and coded. The study outcomes have to be coded on a common scale and statistical methods have to be used to relate study features to outcomes. They reveal basic methodical issues like data sources, outcome measures, study features, and unit of statistical analysis in great detail.
The results show a higher examination average of the students in the CBI classes. The moderate average effect size (.30) determined in the 248 studies indicates that the average student from the CBI classes outperform 62% of the students from the conventional classes. However, the effects varied in magnitude from study to study according to the different publication sources, controls for teacher effects, and different durations.
In the discussion section, the authors analyse similarities and differences in the findings between the current study and former studies, emphasizing the relationship between achievement outcomes of studies and study duration, control for instructor effects, and publication source. Furthermore, they discuss treatment features like length of treatment and type of computer use as most strongly related to effect size in this analysis.
This meta-analysis gives methodological insight into the "no significant difference" of computer-based instruction compared to traditional settings. It also discusses different treatment features’ relations to effect size as an explanation for the no significant phenomenon. This article is a must-read for every evaluator. A re-investigation of the last ten years would be of great importance and interest.
Quelle: http://www.elearning-reviews.org
Von Jasmina Hasanbegovic, erfasst im Biblionetz am 18.12.2004In this paper, they present the results of findings from 254 controlled evaluation studies that compared student learning in classes taught with and without CBI covering learners of all age levels. They argue that reviewers must take into account the results from numerous studies carried out in different places, at different times, and under different conditions to be able to reach general conclusions. At the beginning of the paper, they introduce several existing positive results on computer-based instruction of different meta-analyses, but point out the timeworn publications these analyses were based on. As computers and their role for instruction have changed, earlier reviews have to be updated to determine whether the record of effectiveness of CBI has changed with the development of new software in recent years.
The authors explain their meta-analytic approach used for this review for which studies of an issue through objective and replicable searches have to be located and coded. The study outcomes have to be coded on a common scale and statistical methods have to be used to relate study features to outcomes. They reveal basic methodical issues like data sources, outcome measures, study features, and unit of statistical analysis in great detail.
The results show a higher examination average of the students in the CBI classes. The moderate average effect size (.30) determined in the 248 studies indicates that the average student from the CBI classes outperform 62% of the students from the conventional classes. However, the effects varied in magnitude from study to study according to the different publication sources, controls for teacher effects, and different durations.
In the discussion section, the authors analyse similarities and differences in the findings between the current study and former studies, emphasizing the relationship between achievement outcomes of studies and study duration, control for instructor effects, and publication source. Furthermore, they discuss treatment features like length of treatment and type of computer use as most strongly related to effect size in this analysis.
This meta-analysis gives methodological insight into the "no significant difference" of computer-based instruction compared to traditional settings. It also discusses different treatment features’ relations to effect size as an explanation for the no significant phenomenon. This article is a must-read for every evaluator. A re-investigation of the last ten years would be of great importance and interest.
Quelle: http://www.elearning-reviews.org
Bemerkungen
Bei diesen Ergebnissen ist einerseits zu bedenken, dass Studien mit signifikanten Ergebnissen im Sinne zugrunde liegender Hypothesen in der empirischen Forschung eine größere Chance haben publiziert zu werden als Studien ohne signifikante Ergebnisse. Letztere bleiben unter Umständen unveröffentlichi Insofern ist das Ergehnis der Meta-Analyse von Kulik/Kulik möglicherweise zu Gunsten des computerunterstützten Lernens verzerrt. Andererseits ist in Rechnung zu stellen, dass die untersuchten computerbasierten Angebote häufig noch nicht die multimedialen Möglichkeiten, wie sie heute existieren, nutzen konnten. Insofern könnten sich heute unter Umständen bessere Ergebnisse zeigen.
Von Bardo Herzig, Gerhard Tulodziecki im Buch Regionale IT-Planung für Schulen (2003) im Text Neue pädagogische Möglichkeiten auf Seite 85Zitationsgraph
Zeitleiste
26 Erwähnungen
- Grundlagen hypermedialer Lernsysteme - Theorie - Didaktik - Design (Rolf Schulmeister) (1996)
- Does It Compute? - The Relationship between Educational Technology and Student Achievement in Mathematics (Harold Wenglinsky) (1998)
- Multimediale und telemediale Lernumgebungen (Michael Kerres) (2001)
- New Evidence on Classroom Computers and Pupil Learning (Joshua Angrist, Victor Lavy) (2002)
- Konstruktivistischer Unterricht mit Laptops? - Eine Fallstudie zum Einfluss mobiler Computer auf die Methodik des Unterrichts (Heike Schaumburg) (2002)
- Regionale IT-Planung für Schulen - Materialien zur Entscheiderberatung (Oliver Vorndran, Franco Zotta) (2003)
- Neue pädagogische Möglichkeiten - Wie neue Medien zur Veränderung des Unterrichts beitragen können (Bardo Herzig, Gerhard Tulodziecki)
- Digitale Medien in Unterricht und Schule (Gerhard Tulodziecki) (2003)
- Wirkungen und Wirksamkeit neuer Medien - Education Quality Forum - Band 1 (Reinhard Keil, Michael Kerres) (2003)
- A Meta-Analysis of the Effectiveness of Teaching and Learning With Technology on Student Outcomes (Meng-Fen Lin, Georgette M. Michko, Hersh C. Waxman) (2003)
- We’re Getting Wired, We’re Going Mobile, What’s Next? - Fresh Ideas for Educational Technology Planning (Bard Williams) (2004)
- Mediendidaktik (Gerhard Tulodziecki, Bardo Herzig) (2004)
- Learning Design - Gestaltung eLearning-gestützter Lernumgebungen in Hochschulen und Unternehmen (SCIL Arbeitsbericht V) (Sabine Seufert, Dieter Euler) (2005)
- Implementation and Effects Of One-to-One Computing Initiatives - A Research Synthesis (William R. Penuel) (2006)
- Qualitätssicherung im E-Learning (Alexandra Sindler, Claudia Bremer, Ullrich Dittler, Petra Hennecke, Christian Sengstag, Joachim Wedekind) (2006)
- E-Learning - Alltagstaugliche Innovation? - 11. Europäische Jahrestagung der Gesellschaft für Medien in der Wissenschaft GMW (19.-22.9.06) (Eva Seiler Schiedt, S. Kälin, Christian Sengstag) (2006)
- Entwicklung von Massnahmenportfolios zur Vermittlung von eLehrkompetenz (Jasmina Hasanbegovic, Michael Kerres)
- Wir evaluieren uns zu Tode - Möglichkeiten und Grenzen der Bewertung von Online-Lernen. Eine Meta-Evaluation. (Annabell Preussler) (2008)
- Medienbildung in Schule und Unterricht (Gerhard Tulodziecki, Bardo Herzig, Silke Grafe) (2010)
- Digitale Medien und Schule (Zeitschrift) - Schulpädagogik 7/2013 (2013)
- Digitale Medien und Schule aus medienpädagogischer Sicht - konzeptionelle Entwicklungen und empirische Forschung (Gerhard Tulodziecki, Silke Grafe)
- Digitale Medien und Schule (Buch) - Zur Rolle digitaler Medien in Schulpädagogik und Lehrerbildung (Dietrich Karpa, Birgit Eickelmann, Silke Grafe) (2013)
- Digitale Medien und Schule aus medienpädagogischer Sicht - konzeptionelle Entwicklungen und empirische Forschung (Gerhard Tulodziecki, Silke Grafe)
- Handbuch Grundschulpädagogik und Grundschuldidaktik - 4. Auflage (Wolfgang Einsiedler, Margarete Götz, Andreas Hartinger, Friederike Heinzel, Joachim Kahlert, Uwe Sandfuchs) (2014)
- Does ICT matter for effectiveness and efficiency in mathematics education? (Kristof De Witte, Nicky Rogge) (2014)
- How the ICT development level and usage influence student achievement in reading, mathematics, and science (Maxim Skryabin, JingJing Zhang, Luman Liu, Danhui Zhang) (2015)
- Digitale Transformation im Diskurs - Kritische Perspektiven auf Entwicklungen und Tendenzen im Zeitalter des Digitalen (Christian Leineweber, Claudia de Witt) (2017)
- Mythen der Digitalisierung mit Blick auf Studium und Lernen (Rolf Schulmeister, Jörn Loviscach) (2017)
- Second Handbook of Information Technology in Primary and Secondary Education (Joke Voogt, Gerald Knezek, Rhonda Christensen, Kwok-Wing Lai) (2018)
- 78. Meta-analyses of Large-Scale Datasets: A Tool for Assessing the Impact of Information and Communication Technology in Education (Yuen-Kuang Cliff Liao, Wan-Ching Lai)
- Medienbildung in Schule und Unterricht - 2. Auflage 2019 (Gerhard Tulodziecki, Bardo Herzig, Silke Grafe) (2019)
- The potential of digital tools to enhance mathematics and science learning in secondary schools - A context-specific meta-analysis (Delia Hillmayr, Lisa Ziernwald, Frank Reinhold, Sarah I. Hofer, Kristina M. Reiss) (2020)
Anderswo suchen
Beat und dieser Text
Beat war Co-Leiter des ICT-Kompetenzzentrums TOP während er Dieser Text ins Biblionetz aufgenommen hat. Die bisher letzte Bearbeitung erfolgte während seiner Zeit am Institut für Medien und Schule. Beat besitzt weder ein physisches noch ein digitales Exemplar. Aufgrund der wenigen Einträge im Biblionetz scheint er es nicht wirklich gelesen zu haben.
Biblionetz-History
Webzugriffe
Biblionetz-Verweise auf 'Effectiveness of Computer-Based Instruction'
Biblionetz-Verweise auf 'Effectiveness of Computer-Based Instruction'