Bewertung durch eine künstliche Intelligenz? Auswertungs- und Interpretationsobjektivität von ChatGPT-4o bei der Bewertung von Lerntagebucheinträgen
Reinhold, Lhea; Händel, Marion (2025)
MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung 65, 227-250.
DOI: 10.21240/mpaed/65/2025.08.03.X
Open Access Peer Reviewed
Künstliche Intelligenz (KI) kann im Prozess der Leistungsbewertung assistieren und diesen transformieren. Besonders lohnend scheint eine KI-Assistenz bei der Bewertung von komplexem, geschriebenem Text. Jedoch ist der Einsatz von KI im Bewertungsprozess «hochriskant» (EU 2024) und bedarf umfangreicher Analysen. Die vorliegende Studie untersucht, inwiefern ChatGPT-4o die Auswertung und Interpretation von Lerntagebucheinträgen objektiv vornehmen kann. Dafür werden 757 Lerntagebucheinträge aus der geförderten Weiterbildung in Deutschland von Mensch und Maschine bewertet. Sowohl Mensch als auch Maschine erhalten hierzu Kriterien, nach denen die Bewertung vorzunehmen ist; ChatGPT-4o wird diesbezüglich mit einem Prompt unterstützt. Die Übereinstimmung der Bewertungen wird anhand der Masse Sensitivität und Spezifität gemessen. Die Ergebnisse zeigen, dass die Bewertungsvorschläge von ChatGPT-4o eine moderate bis hohe Übereinstimmung mit den menschlichen Bewertungen aufweisen; gleichzeitig neigt ChatGPT-4o jedoch zu einer optimistischen Bewertung der Lerntagebucheinträge. Die Ergebnisse weisen darauf hin, dass eine hybride Intelligenz, also eine Kombination der Stärken von Mensch und Maschine, gewinnbringend für Bewertungsprozesse sein kann. Künftig denkbar sind halbautomatisierte Bewertungsprozesse von Lerntagebucheinträgen, in denen die KI die Bewertung der Lerntagebucheinträge übernimmt und Lehrkräfte bei kritischen Fällen regulierend eingreifen. So könnte die Korrektureffizienz ohne bedeutende Qualitätsverluste gesteigert werden.
AI-teacher agreement in evaluating learning diaries
Reinhold, Lhea; Händel, Marion; Naujoks-Schober, Nick (2025)
Frontiers in Education 10, 1601789.
DOI: 10.3389/feduc.2025.1601789
Open Access Peer Reviewed
Learning diaries are reflective tools, often used as formative assessments in adult education with the aim to promote cognitive and metacognitive learning strategies. As grading of and feedback on learning diaries is effortful for teachers, artificial intelligence (AI) may assist teachers in evaluating learning diaries. A prerequisite is that AI's ratings show high accordance with the teachers' ratings. AI accuracy, measured via absolute accuracy and bias, is the focus of the current study with N = 540 learning diary entries focusing on learning strategies, seven teachers, and ChatGPT-4o. Findings revealed that AI evaluations align closely with teacher assessments, indicated by high overall accuracy and low bias. Interestingly, the accuracy varied based on the types of learning strategies assessed in the diaries. Additionally, individual teacher assessments influenced the alignment between human and AI evaluations, suggesting that teachers applied their profession-specific expertise to the assessment process while AI produced somewhat generic evaluations. Overall, the study results indicate that AI can enhance the efficiency of formative assessments while providing timely feedback to learners.
Unraveling the reciprocal effects and micro-development of metacognitive monitoring strategies and monitoring judgments: A micro-genetic diary study
Händel, Marion; Nett, Ulrike; Bryce, Donna; Dresel, Markus (2025)
Learning and Individual Differences 122, 102748.
DOI: 10.1016/j.lindif.2025.102748
Open Access Peer Reviewed
EvaluAItion: Wie KI Lehr-Lernprozesse transformiert und Lehrende entlastet
Jensen, Thore ; Lang, Anton ; Händel, Marion (2025)
e-learning journal. Kategorie: Künstliche Intelligenz – Schwerpunkt: KI-basierte Prüfungsbewertung .
Digitale Kommunikation und Kooperation unter Lehrkräften – Eine vergleichende Analyse von Messengern und Videokonferenzen
Biller, Simon ; Groß-Mlynek, Lena; Bastian, Jasmin; Händel, Marion (2025)
12. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) .
Peer Reviewed
Wird in der Klausurvorbereitungsphase metakognitiv überwacht? Mikrogenetische Entwicklung und Zusammenspiel von Strategien und Urteilen
Händel, Marion; Nett, Ulrike; Bryce, Donna; Dresel, Markus (2025)
12. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) .
Peer Reviewed
Evidence syntheses in educational technology research: What is not published in English is not visible? A tertiary mapping review
Bedenlier, Svenja; Buntins, Katja; Bond, Melissa; Händel, Marion; Marín, Victoria I. (2025)
Bedenlier, Svenja; Buntins, Katja; Bond, Melissa; Händel, Marion...
Review of Education 13 (1), e70022 | 1-31.
DOI: 10.1002/rev3.70022
Open Access Peer Reviewed
Digitale Kommunikation und Kooperation in Videokonferenzen: Potenzial und Herausforderung im Alltag von Lehrkräften
Händel, Marion; Malz, Simone (2024)
Ansbacher Kaleidoskop 2024, 115–126.
Designing effective synchronous online learning
Gegenfurtner, Andreas; Bedenlier, Svenja; Ebner, Christian; Keskin, Özün; Händel, Marion (2024)
Gegenfurtner, Andreas; Bedenlier, Svenja; Ebner, Christian; Keskin, Özün...
Designing Effective Digital Learning Environments 2024, 241–254.
DOI: 10.4324/9781003386131-23
Peer Reviewed
Synchronous online learning is situated in synchronous webinars, virtual classrooms, and videoconferences, in which students and teachers communicate live over the Internet across distant geographical locations. Shared virtual platforms with voice-over-IP technology and webcams are used to interact ubiquitously and synchronously in real-time. During the COVID-19 pandemic, the use of synchronous online learning environments in primary, secondary, higher, and continuous education has grown massively. In this chapter, we aim to identify design recommendations that help increase the effectiveness of synchronous online learning. First, we provide an overview of recent meta-analyses on the effectiveness of synchronous online learning compared to synchronous face-to-face and asynchronous online learning. Second, we use this empirical evidence to develop design principles that can guide teachers, trainers, and educators in designing effective synchronous online learning environments. Third, we discuss a research agenda for future studies on synchronous online learning, webinars, and videoconferences in education, and we reflect on some practical affordances, including the use of webcams and breakout rooms.
Bedarf an digitaler Lehrkräftefortbildung aus der Perspektive von Landesinstituten
Ortwig, Julia; Breins, B; Quarda, Ann-Kathrin; Gläser-Zikuda, Michaela; Kammerl, Rudolf; Bastian, Jasmin; Händel, Marion (2024)
Ortwig, Julia; Breins, B; Quarda, Ann-Kathrin; Gläser-Zikuda, Michaela; Kammerl, Rudolf...
lernen:digital-Tagung „Digitale Transformation für Schule und die Lehrkräftebildung gestalten“ in Potsdam.
Peer Reviewed
Motiviert zum Erfolg testen? Motivation als Moderator und abhängige Variable von Testeffekten im Lehramtsstudium
Naujoks-Schober, Nick ; Harder, Bettina; Dresel, Markus; Händel, Marion (2024)
53. Konferenz der Deutschen Gesellschaft für Psychologie (DGPs) in Wien, Österreich.
Peer Reviewed
Unraveling the reciprocal effects of monitoring strategies and monitoring judgments
Händel, Marion; Nett, Ulrike; Bryce, Donna; Dresel, Markus (2024)
Paper presented at the biennial meeting of the EARLI Special Interest Group 16 – Metacognition. Heidelberg.
Peer Reviewed
Ways to foster monitoring accuracy: Effects of generative interventions on self-regulated learning (Discussant)
Händel, Marion (2024)
Symposium at the biennial meeting of the EARLI Special Interest Group 16 – Metacognition.
Peer Reviewed
Metakognitive Urteile: Genese und Förderung
Händel, Marion (2024)
Eingeladener Vortrag im Fachrichtungskolloquium Psychologie der Universität des Saarlandes.
Digitale Kompetenzen zum Studienstart als Gelingensfaktor im ersten Semester?
Händel, Marion; Fritzsche, Eva; Bedenlier, Svenja (2024)
Zeitschrift für Hochschulentwicklung 19 (1), 25-43.
DOI: 10.21240/zfhe/19-01/02
Open Access Peer Reviewed
Digitale Kommunikation und Kollaboration: Eine Bedarfsanalyse zur kollegialen Nutzung von Videokonferenzen in der Schule
Malz, Simone; Biller, Simon ; Händel, Marion (2024)
11. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) in Potsdam.
Open Access Peer Reviewed
Effects of reading instructions on preservice teachers’ judgment biases with respect to learning from texts
Knellesen, Jennifer; Händel, Marion; Golke, Stefanie (2023)
Metacognition and Learning.
DOI: 10.1007/s11409-023-09371-w
Open Access Peer Reviewed
Methodological approaches to evidence synthesis in educational technology: A tertiary systematic mapping review
Buntins, Katja; Bedenlier, Svenja; Marín, Victoria I.; Händel, Marion; Bond, Melissa (2023)
Buntins, Katja; Bedenlier, Svenja; Marín, Victoria I.; Händel, Marion...
MedienPädagogik 54, 167–191.
DOI: 10.21240/mpaed/54/2023.12.20.X
Open Access Peer Reviewed
Forschungssynthesen in der Mediendidaktik: Gestaltungswissen für Bildung sichern
Buntins, Katja; Bedenlier, Svenja; Bond, Melissa; Marín, Victoria I.; Händel, Marion; Zawacki-Richter, Olaf; Kerres, Michael (2023)
Buntins, Katja; Bedenlier, Svenja; Bond, Melissa; Marín, Victoria I.; Händel, Marion...
MPAED23 Herbsttagung der Sektion Medienpädagogik (DGfE), 21. - 22.09.23, Hagen.
Nutzung von Datenbanken als Manifestation der Weltsystem-Theorie in der Forschung
Buntins, Katja; Bedenlier, Svenja; Marín, Victoria I.; Händel, Marion (2023)
Vortrag auf der MPAED 2023. Herbsttagung der Sektion Medienpädagogik (DGfE) in Hagen.
Peer Reviewed
Prof. Dr. habil. Marion Händel
Hochschule Ansbach
Hochschule Ansbach - Fakultät Medien
Residenzstr. 8
91522 Ansbach
marion.haendel[at]hs-ansbach.de
ORCID iD: 0000-0002-3069-5582