Competences in planning and conducting experiments are essential for fostering scientific thinking and problem-solving skills in students. However, students often struggle with various aspects of experimentation, leading to errors in their experimental design. Current tools for assessing these errors, such as rating schemes and on-the-fly observations, place a significant burden on educators and may lack consistency or accuracy.

AI systems, such as Large Language Models (LLMs), offer a potential solution to these challenges, as they can analyze text and provide feedback in a human-like manner. This study investigates the effectiveness of LLMs in analyzing student errors in experimentation and compares their performance with human raters. Using a dataset of 67 structured student protocols from laboratory conditions, we developed a prototype based on a model from the GPT-3.5 series for detecting common student errors.

Our results indicate varying levels of accuracy in error detection between the AI system and human raters. The AI system can accurately identify many fundamental student errors, for instance, the AI system identifies when a student is focusing the hypothesis not on the dependent variable but solely on an expected observation (acc. = 0.90), when a student modifies the trials in an ongoing investigation (acc. = 1), and whether a student is conducting valid test trials (acc. = 0.82) reliably. The identification of other, usually more complex errors, like whether a student conducts a valid control trial (acc. = .60), poses a greater challenge.

By evaluating the efficacy of LLMs in identifying and analyzing student errors, this study contributes to the growing body of research on the application of LLM-based AI systems in educational technology. Our findings aim to support the development of reliable and user-friendly tools that can assist teachers in their daily work and provide valuable insights into the potential benefits and limitations of using AI in educational contexts.

Variablenkontrolle ist eine zentrale Voraussetzung für gültige Experimente. Lernenden fällt es allerdings oft schwer, die Variablenkontrollstrategie (VKS) anzuwenden, d.h., die unabhängige Variable systematisch zu variieren, während alle anderen Variablen konstant gehalten werden. Auftretende Fehler bieten jedoch Lerngelegenheiten. Dafür müssen Lernende allerdings erkennen, dass eine Lösung fehlerhaft ist. Die Arbeit mit eigenen Fehlern ist eine Herausforderung für Lernende. Das Erkennen fremder Fehler in Experimentalsettings könnte für Schüler*innen einfacher sein, was wiederum Implikationen für die Entwicklung von Fördermaterial hat.

In einer experimentellen Studie mit Schüler:innen der Sekundarstufe 1 (n = 127) wurde deshalb untersucht, ob es einen Unterschied in der Identifikation von eigenen oder fremden VKS-Fehlern in Experimenten gibt. Dafür wurde zunächst untersucht, welche konkreten Fehler bei Schüler:innen auftreten. Als Beispielsetting fungiert ein Experiment zur Isolationsfähigkeit von Wolle und Daunen. Auf Basis des aktuellen Forschungsstandes erwarten wir 1) eine Vielzahl von Fehlern in Bezug auf die VKS, insbesondere mit Blick auf den Umgang mit den Materialien und 2) eine höhere Genauigkeit bei der Identifikation von fremden Fehlern.

Im ersten Schritt experimentierten Schüler*innen in der Gruppe Eigene-Fehler experimentierten im ersten Schritt in Einzelarbeit, um dann im zweiten Schritt zu beurteilen, ob sie die VKS korrekt angewendet haben (oder nicht). Schüler*innen in der Gruppe Fremde-Fehler experimentierten nicht selbst, sondern wurden im ersten Schritt mit einem vorbereiteten, fehlerhaften Experiment konfrontiert. In einem zweiten Schritt sollten sie beurteilen, ob die VKS vom Modell korrekt angewendet wurde (oder nicht). Die Schüler:innen-Einschätzung wurde mit einem Expert:innenrating verglichen. Die Ergebnisse zeigen, dass es für die Schüler*innen statistisch signifikant einfacher ist, fremde Fehler zu erkennen. (p < .001; r = .60). Das höhere Fehlerbewusstsein beim Arbeiten mit fremden VKS-Fehlern deutet darauf hin, dass durch den Einsatz von Fehlermodellen verschiedene psychologische Herausforderungen abgemildert werden können. Die Ergebnisse dieser Studie weisen auf ein hohes Lernpotential der Arbeit mit fremden VKS-Fehlern hin.