| Sitzung | ||
2.3 Impulsforum Forschung: Learning Analytics - Verknüpfung von Learning Analytics mit generativer KI
Sitzungsthemen: Technik, Generative Künstliche Intelligenz, Learning Analytics
| ||
| Präsentationen | ||
Ein KI-basierter Chat-Agent zur Messung der Fähigkeiten im selbstgesteuerten Lernen FernUniversität in Hagen, Deutschland Während das Potenzial von Large Language Models (LLMs) in jüngster Zeit in verschiedenen Bereichen des Bildungswesens untersucht wurde, ist ihre Anwendung bei der Messung der Fähigkeiten Studierender im Bereich des selbstgesteuerten Lernens (SRL) noch nicht ausreichend erforscht. Aktuelle Initiativen zur Messung von SRL (Befragungen, digitale trace data) stehen vor mehreren Herausforderungen, die die Entwicklung effektiver SRL-Maßnahmen direkt behindern. Um diese komplexe Bildungsherausforderung anzugehen, untersucht diese Studie die Implementierung und Evaluierung eines generativen KI-Agenten, der entwickelt wurde, um Interviews auf der Grundlage des Self-Regulated Learning Structured Interview (SRLSI) von Zimmerman und Martinez-Pons durchzuführen. Das System wurde mit 13 Teilnehmern hinsichtlich Effizienz, Effektivität und Zufriedenheit zu untersuchen. Die Ergebnisse zeigen, dass der Agent das SRLSI-Interview erfolgreich durchführen kann und eine effiziente Automatisierung von SRL-Bewertungen demonstriert. Die Lernenden fanden das in Discord und Moodle integrierte Tool benutzerfreundlich und schätzten die Genauigkeit und Qualität der Gespräche. Die Rückmeldungen zum Nutzen und zur Relevanz der Empfehlungen waren jedoch uneinheitlich, was Verbesserungsmöglichkeiten und das Potenzial zur Verbesserung der personalisierten Lernunterstützung unterstreicht. Diese Ergebnisse bieten direkte Einblicke für zukünftige Fortschritte bei der SRL-Messung und SRL-Interventionen. Evaluation KI-generierter Multiple-Choice-Fragen für die medizinische Biochemie 1Klinik für Hämatologie und Onkologie, Bereich Experimentelle Onkologie, Universitätsklinikum Schleswig-Holstein, Lübeck, Deutschland; 2Universitäres Cancer Center Schleswig-Holstein (UCCSH), Lübeck, Deutschland; 3Klinik für Gynäkologische Endokrinologie und Reproduktionsmedizin, Universitäres Fertilitätszentrum Lübeck und Manhagen, Universitätsklinikum Schleswig-Holstein, Lübeck, Deutschland Der wachsende Einsatz von KI-Sprachmodellen in der medizinischen Ausbildung wirft die Frage auf, wie diese Modelle die Erstellung hochwertiger Prüfungsfragen effizient unterstützen können. Diese Studie untersucht die Machbarkeit von KI-generierten Multiple-Choice-Fragen (MCQs) für Prüfungen in medizinischer Biochemie und vergleicht deren didaktische Qualität mit von Dozenten erstellten MCQs. Mithilfe von drei Open-Source-Sprachmodellen (LLMs) und unter Berücksichtigung bewährter Verfahren der medizinischen Prüfungsdidaktik wurde ein Satz KI-generierter MCQs zu biochemischen Signalwegen und krankheitsbezogenen Mechanismen erstellt und mit von Dozenten entworfenen Fragen verglichen. Die Analyse umfasste eine Klassifizierung nach der Bloom'schen Taxonomie, eine Bewertung der klinischen Anwendbarkeit, eine Lesbarkeitsanalyse sowie eine Expertenvalidierung. Zudem wurden die KI-generierten Fragen auf mögliche konzeptionelle Inkonsistenzen, ethische Fragestellungen und Verzerrungen (Bias) untersucht. Ergebnisse deuten darauf hin, dass KI-generierte MCQs in Bezug auf Klarheit, inhaltliche Vielfalt und biochemische Genauigkeit mit von Dozenten erstellten Fragen mithalten oder diese sogar übertreffen können. Allerdings ist in vielen Fällen eine manuelle Anpassung erforderlich, um einen angemessenen Schwierigkeitsgrad zu gewährleisten und klinische Szenarien zu integrieren. Diese Studie bietet Empfehlungen für die Integration KI-basierter Prüfungen in die medizinische Biochemieausbildung. | ||