Veranstaltungsprogramm

Das Qualitätssicherungsmanagement der Universität Marburg zeichnet sich durch den studiengangsspezifischen, an Fragestellungen orientierten und methodenpluralen Einsatz quantitativer und qualitativer Evaluationsinstrumente aus. Gerade im Rahmen qualitativer Evaluationen hat sich das Einsatzspektrum von KI seit der Veröffentlichung von LargeLanguageModels zuletzt signifikant erweitert und damit auch unser analytisches Vorgehen geholfen weiterzuentwickeln.

Ziel unseres Impulsbeitrages wird es sein, eben jene Weiterentwicklung unserer qualitativen Analyse- und Auswertungsmethoden für Studium und Lehre zu vermitteln und zur Diskussion zu stellen. Dies wollen wir anhand dreier ‚Gegenstände‘ ausführen:

- an für die Analyse entwickelten Prompts,

- an Auszügen eines auf Basis existierender Ergebnisberichte erstellten Kategorienschemas,

- an einem anonymisierten Ergebnisbericht.

Erfahrungen die wir ebenfalls gerne teilen und diskutieren wollen erstrecken sich jenseits dieser zentralen Aspekte auch auf die Frage nach der Auswahl passender Software, den Chancen und Herausforderungen automatischer Transkription sowie ganz generell, bzgl. der Grenzen existierender, assistierender KI-Modelle für die Anwendung in der Evaluation von Studium und Lehre.

Studiengangsverantwortliche haben die Aufgabe die Qualität ihrer Studiengänge sicherzustellen und diese erfolgreich weiterzuentwickeln. Dabei ergeben sich eine Vielzahl spezifischer Fragestellungen:

• Wie gelingt der Studieneinstieg der Erstsemester?
• Erreichen Studierende die festgelegten Lernziele?
• Wie wirkt sich der Wechsel zu einer neuen Prüfungsordnung auf die Studierbarkeit aus?

Die Klärung solcher Fragen erfordert adressatengerechte und zweckorientierte Aufbereitung aktueller Daten über einzelne Semester oder Studierendenkohorten. So können Handlungsbedarfe frühzeitig erkannt und Maßnahmen ergriffen werden. Für diese besonderen Bedarfe sind traditionelle Statistiken im Hochschulwesen oft nicht ausgelegt.

In einem Pilotprojekt wurde deshalb ein Daten Cockpit speziell für den Bedarf von Studiengangsverantwortlichen entwickelt. Durch ein zielgenaues Set an Datenvisualisierungen ist ein niedrigschwelliges und zeiteffizientes Werkzeug zur Lageeinschätzung in Studiengängen entstanden. Ziel ist es, die Identifikation von Problemen und Potentialen innerhalb eines Studiengangs zu erleichtern und Anhaltspunkte für weiterführende Analysen anzubieten.

Im Impulsvortrag werden Ansatz und Design des Daten Cockpits vorgestellt sowie Erkenntnisse aus der ersten Pilotierung und Möglichkeiten zur Weiterentwicklung diskutiert.