Die voranschreitende Digitalisierung stellt die Gesellschaft vor sich kontinuierlich verändernde Anforderungen. Auch die Hochschulen müssen ihre Mitglieder (Studierende, Lehrende, Forschende und Verwaltungsmitarbeitende) befähigen, den damit verbundenen neuen Voraussetzungen für Studium und Arbeitsalltag erfolgreich zu begegnen. Dafür wird im Projekt #Digitalkompetenz.NRW ein Web-Angebot zur Förderung relevanter Digitalkompetenzen entwickelt. Es orientiert sich am Modell des #DigitalCheckNRW und bietet Hochschulangehörigen eine Webpräsenz, um ihre Digitalkompetenzen zu erkennen, zu bewerten und gezielt weiterzuentwickeln. Drei Kernmodule werden angeboten: (i) ein Self-Assessment-Tool zur Einschätzung des eigenen Kompetenzprofils, (ii) ein Katalog mit einem umfassenden Überblick über Informations-, Weiterbildungs- und Schulungsangeboten im Bereich digitaler Schlüsselqualifikationen, und (iii) ein Pfadfinder, der die Ergebnisse des Self-Assessments mit den Katalogangeboten verbindet und als zielgenaues Empfehlungssystem dient. Die Projektentwicklungen sollen als OER bereitgestellt werden.

Für die Empfehlungen des Pfadfinders werden die Zielgruppen im Vorfeld mit Hilfe von systematischen Anforderungsanalysen bedarfsbezogen definiert. Hierbei liegt der Fokus auf den digitalen Kompetenzbereichen, die für Mitglieder von Hochschulen von besonderer Bedeutung sind. Dies sind z. B. Daten- und KI-Kompetenzen sowie digitale Kommunikations- und Kollaborationskompetenzen. Das Angebot wird somit auf die Bedürfnisse der multiplen Zielgruppen zugeschnitten.

Über die drei genannten Kernmodule des Projekts hinausgehend fördert es die wissenschaftliche Auseinandersetzung mit der Vermittlung und dem Test von Digitalkompetenzen durch Netzwerk-Events wie Tagungen und Workshops.

Unser Poster skizziert einen didaktischen Rahmen, welcher für die Vermittlung von KI-Methoden in Kursen der Digital History entwickelt wurde.

Der didaktische Rahmen zielt auf einen Kompetenzaufbau zum Thema KI-Methoden und wurde in Kursen mit Themenschwerpunkt Named Entity Recognition, Computer Vision und Text Reuse Analysis verprobt und optimiert.

Der ganzheitliche Ansatz adressiert Aspekte wie IT-Infrastruktur, technische Konfigurationen und didaktische Methoden, wie beispielsweise Inverted Classroom, Teamteaching und Peer-Computing. Dabei folgen wir dem didaktischen Dreiklang von Theorie, Methode und Praxis. Zusätzlich fördern computergestützte Essays als Aufgabenstellungen ein tieferes Verständnis von Daten und KI-Konzepten.

Durch den Einsatz von KI-Technologien und pädagogischen Strategien sollen die Digital History-Kurse Studierende befähigen, KI-Techniken im historischen Kontext kritisch zu bewerten und anzuwenden.

Im Projekt MIau.nrw werden allen Hochschulen in NRW durch die vorhandene Technologie der Learning Management Systeme eine unmittelbare und niedrigschwellige Nutzung adaptiver Verfahren ermöglicht. Der überwiegende Anteil der Hochschulen in NRW setzt ILIAS oder Moodle als Learning Management System ein, mit dessen Basiselemente bereits adaptive Kursformate aufgebaut werden können.

Das Poster skizziert die methodische Ausgestaltung sowie Zwischenergebnisse einer studierendenzentrierten, kriteriengeleiteten, formativen Evaluation eines Studienplanungstools, welches Regeln der Studien- und Prüfungsordnung analysiert, diese in Form eines Dashboards visualisiert und dabei Techniken künstlicher Intelligenz (KI), des Process Minings und der Learning Analytics kombiniert, um evidenzbasiert und bedarfsgerecht Rückmeldungen und Empfehlungen zu geben.

Untersuchungen erfolgen im Rahmen eines mehrphasigen Designs, das im gesamten Verlauf der formativen Evaluation qualitative und quantitative Erhebungsmethoden integriert. Die studierendenzentrierte Perspektive wurde durch in der Entwicklung der Kriterien sowie die Auswahl von Erhebungsmethoden gewährleistet, um die Bedürfnisse und Perspektiven der Studierenden angemessen zu berücksichtigen.

Ein Schwerpunkt liegt auf der kriteriengeleiteten Analyse, bei der normative Evaluationskriterien entwickelt wurden, die sowohl Aspekte der Selbstwahrnehmung informierter, selbständiger Studienverlaufsplanung als auch der Benutzerfreundlichkeit des KI-gestützten Planungstools umfassen.

Der formative Aspekt der Evaluation wird durch regelmäßiges Feedback, eine Diskussion der Zwischenergebnisse und iterative Anpassungen des Tools während des Entwicklungsprozesses gewährleistet. Dies ermöglicht eine dynamische Anpassung an die Bedürfnisse der Studierenden und optimierte die Nutzererfahrung kontinuierlich.

Erste Ergebnisse bieten Einblicke in Erwartungen und Nutzungsverhalten von Studierenden bezüglich KI-gestützter Studienplanungstools im Hinblick auf die Studierendenzufriedenheit, die wahrgenommene Verbesserung der langfristigen Studienplanung und die individuelle Anpassbarkeit. Darüber hinaus werden im Projektkontext Implikationen für die Gestaltung von digitalen Tools in der Hochschulbildung diskutiert, insbesondere im Kontext ethischer und pädagogischer Überlegungen und der Integration von KI und Learning Analytics.

Das SMARTA-Projekt, kurz für 'STUDENT MOTIVATION AND REFLECTIVE TRAININGS AI-ASSISTANTS', nutzt künstliche Intelligenz, um das 2-Sigma-Problem zu adressieren – ein Phänomen, bei dem Studierende, die Einzelunterricht erhalten, deutlich besser abschneiden als jene im traditionellen Präsenz-Unterricht. Durch die Integration von KI-Chatbots in das Campus-Management-System TraiNex der privaten Hochschule FHM hat SMARTA seit 2023 über 5.000 Studierende erreicht. Dabei wurden 20.000 Gesprächsinteraktionen beobachtet und ausgewertet. Die Chatbots decken dabei aufgabenspezifisch verschiedene Bedürfnisse der Studierenden ab: ALIX fördert die Motivation der Studierenden durch empathische Unterstützung, ROBYN steigert das Engagement durch sokratischen Dialog und MELLY unterstützt adaptive Lernkonversationen, die auf akademische Inhalte abgestimmt sind. Die Systemintegration ermöglicht die datenschutzkonforme Personalisierung der Interaktionen mittels vorhandener Nutzerdaten wie Geschlecht, Alterskohorte, Studienrichtung oder aktuellem Lehrplan, wodurch die Kommunikation der Chatbots stark auf den individuellen Studierenden abgestimmt ist. Zudem bewertet ein Monitoring-Rahmenwerk den Erfolg des Projekts, ohne die Privatsphäre der Studierenden zu beeinträchtigen, und konzentriert sich auf beobachtbare Metriken wie Gesprächsdauer, Gesprächslänge und auch Stimmungsänderungen im Gesprächsverlauf. Zukünftige Entwicklungen beinhalten die Fähigkeit der Chatbots, auf vergangene Interaktionen zu verweisen, um sich besser an die individuellen Vorlieben der Studierenden anzupassen, und zielen darauf ab, die Dynamik des persönlichen Coachings noch genauer nachzubilden. Das SMARTA-Projekt wird wissenschaftlich begleitet und bisherige Ergebnisse deuten darauf hin, dass KI-gesteuertes, personalisiertes Tutoring eine Schlüsselstrategie in der Hochschulbildung sein könnte.

Der Einsatz von KI in Bildungskontexten hat seit Aufkommen von ChatGPT Ende 2022 eine neue Dynamik erhalten. Einerseits wird von Lehrkräften gefordert (SWK, 2024) sich mit dem Thema schulischer Einsatz von KI-Anwendungen auseinanderzusetzen. Andererseits fehlt es an Fortbildungen, damit Lehrkräfte KI-Anwendungen lernförderlich einsetzen können. Um angehende Lehrkräfte bestmöglich auf die mit dem Einsatz von KI-Anwendungen im schulischen Kontext entstehenden Herausforderungen vorzubereiten, haben wir ein projekt-basiertes Seminar in der Erziehungswissenschaft zum Thema Textgenerative KI im Unterricht konzipiert. Ziel des Seminars ist es, Lehramtsstudierende im lernförderlichen Einsatz von KI-Anwendungen zu stärken sowie Raum für kreatives Erproben und kritisches Reflektieren zu schaffen. Im Rahmen der Learning AID 2024 möchten wir das schon im Einsatz befindliche Seminarkonzept vorstellen.

Als „zu gut“, weil vermutlich mit Hilfe von KI (Künstlicher Intelligenz) geschrieben, beurteilten die Prüfer der TU München die Arbeit eines Studenten. Das Verwaltungsgericht München gab ihnen im März 2024 recht[1]. Dieses aktuelle Gerichtsurteil zeigt, dass die Verfügbarkeit von leicht bedienbaren KI-Anwendungen für Studierende eine Herausforderung für Lehrende aller Hochschulen ist. Da ein schlichtes Nutzungsverbot kaum zielführend und auch nicht im Sinne unseres Lehr- und Forschungsverständnisses ist, gilt es den Umgang mit diesen Technologien zu untersuchen, zu verstehen und Bewertungskriterien in der Lehre sowie die Lehre selbst anzupassen. Wir wollen explorativ untersuchen, ob Lehrende in der Lage sind, KI-generierte Texte von selbstgeschriebenen zu unterscheiden bzw. stilistische und formale Auffälligkeiten in Texten einzuordnen. In einem Pilotprojekt konnten wir zeigen, dass Lehrende mit einer Genauigkeit von bis zu 70% die von Studierenden selbst verfassten Texte von ChatGPT-generierten Versionen unterscheiden konnten. Aus den Ergebnissen dieses Projekts haben wir eine Anleitung zur Textanalyse entworfen, deren Effektivität wir jetzt mithilfe einer möglichst großen Anzahl Lehrender aller Fakultäten der RUB in einem Folgeprojekt evaluieren möchten.

Dieses Folgeprojekt DEDICAITE wollen wir in den kommenden Monaten an der RUB durchführen. In einer Online-Befragung von ca. 400 Lehrenden mit unterschiedlicher Lehrerfahrung aus möglichst vielen Fakultäten sollen die Teilnehmenden beurteilen, wie Texte geschrieben wurden. Sie erhalten dazu randomisiert ein bis zwei Texte, die entweder von Studierenden oder ChatGPT verfasst wurden. Die Hälfte der Teilnehmenden bekommt wiederum randomisiert eine gezielte Anleitung, anhand welcher Texteigenschaften man Chatbot Texte leichter identifizieren kann, die andere Hälfte erhält eine weniger konkrete Hilfestellung. Ziel von DEDICAITE ist es zu prüfen, ob unsere spezifische Anleitung zu einer höheren Trefferquote führt als eine Standardempfehlung. Außerdem möchten wir prüfen, welche Rolle Fachkenntnisse bei der Entscheidung spielen. Abschließend werden noch Fragen nach den Gründen für die Entscheidung gestellt (Zeitaufwand circa 15 Minuten). Die Befragung läuft über RedCap.

Auf einem Poster wollen wir während der LearningAID unser Projekt vorstellen, Feedback dazu einholen und um Beteiligung von Lehrenden werben.

[1] https://www.faz.net/aktuell/karriere-hochschule/student-nutzt-chatgpt-fuer-bewerbung-erstes-urteil-zu-ki-an-hochschulen-19564795.html