Zweite Beiratssitzung im Projekt TOP.KI gibt Impulse für drittes Projektjahr
Im Dezember 2024 fand die zweite Beiratssitzung des Projekts TOP.KI in den Räumen des Bundesinstituts für Berufsbildung (BIBB) in Bonn statt. Erneut trafen sich Experten/-innen aus den Bereichen KI, Prüfungswesen, Berufsbildung und Forschung, um die Projektergebnisse zu bewerten und die nächsten Schritte im Projekt zu diskutieren.
Im Mittelpunkt der Sitzung stand der im Herbst 2024 fertiggestellte Prototyp des KI-Tools TOP Assist zur Unterstützung der Textoptimierung von Prüfungsaufgaben.
Nach einer kurzen Begrüßung durch den Projektkoordinator Thomas Hagenhofer (ZFA) stellte Marion Rose (BUW) in einer detaillierten Präsentation die Evaluationsplanung für TOP Assist vor. Dabei wurden spezifische Evaluationsziele und -methoden dargelegt, die die Effektivität und Nutzerfreundlichkeit der Anwendung bewerten sollen.
Miguel Alves Gomes (BUW) und Jannik Schmitt (deepsight) gaben anschließend einen umfassenden Überblick über den aktuellen Stand der Technikentwicklung. Besonders hervorgehoben wurde der erste Prototyp des KI-Tools TOP Assist. Dieser basiert auf einer Struktur, die aus Frontend, Backend, einer Vektordatenbank mit Prüfungsaufgaben und KI-Komponenten zur Neuformulierung des Textes besteht.
Die Teilnehmenden hatten Gelegenheit, den Prototyp eigenständig zu testen. Dabei wurden Original-Prüfungsaufgaben eingesetzt, um die Funktionsweise des Tools praxisnah zu bewerten.
Die Beiräte zeigten sich beeindruckt von der Leistungsfähigkeit des Prototyps in diesem Projektstadium und machten Verbesserungsvorschläge zu Funktionen und Design. Berit Blanc (DFKI) schlug vor, die Vorteile gegenüber anderen KI-Systemen wie ChatGPT in der Präsentation deutlicher herauszustellen.
Marion Rose (BUW) berichtete im Weiteren über Ergebnisse von Befragungen während zweier Erprobungs-Workshops in Leipzig. Diese deckten sich im Wesentlichen mit den Eindrücken des Beirats.
Susanne Wagner (IFTO) stellte gegen Ende der Sitzung die Planungen für den Transfer von TOP Assist in die Praxis der Prüfungsaufgabenerstellung vor. Eine intensive Zusammenarbeit mit Prüfungsaufgabenerstellungseinrichtungen wird dabei die Grundlage bilden. Mehrere Beiräte signalisierten Unterstützung.
Thomas Hagenhofer (ZFA) präsentierte abschließend die Meilenstein-Planung und die Ziele für 2025. Die nächste Beiratssitzung ist für Oktober 2025 geplant.
Zum Abschluss der Sitzung wurde nochmals dem Team für die schnelle Entwicklung des Prototyps gedankt, die nun eine intensive Erprobung in 2025 ermöglicht. Die Teilnehmenden bedankten sich herzlich bei den Kolleginnen des BIBB für die organisatorische Unterstützung.