„Sehr gut für einen Prototyp – damit lässt sich jetzt schon super arbeiten.“
Ein erster Höhepunkt der bundesweiten Erprobung unseres KI-Tools TOP Assist fand Anfang Dezember 2024 in Leipzig statt. 55 Personen aus der Prüfungsaufgabenerstellung und dem Prüfungswesen nahmen an einem Workshop zur KI-gestützten Textoptimierung von Prüfungsaufgaben bei der IHK zu Leipzig teil.
Fast alle Teilnehmenden hatten einen Bezug zur beruflichen Bildung. Die überwiegende Mehrheit hatte bereits Erfahrungen mit der Textoptimierung von Prüfungsaufgaben. Aufgabenersteller/-innen mit dem Hintergrund Druck- und Medientechnik stellten die größte Gruppe; weiterhin nahmen Personen aus den Berufsfeldern Metalltechnik, Elektrotechnik, Wirtschaft und Verwaltung sowie aus anderen, kleineren Berufsfeldern teil. Zahlreiche Experten/-innen kamen aus Ausschüssen der Prüfungsaufgaben- und Lehrmittelentwicklungsstelle (PAL), der Aufgabenstelle für kaufmännische Abschluss- und Zwischenprüfungen (AkA) und des Zentral-Fachausschusses Berufsbildung Druck und Medien (ZFA). Aus dem Bereich der Weiterbildung waren Vertreter/-innen der DIHK-Gesellschaft für berufliche Bildung – Organisation zur Förderung der IHK-Weiterbildung dabei.
Im Namen aller Projektpartner von TOP.KI begrüßte Anette Jacob, Geschäftsführerin des ZFA, die Anwesenden und bedankte sich für die großzügige Unterstützung durch die IHK zu Leipzig. Am ersten Tag des Workshops wurden Grundlagen der Textoptimierung vorgestellt. Mit vielen Beispielen erläuterten Dr. Susanne Wagner und Katja Grosch vom Institut für Textoptimierung die Problematik von Sprachbarrieren für das Textverstehen. Insbesondere in Stress-Situationen wie Prüfungen wirkten sie sich negativ aus. In den Praxisphasen des Workshops konnten sich die Teilnehmenden selbst von den Herausforderungen der Textoptimierung überzeugen.
Am zweiten Tag stand dann die Erprobung des Prototyps TOP Assist im Mittelpunkt. Miguel Alves Gomes von der Bergischen Universität Wuppertal erläuterte die technischen Besonderheiten des Tools und seine Nutzungsmöglichkeiten. Das KI-Tool wurde anschließend in Arbeitsgruppen anhand von mitgebrachten Aufgaben getestet und bewertet.
Die Befragten bewerteten TOP Assist insgesamt mit Schulnote 2; dasselbe galt für Design, Übersichtlichkeit und Feedback-Möglichkeiten.
Die unterbreiteten Optimierungsvorschläge fanden die Expert/-innen sehr nützlich – obwohl es sich erst um den Prototypen des Tools handelt. Über 80 Prozent der Teilnehmenden möchten TOP Assist zukünftig verwenden (ja bzw. eher ja), nur drei Personen eher nicht. Ähnlich fielen die Antworten auf die Frage nach der Weiterempfehlung des Tools aus: 56 Prozent der Befragten würden das Tool weiterempfehlen, noch einmal 25 Prozent beantworteten die Frage mit „eher ja“. Lediglich zwei Erprobende würden TOP Assist eher nicht weiterempfehlen.
Bei der Erprobung wurden zahlreiche Verbesserungsvorschläge gemacht, die im Team und zusätzlich auf der Beiratssitzung des Projektes ausgewertet wurden. In vielen Kommentaren zeigten sich die Experten/-innen überrascht über die Leistungsfähigkeit des Prototyps, nur vereinzelt gab es unzufriedene Rückmeldungen.
Im nächsten Jahr werden die Erprobungen von TOP Assist fortgeführt und parallel Verbesserungen vorgenommen. Einrichtungen oder Ausschüsse, die das Tool erproben möchten, können sich an das Projektteam unter hagenhofer@zfamedien.de wenden.