Ein Beitrag von Christina Hanck, Elke Jacob (beide Oberlin BBW Potsdam) und Katharina Kubitz (BBW Leipzig)
Im Verlauf des Projektes TOP.KI werden an bestimmten Zeitpunkten und mit unterschiedlichen Fragestellungen Erprobungen geplant, durchgeführt und evaluiert.
Im Rahmen von Kick-Off-Veranstaltungen haben wir an beiden BBW Jugendliche über das Projekt TOP.KI informieren und zur Mitwirkung an den Erprobungen gewinnen können.
Dabei stießen wir grundsätzlich auf großes Interesse an gut verständlichen Texten und Künstlicher Intelligenz, aber auch auf ganz unterschiedliche Wissensstände und Fragen. Interessierte die einen die CO2-Bilanz unseres Projektvorhabens, sorgten sich andere um den möglichen Wegfall von Arbeitsplätzen durch den Einsatz des geplanten Übersetzungstools oder um die Datensicherheit. Wichtig war vielen Azubis, dass „unser Textoptimierungs-Tool“ Prüfungsersteller*innen beim Verfassen von verständlichen Prüfungsfragen unterstützt, sie aber nicht komplett ersetzt.
Bei der ersten Erprobung interessierte das Projektteam, ob Teilnehmende der Berufsbildungswerke Potsdam und Leipzig mit textoptimierten Aufgabentexten besser zurecht kommen als mit den ursprünglichen Originaltexten.
Dazu entwickelten wir ein Test-Setting mit folgenden Bausteinen:
- gemischtes Aufgabenset mit einer festgelegten Anzahl konventionell textoptimierter Aufgaben und originalen Aufgaben
- gleicher Ablauf der Testung zu beiden Testdurchläufen und an beiden Berufsbildungswerken (BBW)
- abgestimmte Beobachtungs- und Bewertungsbögen
- einheitliche Excel-Tabelle für die Erfassung der Daten
- je eine Testgruppe (Auszubildende im 2. und 3. Lehrjahr aus dem Druck- / Medienbereich) der BBW Potsdam und Leipzig
- jeweils 1 Expertenperson und 2 beobachtende Personen
Die Projektgruppen in Leipzig und Potsdam starteten mit den Erprobungen im Dezember 2023 bzw. im Januar 2024. Beide Projektgruppen bereiteten die Auszubildenden der Testgruppen mit einer Kick-Off-Veranstaltung auf die Erprobungen vor. In diesem Rahmen wurde das Projekt TOP.KI vorgestellt und die Auszubildenden zur Teilnahme an den Erprobungen motiviert.
Die Ausgangslage und die Projektziele wurden veranschaulicht und die Fragen der Teilnehmer*innen beantwortet. In einer Reflexionsrunde wurden Vorbehalte und Ängste im Umgang mit Künstlicher Intelligenz diskutiert.
Organisation und Ablauf der Erprobungen in Potsdam und Leipzig
Die Erprobung, mit einer abgestimmten Varianz von Originalaufgaben und textoptimierter Aufgaben, wurde in zwei Durchgängen durchgeführt. Für ein ungestörtes und konzentriertes Arbeiten stand für die Testgruppen ein ruhiger Raum zur Verfügung. Die Tische wurden so angeordnet, dass die Auszubildenden genügend Platz und die beobachtenden Personen eine gute Sicht auf alle hatten.
Zu Beginn stellten sich die Expertenperson und die beobachtenden Personen vor und erklärten ihre Rolle. Es wurde über den Ablauf der Erprobung informiert.
Nach dem alle den Einführungstext gelesen hatten, konnten Fragen gestellt werden.
Die Testgruppen hatten dann für die Beantwortung der Fragen 60 Minuten Zeit. Die Expertenperson konnte während der ganzen Zeit gefragt werden. Die Auszubildenden wurden gebeten, Wörter oder Redewendungen, die sie nicht verstanden haben, zu markieren.
Um den Ablauf nicht zu stören, wurden Fotos für die Dokumentation erst nach der Erprobung gemacht.
Grundsätzlich gab es kaum lautsprachliche Äußerungen in den 60 Minuten.
Nach Abschluss beider Erprobungsdurchgänge hatten die Auszubildenden Gelegenheit Feedback zu geben. Diese werden von uns detailliert, aber anonymisiert, dokumentiert. Jeder Auszubildende erhielt das Angebot einer fachlichen Auswertung der gelösten Aufgaben.
Die Erfahrungen, die die Projektgruppen in Potsdam und Leipzig gesammelt haben, werden gemeinsam ausgewertet und in die Planung und Durchführung weiterer Erprobungen fließen.