FAQ

Textoptimierung ist die sprachliche Anpassung von Texten an eine Zielgruppe, in unserem Fall die Zielgruppe von Menschen mit eingeschränkter Schriftsprach-Kompetenz.

Ziele von TOP.KI:

• Abbau von Sprachbarrieren in Prüfungen
• Deutliche Erleichterung der Textoptimierung von Prüfungsaufgaben
• Ausweitung des Einsatzes der Textoptimierung bei Prüfungen und darüber hinaus
• Teilhabe

Mittel:

• KI-basiertes Werkzeug zur Übertragung von Prüfungsaufgaben in Einfache Sprache

Während Leichte Sprache auch den Inhalt der Texte vereinfacht, werden mit Einfacher Sprache nur die sprachlichen Hürden für das Textverständnis entfernt. Daher kann bei Prüfungsaufgaben nur die Einfache Sprache eingesetzt werden, denn der Inhalt der Prüfungsaufgabe darf nicht verändert werden.

Beispiel:

Originaltext:
Das Dorf, aus dem später Leipzig hervorgeht, entsteht schließlich zwischen dem 7. und dem 9. Jahrhundert, als die Sorben, ein slawischer Volksstamm, eine kleine Siedlung gründen, die sie "Lipzk", den "Ort bei den Linden" nennen.

Quelle: http://www.planet-wissen.de/laender_leute/sachsen/leipzig/index.jsp 

Einfache Sprache:
Leipzig entstand zwischen dem 7. und 9. Jahrhundert. Damals gründeten die Sorben (ein slawisches Volk) ein kleines Dorf und nannten es "Lipzk". "Lipzk" bedeutet "Ort bei den Linden".

Leichte Sprache
Leipzig ist sehr alt.
Früher war Leipzig ein Dorf.
Das Dorf haben die "Sorben" (ein Volk) gebaut.
Das Dorf hatte den Namen "Lipzk".
"Lipzk" bedeutet "Ort bei den Linden".
Später bekam "Lipzk" auch einen deutschen Namen: Leipzig.

Unsere Tests haben ergeben, dass Large Language Models (LLMs) wie ChatGPT Prüfungsaufgaben nicht adäquat in Einfache Sprache umwandeln können. So gehen bei der Übertragung auch fachspezifische Wörter verloren oder werden vereinfacht dargestellt.

Alternative LLMs wie EasyGPT-German der TU-München sind von der Qualität nicht ausreichend nachtrainiert worden. Dieses Modell wurde auf Zeitungsartikel trainiert, im Allgemeinen ist die Performance eher schlecht.

Zudem erfüllen sie bisher nur wenig bis gar nicht die strengen Geheimhaltungsrichtlinien der Prüfungsaufgabenerstellungseinrichtungen und der zuständigen Stellen in Deutschland.

Auch Transparenz hinsichtlich der z. B. bei ChatGPT verwendeten Datengrundlage inkl. deren Werte, Normen, (Vor-)Urteile fehlt ganz oder zum Teil (vor allem nach DSGVO).

Modelle, die fachlich fundiert Alltagssprache von berufsbezogener Fachsprache unterscheiden können, gibt es bisher nicht. Im Projekt trainieren wir LLMs gezielt mit Prüfungstexten früherer Jahrgänge. Diese Texte sind aufgrund des Datenschutzes nicht allgemein zugänglich.

Weitere Probleme sind:

• Modelle werden nicht langfristig unterstützt (z. B. Version 3 und end of support Ende 2023)
• Man ist z. B. Veränderungen der Modelle, Infrastruktur und Preisänderungen ausgesetzt.
• Eine Anfrage bei ChatGPT verursacht einen wesentlich höheren Rechenaufwand und damit CO2-Ausstoß als bei einer auf diesen Zweck optimierten KI-Anwendung.

Bei TOP.KI geht es um Einfache Sprache in Prüfungen, nicht um den Einsatz von Einfacher Sprache im Alltag oder in der Schule bzw. Ausbildung. Sprachkompetenz im beruflichen Kontext entwickelt sich in der beruflichen Ausbildung und Praxis. Prüfungen hingegen sind keine Lernsituationen, sondern Leistungssituationen, in denen es darauf ankommt, Fachkompetenz nachzuweisen. Sprachliche Komplexität darf den Nachweis der Fachkompetenz nicht verhindern. Hier hilft Einfache Sprache, denn sie ist klar und eindeutig und wird in der Regel problemlos verstanden.

Prüfungen der beruflichen Bildung haben einen besonderen Sprachstil. Prüfungssprache ist grammatikalisch besonders komplex und inhaltlich stark verdichtet. In dieser Form gibt es das weder in der beruflichen Praxis noch in Lernsituationen. Es handelt sich um zusätzliche sprachliche Hürden, die Prüfungen unnötig erschweren. Erfordert ein Beruf besondere Textverständniskompetenzen, werden diese im Rahmen der Prüfung gezielt abgefragt.

Bei der Textoptimierung von Prüfungen wird lediglich die Standardsprache der Aufgaben vereinfacht. Berufsspezifische Fachbegriffe bleiben erhalten. Auch die Inhalte der Aufgaben werden bei der Umformulierung in Einfache Sprache nicht verändert. Das führt dazu, dass spezifisch fachliche Kenntnisse und Fähigkeiten geprüft werden und nicht die allgemeinen Deutsch-Kenntnisse.

Prüfungen in Einfacher Sprache gibt es seit über 30 Jahren als Nachteilsausgleich. Mehr als 5.000 Auszubildende wurden bisher in Zusammenarbeit mit IHKs und Handwerkskammern mit Prüfungen in Einfacher Sprache geprüft. Die Inhaltsgleichheit wurde bei jeder dieser Prüfungen durch den Prüfungsausschuss oder eine andere von der Kammer beauftragte Fachperson geprüft.

"Mit Prüfungen in Einfacher Sprache erfüllt man die Anforderungen besser als mit Prüfungen in komplexer Sprache", so die Deutsche Industrie- und Handelskammer. Diese Vorgaben bilden den Standard, an dem sich alle Prüfungen messen lassen müssen.

Laut DIHK müssen Prüfungen:

• objektiv sein,
• verständlich und eindeutig sein,
• einseitige Schwerpunktbildung und Spitzfindigkeiten vermeiden,
• die berufliche Handlungskompetenz überprüfen,
• zuverlässige Ergebnisse liefern,
• tatsächlich das prüfen, was sie inhaltlich prüfen sollen,
• zwischen Leistungsstarken und Leistungsschwachen trennen und
• wirtschaftlich durchzuführen sein."

Quelle: https://www.dihk.de/de/themen-und-positionen/fachkraefte/aus-und-weiterbildung/ausbildungspruefungen-6944).

Prüfungstexte sind besondere Texte. Häufig sind sie sprachlich dichter und grammatikalisch wesentlich komplexer als Standardsprache. Sie verwenden Fachwörter, bildungssprachliche Elemente, nicht-berufsspezifische Fremdwörter usw.. Für die meisten Menschen können sie deshalb eine (unnötige) Hürde auf dem Weg zum Berufsabschluss darstellen.

Prüfungssituationen sind zudem Ausnahmesituationen - die meisten Menschen sind angespannt, aufgeregt, stehen unter Stress. Da passiert es (noch) viel häufiger, dass komplexe Texte falsch verstanden und/oder interpretiert werden. TOP wirkt dem entgegen.

Die Prüfungen in nicht-sprachlichen Fächern dienen dem Nachweis der fachlichen Kenntnisse und Fähigkeiten in einem Beruf, nicht einer Überprüfung der allgemeinen Deutschkenntnisse der Azubis. Gerade in technisch-gewerblichen oder Handwerksberufen kommt es im Berufsalltag letztlich zumeist auf praktische Fähigkeiten und Fertigkeiten an, nicht auf routinierten Umgang mit komplexen Texten.

Menschen, denen per Nachteilsausgleich in der Prüfung Texte in Einfacher Sprache zustehen, arbeiten auch in der Berufsschule im Idealfall mit gut strukturierten und angepassten Texten (Wortschatz, Grammatik).

Das TOP.KI-Tool fügt sich in den üblichen Ablauf der Prüfungserstellung. Es gelten wie üblich hohe Sicherheitsstandards und Geheimhaltungsvorgaben. Die Kommunikation mit dem TOP.KI-Tool wird über gesicherte Verbindungen stattfinden, so dass ein "Mithören" nicht möglich ist. Da das TOP.KI-Tool keine Aufgaben speichert, ist auch ein späteres Auslesen aktueller Prüfungsprojekte nicht möglich.

Die aktuellen Fortschritte in der KI, insbesondere bei Large Language Models (LLMs) wie den Transformer-Modellen, beruhen auf einem "Attention"-Mechanismus, wie in der Publikation "Attention is all you need" von Google aus dem Jahr 2017 beschrieben. Diese Modelle werden durch historische Daten trainiert und basieren auf Wahrscheinlichkeiten von Wortpaaren. Wenn ein LLM nicht speziell darauf trainiert wurde, Prüfungsaufgaben zu replizieren, kann es diese nicht preisgeben.

Die Sicherheit der Trainingsdaten ist entscheidend, und aktuelle Technologien machen es äußerst schwierig, durch Reverse-Engineering auf diese Daten zuzugreifen. Neuronale Netze, einschließlich LLMs, sind als Black-Box-Modelle bekannt. Ihre Entscheidungsfindung bleibt weitgehend undurchsichtig. Die eigentliche Schwachstelle liegt somit nicht bei der KI selbst, sondern eher im Bereich des Endnutzers oder der Kommunikation zwischen verschiedenen Schnittstellen im Internet. Die mit aktuellen Verfahren auf den neuesten Stand der Technik sichergestellt werden. Beispielsweise durch verschlüsselte Speicherung und Übertragung der Prüfungsdaten.

Unser Tool ist eine Unterstützung für Expert*innen. Ob und inwiefern ein Aufgabentext in Einfacher Sprache fachlich geeignet ist, entscheiden die Aufgabenersteller*innen. Die KI liefert lediglich Vorschläge. Ähnlich wie bei Übersetzungstools, also z. B. Google translate oder DeepL, ist die Umwandlung mit KI ein Hilfsmittel und gibt dem Endnutzer eine Empfehlung. Hierbei müssen Fachexpert*innen die syntaktische, semantische und auch die inhaltliche Richtigkeit nach der Umwandlung prüfen. Geeignete Evaluationsmetriken können aber die Qualität der Umwandlung messen. Das Tool wird in umfangreichen Evaluationen im laufenden Projekt getestet und weiter optimiert.

Wie die momentanen Erfahrungen z. B. mit ChatGPT zeigen, gibt es für eine hochwertige Textoptimierung in absehbarer Zeit keine generelle Lösung. Generative KI-Modelle müssen für den jeweiligen Einsatzzweck mit den entsprechenden Daten trainiert werden, in unserem Fall für die Umwandlung von Prüfungsaufgaben, also von eher kurzen Texten. Dennoch gehen wir davon aus, dass das Werkzeug auch in verwandten Bereichen wie Fachtexten in der Ausbildung eine gute Unterstützung bieten kann.

Large Language Models (LLMs) sind KI-Sprachmodelle, die an riesigen Textdatensätzen trainiert wurden, ein gewisses Textverständnis besitzen und neue Texte generieren können.

Zusatzinfos:
Die LLMs wurden durch Deep Learning möglich (der digitale Aufschwung in 2015; Grafikkarten mit vielen kleinen Kernen haben das Trainieren von riesigen neuronalen Netzen ermöglicht). Nach "ImageNet" 2018 (Deep Learning im Bereich Image Classification) fand kurz darauf Deep Learning im Text-/Sprachbereich Anwendung. Die großen Tech-Unternehmen (Google, Microsoft, NVIDIA, Facebook,...aber auch SAP, Telekom und gut finanzierte Startups) haben sich eine Zeit lang in der Größe und Fähigkeiten von LLMs gegenseitig übertroffen ("BERT" einer der ersten, einflussreichsten LLMs). ChatGPT ist wohl eine der bekanntesten Anwendungen von LLMs (inzwischen auch weitgreifender).

Die Unterscheidung in der Korpora (Fachsprache bleibt erhalten):
In der Berufsausbildung spielen Fachbegriffe, generell Fachsprache, eine wichtige Rolle. Das Beherrschen der Fachsprache ist eine wichtige Voraussetzung für den Kompetenzaufbau und die berufliche Kommunikation. Fachbegriffe dürfen deshalb im Umwandlungsprozess nicht verändert werden. In TOP.KI entwickeln wir speziell für die KI-gestützte Umwandlung einen Fachsprachen-Korpus, der diese Begriffe enthält und sie von der Textoptimierung ausnimmt.

Die Geheimhaltung:
Zudem achten wir aufgrund der sensiblen Prüfungsdaten akribisch auf die Datensicherheit. So kann keine Prüfungsaufgabe durch die Textoptimierung vorab bekannt werden.

Der Barriere-Sensor:
Durch das Aufzeigen und Erklären der im Text vorhandenen Barrieren kann das TOP.KI-Tool als Lerntool genutzt werden.