Automatische Kodierung von freien Textformaten zur elaborierten Kompetenzmessung

Zentrales Ziel von AKTeur ist die Schaffung eines interdisziplinären Kooperationsnetzwerks und einer breiten technologischen Basis zur automatischen Kodierung von freien Textantworten in vielfältigen Szenarien.

Projektbeschreibung

Im Rahmen des Projekts sollen beispielhaft für zwei Anwendungsfälle aus der Kompetenzdiagnostik entsprechende Forschungsarbeiten durchgeführt werden. Dabei kommen unter anderem Verfahren der automatischen Sprachverarbeitung zum Einsatz. Um eine automatische Auswertung zu ermöglichen, werden für die Kompetenzdiagnostik häufig geschlossene Antwortformate, z.B. multiple-choice, verwendet. Dies hat allerdings den Nachteil, dass Informationsverluste bereits im Vorfeld infolge der Kategorisierung unvermeidlich sind. Im Gegensatz dazu ermöglichen freie Textformate eine elaborierte und inhaltsvalide Messung von Kompetenzen sowie die Einschätzung mehrerer Facetten eines Schreibproduktes. Die automatische Kodierung offener Antworten kann zudem abgestufte Bewertungen (partial credit) sowie Konfidenzwerte bzw. die Gewichtung einzelner Bewertungen zur Verfügung stellen.

Methodik

Die zu entwickelnden automatischen Systeme basieren auf Verfahren zur Verarbeitung natürlicher Sprache. Zur Einschätzung der Ergebnisse werden Übereinstimmungen der Bewertenden, der Systemausgabe und den menschlichen Bewertungen mit den Ergebnissen eines bewertenden Personenpaares verglichen. Dadurch kann festgestellt werden, ob die Fehlerrate des Systems auf den Widerspruch zwischen zwei menschlichen Bewertenden reduziert werden kann.

Diagnostische Forschungsfragestellungen untersuchen das entwickelte System im Hinblick auf systematische Fehlerquellen, z.B. in Bezug auf Items, Antwortentypen sowie Testpersonengruppen. Hierzu gehört auch die Erklärung der Zwischen-Aufgaben-Variation in der Übereinstimmung von menschlicher und automatischer Bewertung. Darüber hinaus wird auf Skalenebene die Vergleichbarkeit der Kodiervarianten anhand von Messmodell- wie auch struktureller Invarianz geprüft.

Projektziele

Zentrales Ziel von AKTeur ist die Schaffung einer breiten technologischen Basis zur automatischen Kodierung von freien Textantworten in vielfältigen Szenarien. Zur Erreichung dieses Zieles wurde ein interdisziplinäres Kooperationsnetzwerk gegründet, bestehend aus Psycholog*innen, Pädagog*innen und Informatiker*innen. Beispielhaft fokussieren wir zwei Anwendungsfälle aus der Kompetenzdiagnostik:

  • Automatische Kodierung von Qualitätsdimensionen eines Freitextes in der Schreiblernforschung (mehrdimensionales Rating);
  • Automatische Kodierung von kurzen Freitextantworten in der psychologischen Diagnostik von Leistungsmerkmalen (eindimensionales Rating)

Finanzierung

Institutsmittel im Rahmen von DIPF 2015

Kooperationen

  • Lehrstuhl für „Grundschulpädagogik und Grundschuldidaktik“ an der Fakultät Humanwissenschaften der Universität Bamberg (Prof. Dr. Gabriele Faust)
  • Lehrstuhl für „Computer Science and Media“ an der Bauhaus-Universität Weimar (Prof. Dr. Benno Stein)
  • Lehrstuhl für „Ubiquitäre Wissensverarbeitung“ an der Technischen Universität Darmstadt (Prof. Dr. Iryna Gurevych)
  • Lehrstuhl für „empirische Bildungsforschung“ der TUM School of Education (Prof. Dr. M. Prenzel) und dem dortigen Teil des Zentrums für internationale Bildungsvergleichsstudien (ZIB)

Projektdaten

Status:
Abgeschlossenes Projekt
Abteilung: Lehr- und Lernqualität in Bildungseinrichtungen
Laufzeit:
04/2013 – 12/2014
Finanzierung:
DIPF