Logo: Deutsches Institut für Internationale Pädagogische Forschung

Projekte

Automatische Kodierung von freien Textformaten zur elaborierten Kompetenzmessung

Zentrales Ziel von AKTeur ist die Schaffung eines interdisziplinären Kooperationsnetzwerks und einer breiten technologischen Basis zur automatischen Kodierung von freien Textantworten in vielfältigen Szenarien.

Projektbeschreibung

Im Rahmen des Projekts sollen beispielhaft für zwei Anwendungsfälle aus der Kompetenzdiagnostik entsprechende Forschungsarbeiten durchgeführt werden. Dabei kommen unter anderem Verfahren der automatischen Sprachverarbeitung zum Einsatz. Um eine automatische Auswertung zu ermöglichen, werden für die Kompetenzdiagnostik häufig geschlossene Antwortformate, z.B. multiple-choice, verwendet. Dies hat allerdings den Nachteil, dass Informationsverluste bereits im Vorfeld infolge der Kategorisierung unvermeidlich sind. Im Gegensatz dazu ermöglichen freie Textformate eine elaborierte und inhaltsvalide Messung von Kompetenzen sowie die Einschätzung mehrerer Facetten eines Schreibproduktes. Die automatische Kodierung offener Antworten kann zudem abgestufte Bewertungen (partial credit) sowie Konfidenzwerte bzw. die Gewichtung einzelner Bewertungen zur Verfügung stellen.

Ziele

Zentrales Ziel von AKTeur ist die Schaffung einer breiten technologischen Basis zur automatischen Kodierung von freien Textantworten in vielfältigen Szenarien. Zur Erreichung dieses Zieles wurde ein interdisziplinäres Kooperationsnetzwerk gegründet, bestehend aus Psychologen, Pädagogen und Informatikern. Beispielhaft fokussieren wir zwei Anwendungsfälle aus der Kompetenzdiagnostik:

  • Automatische Kodierung von Qualitätsdimensionen eines Freitextes in der Schreiblernforschung (mehrdimensionales Rating);
  • Automatische Kodierung von kurzen Freitextantworten in der psychologischen Diagnostik von Leistungsmerkmalen (eindimensionales Rating)

Methodik

Die zu entwickelnden automatischen Systeme basieren auf Verfahren zur Verarbeitung natürlicher Sprache. Zur Einschätzung der Ergebnisse  werden Übereinstimmungen der Bewerter, der Systemausgabe und den menschlichen Bewertungen mit den Ergebnissen eines Paars menschlicher Bewerter verglichen. Dadurch kann festgestellt werden, ob die Fehlerrate des Systems auf den Widerspruch zwischen zwei menschlichen Bewertern reduziert werden kann.

Diagnostische Forschungsfragestellungen untersuchen das entwickelte System im Hinblick auf systematische Fehlerquellen, z.B. in Bezug auf Items, Antwortentypen sowie Testpersonengruppen. Hierzu gehört auch die Erklärung der Zwischen-Aufgaben-Variation in der Übereinstimmung von menschlicher und automatischer Bewertung. Darüber hinaus wird auf Skalenebene die Vergleichbarkeit der Kodiervarianten anhand von Messmodell- wie auch struktureller Invarianz geprüft.

Finanzierung

Institutsmittel im Rahmen von DIPF 2015

Kooperationspartner

Projektleitung

Frank Goldhammer

Projektdaten

Status:
Abgeschlossene Projekte
Projektart: Abteilungsübergreifende Projekte
Laufzeit:
04/2013 – 12/2014
Finanzierung:
DIPF
Forschungsthemen:
Abteilung: Bildungsqualität und Evaluation
Kontakt: Frank Goldhammer
zuletzt verändert: 29.06.2016

Ein Projekt des Zentrums für technologiebasiertes Assessment in Kooperation mit dem Fachbereich Informatik der TU Darmstadt.

TBA Webbanner (2480x472)