ReCo – Textantworten aus Large-Scale-Assessments automatisch verarbeiten

Im Projekt Automatic Response Coding, kurz ReCo, dreht sich alles um Textantworten in Tests. Antwortet eine Schüler*in etwa im PISA-Test, „Dem Autor geht es darum, dass die Bäume erhalten bleiben.“, so kann die Software ReCo unter anderem automatisch einschätzen, ob diese Antwort richtig ist. Aber auch andere Informationen, etwa ob damit Wissen über den Text hinausgehend hinzufügt wurde, können automatisch extrahiert werden.

Projektbeschreibung

Die Software ReCo wurde anfänglich an der Technischen Universität München (TU) und im Zentrum für Internationale Bildungsvergleichsstudien (ZIB) e.V. entwickelt. In Kooperation mit beiden Institutionen wird ReCo nun am DIPF im Zentrum für technologiebasiertes Assessment (TBA-Zentrum) weiterentwickelt. Das Projekt fasst die allgemeine ReCo-Entwicklung sowie Forschungsstudien rund um den Einsatz der Software zusammen. Dabei zeichnet die TBA-Gruppe einerseits für die konzeptuelle und technische Fortentwicklung verantwortlich, andererseits agiert sie als Projektleitung etwa im Projekt ReCo-Multi und unterstützt externe Forschungsgruppen in der Anwendung der Software.

Leistungsmessung in der Bildungsforschung verbessern

Bei der Konstruktion von Leistungstests stehen Forschungsgruppen zumeist vor der Frage, welches Antwortformat angemessen ist. Werden Antwortmöglichkeiten vorgegeben, wie etwa im Multiple-Choice-Format, können die Antworten leicht verarbeitet werden. Dieses geschlossene Format bringt aber neben Rateeffekten weitere unerwünschte Nebeneffekte mit sich. Dürfen die Befragten hingegen offen in ein Textfeld schreiben, was sie für die richtige Antwort halten, ist die Auswertung in vielen Fällen kompliziert. Ein Vorteil aber ist, dass dadurch tieferes Verständnis gemessen werden kann, als es in einigen Domänen durch geschlossenes Format möglich ist, da die Befragten dabei eine Antwort produzieren und nicht nur die richtige erkennen müssen.

Daher hat sich etwa die OECD bereits in der PISA-Studie 2000 dafür entschieden, auch einige Aufgaben mit offenem Format zu verwenden. Der resultierende Aufwand für die Auswertung ist speziell bei einer so großen Studie wie PISA enorm. In jedem teilnehmenden Staat müssen Teams aufwändig geschult werden, um die vielen Antworten der inzwischen insgesamt mehr als 500.000 Schüler*innen zu bewerten. Dabei erhalten sie Richtlinien, um die Bewertungen möglichst objektiv und vor allem über teilnehmende Staaten hinweg vergleichbar vorzunehmen.

Da Menschen aber immer auch ihre subjektiven und kulturellen Perspektiven mitbringen, besteht das Risiko inkonsistenter Beurteilungen. Hinzu kommt, dass Menschen bei einer so großen Masse an Antworten auch vereinzelt Fehler aufgrund mangelnder Ausdauer unterlaufen können. Wird hingegen eine Computersoftware zur automatischen Auswertung der Textantworten hinzugezogen, wird die Auswertung sowohl innerhalb als auch zwischen teilnehmenden Staaten konsistenter und damit objektiver. Auch die hohe Anzahl der Antworten stellt dann keine Hürde mehr dar. Diese automatische Auswertung der Textantworten kann durch ReCo zufriedenstellend geleistet werden, wie erste Studien mit deutschen Daten zeigen.

ReCo kombiniert Technologien der natürlichen Sprachverarbeitung und des maschinellen Lernens. Die Software führt unter anderem eine Latente Semantische Analyse über einem speziell dafür angelegten Textkorpus durch, um so die Bedeutung einzelner Wörter vergleichen zu können. Auf diese Weise können dann unterschiedliche (semantische) Antworttypen in den Daten identifiziert und durch maschinelles Lernen etwa mit Antwortrichtigkeit in Verbindung gebracht werden. Darüber hinaus kann ReCo zusätzliche Antwortmerkmale extrahieren, etwa ob ein*e Schüler*in der Antwort eigenes Wissen hinzufügt oder lediglich den Text wiedergibt.

ReCo-Multi: ReCo lernt viele Sprachen

Um die Anwendung der Software auch auf weitere Sprachen ausweiten zu können, haben sich einige nationale PISA-Zentren im Kooperationsprojekt ReCo-Multi zusammengeschlossen. Sie tauschen die Textdaten ihrer verschiedenen Testsprachen aus, entwickeln die Softwarekomponenten für diese weiter und evaluieren, ob die zufriedenstellenden Ergebnisse der deutschen Studie auch mit anderen Sprachen replizierbar sind. Zusammen mit dem deutschen PISA-Zentrum im ZIB ist TBA für die Koordination und Ausführung dieses internationalen Kooperationsprojekts zuständig.

Frei verfügbare Software

ReCo kann auf Anfrage frei genutzt werden. Aktuell ist die Nutzung auf deutsche Daten beschränkt. Im Rahmen des Projekts wird eine graphische Benutzungsoberfläche für die Software entwickelt und beides wird frei zum Download verfügbar sein.

Finanzierung

Das Projekt wird über DIPF-Haushaltsmittel finanziert.

Kooperationen

Dieses Projekt erfolgt in Zusammenarbeit mit...

Ausgewählte Publikationen

  • Zehner, F., Goldhammer, F. & Sälzer, C. (2018). Automatically analyzing text responses for exploring gender-specific cognitions in PISA reading. Large-scale Assessments in Education, 6:7. doi: 10.1186/s40536-018-0060-3
  • Zehner, F., Goldhammer, F., Lubaway, E. & Sälzer, C. (2018). Unattended consequences: How text responses alter alongside PISA's mode change from 2012 to 2015. Education Inquiry, 10(1), 34–55. doi: 10.1080/20004508.2018.1518080
  • Zehner, F. (2016). Automatic processing of text responses in large-scale assessments (Dissertation). Technische Universität München, München. doi: 10.13140/RG.2.2.26846.84800
  • Zehner, F., Sälzer, C. & Goldhammer, F. (2016). Automatic coding of short text responses via clustering in educational assessment. Educational and Psychological Measurement, 76(2), 280–303. doi: 10.1177/0013164415590022
  • Zehner, F., Goldhammer, F. & Sälzer, C. (2015). Using and improving coding guides for and by automatic coding of PISA short text responses. In Proceedings of the IEEE ICDM Workshop on Data Mining for Educational Assessment and Feedback (ASSESS 2015), Atlantic City. doi: 10.1109/icdmw.2015.189

Projektleitung

Projektteam

Nico Andersen

Projektdaten

Status:
Laufendes Projekt
Schwerpunkt: Bildung in der digitalen Welt
Abteilung: Lehr- und Lernqualität in Bildungseinrichtungen
Arbeitsbereich: Technology-Based Assessment
Bildungsbereiche: Hochschule, Schule
Laufzeit:
10/2019 - 12/2024
Finanzierung:
DIPF
Kontakt: Dr. Fabian Zehner, Habilitand