ReCo – Kurztextantworten automatisch auswerten

Beschreibung

ReCo steht für Automatic Text Response Coder (dt. automatischer Textantwort-Kodierer). Hierzu wird eine ganze Reihe von Apps und Softwarepaketen offen und frei verfügbar angeboten. Beantwortet eine Schülerin eine Testaufgabe etwa mit „Der Autor möchte mit der Geschichte auf Armut aufmerksam machen!", kann diese Antwort mithilfe von ReCo automatisch bewertet werden.

Automatisches Bewerten von Kurztextantworten: Shiny-App shinyReCoR

Aktuell steht im Onlineangebot eine über die Software R installierbare grafische Oberfläche namens shinyReCoR zur Verfügung. Diese richtet sich vor allem (aber nicht ausschließlich) an Forschende, die offene Textdaten aus Studien auswerten oder sichten möchten. Zentral ist dabei das Gruppieren von Antworten mit ähnlichen Inhalten (d.h. Semantik). Dank der grafischen Oberfläche sind keinerlei Script-Kenntnisse nötig. Vielmehr bietet diese eine Vielzahl interaktiver Visualisierungen der Texte und ihrer Semantik sowie zur Diagnostik der trainierten Klassifikationsmodelle.

Halbautomatisches Bewerten: eco

Ebenfalls an die Zielgruppe der Forschenden richtet sich die App eco, die das händische Kodieren solcher Textantworten im Rahmen von Studien automatisch unterstützt. Dabei werden dieselben Techniken wie bei der Shiny-App eingesetzt – allerdings nur, wenn die Qualität der automatischen Klassifikation zufriedenstellend ist. Dadurch kann manueller Aufwand eingespart und die Datenqualität womöglich verbessert werden. Stellt sich im Laufe der händischen Kodierung für bestimmte Antworten allerdings keine zuverlässige Klassifikation ein, werden diese weiterhin vom Menschen bearbeitet.

Neues R-Paket ReCo

„ReCo was shiny, now it makes you shine."

Geplant ist außerdem ein neues R-Paket, das das Auswerten von Textantworten für Forschende mit Script-Kenntnissen noch innovativer, flexibler und besser automatisierbar macht. Neben der aus der Shiny-App bekannten Visualisierungsmöglichkeiten bietet es weitere Vorteile, wie etwa das Kombinieren mit Large Language Models von huggingface und externen Maschinenlernpaketen, um auch Lernalgorithmen über Clustering hinaus anwenden zu können.

ReCo-Live lässt alle Lernenden im Unterricht oder Zuhörenden bei Vorträgen teilhaben

Im Unterricht stellen Lehrende regelmäßig Fragen an die Lernenden. Häufig melden sich darauf vereinzelte Lernende, von denen eine*r eine Antwort auf die Frage formuliert. Wenn aber alle Lernenden mobilisiert werden sollten, verfehlt dieses Format seinen Zweck. Die App ReCo-Live ermöglicht es Lehrkräften stattdessen, die Antwort aller Lernenden live im Unterricht zu sammeln, indem diese ihre Antworten in mobile Endgeräte eingeben. Somit partizipieren alle Lernenden und der Unterrichtsdiskurs wird inklusiver. Die Antworten werden auf dem Dashboard der Lehrkraft angezeigt und auf Wunsch anhand ihrer inhaltlichen Ähnlichkeit in Gruppen zusammengefasst. Auf diese Weise sieht die Lehrkraft typische Antworten sowie herausstechende Misskonzepte oder auch gelungene Antworten, anhand derer sie den Unterrichtsdiskurs fortführen kann. Genauso ermöglicht es die App, interaktive Momente in Vorträgen zu schaffen.

Team

• Nico Andersen
• Dr. Fabian Zehner

Kurzportrait