PIAAC R1 - Internationale Studie zur Untersuchung von Alltagskompetenzen Erwachsener (Programme for the International Assessment of Adult Competencies Round 1)

PIAAC ist eine von der OECD initiierte, erstmalig computerbasiert durchgeführte internationale Vergleichsstudie zur Erfassung des Kompetenzniveaus Erwachsener („PISA für Erwachsene“). Die TBA-Gruppe ist als Mitglied des internationalen und vom Educational Testing Service (ETS) angeführten PIAAC-Konsortiums verantwortlich für die Entwicklung der computerbasierten Testplattform. Zusätzlich unterstützt TBA das nationale PIAAC-Team, das die Studie in Deutschland umsetzt, in allen technischen Belangen.

Ziele

Mit PIAAC findet – erstmalig in einer groß angelegten internationalen Studie – ein Wechsel des Testmodus von bislang traditionell verwendeten papierbasierten zu computerbasierten Instrumenten statt. Dieser Übergang ist mit einigen neuartigen Möglichkeiten und Herausforderungen verbunden. Zum einen besteht ein zentrales Ziel bei der Entwicklung der computerbasierten Aufgaben darin, eine möglichst hohe Vergleichbarkeit zur papierbasierten Form zu erreichen. Zum anderen sollen aber auch die Möglichkeiten, die sich durch den Einsatz technologiebasierter Instrumente eröffnen, gezielt genutzt werden, um valide und messgenaue kognitive Testverfahren zu entwickeln sowie neue Erkenntnisse durch eine differenzierte Ergebnisauswertung zu gewinnen. Beispielsweise bilden neue Aufgabenformate zum Umgang mit (simulierten) Computerumgebungen realitätsnah und zeitgemäß Lese- oder Problemlöseanforderungen in Alltag und Beruf nach. Zudem lassen sich durch den Einsatz automatischer Antwortbewertungen während der Durchführung eines Tests adaptive Verfahren realisieren, welche die Antworten der Testperson während des Tests als Basis für die weitere Aufgabenauswahl heranziehen. Durch die Gewinnung zusätzlicher prozessoraler Daten ergeben sich zudem neue Auswertungsmöglichkeiten und Erkenntnisse über Antwortstrategien und -verhalten von Testpersonen.

Fragestellung und Vorgehen

TBA ist im Rahmen von PIAAC für die Entwicklung und Bereitstellung der Testplattform für den computerbasierten Teil der Studie verantwortlich. Dazu zählt die Erstellung der computerbasierten Testaufgaben ebenso wie die Entwicklung und Implementierung der automatischen Testauswertung. Softwareseitig werden TAO als Testplattform und der CBA ItemBuilder als grafischer Editor zur Aufgabenerstellung verwendet. Daneben unterstützt TBA den kompletten Übersetzungs- und Anpassungsprozess der Testmaterialien und schult im Rahmen von Workshops die 25 an der Studie teilnehmenden Länder in der Benutzung der dafür bereitgestellten Software (Item Management Portal, OLT, TBTE). TBA stellt außerdem das Auslieferungssystem für sämtliche Erhebungsinstrumente in Form einer Virtuellen Maschine zur Verfügung, welche auf den Interviewer-Laptops zum Einsatz kommt und für kontrollierte und vergleichbare Testbedingungen sorgt.