Logo: Deutsches Institut für Internationale Pädagogische Forschung

Projekte

ReTiCo: Response Time Control

Das Projekt ReTiCo (Response Time Control) zielt auf die Kontrolle und Modellierung von Bearbeitungszeiten in Kompetenztests.

Projektbeschreibung

In groß angelegten Bildungsvergleichsstudien (Large Scale Assessments) bearbeiten Testteilnehmer die Aufgaben üblicherweise innerhalb eines nicht weiter unterteilten Zeitrahmens. Testteilnehmer können sich somit bei der Bearbeitung in der pro Aufgabe verwendeten Zeit, beziehungsweise im jeweiligen Zeitmanagement, erheblich unterscheiden. Diese individuellen Unterschiede in der Bearbeitungsstrategie können zu heterogenen Leistungen führen, das heißt, die Wahl der Bearbeitungsstrategie kann die Messung beeinflussen und deren Vergleichbarkeit beeinträchtigen. Bisherige Erkenntnisse zu dieser Problematik, die mit dem sogenannten‚ Speed-Accuracy-Tradeoff‘ zusammenhängt, stammen vorwiegend aus Studien zu Speed-Tests (Messung der Leistungsgeschwindigkeit). In diesem Projekt sollen die Fragestellungen und Erkenntnisse nun auch auf Power-Tests (Messung der Leistungshöhe, z.B. Kompetenz- oder Fähigkeitstests) übertragen werden.

Ziele

Im Einzelnen werden folgende Zielsetzungen verfolgt:

  1. Reduktion der individuellen Unterschiede
    Durch die Einführung von zeitlichem Feedback und der Begrenzung der Bearbeitungszeit auf Aufgabenebene sollen konstruktirrelevante Unterschiede in der Bearbeitungsstrategie reduziert werden.
  2. Ermittlung der Ursachen
    Mit Hilfe zusätzlicher erklärender Personenvariablen sollen die Ursachen der individuellen Unterschiede in der Bearbeitung ermittelt werden.
  3. Modelltestung
    Zur Schätzung der Personenparameter sollen Modelle getestet werden, die den Einfluss des Zeitaufwandes auf den Bearbeitungserfolg berücksichtigen.
  4. Auswirkungen auf Itemkennwerte
    Die Auswirkungen verschiedener zeitlicher Bedingungen auf die Itemkennwerte Schwierigkeit und Trennschärfe sowie die Kovarianzstruktur der Messungen sollen untersucht werden.

Methodisches Vorgehen

ReTiCo kombiniert experimentelle und diagnostische Untersuchungsansätze. Bereits erprobte Lesekompetenztests werden in verschiedenen zeitlichen Rückmeldebedingungen umgesetzt, um den individuellen Einfluss auf die Leistung der Schülerinnen und Schüler zu untersuchen, ebenso wie die Auswirkungen auf die Itemkennwerte. Die Datenerhebung findet im Frühjahr 2014 an Berufsschulen statt. Dabei wird eine Stichprobe von mindestens 800 SchülerInnen angestrebt. Die Schülerinnen und Schüler bearbeiten die Testverfahren ausschließlich am Computer. Neben verschiedenen Lesebedingungen werden in anonymisierter Form erklärende Variablen (beispielsweise Testmotivation, Stressempfinden, Deutschnote) erfasst, die Aufschluss über mögliche Zusammenhänge zwischen Personenvariablen und Fähigkeit sowie Bearbeitungsstrategie geben sollen.

Kooperation

 NEPS

Finanzierung

Zentrum für internationale Bildungsvergleichsstudien (ZIB)

Literatur

  • Goldhammer, F.; Kroehne, U. (2014). Controlling Individuals' Time Spent on Task in Speeded Performance Measures: Experimental Time Limits, Posterior Time Limits, and Response Time Modeling. Applied Psychological Measurement. Published online before print January 16, 2014. doi: 10.1177/0146621613517164
  • Goldhammer, F. ; Klein Entink, R.H. (2011). Speed of reasoning and its relation to reasoning ability. Intelligence, 39, 108-119.

Projektleitung

Frank Goldhammer

Projektteam

Miriam Hacker

Projektdaten

Status:
Laufende Projekte
Projektart: Dissertations-/Habilitationsprojekte
Laufzeit:
08/2012-12/2016
Finanzierung:
Drittmittelprojekt
Abteilung: Bildungsqualität und Evaluation
Kontakt:
zuletzt verändert: 09.06.2016

Ein Projekt des Zentrums für technologiebasiertes Assessment.

TBA Webbanner (2480x472)