-
-
Author(s): Robitzsch, Alexander; Lüdtke, Oliver; Schwippert, Knut; Goldhammer, Frank; Kroehne, Ulf; Köller, Olaf
Title: Leistungsveränderungen in TIMSS zwischen 2015 und 2019. Die Rolle des Testmediums und des methodischen Vorgehens bei der Trendschätzung
In: Schwippert, Knut; Kasper, Daniel; Köller, Olaf; McElvany, Nele; Selter,
Christoph; Steffensky, Mirjam; Wendt, Heike (Hrsg.): TIMSS 2019: Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich, Münster: Waxmann, 2020 , S. 169-183
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4319#%5B%7B%22num%22%3A1756%2C%22gen%22%3A0%7D%2C%7B%22name%22%3A%22Fit%22%7D%5D
Publication Type: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Mathematik; Naturwissenschaften; Schülerleistung; Test; Modus; Medien; Papier; Computerunterstütztes Verfahren; Leistung; Veränderung; Trend; Abschätzung <Math>; Item; Effekt; Messung; Schuljahr 04; Datenanalyse; Deutschland
Abstract: Die Trends in International Mathematics and Science Study (TIMSS) 2019
hat wie auch das Programme for International Student Assessment (PISA) den
Erhebungsmodus gewechselt (Reiss, Weis, Klieme & Köller, 2019): An die Stelle
von Papier-Testheften, die mit Stiften durch die Schülerinnen und Schüler bearbeitet werden (Paper-based-Assessment - PBA), ist die Testung mithilfe von Computern getreten (Computer-based-Assessment - CBA). Der Wechsel des Testmediums ist für Trendschätzungen in internationalen Schulleistungsstudien voraussetzungsreich, zeigt doch eine Vielzahl von Studien (Kroehne, Buerger, Hahnel & Goldhammer, 2019; Robitzsch, Lüdtke, Goldhammer, Kroehne & Köller, 2020), dass sich Testitems in ihren Eigenschaften (Schwierigkeit und Diskrimination) verändern können, wenn das Testmedium gewechselt wird. So konnten Robitzsch et al. (2017) für die PISA-2015-Erhebung in Deutschland zeigen, dass Items, die am Computer gelöst wurden, im Mittel schwieriger waren als bei der Bearbeitung im analogen Testheft. Goldhammer et al. (2019) haben diese Effekte auch für PISA 2018 belegen können. Als Folge zeigte sich in Sekundäranalysen der PISA-Datensätze, dass bei einer nationalen Schätzung und Berücksichtigung dieses Moduseffekts (die Veränderung der Itemeigenschaften bei Übertragung von Papier auf den Computer) Schülerinnen und Schüler in Deutschland höhere Kompetenzstände aufwiesen, als von der OECD offiziell publiziert. In TIMSS 2019 hat die internationale Studienleitung ein Testdesign umgesetzt, das es für die internationalen Datensätze, aber auch für den nationalen deutschen Datensatz erlaubt, Moduseffekte zu schätzen und damit auch zu untersuchen, in welchem Ausmaß für die Trendschätzungen in Mathematik und den Naturwissenschaften der Effekt des Testmediums berücksichtigt werden sollte. In diesem Kapitel wird der Frage nach potenziellen Moduseffekten mit vertiefenden Analysen nachgegangen. Jenseits der Aufdeckung dieser Effekte wird auch untersucht, ob die Art der gewählten Trendschätzung (originaler vs. marginaler Trend; Carstensen, Prenzel & Baumert, 2009; Gebhardt & Adams, 2007) Effekte auf die Interpretation der Veränderungen der Leistungen in Deutschland hat. Originale Trendschätzungen basieren auf den Itemparametern, die in der internationalen TIMSS-Gesamtstichprobe ermittelt wurden, marginale Trendschätzungen beschränken sich auf Itemparameter, die in der nationalen (deutschen) Stichprobe geschätzt wurden.
DIPF-Departments: Bildungsqualität und Evaluation