-
-
Autor*innen: Köhler, Carmen; Kuger, Susanne; Naumann, Alexander; Hartig, Johannes
Titel: Multilevel models for evaluating the effectiveness of teaching. Conceptual and methodological considerations
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 197-209
DOI: 10.3262/ZPB2001197
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Lehrer; Verhalten; Einflussfaktor; Effektivität; Lernen; Unterricht; Modellierung; Methodologie; Unterrichtsforschung; Evaluation; Schülerzahl; Datenanalyse; Reliabilität; Mehrebenenanalyse; Modell
Abstract: In der Unterrichtsforschung liegt ein Schwerpunkt auf der Identifizierung von Lehrpersonalverhalten, welches Lernende positiv beeinflusst. Ein angemessenes Studiendesign sowie die statistische Modellierung und die Ergebnisinterpretation bergen einige Herausforderungen. Beispielsweise erfordert die dem Forschungsbereich inhärente Mehrebenenstruktur mehrstufige Analysemodelle. Im folgenden Artikel wurde ein exemplarischer Datensatz verwendet, auf den verschiedene mehrstufige Modelle angewendet wurden, um zu veranschaulichen, wie diese Modelle die substantielle Interpretation der Forschungsfrage beeinflussen. Die Forschungsfrage in allen Settings bezog sich auf die Auswirkungen des Lehrpersonalverhaltens auf die Ergebnisse der Lernenden. (DIPF/Orig.)
Abstract (english): In research on teaching, the primary focus lies in identifying teacher behavior that positively influences relevant student outcomes. To adequately design the study, statistically model and interpret the results poses challenges for researchers. For example, the inherent multilevel structure in studies on teaching requires the application of multilevel models. This research used one exemplary data set, to which varying multilevel models were applied, thus illustrating how these models variously affect the substantial interpretation of the research question. The research question in all settings concerned the effects of teacher behavior on student outcomes. The overall purpose of this paper is to give an overview of modeling and interpreting results regarding the effectiveness of teaching appropriately. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Alexander; Kuger, Susanne; Köhler, Carmen; Hochweber, Jan
Titel: Conceptual and methodological challenges in detecting the effectiveness of learning and teaching
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 179-196
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Effektivität; Unterricht; Lernen; Wirkung; Schülerleistung; Messverfahren; Konzeption; Modellierung; Unterrichtsprozess; Leistungsmessung; Validität; Methodologie
Abstract: One major goal of research on educational effectiveness is to detect the effects of teaching and learning. Reliably detecting the effects of teaching and learning requires the identification and adequate measurement of (a) the relevant classroom processes and (b) outcomes on the student and the classroom level and also (c) modeling the link between both. The present paper aims to identify and discuss current conceptual and methodological challenges in regard to making inferences on the effectiveness of teaching and learning. We give a brief overview of current practices, discuss key quality criteria with respect to these three aspects, and identify areas in need of further development. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Schmid, Christine; Trendtel, Matthias; Bruneforth, Michael; Hartig, Johannes
Titel: Effectiveness of a governmental action to improve Austrian primary schools. Results of multilevel analyses based on repeated cycles of educational standards assessments
In: School Effectiveness and School Improvement, 31 (2020) 2, S. 149-171
DOI: 10.1080/09243453.2019.1620294
URL: https://www.tandfonline.com/doi/full/10.1080/09243453.2019.1620294
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Effektivität; Grundschule; Steuerung; Schulpolitik; Qualitätsentwicklung; Schulleistung; Leistungsmessung; Bildungsstandards; Grundschüler; Schülerleistung; Förderung; Mathematische Kompetenz; Lesekompetenz; Migrationshintergrund; Sozioökonomische Lage; Leistungstest; Leistungssteigerung; Lernstandserhebung; Mehrebenenanalyse; Längsschnittuntersuchung; Österreich
Abstract: In 2005, the Austrian government committed all schools to develop school policies supporting the learning of their students. One purpose of the paper is to seek evidence for the effectiveness of this governmental action. A second purpose is to suggest a special kind of multilevel model which can be applied to longitudinal data at the school level when the outcome measure of interest is assessed at the individual student level. Analyses are based on 2 nation-wide educational standards assessments (2012 and 2015) and a preceding baseline assessment including n = 267 primary schools (2010). Results show that the implementation of support strategies by schools significantly moderated the increase in mathematic achievement between 2010 and 2013, but not in reading achievement between 2010 and 2015. However, the increase in reading achievement was moderated by the provision of additional courses for low-achieving students and for students with a foreign first language. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Vieluf, Svenja; Praetorius, Anna-Katharina; Rakoczy, Katrin; Kleinknecht, Marc; Pietsch, Marcus
Titel: Angebots-Nutzungs-Modelle der Wirkweise des Unterrichts. Ein kritischer Vergleich verschiedener Modellvarianten
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 63-80
DOI: 10.3262/ZPB2001063
URL: https://www.beltz.de/fachmedien/erziehungs_und_sozialwissenschaften/zeitschriften/zeitschrift_fuer_paedagogik/article/Journal.html?tx_beltz_journal%5Barticle%5D=43497&cHash=a4c815ddd8137b94dab8bd09e7fe2897
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Deutsch
Schlagwörter: Empirische Forschung; Unterricht; Qualität; Modell; Bildungsangebot; Nutzung; Wirkung; Effektivität; Schüler; Konzeption; Theorie; Begriff; Definition; Unterrichtsprozess; Motivation; Emotion; Kognition; Wahrnehmung; Interpretation; Vergleich; Theoriebildung
Abstract: Dieser Beitrag widmet sich Angebots-Nutzungs-Modellen der Wirkweise des Unterrichts. Konkreter hat er zum Ziel, verschiedene Angebots-Nutzungs-Modelle zu vergleichen und durch diesen Vergleich konzeptuelle Unschärfe innerhalb des Ansatzes aufzudecken. Kritisch diskutiert werden sollen Unterschiede hinsichtlich a) dem zugrundeliegenden Verständnis von Unterricht, Angebot und Nutzung, b) Zusammenhängen zwischen Angebot und Nutzung, c) der Bedeutung von Wahrnehmung und Interpretation, d) der Verortung von Angebot und Nutzung im Mehrebenensystem, e) der Bedeutung von Kontexten und f) der aufgeführten Kriterien unterrichtlicher Wirksamkeit. Der Beitrag schließt mit einem Fazit, in dessen Rahmen ein integriertes Angebots-Nutzungs-Modell vorgestellt wird.
-
-
Autor*innen: Zehner, Fabian; Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Titel: PISA reading. Mode effects unveiled in short text responses
In: Psychological Test and Assessment Modeling, 62 (2020) 1, S. 85-105
URN: urn:nbn:de:0111-pedocs-203542
URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-1/05_Zehner.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; Deutschland; Schülerleistung; Leistungstest; Computerunterstütztes Verfahren; Papier; Bleistift; Antwort; Text; Inhalt; Information; Quantität; Methodenwechsel; Effekt; Wirkungsforschung; Datenanalyse; Sekundäranalyse
Abstract (english): Educational largescale assessments risk their temporal comparability when shifting from paperto computerbased assessment. A recent study showed how text responses have altered alongside PISA's mode change, indicating mode effects. Uncertainty remained, however, because it compared students from 2012 and 2015. We aimed at reproducing the findings in an experimental setting, in which n = 836 students answered PISA reading questions on computer, paper, or both. Text response features for information quantity and relevance were extracted automatically. Results show a comprehensive recovery of findings. Students incorporated more information into their text responses on computer than on paper, with some items being more affected than others. Regarding information relevance, we found less mode effect variance across items than the original study. Hints for a relationship between mode effect and gender across items could be reproduced. The study demonstrates the stability of linguistic feature extraction from text responses. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Robitzsch, Alexander; Lüdtke, Oliver; Schwippert, Knut; Goldhammer, Frank; Kroehne, Ulf; Köller, Olaf
Titel: Leistungsveränderungen in TIMSS zwischen 2015 und 2019. Die Rolle des Testmediums und des methodischen Vorgehens bei der Trendschätzung
Aus: Schwippert, Knut; Kasper, Daniel; Köller, Olaf; McElvany, Nele; Selter,
Christoph; Steffensky, Mirjam; Wendt, Heike (Hrsg.): TIMSS 2019: Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich, Münster: Waxmann, 2020 , S. 169-183
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4319#%5B%7B%22num%22%3A1756%2C%22gen%22%3A0%7D%2C%7B%22name%22%3A%22Fit%22%7D%5D
Dokumenttyp: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Mathematik; Naturwissenschaften; Schülerleistung; Test; Modus; Medien; Papier; Computerunterstütztes Verfahren; Leistung; Veränderung; Trend; Abschätzung <Math>; Item; Effekt; Messung; Schuljahr 04; Datenanalyse; Deutschland
Abstract: Die Trends in International Mathematics and Science Study (TIMSS) 2019
hat wie auch das Programme for International Student Assessment (PISA) den
Erhebungsmodus gewechselt (Reiss, Weis, Klieme & Köller, 2019): An die Stelle
von Papier-Testheften, die mit Stiften durch die Schülerinnen und Schüler bearbeitet werden (Paper-based-Assessment - PBA), ist die Testung mithilfe von Computern getreten (Computer-based-Assessment - CBA). Der Wechsel des Testmediums ist für Trendschätzungen in internationalen Schulleistungsstudien voraussetzungsreich, zeigt doch eine Vielzahl von Studien (Kroehne, Buerger, Hahnel & Goldhammer, 2019; Robitzsch, Lüdtke, Goldhammer, Kroehne & Köller, 2020), dass sich Testitems in ihren Eigenschaften (Schwierigkeit und Diskrimination) verändern können, wenn das Testmedium gewechselt wird. So konnten Robitzsch et al. (2017) für die PISA-2015-Erhebung in Deutschland zeigen, dass Items, die am Computer gelöst wurden, im Mittel schwieriger waren als bei der Bearbeitung im analogen Testheft. Goldhammer et al. (2019) haben diese Effekte auch für PISA 2018 belegen können. Als Folge zeigte sich in Sekundäranalysen der PISA-Datensätze, dass bei einer nationalen Schätzung und Berücksichtigung dieses Moduseffekts (die Veränderung der Itemeigenschaften bei Übertragung von Papier auf den Computer) Schülerinnen und Schüler in Deutschland höhere Kompetenzstände aufwiesen, als von der OECD offiziell publiziert. In TIMSS 2019 hat die internationale Studienleitung ein Testdesign umgesetzt, das es für die internationalen Datensätze, aber auch für den nationalen deutschen Datensatz erlaubt, Moduseffekte zu schätzen und damit auch zu untersuchen, in welchem Ausmaß für die Trendschätzungen in Mathematik und den Naturwissenschaften der Effekt des Testmediums berücksichtigt werden sollte. In diesem Kapitel wird der Frage nach potenziellen Moduseffekten mit vertiefenden Analysen nachgegangen. Jenseits der Aufdeckung dieser Effekte wird auch untersucht, ob die Art der gewählten Trendschätzung (originaler vs. marginaler Trend; Carstensen, Prenzel & Baumert, 2009; Gebhardt & Adams, 2007) Effekte auf die Interpretation der Veränderungen der Leistungen in Deutschland hat. Originale Trendschätzungen basieren auf den Itemparametern, die in der internationalen TIMSS-Gesamtstichprobe ermittelt wurden, marginale Trendschätzungen beschränken sich auf Itemparameter, die in der nationalen (deutschen) Stichprobe geschätzt wurden.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Alexander; Musow, Stephanie; Katstaller, Michaela
Titel: Instructional sensitivity as a prerequisite for determining the effectiveness of interventions in educational research
Aus: Astleitner, Hermann (Hrsg.): Intervention research in educational practice: Alternative theoretical frameworks and application problems, Münster: Waxmann, 2020 , S. 149-170
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Unterricht; Intervention; Effektivität; Bildungsforschung; Messverfahren; Test; Veränderung; Zeit; Modellierung; Forschungsdesign; Psychometrie
Abstract: Student achievement has become a major criterion for evaluating the effectiveness of schooling and teaching. However, valid interpretation and use of test scores in educational contexts require more detailed information about the degree to which the applied test instruments are appropriate to evaluate the intended educational and interventional effects. Instructional sensitivity is the psychometric property of tests or single items to capture effects of classroom instruction. Although instructional sensitivity is a prerequisite for valid inferences on teaching effectiveness, sensitivity is rather assumed than verified in practice. The aim of this chapter is to improve the understanding of instructional sensitivity and its measurement in educational intervention research. Specifically, it first provides an overview of the theoretical framework and relevance of instructional sensitivity. Then, different approaches of measuring instructional sensitivity are outlined and procedures of implementing instructional sensitivity in educational intervention studies are introduced and contrasted with each other. Finally, the role of time spans is discussed and modelling change for short-time and long-time effects in pretest-posttest-follow-up designs is addressed. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rožman, Mojca; Roczen, Nina; Vieluf, Svenja
Titel: Evaluation of the HAND in HAND programme. Results from questionnaire scales
Aus: Kozina, Ana (Hrsg.): Social, emotional and intercultural competencies for inclusive school environments across Europe: Relationships matter, Hamburg: Kovač, 2020 (Studien zur Schulpädagogik, 89), S. 157-194
URL: https://www.verlagdrkovac.de/volltexte/11406/11406_Kozina%20ED%20-%20Social%20emotional%20and%20intercultural%20competencies%20for%20inclusive%20school%20environments%20across%20Europe.pdf#page=158
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Externe Evaluation; Fragebogen; Skala; Quantitative Daten; Programm; Effekt
Abstract (english): A principal focus of the evaluation of the HAND in HAND programme is tracing back causal effects on the student and/or school staff programmes. We investigate whether the programme had the expected effects on social, emotional and intercultural competencies (hereinafter SEI competencies) and classroom learning environments. In this chapter, we present results regarding the programme's effectiveness that are based on questionnaire scales from the student and school staff evaluation instrument. These results are part of the experimental outcome evaluation. We compare the experimental groups to the control group in the pre- and post-measurements. Our analysis of the short-term programme effects reveals some of the programme's expected effects in all participating countries. However, many effects in an unexpected direction were also observed. Hence, the HAND in HAND programme may be judged as effective, although its effects are complex and appear to be both positive and negative depending on the specific outcome being examined.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Alexander; Musow, Stephanie; Aichele, Christine; Hochweber, Jan; Hartig, Johannes
Titel: Instruktionssensitivität von Tests und Items
In: Zeitschrift für Erziehungswissenschaft, 22 (2019) 1, S. 181-202
DOI: 10.1007/s11618-018-0832-0
URL: https://link.springer.com/article/10.1007%2Fs11618-018-0832-0
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Unterricht; Effektivität; Schülerleistung; Leistungsmessung; Test; Messverfahren; Empirische Forschung; Konzeption; Validität; Daten; Interpretation; Psychometrie; Item-Response-Theory; Modell
Abstract: Testergebnisse von Schülerinnen und Schülern dienen regelmäßig als ein zentrales Kriterium für die Beurteilung der Effektivität von Schule und Unterricht. Gültige Rückschlüsse über Schule und Unterricht setzen voraus, dass die eingesetzten Testinstrumente mögliche Effekte des Unterrichts auffangen können, also instruktionssensitiv sind. Jedoch wird diese Voraussetzung nur selten empirisch überprüft. Somit bleibt mitunter unklar, ob ein Test nicht instruktionssensitiv oder ein Unterricht nicht effektiv war. Die Klärung dieser Frage erfordert die empirische Untersuchung der Instruktionssensitivität der eingesetzten Tests und Items.
Während die Instruktionssensitivität in den USA bereits seit Langem diskutiert wird, findet das Konzept im deutschsprachigen Diskurs bislang nur wenig Beachtung. Unsere Arbeit zielt daher darauf ab, das Konzept Instruktionssensitivität in den deutschsprachigen Diskurs über schulische Leistungsmessung einzubetten. Dazu werden drei Themenfelder behandelt, (a) der theoretische Hintergrund des Konzepts Instruktionssensitivität, (b) die Messung von Instruktionssensitivität sowie (c) die Identifikation von weiteren Forschungsbedarfen. (DIPF/Orig.)
Abstract (english): Students' performance in assessments is regularly attributed to more or less effective teaching. Valid interpretation requires that outcomes are affected by instruction to a significant degree. Hence, instruments need to be capable of detecting effects of instruction, that is, instruments need to be instructionally sensitive. However, empirical investigation of the instructional sensitivity of tests and items is seldom in practice. In consequence, in many cases, it remains unclear whether teaching was ineffective or the instrument was insensitive.
While there is a living discussion on the instructional sensitivity of tests and items in the USA, the concept of instructional sensitivity is rather unknown in German-speaking countries. Thus, the present study aims at (a) introducing the concept of instructional sensitivity, (b) providing an overview on current approaches of measuring instructional sensitivity, and (c) identifying further research directions. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rose, Norman; Nagy, Gabriel; Nagengast, Benjamin; Frey, Andreas; Becker, Michael
Titel: Modeling multiple item context effects with generalized linear mixed models
In: Frontiers in Developmental Psychology, (2019) , S. 10:248
DOI: 10.3389/fpsyg.2019.00248
URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2019.00248/full
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Test; Item; Kontext; Effekt; Modell; Datenanalyse; Deutschland
Abstract: Item context effects refer to the impact of features of a test on an examinee's item responses. These effects cannot be explained by the abilities measured by the test. Investigations typically focus on only a single type of item context effects, such as item position effects, or mode effects, thereby ignoring the fact that different item context effects might operate simultaneously. In this study, two different types of context effects were modeled simultaneously drawing on data from an item calibration study of a multidimensional computerized test (N = 1,632) assessing student competencies in mathematics, science, and reading. We present a generalized linear mixed model (GLMM) parameterization of the multidimensional Rasch model including item position effects (distinguishing between within-block position effects and block position effects), domain order effects, and the interactions between them. Results show that both types of context effects played a role, and that the moderating effect of domain orders was very strong. The findings have direct consequences for planning and applying mixed domain assessment designs. (DIPF/Orig.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens