-
-
Author(s): Aditomo, Anindito; Köhler, Carmen
Title: Do student ratings provide reliable and valid information about teaching quality at the school level? Evaluating measures of science teaching in PISA 2015
In: Educational Assessment, Evaluation and Accountability, 32 (2020) 3, S. 275-310
DOI: 10.1007/s11092-020-09328-6
URL: https://link.springer.com/article/10.1007/s11092-020-09328-6
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Naturwissenschaftlicher Unterricht; Qualität; Messung; Evaluation; Schüler; Bewertung; Schülerurteil; Validität; Reliabilität; Schulklima; Einflussfaktor; Wirkung; PISA <Programme for International Student Assessment>; Modell; Faktorenanalyse; Empirische Untersuchung; OECD-Länder
Abstract: Large-scale educational surveys, including PISA, often collect student ratings to assess teaching quality. Because of the sampling design in PISA, student ratings must be aggregated at the school level instead of the classroom level. To what extent does school-level aggregation of student ratings yield reliable and valid measures of teaching quality? We investigate this question for six scales measuring classroom management, emotional support, inquiry-based instruction, teacher-directed instruction, adaptive instruction, and feedback provided by PISA 2015. The sample consisted of 503,146 students from 17,678 schools in 69 countries/regions. Multilevel CFA and SEM were conducted for each scale in each country/region to evaluate school-level reliability (intraclass correlations 1 and 2), factorial validity, and predictive validity. In most countries/regions, school-level reliability was found to be adequate for the classroom management scale, but only low to moderate for the other scales. Examination of factorial and predictive validity indicated that the classroom management, emotional support, adaptive instruction, and teacher-directed instruction scales capture meaningful differences in teaching quality between schools. Meanwhile, the inquiry scale exhibited poor validity in almost all countries/regions. These findings suggest the possibility of using student ratings in PISA to investigate some aspects of school-level teaching quality in most countries/regions. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Keyserlingk, Luise von; Becker, Michael; Jansen, Malte
Title: Do social comparisons matter for university major choices? A longitudinal study from a gender perspective
In: International Journal of Gender, Science and Technology, 12 (2020) 1, S. 46-64
URL: http://genderandset.open.ac.uk/index.php/genderandset/article/download/676/1117
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Studium; Hauptfach; Studienwahl; Naturwissenschaften; Technik; Ingenieurwissenschaft; Mathematik; Geschlecht; Prädiktor; Schüler; Schülerin; Sozialer Vergleich; Selbstkonzept; Interesse; Längsschnittuntersuchung; Datenanalyse; Sekundäranalyse; Deutschland
Abstract: In Germany, male students are largely overrepresented in STEM majors at university. Gender differences in important predictors of major choices, namely self-concept and interest in math or science have been discussed to explain the gender gap in STEM. For both, self-concept and interest, social comparisons with peers are important (big-fish-little-pond effect - BFLPE). Recent findings have further shown indirect long-term BFLPEs in high school on STEM major choice at university through students' self-concept and interest. We built on these findings and investigated if differential BFLPEs on females' and males' self-concepts and interests in high school could help understand gendered enrollment processes in math intensive university majors. We used a subsample (N = 2182) of a German longitudinal study and used data from two measurement points (T1: 12th grade; T2: two years after high school graduation). Results showed gender differences in math self-concept, math achievement, and enrollment in math intensive university majors. The BFLPE on self-concept, interest and university major choice did not differ between female and male students. These findings point to gender differences in the means of relevant predictors of university major choice, but to gender similarity in the underlying processes of self-concept formation and university major choice. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens
-
-
Author(s): Keyserlingk, Luise von; Becker, Michael; Jansen, Malte; Maaz, Kai
Title: Leaving the pond - choosing an ocean. Effects of student composition on STEM major choices at university
In: Journal of Educational Psychology, 112 (2020) 4, S. 751-764
DOI: 10.1037/edu0000378
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Schüler; Mathematik; Selbstkonzept; Interesse; Schülerleistung; Zusammensetzung; Wirkung; Schuljahr 12; Universität; Studienwahl; Studienfach; Naturwissenschaften; Ingenieurwissenschaft; Fragebogen; Leistungstest; Datenanalyse; Strukturgleichungsmodell; Längsschnittuntersuchung; Empirische Untersuchung; Deutschland
Abstract: Self-concept in mathematics (MSC) and interest in mathematics are important predictors of whether a student will choose to major in a science, technology, engineering, or mathematics (STEM) field at university. Research on the big-fish-little-pond effect (BFLPE) has shown that both predictors are affected by the achievement composition of students in schools. That is, given the same individual ability, students in higher achieving schools exhibit lower MSC and interest in mathematics than students in lower achieving schools due to social comparison processes. The BFLPE has been replicated in high school settings many times, but less is known about the long-term effects of this context effect. In the present study, we investigated the long-term effects of the BFLPE on the aspiration to major in and the actual decision to major in a STEM field at university. We used data from a German longitudinal study. The results showed no direct BFLPE on the aspiration to enroll in a STEM major at the end of high school or on actual enrollment in a STEM major 2 years after graduating from high school. However, small negative indirect effects of the BFLPE via MSC and interest in mathematics on the aspiration to and enrollment in a STEM major occurred. In sum, the longitudinal BFLPE on STEM major choice was small. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens
-
-
Author(s): Kleickmann, Thilo; Steffensky, Mirjam; Praetorius, Anna-Katharina
Title: Quality of teaching in science education. More than three dimensions?
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 37-55
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Naturwissenschaftlicher Unterricht; Qualität; Empirische Forschung; Unterrichtsforschung; Modell; Kognitives Lernen; Aktives Lernen; Schüler; Wahrnehmung; Schuljahr 04; Schulform; Grundschule; Schuljahr 06; Einflussfaktor; Klassenführung; Motivation; Faktorenanalyse; Nordrhein-Westfalen; Deutschland
Abstract: The three basic dimensions framework for assessing quality teaching distinguishes the dimensions of cognitive activation, student support, and classroom management. Research from various disciplines suggest, however, that cognitive support is not sufficiently represented in the framework as yet. In the present study, two-level factor analyses based on student ratings of teaching quality in science education (2,659 students, grades 4 and 6) suggest four dimensions of teaching quality, with cognitive support being a separate dimension. Moreover, cognitive support predicted student achievement. The results suggest that including cognitive support as a separate dimension contributes to a more comprehensive, yet parsimonious framework of teaching quality. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): List, Marit Kristine; Schmidt, Fabian T.C.; Mundt, Daria; Föste-Eggers, Dennis
Title: Still green at fifteen? Investigating environmental awareness of the PISA 2015 population. Cross-national differences and correlates
In: Sustainability, 7 (2020) 12, S. 2985
DOI: 10.3390/su12072985
URL: https://www.mdpi.com/2071-1050/12/7/2985
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Internationaler Vergleich; OECD-Länder; Schüler; Sekundarstufe I; Umweltbewusstsein; Problembewusstsein; Umweltschutz; Einstellung <Psy>; Nachhaltigkeit; Bildungsinhalt; Umweltverhalten; PISA <Programme for International Student Assessment>; Mehrebenenanalyse; Naturwissenschaftlicher Unterricht
Abstract (english): The PISA studies provide unique opportunities to investigate the competencies and attitudes of 15-year-olds across the world. Past research investigating environmental awareness (EA) in PISA 2006 found associations between EA and science-related competencies and attitudes. Investigating EA in the PISA studies may have important implications for education for sustainable development (ESD): results may show which factors should be considered in educational interventions to enhance students' EA. Cross-national analyses of EA may provide insights into the predictors of EA on a local, national or international level. This study investigates the individual, school, and country level predictors of EA in PISA 2015 (365,194 students, 12,594 schools, 53 countries). The multi-level regression analysis on EA reveals that most of the variance is located at the student level. On the individual level, variables related to science learning in school are associated with EA across all countries. This study also compares the degrees of EA in the 2006 and 2015 populations. The results show similar degrees of EA in 2006 and 2015. Altogether, the study provides cross-country evidence on important aspects that should be addressed in successful ESD programs. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Robitzsch, Alexander; Lüdtke, Oliver; Schwippert, Knut; Goldhammer, Frank; Kroehne, Ulf; Köller, Olaf
Title: Leistungsveränderungen in TIMSS zwischen 2015 und 2019. Die Rolle des Testmediums und des methodischen Vorgehens bei der Trendschätzung
In: Schwippert, Knut; Kasper, Daniel; Köller, Olaf; McElvany, Nele; Selter,
Christoph; Steffensky, Mirjam; Wendt, Heike (Hrsg.): TIMSS 2019: Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich, Münster: Waxmann, 2020 , S. 169-183
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4319#%5B%7B%22num%22%3A1756%2C%22gen%22%3A0%7D%2C%7B%22name%22%3A%22Fit%22%7D%5D
Publication Type: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Mathematik; Naturwissenschaften; Schülerleistung; Test; Modus; Medien; Papier; Computerunterstütztes Verfahren; Leistung; Veränderung; Trend; Abschätzung <Math>; Item; Effekt; Messung; Schuljahr 04; Datenanalyse; Deutschland
Abstract: Die Trends in International Mathematics and Science Study (TIMSS) 2019
hat wie auch das Programme for International Student Assessment (PISA) den
Erhebungsmodus gewechselt (Reiss, Weis, Klieme & Köller, 2019): An die Stelle
von Papier-Testheften, die mit Stiften durch die Schülerinnen und Schüler bearbeitet werden (Paper-based-Assessment - PBA), ist die Testung mithilfe von Computern getreten (Computer-based-Assessment - CBA). Der Wechsel des Testmediums ist für Trendschätzungen in internationalen Schulleistungsstudien voraussetzungsreich, zeigt doch eine Vielzahl von Studien (Kroehne, Buerger, Hahnel & Goldhammer, 2019; Robitzsch, Lüdtke, Goldhammer, Kroehne & Köller, 2020), dass sich Testitems in ihren Eigenschaften (Schwierigkeit und Diskrimination) verändern können, wenn das Testmedium gewechselt wird. So konnten Robitzsch et al. (2017) für die PISA-2015-Erhebung in Deutschland zeigen, dass Items, die am Computer gelöst wurden, im Mittel schwieriger waren als bei der Bearbeitung im analogen Testheft. Goldhammer et al. (2019) haben diese Effekte auch für PISA 2018 belegen können. Als Folge zeigte sich in Sekundäranalysen der PISA-Datensätze, dass bei einer nationalen Schätzung und Berücksichtigung dieses Moduseffekts (die Veränderung der Itemeigenschaften bei Übertragung von Papier auf den Computer) Schülerinnen und Schüler in Deutschland höhere Kompetenzstände aufwiesen, als von der OECD offiziell publiziert. In TIMSS 2019 hat die internationale Studienleitung ein Testdesign umgesetzt, das es für die internationalen Datensätze, aber auch für den nationalen deutschen Datensatz erlaubt, Moduseffekte zu schätzen und damit auch zu untersuchen, in welchem Ausmaß für die Trendschätzungen in Mathematik und den Naturwissenschaften der Effekt des Testmediums berücksichtigt werden sollte. In diesem Kapitel wird der Frage nach potenziellen Moduseffekten mit vertiefenden Analysen nachgegangen. Jenseits der Aufdeckung dieser Effekte wird auch untersucht, ob die Art der gewählten Trendschätzung (originaler vs. marginaler Trend; Carstensen, Prenzel & Baumert, 2009; Gebhardt & Adams, 2007) Effekte auf die Interpretation der Veränderungen der Leistungen in Deutschland hat. Originale Trendschätzungen basieren auf den Itemparametern, die in der internationalen TIMSS-Gesamtstichprobe ermittelt wurden, marginale Trendschätzungen beschränken sich auf Itemparameter, die in der nationalen (deutschen) Stichprobe geschätzt wurden.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf
Title: PISA 2018. Grundbildung im internationalen Vergleich; Zusammenfassung
Published: Münster: Waxmann, 2019
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/Zusammenfassung_PISA2018.pdf
Publication Type: 2. Herausgeberschaft; Monographie
Language: Deutsch
Keywords: Migrationshintergrund; Mathematische Kompetenz; Naturwissenschaftliche Kompetenz; Internationaler Vergleich; Deutschland; OECD-Länder; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Lesekompetenz; Leseverhalten; Strategie; Digitale Medien; Motivation; Selbstkonzept; Schüler; Schulform; Geschlechtsspezifischer Unterschied; Soziale Herkunft
Abstract: Mit der PISA-Studie werden grundlegende Kompetenzen von Fünfzehnjährigen gegen Ende der Pflichtschulzeit erfasst. Ziel ist es, Aussagen darüber zu treffen, wie gut die Jugendlichen auf eine erfolgreiche Teilhabe an der modernen Gesellschaft vorbereitet sind. Die Ergebnisse der PISA-Studie ermöglichen alle drei Jahre den internationalen Vergleich von Kompetenzen Fünfzehnjähriger in den Bereichen Naturwissenschaften, Mathematik und Lesen und damit Aussagen über die Wirksamkeit von Bildungssystemen. Mit der PISA-Studie 2018 begann der dritte Zyklus und zum dritten Mal war Lesen die Hauptdomäne. Die Rahmenkonzeption der Lesekompetenz wurde für die PISA-Studie 2018 einer Revision unterzogen und berücksichtigt nun die sich verändernde Lesepraxis, die mit der Nutzung digitaler Medien einhergeht. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf
Title: PISA 2018: Grundbildung im internationalen Vergleich
Published: Münster: Waxmann, 2019
DOI: 10.31244/9783830991007
URN: urn:nbn:de:0111-pedocs-183155
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183155
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Leseförderung; Textverständnis; Schüler; Migrationshintergrund; Muttersprache; Außerunterrichtliche Aktivität; Soziale Herkunft; Einflussfaktor; Mathematische Kompetenz; Geschlechtsspezifischer Unterschied; Naturwissenschaftliche Kompetenz; Schulform; Methodologie; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Lesekompetenz; Schülerleistungstest; Digitale Medien; Mediennutzung; Veränderung; Leseverhalten; Testaufgabe; Antwort; Lesen; Strategie; Selbstkonzept; Motivation; Sprachförderung; Technologiebasiertes Testen; Testkonstruktion; Konzeption; Internationaler Vergleich; OECD-LÄnder; Deutschland
Abstract: Der nationale Berichtsband stellt die Ergebnisse der Schülerinnen und Schüler in Deutschland aus der PISA-Studie 2018 vor und setzt sie in Relation zu den Ergebnissen in anderen Staaten. Der Schwerpunkt der Erhebungen und Auswertungen liegt dabei auf der Lesekompetenz. Die Rahmenkonzeption der Lesekompetenz wurde für die PISA-Studie 2018 im Vergleich zu den vorigen Runden einer Revision unterzogen und berücksichtigt nun die sich verändernde Lesepraxis, die mit der Nutzung digitaler Medien einhergeht. Es werden leistungsbezogene Variablen genauso wie motivationale Orientierungen, Einstellungen und Verhalten erfasst, die für die Lesekompetenz wichtig sein können. Daneben wird der Beitrag der sozialen Herkunft und des Zuwanderungshintergrunds für die Lesekompetenzen untersucht. Darüber hinaus werden die Kompetenzen der Jugendlichen in der Mathematik und den Naturwissenschaften vorgestellt und diskutiert. (DIPF/Verlag).
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Fauth, Benjamin; Decristan, Jasmin; Decker, Anna-Theresia; Büttner, Gerhard; Hardy, Ilonca; Klieme, Eckhard; Kunter, Mareike
Title: The effects of teacher competence on student outcomes in elementary science education. The mediating role of teaching quality
In: Teaching and Teacher Education, 86 (2019) , S. 102882
DOI: 10.1016/j.tate.2019.102882
URL: https://www.sciencedirect.com/science/article/pii/S0742051X18311296
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Lehrer; Professionalität; Kompetenz; Unterricht; Qualität; Naturwissenschaftlicher Unterricht; Sachunterricht; Grundschule
Abstract: In this contribution, we investigate links between teacher competence, teaching quality, and student outcomes in elementary science education. Students' conceptual understanding and interest were measured during two teaching units in a pre-post design (1070 students, 54 classes). Results show that teacher competence (pedagogical content knowledge, self-efficacy, and teaching enthusiasm) was positively related to students' interest; self-efficacy was positively related to student achievement. Three dimensions of teaching quality (cognitive activation, supportive climate, and classroom management), which refer to the actual teacher-student-interactions in the classroom, mediated these relationships. These results help illuminate the mechanisms behind the effects of teachers on student outcomes.
Abstract (english): In this contribution, we investigate links between teacher competence, teaching quality, and student outcomes in elementary science education. Students' conceptual understanding and interest were measured during two teaching units in a pre-post design (1070 students, 54 classes). Results show that teacher competence (pedagogical content knowledge, self-efficacy, and teaching enthusiasm) was positively related to students' interest; self-efficacy was positively related to student achievement. Three dimensions of teaching quality (cognitive activation, supportive climate, and classroom management), which refer to the actual teacher-student-interactions in the classroom, mediated these relationships. These results help illuminate the mechanisms behind the effects of teachers on student outcomes.
DIPF-Departments: Bildungsqualität und Evaluation