-
-
Autor*innen: Aditomo, Anindito; Köhler, Carmen
Titel: Do student ratings provide reliable and valid information about teaching quality at the school level? Evaluating measures of science teaching in PISA 2015
In: Educational Assessment, Evaluation and Accountability, 32 (2020) 3, S. 275-310
DOI: 10.1007/s11092-020-09328-6
URL: https://link.springer.com/article/10.1007/s11092-020-09328-6
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Naturwissenschaftlicher Unterricht; Qualität; Messung; Evaluation; Schüler; Bewertung; Schülerurteil; Validität; Reliabilität; Schulklima; Einflussfaktor; Wirkung; PISA <Programme for International Student Assessment>; Modell; Faktorenanalyse; Empirische Untersuchung; OECD-Länder
Abstract: Large-scale educational surveys, including PISA, often collect student ratings to assess teaching quality. Because of the sampling design in PISA, student ratings must be aggregated at the school level instead of the classroom level. To what extent does school-level aggregation of student ratings yield reliable and valid measures of teaching quality? We investigate this question for six scales measuring classroom management, emotional support, inquiry-based instruction, teacher-directed instruction, adaptive instruction, and feedback provided by PISA 2015. The sample consisted of 503,146 students from 17,678 schools in 69 countries/regions. Multilevel CFA and SEM were conducted for each scale in each country/region to evaluate school-level reliability (intraclass correlations 1 and 2), factorial validity, and predictive validity. In most countries/regions, school-level reliability was found to be adequate for the classroom management scale, but only low to moderate for the other scales. Examination of factorial and predictive validity indicated that the classroom management, emotional support, adaptive instruction, and teacher-directed instruction scales capture meaningful differences in teaching quality between schools. Meanwhile, the inquiry scale exhibited poor validity in almost all countries/regions. These findings suggest the possibility of using student ratings in PISA to investigate some aspects of school-level teaching quality in most countries/regions. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Fauth, Benjamin; Decristan, Jasmin; Rieser, Svenja; Klieme, Eckhard; Büttner, Gerhard
Titel: Urteile zur Unterrichtsqualität von Grundschüler/innen. Mehr als "Ich mag meine Lehrerin"?
Aus: Liebers, Katrin;Landwehr, Brunhild;Reinhold, Simone;Riegler, Susanne;Schmidt, Romina (Hrsg.): Facetten grundschulpädagogischer und -didaktischer Forschung, Wiesbaden: Springer VS, 2016 (Jahrbuch Grundschulforschung, 20), S. 157-162
DOI: 10.1007/978-3-658-11944-7_25
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Deutschland; Grundschüler; Schülerurteil; Unterricht; Qualität; Sachunterricht; Bewertung; Lehrer; Schüler-Lehrer-Beziehung; Affekt; Befragung; Fragebogen; Unterrichtsbeobachtung; Mehrebenenanalyse; Faktorenanalyse; Regressionsanalyse; Empirische Untersuchung; Hessen
Abstract: Um einen Einblick in die Prozessqualität von Schulunterricht zu bekommen, werden in der bildungswissenschaftlichen Forschung und in der pädagogischen Praxis häufig Schülerurteile verwendet. […] Allerdings ist die Validität von Schülerurteilen in der wissenschaftlichen Debatte ein kontroverses Thema. Häufig wird die Befürchtung geäußert, dass Schülerurteile zum Unterricht durch die Beliebtheit (oder Popularität) der Lehrperson verzerrt seien. […] In der vorliegenden Arbeit wird die Popularität der Lehrperson als das affektiv gefärbte Globalurteil gesehen, das Schülerinnen und Schüler zu ihrer Lehrperson abgeben. […] Auf der Individualebene werden Aspekte der je individuellen Schüler-Lehrer-Beziehung erfasst. Fasst man die individuellen Urteile jedoch auf Klassenebene zusammen, so erhält man das eigentliche Konstrukt "Lehrerpopularität". […] Betrachtet man die Beziehung zwischen der Popularität von Lehrpersonen und Schülerurteilen zu ihrem Unterricht, so ist zum einen interessant, ob sich beide Konstrukte in fragebogengestützten Erhebungen differenzieren lassen. Zum anderen steht in Frage, ob in den Schülerurteilen zur Unterrichtsqualität wirklich "nichts mehr" als die Popularität von der Lehrperson steckt. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Göllner, Richard; Wagner, Wolfgang; Klieme, Eckhard; Lüdtke, Oliver; Nagengast, Benjamin; Trautwein, Ulrich
Titel: Erfassung der Unterrichtsqualität mithilfe von Schülerurteilen. Chancen, Grenzen und Forschungsperspektiven
Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 63-82
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=65
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bewertung; Bildungssprache; Deutschland; Empirische Untersuchung; Forschungsprojekt; Itemanalyse; Kompetenz; Psychometrie; Qualität; Schüler; Schülerurteil; Unterricht; Unterrichtsforschung; Urteilsfähigkeit; Validität
Abstract: Schülerurteile stellen eine wichtige Datenquelle zur Messung lern- und leistungsförderlicher Qualitätsaspekte des Unterrichts dar (Clausen, 2002; Klieme, Schümer & Knoll, 2001; Fraser & Walberg, 1991; Seidel & Shavelson, 2007). Schülerinnen und Schüler gelten als Experten des Unterrichts. Sie sind in der Lage, Vergleiche mit anderen Lehrkräften anzustellen, sie können ihr Urteil auf einen ausgedehnten Beobachtungszeitraum stützen, und sie haben die Möglichkeit, selbst über seltene Ereignisse im Unterricht Auskunft zu geben. Zudem können mit Schülerbefragungen eine Vielzahl von Beurteilern im Hinblick auf einen Beurteilungsgegenstand befragt und somit eine hohe Informationsdichte (und gegebenenfalls -vielfalt) erzielt werden. Gerade in Hinblick auf große Schulleistungsstudien wie PISA, IGLU oder TRAIN sind Schülerurteile von potenziell hoher Bedeutung, da ihre Erfassung relativ kostengünstig ist und wenig Zeitressourcen in Anspruch nimmt (Clausen, 2002; Lüdtke, Trautwein, Kunter & Baumert, 2006).
Aber wie gut sind diese Schülerurteile? Nach wie vor ist zu wenig über die psychometrische Güte (wie Reliabilität und Validität) von Schülerurteilen über den Unterricht bekannt. Können Schülerinnen und Schüler theoretisch distinkte Facetten des Unterrichtsgeschehens zuverlässig und zutreffend einschätzen? Inwiefern sind die Einschätzungen von Schülerinnen und Schülern über unterschiedliche Kontexte (z.B. Unterrichtsfächer oder Schulklassen) hinweg vergleichbar? Inwiefern beeinflusst die sprachliche Gestaltung der Items den Beurteilungsprozess? Diese bislang wenig untersuchten Fragen standen im Mittelpunkt des durch das BMBF geförderten Projekts "Erfassung der Unterrichtsqualität in Large-Scale-Studien. Optimierung der Modellierung und Itemauswahl" (01LSA008; Trautwein, Lüdtke, Klieme, Nagengast & Wagner, 2011). In dem vorliegenden Beitrag werden zentrale Ergebnisse des Projekts vorgestellt. Zunächst wird ein allgemeiner Überblick über die Erfassung der Unterrichtsqualität gegeben, um dann genauer auf Chancen und Grenzen von Schülerbeurteilungen des Unterrichts anhand von empirischen Ergebnissen des Projekts einzugehen. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Döbrich, Peter
Titel: Pädagogische EntwicklungsBilanzen (PEB) als Teil der systematischen Qualitätsentwicklung
Aus: Niedersächsisches Landesinstitut für Schulentwicklung und Bildung (NLI): Qualitätsnetzwerke, Dokumentation der Auftaktveranstaltung 27. und 28.02.2002 in der Universität Hannover, Hildesheim: NLI, 2002 , S. 30-32
Dokumenttyp: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Deutsch
Schlagwörter: Schulentwicklung; Evaluation; Lehrerberuf; Schülerurteil; Selbsteinschätzung; D-Niedersachsen
Abstract: Das Konzept der "Pädagogischen EntwicklungsBilanzen" (PEB) im Rahmen von Ausgangsevaluationen der Schulen in den "Qualitästnetzwerken" umfasst sowohl repräsentative Erhebungen der Lehrermeinungen als auch Schülermeinungen zu wesentlichen Fragen der Schulentwicklung. Dabei können die Daten einer Einzelschule mit denjenigen der gleichen Schulform verglichen werden, um den Entwicklungsbedarf möglichst genau darstellen zu können. Die Ermittlung und kollegiale Reflektion des Entwicklungsbedarfs ist dann Grundlage für weitere Entwicklungsschritte einer Schule.
Abstract (english): The concept of "Educational Development Balances" (EDB) as a basic evaluation of the schools in the "Quality Networks" in Lower Saxony comprises a representative enquiry of the opion of teachers as well as those of students concerning essential issues of school development. These inquiries include comparative data of the schools of the same type for a discovery of development needs of a single school. The presentation and collegial reflection of development needs are a basis for further steps of development of a school.
DIPF-Abteilung: Bildungsqualität und Evaluation