-
-
Autor*innen: Becker, Michael; Maaz, Kai
Titel: Zentrale quantitative Auswertungsverfahren
Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 948-958
Dokumenttyp: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Fehlende Daten; Quantitative Forschung; Schulforschung; Bildungsforschung; Statistische Methode; Modellierung; Stichprobe; Datenanalyse; Verfahren; Mehrebenenanalyse; Pfadanalyse; Skalierung; Längsschnittuntersuchung; Panel
Abstract: [Im Beitrag wird] nach einer kurzen Darstellung der Gemeinsamkeiten statistischer Modellierung, die die Schul- und Bildungsforschung mit den meisten Sozialwissenschaften teilt, ein Überblick über die spezifischen Auswertungsverfahren gegeben, die sich vor allem in der quantitativen Bildungs- und Schulforschung häufig finden. Hierbei wird weniger auf die Darstellung spezifischer Kennwerte und ihrer Eigenschaften als auf die generelle Verwendung und den epistemologischen Zweck der Verfahren eingegangen. Der Fokus ist darauf gelegt, die wichtigsten statistischen Probleme und gegenwärtig gängigen analytischen Lösungen, wie sie in einer Vielzahl von Studien der Bildungs- und Schulforschung vorzufinden und zu adressieren sind, auf einer konzeptuellen Ebene zusammenzufassen und Hinweise für einen tieferen Einstieg in die Themen zu geben. Insofern sollen - nach einer kurzen Erläuterung der beiden grundlegenden Aspekte statistischer Modellierung (Deskriptive und Inferenzstatistik) im Allgemeinen - vier Aspekte quantitativer Auswertungen vorgestellt werden, wie sie unserer Meinung nach zentral für die quantitative Bildungs- und Schulforschung sind: (1) Hierarchische Datenstrukturen und Mehrebenenmodelle, (2) Pfadanalysen und längsschnittliche cross-lagged panel-Analysen, Fragen (3) fehlender Werte und (4) der Leistungsskalierung. (DIPF/Orig.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Zehner, Fabian; Eichmann, Beate; Deribo, Tobias; Harrison, Scott; Bengs, Daniel; Andersen, Nico; Hahnel, Carolin
Titel: Applying psychometric modeling to aid feature engineering in predictive log-data analytics. The NAEP EDM Competition
In: Journal of Educational Data Mining, 13 (2021) 2, S. 80-107
DOI: 10.5281/zenodo.5275316
URL: https://doi.org/10.5281/zenodo.5275316
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Psychometrie; Modellierung; Protokoll; Datenanalyse; Testverhalten; Cluster
Abstract (english): The NAEP EDM Competition required participants to predict efficient test-taking behavior based on log data. This paper describes our top-down approach for engineering features by means of psychometric modeling, aiming at machine learning for the predictive classification task. For feature engineering, we employed, among others, the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. Furthermore, instead of using the provided binary target label, we distinguished inefficient test takers who were going too fast and those who were going too slow for training a multi-label classifier. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to the competition leaderboard, our approach makes two important contributions. First, we show how classifiers that contain features engineered through literature-derived domain knowledge can provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the models. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label's validity needs to be questioned. Beyond competition-related findings, we furthermore report a state sequence analysis for demonstrating the viability of the employed tools. The latter yielded four different test-taking types that described distinctive differences between test takers, providing relevant implications for assessment practice. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Autor*innen: Hartong, Sigrid; Allert, Heidrun; Amos, Karin; Bleckmann, Paula; Czarnorjan, Izabela; Förschler, Annina; Jornitz, Sieglinde; Reinhard, Manuel; Sander, Ina
Titel: Unblack the Box. Anregungen für eine (selbst)bewusste Auseinandersetzung mit digitaler Bildung
Aus: Lankau, Ralf (Hrsg.): Autonom und mündig am Touchscreen: Für eine konstruktive Medienarbeit in der Schule, Weinheim: Beltz, 2021 , S. 201-212
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Digitale Medien; Medieneinsatz; Schule; Unterricht; Schüler; Lehrer; Selbstbewusstsein; Medienkompetenz; Digitalisierung; Medienwirkung; Daten; Lernplattform; Datenverarbeitung; Modellierung; Bildungsangebot; Tool; Beeinflussung; Medienverhalten; Nutzerverhalten; Mündigkeit
Abstract: Die Initiative "Unblack the Box" stellt Anregungen zu einem (selbst)bewussten Umgang mit digitalen Medien in der Schule vor. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Köhler, Carmen; Kuger, Susanne; Naumann, Alexander; Hartig, Johannes
Titel: Multilevel models for evaluating the effectiveness of teaching. Conceptual and methodological considerations
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 197-209
DOI: 10.3262/ZPB2001197
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Lehrer; Verhalten; Einflussfaktor; Effektivität; Lernen; Unterricht; Modellierung; Methodologie; Unterrichtsforschung; Evaluation; Schülerzahl; Datenanalyse; Reliabilität; Mehrebenenanalyse; Modell
Abstract: In der Unterrichtsforschung liegt ein Schwerpunkt auf der Identifizierung von Lehrpersonalverhalten, welches Lernende positiv beeinflusst. Ein angemessenes Studiendesign sowie die statistische Modellierung und die Ergebnisinterpretation bergen einige Herausforderungen. Beispielsweise erfordert die dem Forschungsbereich inhärente Mehrebenenstruktur mehrstufige Analysemodelle. Im folgenden Artikel wurde ein exemplarischer Datensatz verwendet, auf den verschiedene mehrstufige Modelle angewendet wurden, um zu veranschaulichen, wie diese Modelle die substantielle Interpretation der Forschungsfrage beeinflussen. Die Forschungsfrage in allen Settings bezog sich auf die Auswirkungen des Lehrpersonalverhaltens auf die Ergebnisse der Lernenden. (DIPF/Orig.)
Abstract (english): In research on teaching, the primary focus lies in identifying teacher behavior that positively influences relevant student outcomes. To adequately design the study, statistically model and interpret the results poses challenges for researchers. For example, the inherent multilevel structure in studies on teaching requires the application of multilevel models. This research used one exemplary data set, to which varying multilevel models were applied, thus illustrating how these models variously affect the substantial interpretation of the research question. The research question in all settings concerned the effects of teacher behavior on student outcomes. The overall purpose of this paper is to give an overview of modeling and interpreting results regarding the effectiveness of teaching appropriately. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Alexander; Kuger, Susanne; Köhler, Carmen; Hochweber, Jan
Titel: Conceptual and methodological challenges in detecting the effectiveness of learning and teaching
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 179-196
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Effektivität; Unterricht; Lernen; Wirkung; Schülerleistung; Messverfahren; Konzeption; Modellierung; Unterrichtsprozess; Leistungsmessung; Validität; Methodologie
Abstract: One major goal of research on educational effectiveness is to detect the effects of teaching and learning. Reliably detecting the effects of teaching and learning requires the identification and adequate measurement of (a) the relevant classroom processes and (b) outcomes on the student and the classroom level and also (c) modeling the link between both. The present paper aims to identify and discuss current conceptual and methodological challenges in regard to making inferences on the effectiveness of teaching and learning. We give a brief overview of current practices, discuss key quality criteria with respect to these three aspects, and identify areas in need of further development. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Scharf, Jan; Becker, Michael; Stallasch, Sophie E.; Neumann, Marko; Maaz, Kai
Titel: Primäre und sekundäre Herkunftseffekte über den Verlauf der Sekundarstufe. Eine Dekomposition an drei Bildungsübergängen
In: Zeitschrift für Erziehungswissenschaft, 23 (2020) 6, S. 1251-1282
DOI: 10.1007/s11618-020-00981-7
URN: urn:nbn:de:0111-pedocs-233084
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-233084
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungsaspiration; Bildungsbiografie; Bildungsniveau; Deutschland; Einflussfaktor; Familie; Fragebogenerhebung; Grundschule; Gymnasiale Oberstufe; Hamburg; Hochschulbildung; Längsschnittuntersuchung; Leistungstest; Modellierung; Regressionsanalyse; Schüler; Schülerleistung; Schulnoten; Sekundarbereich; Sekundarstufe I; Soziale Herkunft; Soziale Ungleichheit; Sozioökonomische Lage; Tertiärer Bereich; Übergang
Abstract: Die Sekundarstufe ist gekennzeichnet durch eine Sequenz von Übergängen, an denen Ungleichheiten durch Leistungsdisparitäten (primäre Effekte) und Bildungsentscheidungen (sekundäre Effekte) nach sozialer Herkunft relevant werden. Diese Herkunftseffekte werden mit dem vorliegenden Beitrag erstmals anhand von Daten einer vollständigen Schülerkohorte (Hamburger KESS-Studie) über den gesamten Verlauf der Sekundarstufe vom Übergang ins Gymnasium bis zur Studienintention analysiert. Eine Dekomposition und Quantifizierung primärer und sekundärer Effekte mit der KHB-Methode erfolgt dabei erstmals auch für den Eintritt in die Oberstufe. Abnehmende absolute Herkunftseffekte über den Bildungsverlauf, auf die bisherige Befunde verschiedener Stichproben verweisen, können mit dieser Studie zum Teil bestätigt werden. Zum vermuteten relativen Bedeutungszuwachs sekundärer Effekte zeigen die Ergebnisse kein eindeutiges Muster: Beim Wechsel ins Gymnasium überwiegen primäre Effekte leicht, wenn Noten als Leistungsindikator verwendet werden. Beim Eintritt in die Oberstufe bleibt die Relation nahezu unverändert. Erst bei der Studienintention fällt die relative Bedeutung sekundärer Effekte größer aus.
Abstract (english): Secondary education is characterised by a sequence of transitions that are linked to educational inequality. Regarding social background effects, inequalities relate to disparities in educational achievement (primary effects) and educational decisions (secondary effects). In the present study, both primary and secondary effects are analysed based on an entire student cohort in the Hamburg school system (KESS study) across the course of secondary education, i.e. from entering secondary school to aiming for higher education. The KHB method is applied in order to decompose the effects, including transitions to upper secondary education. In line with previous research, total social background effects decrease across educational trajectories. No clear pattern emerges concerning an assumed increase in the relative importance of secondary effects. Primary effects operationalised by school grades are slightly predominant in the transition to lower secondary education, and nearly the same ratio is found for the transition to upper secondary education. However, regarding the aim to enter higher education, the relative importance of secondary effects is more clearly discernible.
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Naumann, Alexander; Musow, Stephanie; Katstaller, Michaela
Titel: Instructional sensitivity as a prerequisite for determining the effectiveness of interventions in educational research
Aus: Astleitner, Hermann (Hrsg.): Intervention research in educational practice: Alternative theoretical frameworks and application problems, Münster: Waxmann, 2020 , S. 149-170
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Unterricht; Intervention; Effektivität; Bildungsforschung; Messverfahren; Test; Veränderung; Zeit; Modellierung; Forschungsdesign; Psychometrie
Abstract: Student achievement has become a major criterion for evaluating the effectiveness of schooling and teaching. However, valid interpretation and use of test scores in educational contexts require more detailed information about the degree to which the applied test instruments are appropriate to evaluate the intended educational and interventional effects. Instructional sensitivity is the psychometric property of tests or single items to capture effects of classroom instruction. Although instructional sensitivity is a prerequisite for valid inferences on teaching effectiveness, sensitivity is rather assumed than verified in practice. The aim of this chapter is to improve the understanding of instructional sensitivity and its measurement in educational intervention research. Specifically, it first provides an overview of the theoretical framework and relevance of instructional sensitivity. Then, different approaches of measuring instructional sensitivity are outlined and procedures of implementing instructional sensitivity in educational intervention studies are introduced and contrasted with each other. Finally, the role of time spans is discussed and modelling change for short-time and long-time effects in pretest-posttest-follow-up designs is addressed. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Eickelmann, Birgit; Bos, Wilfried; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Vahrenhold, Jan
Titel: Anlage, Forschungsdesign und Durchführung der Studie ICILS 2018
Aus: Eickelmann, Birgit; Bos, Wilfried; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Vahrenhold, Jan (Hrsg.): ICILS 2018 #Deutschland: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking, Münster: Waxmann, 2019 , S. 33-77
URN: urn:nbn:de:0111-pedocs-183203
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183203
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Modellierung; Zielsetzung; Organisationsstruktur; Forschungsdesign; Theoretisches Modell; Datenerhebung; Durchführung; Schülerbefragung; Lehrer; Fragebogen; Stichprobe; Datenanalyse; Empirische Forschung; Hamburg; Deutschland; Schulleistung; Studie; Schuljahr 08; Computerkenntnisse; Informationskompetenz; Bildungsforschung; Modul; Informatik; Denken; Medieneinsatz; Mediennutzung; Digitale Medien; Datenverarbeitung; Problemlösen
Abstract: Das vorliegende Kapitel beschreibt die Anlage, das Forschungsdesign sowie die Durchführung der Studie ICILS 2018 und fokussiert dabei, im Gegensatz zum internationalen Berichtsband (Fraillon, Ainley, Schulz, Friedman et al., 2019), auf die Durchführung der Studie in Deutschland. Dazu werden zunächst die Zielsetzungen der Studie erläutert (Abschnitt 2) und darauf aufbauend die Organisationsstruktur von ICILS 2018 dargestellt (Abschnitt 3). Daran anschließend werden die internationalen Fragestellungen sowie die theoretische Verortung entlang des der Studie zugrundeliegenden Rahmenmodells vorgestellt (Abschnitt 4). Nach einer Einführung in die Entwicklung und die Inhalte der eingesetzten Erhebungsinstrumente (Abschnitt 5) wird die Durchführung der Studie samt Untersuchungspopulation und Stichprobenziehung (Abschnitt 6.1) beschrieben sowie eine Erörterung der Informationen zur Testdurchführung und Datenerhebung in Deutschland vorgenommen (Abschnitt 6.2). Daran anknüpfend (Abschnitt 7) wird das Vorgehen im Zuge der Aufbereitung und Analyse der erhobenen Daten fokussiert. Abschließend werden in Abschnitt 8 Informationen zur Darstellung der erzielten Ergebnisse ausgeführt, die alle Grundlagen für die Ergebnisdarstellung und -interpretation der Ergebniskapitel in diesem Band bereitstellen. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Senkbeil, Martin; Eickelmann, Birgit; Vahrenhold, Jan; Goldhammer, Frank; Gerick, Julia; Labusch, Amelie
Titel: Das Konstrukt der computer- und informationsbezogenen Kompetenzen und das Konstrukt der Kompetenzen im Bereich 'Computational Thinking' in ICILS 2018
Aus: Eickelmann, Birgit; Bos, Wilfried; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Vahrenhold, Jan (Hrsg.): ICILS 2018 #Deutschland - Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking, Münster: Waxmann, 2019 , S. 79-111
URN: urn:nbn:de:0111-pedocs-183215
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183215
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Anforderung; Informationsgesellschaft; Wissensgesellschaft; Konstruktion; Computerkenntnisse; Computernutzung; Informationskompetenz; Informationsverarbeitung; Informationsaustausch; Kommunikative Kompetenz; Kompetenz; Stufenmodell; Beispiel; Aufgabe; Informatik; Denken; Datenverarbeitung; Problemlösen; Modellierung; Algorithmus; Künstliche Intelligenz; Entwicklung; Konzeption; Schülerleistung; Schulleistung; Studie; Empirische Forschung; Bildungsforschung
Abstract: […] Die Rahmen- und Testkonzeption [der ICILS-Konstrukte der computer- und informationsbezogenen Kompetenzen, sowie derer im Bereich 'Computational Thinking'] werden im vorliegenden Kapitel entlang der internationalen Konzeption der Studie ausgeführt und erläutert. Die Konstrukte werden dazu zunächst jeweils hinsichtlich ihrer Relevanz für eine erfolgreiche Teilhabe an der Gesellschaft, u.a. hinsichtlich der Erfüllung beruflicher und persönlicher Zielstellungen, eingeordnet (Abschnitte 2.1 bzw. 3.1) und anschließend in den Abschnitten 2.2 und 3.2 inhaltlich auf der Grundlage des internationalen Forschungsdesigns der Studie konkretisiert. Daran anknüpfend wird das im Rahmen von ICILS 2018 geprüfte Kompetenzstufenmodell der computer- und informationsbezogenen Kompetenzen (Abschnitt 2.3) erläutert. Beide im Rahmen der Studie weiter- bzw. neuentwickelten theoretischen Konstrukte bilden im Rahmen von ICILS 2018 die zentrale Grundlage für die Entwicklung der Tests für Schülerinnen und Schüler in den jeweiligen Bereichen der computer- und informationsbezogenen Kompetenzen (Abschnitt 2.4) und der Kompetenzen im Bereich 'Computational Thinking' (Abschnitt 3.3). (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hamaker, Ellen L.; Asparouhov, Tihomir; Brose, Annette; Schmiedek, Florian; Muthén, Bengt
Titel: At the frontiers of modeling intensive longitudinal data. Dynamic structural equation models for the affective measurements from the COGITO study
In: Multivariate Behavioral Research, 53 (2018) 6, S. 820-841
DOI: 10.1080/00273171.2018.1446819
URL: https://www.tandfonline.com/doi/full/10.1080/00273171.2018.1446819
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Längsschnittuntersuchung; Daten; Modellierung; Mehrebenenanalyse; Strukturgleichungsmodell; Zeitreihenanalyse; Datenanalyse;
Abstract: With the growing popularity of intensive longitudinal research, the modeling techniques and software options for such data are also expanding rapidly. Here we use dynamic multilevel modeling, as it is incorporated in the new dynamic structural equation modeling (DSEM) toolbox in Mplus, to analyze the affective data from the COGITO study. These data consist of two samples of over 100 individuals each who were measured for about 100 days. We use composite scores of positive and negative affect and apply a multilevel vector autoregressive model to allow for individual differences in means, autoregressions, and cross-lagged effects. Then we extend the model to include random residual variances and covariance, and finally we investigate whether prior depression affects later depression scores through the random effects of the daily diary measures. We end with discussing several urgent-but mostly unresolved-issues in the area of dynamic multilevel modeling. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung