-
-
Author(s): Silva Diaz, John Alexander; Köhler, Carmen; Hartig, Johannes
Title: Performance of infit and outfit confidence intervals calculated via parametric bootstrapping
In: Applied Measurement in Education, 35 (2022) 2, S. 116-132
DOI: 10.1080/08957347.2022.2067540
URL: https://www.tandfonline.com/doi/full/10.1080/08957347.2022.2067540
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Item-Response-Theory; Rasch-Modell; Statistik; Methode; Verfahren; Stichprobe; Test; Analyse; Simulation
Abstract: Testing item fit is central in item response theory (IRT) modeling, since a good fit is necessary to draw valid inferences from estimated model parameters. Infit and outfit fit statistics, widespread indices for detecting deviations from the Rasch model, are affected by data factors, such as sample size. Consequently, the traditional use of fixed infit and outfit cutoff points is an ineffective practice. This article evaluates if confidence intervals estimated via parametric bootstrapping provide more suitable cutoff points than the conventionally applied range of 0.8-1.2, and outfit critical ranges adjusted by sample size. The performance is evaluated under different sizes of misfit, sample sizes, and number of items. Results show that the confidence intervals performed better in terms of power, but had inflated type-I error rates, which resulted from mean square values pushed below unity in the large size of misfit conditions. However, when performing a one-side test with the upper range of the confidence intervals, the forementioned inflation was fixed. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Author(s): Becker, Michael; Maaz, Kai
Title: Zentrale quantitative Auswertungsverfahren
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 948-958
Publication Type: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Fehlende Daten; Quantitative Forschung; Schulforschung; Bildungsforschung; Statistische Methode; Modellierung; Stichprobe; Datenanalyse; Verfahren; Mehrebenenanalyse; Pfadanalyse; Skalierung; Längsschnittuntersuchung; Panel
Abstract: [Im Beitrag wird] nach einer kurzen Darstellung der Gemeinsamkeiten statistischer Modellierung, die die Schul- und Bildungsforschung mit den meisten Sozialwissenschaften teilt, ein Überblick über die spezifischen Auswertungsverfahren gegeben, die sich vor allem in der quantitativen Bildungs- und Schulforschung häufig finden. Hierbei wird weniger auf die Darstellung spezifischer Kennwerte und ihrer Eigenschaften als auf die generelle Verwendung und den epistemologischen Zweck der Verfahren eingegangen. Der Fokus ist darauf gelegt, die wichtigsten statistischen Probleme und gegenwärtig gängigen analytischen Lösungen, wie sie in einer Vielzahl von Studien der Bildungs- und Schulforschung vorzufinden und zu adressieren sind, auf einer konzeptuellen Ebene zusammenzufassen und Hinweise für einen tieferen Einstieg in die Themen zu geben. Insofern sollen - nach einer kurzen Erläuterung der beiden grundlegenden Aspekte statistischer Modellierung (Deskriptive und Inferenzstatistik) im Allgemeinen - vier Aspekte quantitativer Auswertungen vorgestellt werden, wie sie unserer Meinung nach zentral für die quantitative Bildungs- und Schulforschung sind: (1) Hierarchische Datenstrukturen und Mehrebenenmodelle, (2) Pfadanalysen und längsschnittliche cross-lagged panel-Analysen, Fragen (3) fehlender Werte und (4) der Leistungsskalierung. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens
-
-
Author(s): Becker, Michael; Schmiedek, Florian
Title: Längsschnitt in der Schulforschung
In: Hascher, Tina; Idel, Till-Sebastian; Helsper, Werner (Hrsg.): Handbuch Schulforschung, Wiesbaden: Springer VS, 2022 , S. 195-217
DOI: 10.1007/978-3-658-24729-4_8
URL: https://link.springer.com/chapter/10.1007/978-3-658-24729-4_8
Publication Type: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Datenanalyse; Datenerfassung; Forschungsdesign; Längsschnittuntersuchung; Messverfahren; Methode; Modell; Schulforschung; Stichprobe; Theorie; Variable; Vergleich; Zeit
Abstract: Der Beitrag gibt einen konzeptuellen Überblick über längsschnittliche Studiendesigns in der Schulforschung. Es wird skizziert, welche längsschnittlichen Designs sich grundsätzlich unterscheiden lassen, welche Untersuchungsperspektiven und statistischen Ansätze zur Verfügung stehen sowie welche Probleme bei längsschnittlichen Designs grundlegend und spezifisch in der Schulforschung auftreten. Es wird ein Ausblick auf die Bedeutung längsschnittlicher Studien für Beschreiben und Erklären in der Schulforschung gegeben.
DIPF-Departments: Bildung und Entwicklung; Struktur und Steuerung des Bildungswesens
-
-
Author(s): Di Mitri, Daniele; Gombert, Sebastian; Karademir, Onur
Title: Reflecting on the actionable components of a model for augmented feedback
In: Mat Sanusi, Khaleel Asyraaf; Limbu, Bibeg; Schneider, Jan; Di Mitri, Daniele; Klemke, Roland (Hrsg.): Proceedings of the Second International Workshop on Multimodal Immersive Learning Systems (MILeS 2022) at the Seventeenth European Conference on Technology Enhanced Learning (EC-TEL 2022), Toulouse, France, September 12th-16th, 2022, Aachen: RWTH, 2022 (CEUR Workshop Proceedings, 3247), S. 45-50
URL: https://ceur-ws.org/Vol-3247/paper8.pdf
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Feedback; Künstliche Intelligenz; Learning Analytics; Lernen; Modell; Multimodalität
Abstract: In this paper, we introduce the concept of "augmented feedback" as an enhanced version of traditional educational feedback enriched by digital data and artificial intelligence. To provide an operational definition of augmented feedback, we acknowledge previous research in the fields of technology-enhanced learning and learning analytics. We argue why augmented feedback constitutes a promising research direction for the future of learning. We define the actionable components for a new model of augmented feedback. We also point to relevant use case scenarios stemming from existing projects in learning analytics and artificial intelligence in education, which employ the concept of augmented feedback to various degrees. In doing so, we also point out various open questions and challenges that the notion of augmented feedback implies. (DIPF/Orig.)
DIPF-Departments: Informationszentrum Bildung
-
-
Author(s): Erdmann, Daniel; Vogel, Katharina
Title: Erziehungswissenschaftliche Wissensgeschichte aus der Distanz, oder: Die Vermessung erziehungswissenschaftlichen "Grundwissens" durch Methoden aus dem Bereich des "distant reading" Ein Werkstattbericht
In: Oberdorf, Andreas (Hrsg.): Digital Turn und Historische Bildungsforschung: Bestandsaufnahme und Forschungsperspektiven, Bad Heilbrunn: Klinkhardt, 2022 , S. 17-32
DOI: 10.25656/01:24850
URN: urn:nbn:de:0111-pedocs-248503
URL: https://www.pedocs.de/frontdoor.php?source_opus=24850
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Deutsch
Keywords: 18. Jahrhundert; 19. Jahrhundert; 20. Jahrhundert; 21. Jahrhundert; Analyse; Automatisiertes System; Bildungsgeschichte; Computerunterstütztes Verfahren; Digitale Medien; Digitalisierung; Erziehungswissenschaft; Grundwissen; Historische Bildungsforschung; Historische Quelle; Längsschnittuntersuchung; Methode; Modellierung; Projekt; Wissenschaftsforschung
Abstract (english): Der vorliegende Werkstattbericht soll am Beispiel unseres DFG-geförderten Projektes "EWiG. Was ist erziehungswissenschaftliches Grundwissen? Wissensgeschichtliche Analysen 1780-2000" Möglichkeiten und Grenzen von distant reading in der historischen Wissens(geschichts)- und Wissenschaftsforschung zur Diskussion stellen, in dem wir uns eher konventionellen und vermeintlich gut bekannten Genres und Datenkorpora (Lehrbücher, Klassiker und Geschichten der Pädagogik zwischen 1780 und 2000) auf bisher wenig verbreiteten Wegen und mit entsprechenden Werkzeugen annähern. Wir beginnen mit einem rudimentären Überblick über Ziele und Quellen des Projektes; im Anschluss stellen wir nach kurzen Erläuterungen der jeweils zur Anwendung gekommenen methodischen Verfahren erste Ergebnisse unserer Analysen vor, bevor wir mit einem Fazit zur Frage schließen, ob und inwiefern das alles als digital turn zu begreifen ist. (DIPF/Orig.)
DIPF-Departments: Bibliothek für Bildungsgeschichtliche Forschung
-
-
Author(s): Hertel, Silke; Hartenstein, Anna; Sälzer, Christine; Jude, Nina
Title: Eltern
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 375-385
Publication Type: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Eltern; Elternmitwirkung; Kooperation; Schule; Lehrer; Modell; Einflussfaktor; Schülerleistung; Elternabend; Gespräch; Elternberatung; Empirische Forschung; Deutschland
Abstract: Im [vorliegenden] Beitrag [werden] die Möglichkeiten der Zusammenarbeit von Schule und Elternhaus betrachtet sowie in ihren Chancen und Herausforderungen dargestellt. Anhand verschiedener nationaler und internationaler Untersuchungen [kann] gezeigt werden, dass die Beteiligung von Eltern an schulischen Bildungsprozessen eine wichtige Einflussgröße für die (schulische) Entwicklungs des Kindes sowie eine zentrale Ressource - wenn auch keine Garantie - zum Erreichen von Chancengleichheit darstellt. Insbesondere eine kindbezogene Beteiligung an der Schule [...] sowie eine fachbezogene Förderung im Elternhaus [...] haben sich hier als effektiv bewiesen. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Author(s): Rettelbach, Simon
Title: Towards open access publishing - a review of three transition models
In: European Educational Research Association (Hrsg.): European Conference on Educational Research, ECER 2022, August 23-25, Yerevan, abstracts, Berlin: European Educational Research Association, 2022 , S. Article 53556
URL: https://eera-ecer.de/ecer-programmes/conference/27/contribution/53556
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Bibliothek; Elektronisches Publizieren; Finanzierung; Kostenentwicklung; Modell; OPEN ACCESS; Wissenschaftler
DIPF-Departments: Frankfurter Forschungsbibliothek
-
-
Author(s): Arens, A. Katrin
Title: Wertfacetten im Grundschulalter in drei Fächern. Differenzierung, Entwicklung, Geschlechtseffekte und Zusammenhänge zu Noten
In: Zeitschrift für Pädagogische Psychologie, 35 (2021) 1, S. 32-52
DOI: 10.1024/1010-0652/a000257
URL: https://econtent.hogrefe.com/doi/10.1024/1010-0652/a000257
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Deutsch
Keywords: Grundschüler; Motivation; Wert; Erwartung; Deutschunterricht; Sachunterricht; Mathematikunterricht; Geschlechtsspezifischer Unterschied; Interesse; Entwicklung; Selbstkonzept; Einflussfaktor; Schulnoten; Schuljahr 03; Schuljahr 04; Übergang; Weiterführende Schule; Relevanz; Differenzierung; Längsschnittuntersuchung; Latente Wachstumskurvenmodelle; Deutschland
Abstract: Im Rahmen der Erwartungs-Wert-Theorie zur schulischen Motivation betrachtete die Studie die beiden Wertfacetten intrinsischer Wert und Wichtigkeit in den Fächern Mathematik, Deutsch und Sachunterricht. Untersucht wurden die Ausdifferenzierung der beiden Wertfacetten, ihr Entwicklungsverlauf am Ende der Grundschule, Geschlechtseffekte und Zusammenhänge zu Noten. Die Stichprobe bestand aus N = 2.317 Schülern; die Variablen wurden zu drei Messzeitpunkten im Verlauf der dritten und vierten Klassenstufe erfasst. Die Schüler unterschieden in allen drei Fächern zwischen den beiden Wertfacetten; jedoch zeigten die beiden Wertfacetten im Sachunterricht einen besonders hohen positiven Zusammenhang. Die Ausdifferenzierung zwischen beiden Wertfacetten veränderte sich nicht über die drei Messzeitpunkte. In latenten Wachstumskurvenmodellen zeigte sich ein Einbruch in der mittleren Ausprägung des intrinsischen Werts in Mathematik. Zunahmen konnten in den mittleren Ausprägungen der Wichtigkeit in Deutsch und der Wichtigkeit in Sachunterricht verzeichnet werden. Allerdings waren die Veränderungen sehr klein und kaum praktisch bedeutsam, so dass man eher von Stabilität als von Veränderung in der mittleren Ausprägung fachspezifischer Wertfacetten am Ende der Grundschulzeit sprechen kann. Jungen und Mädchen zeigten eine ähnliche Struktur der fachspezifischen Wertfacetten, unterschieden sich aber in den mittleren Ausprägungen. Jungen berichteten höhere Ausprägungen auf beiden Wertfacetten in Mathematik; Mädchen berichteten höhere Ausprägungen auf beiden Wertfacetten in Deutsch. Jungen und Mädchen unterschieden sich nicht in der Wichtigkeit in Sachunterricht; Jungen hatten zu zwei Messzeitpunkten höhere Ausprägungen auf dem intrinsischen Wert in Sachunterricht. In allen drei Fächern zeigten beide Wertfacetten einen ähnlich hohen positiven Zusammenhang zu den fachspezifischen Noten. In allen drei Fächern wirkten sich gute Noten positiv auf den nachfolgenden intrinsischen Wert und auf die nachfolgende Wichtigkeit aus. In Mathematik hatte die Wichtigkeit zudem positive Auswirkungen auf nachfolgende Noten. Die Ergebnisse werden in Zusammenhang gebracht mit den Ergebnissen aus Studien mit Sekundarschülern und vor dem Hintergrund des Grundschulübergangs diskutiert. (DIPF/Orig.)
Abstract (english): This study built on expectancy-value theory and examined intrinsic value and attainment value related to math, German, and general studies with elementary school students. The research questions addressed the differentiation between the two value facets, their developmental trajectory at the end of elementary school, gender effects, and their relations to school grades. The variables were assessed with N = 2.317 students at three measurement waves during grade levels three and four. Students were found to differentiate between the two value facets in all three domains. However, intrinsic value and attainment value were highly correlated in general studies. The differentiation between the two value facets did not change across time. Latent growth models showed decreasing mean levels of math intrinsic value, but increasing mean levels of attainment values in German and general studies. Yet, the effect sizes for these changes were small indicating that domain-specific value facets are rather stable at the end of elementary school. Boys and girls did not differ in the structure of domain-specific value facets, but displayed different mean levels. Boys showed higher means on intrinsic value and attainment value in math; girls displayed higher means on both value facets in German. Boys and girls did not differ in the mean levels of attainment value in general studies, but boys reported higher mean levels on intrinsic value in general studies at two waves. In all three domains, intrinsic value and attainment value showed similar positive relations to domain-specific school grades. Across time, former school grades were positively related to later intrinsic value and to later attainment value in all three domains. In math, former attainment value also showed positive relations to later school grades. The findings are linked to results obtained with secondary school students and discussed against the background of the transition from elementary school to secondary school. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung
-
-
Author(s): Arens, A. Katrin; Jansen, Malte; Preckel, Franzis; Schmidt, Isabelle; Brunner, Martin
Title: The structure of academic self-concept. A methodological review and empirical illustration of central models
In: Review of Educational Research, 91 (2021) 1, S. 34-72
DOI: 10.3102/0034654320972186
URL: https://journals.sagepub.com/doi/10.3102/0034654320972186
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Selbstkonzept; Selbstwahrnehmung; Kognitive Kompetenz; Strukturmodell; Mehrdimensionalität; Theorie; Methodologie; Überblick; Datenanalyse; Sekundäranalyse; Schüler; Schuljahr 10; Empirische Forschung; Deutschland
Abstract: The structure of academic self-concept (ASC) is assumed to be multidimensional and hierarchical. This methodological review considers the most central models depicting the structure of ASC: a higher-order factor model, the Marsh/Shavelson model, the nested Marsh/Shavelson model, a bifactor representation based on exploratory structural equation modeling, and a first-order factor model. We elaborate on how these models represent the theoretical assumptions on the structure of ASC and outline their inherent psychometric properties. We analyzed these models using a data set of German 10th-grade students (N = 1,232) including a wide range of domain-specific ASCs as well as general ASC. The correlations among ASCs and between ASCs and academic achievement varied depending on the structural model used. We conclude with discussing recommendations for research purposes and advantages and limitations of each ASC model. Our approach may also guide research on other affective or motivational constructs (e.g., academic anxiety or interest). (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung
-
-
Author(s): Becker, Benjamin; Debeer, Dries; Weirich, Sebastian; Goldhammer, Frank
Title: On the speed sensitivity parameter in the lognormal model for response times. Implications for test assembly
In: Applied Psychological Measurement, 45 (2021) 6, S. 407-422
DOI: 10.1177/01466216211008530
URL: https://journals.sagepub.com/doi/abs/10.1177/01466216211008530
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Software; Technologiebasiertes Testen; Messverfahren; Item-Response-Theory; Leistungstest; Frage; Antwort; Dauer; Einflussfaktor; Testkonstruktion; Modell; Vergleich; Testtheorie; Simulation
Abstract: In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
Abstract (english): In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen