-
-
Es werden maximal 500 Treffer angezeigt. Bitte grenzen Sie ihre Abfrage in der erweiterten Suche. weiter ein.
-
-
Autor*innen: Köhler, Carmen; Hartig, Johannes
Titel: Practical significance of item misfit in educational assessments
In: Applied Psychological Measurement, 41 (2017) 5, S. 388-400
DOI: 10.1177/0146621617692978
URN: urn:nbn:de:0111-pedocs-156084
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-156084
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Item-Response-Theory; Korrelation; Leistungsmessung; Rasch-Modell; Schülerleistung; Schülerleistungstest; Testkonstruktion; Testtheorie; Validität
Abstract: Testing item fit is an important step when calibrating and analyzing item response theory (IRT)-based tests, as model fit is a necessary prerequisite for drawing valid inferences from estimated parameters. In the literature, numerous item fit statistics exist, sometimes resulting in contradictory conclusions regarding which items should be excluded from the test. Recently, researchers argue to shift the focus from statistical item fit analyses to evaluating practical consequences of item misfit. This article introduces a method to quantify potential bias of relationship estimates (e.g., correlation coefficients) due to misfitting items. The potential deviation informs about whether item misfit is practically significant for outcomes of substantial analyses. The method is demonstrated using data from an educational test. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Köhler, Carmen; Pohl, Steffi; Carstensen, Claus H.
Titel: Dealing with item nonresponse in large-scale cognitive assessments. The impact of missing data methods on estimated explanatory relationships
In: Journal of Educational Measurement, 54 (2017) 4, S. 397-419
DOI: 10.1111/jedm.12154
URN: urn:nbn:de:0111-dipfdocs-174619
URL: http://www.dipfdocs.de/volltexte/2019/17461/pdf/KoehlerPohlCarstensen2017_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Datenanalyse; Schülerleistungstest; Leistungsmessung; Fehlende Daten; Fragebogen; Antwort; Wirkung; Messverfahren; PISA <Programme for International Student Assessment>; Panel; Lesekompetenz; Regression; Simulation
Abstract: Competence data from low-stakes educational large-scale assessment studies allow for evaluating relationships between competencies and other variables. The impact of item-level nonresponse has not been investigated with regard to statistics that determine the size of these relationships (e.g., correlations, regression coefficients). Classical approaches such as ignoring missing values or treating them as incorrect are currently applied in many large-scale studies, while recent model-based approaches that can account for nonignorable nonresponse have been developed. Estimates of item and person parameters have been demonstrated to be biased for classical approaches when missing data are missing not at random (MNAR). In our study, we focus on parameter estimates of the structural model (i.e., the true regression coefficient when regressing competence on an explanatory variable), simulating data according to various missing data mechanisms. We found that model-based approaches and ignoring missing values performed well in retrieving regression coefficients even when we induced missing data that were MNAR. Treating missing values as incorrect responses can lead to substantial bias. We demonstrate the validity of our approach empirically and discuss the relevance of our results. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Kunina-Habenicht, Olga; Rupp, André A.; Wilhelm, Oliver
Titel: Incremental validity of multidimensional proficiency scores from diagnostic classification models: An illustration for elementary school mathematics
In: International Journal of Testing, 17 (2017) 4, S. 277-301
DOI: 10.1080/15305058.2017.1291517
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Arithmetik; Diagnostik; Empirische Untersuchung; Item-Response-Theory; Leistungsmessung; Mathematische Kompetenz; Modell; Regressionsanalyse; Reliabilität; Schülerleistung; Schülerleistungstest; Schuljahr 04; Testkonstruktion; Validität
Abstract (english): Diagnostic classification models (DCMs) hold great potential for applications in summative and formative assessment by providing discrete multivariate proficiency scores that yield statistically-driven classifications of students. Using data from a newly developed diagnostic arithmetic assessment that was administered to 2,032 fourth-grade students in Germany, we evaluated whether the multidimensional proficiency scores from the best-fitting DCM have an added value, over and above the unidimensional proficiency score from a simpler unidimensional IRT model, in explaning variance in external (a) school grades in mathematics and (b) unidimensional proficiency scores from a standards-based large-scale assessment of mathematics. Results revealed high classification reliabilities as well as interpretable parameter estimates for items and students for the best-fitting DCM. However, while DCM scores were moderatly correlated with both external criteria, only a negligible incremental validity of the multivariate attribute scores was found. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Leucht, Michael; Köller, Olaf; Neumann, Marko; Baumert, Jürgen
Titel: Berufsbezogene Kompetenzen in der gymnasialen Oberstufe. Vergleich wirtschaftlicher und technischer Gymnasien
In: Unterrichtswissenschaft, 45 (2017) 1, S. 36-50
DOI: 10.3262/UW1701036
URN: urn:nbn:de:0111-pedocs-158497
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-158497
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Berufliches Gymnasium; Berufsvorbereitung; Deutschland; Kompetenz; Leistungstest; Schleswig-Holstein; Schuljahr 13; Technische Bildung; Unterrichtsfach; Unterrichtszeit; Vergleichsuntersuchung; Wirtschaftserziehung
Abstract: Der vorliegende Beitrag präsentiert Analysen zur berufsvorbereitenden Funktion von beruflichen Gymnasien in Schleswig-Holstein. Die an den Schulen etablierten Zweige Wirtschaft und Technik werden dahingehend verglichen, in welchem Ausmaß berufsbezogene Vorläuferkompetenzen bis zum Ende der Sekundarstufe II angebahnt wurden. Beide Zweige unterscheiden sich in den berufsbezogenen Lerngelegenheiten der Oberstufe (zwölf gegenüber zehn Jahrgangswochenstunden zugunsten des Zweigs Wirtschaft). Zudem sind innerhalb der Zweige verschiedene fünfstündige berufsbezogene Schwerpunktfächer zu unterscheiden. Im April und Mai 2013 wurden N = 1455 Schülerinnen und Schüler in 13. Jahrgangsstufen untersucht. Der eingesetzte Test unterscheidet Teilleistungen in vier Bereichen, u. a. zu wirtschaftlichen und technischen Sachverhalten. Erwartungsgemäß resultiert in drei der vier Untertests ein Vorsprung zugunsten des Gymnasialzweigs Wirtschaft (Ausnahme: Untertests Technik). Nach Kontrolle individueller kognitiver Grundfähigkeiten und des Geschlechts bestehen mit Blick auf die Anbahnung berufsvorbereitender Kompetenzen zudem geringe Unterschiede zwischen den am Zweig Technik unterrichteten Schwerpunktfächern. (DIPF/Orig.)
Abstract (english): This study investigates the vocational competencies of students attending academic-track vocational secondary schools in Schleswig-Holstein. Students in two branches, economic and technical academic-track vocational secondary schools, were compared. The two branches differ in the extent to which vocational subjects are implemented in the corresponding curricula (twelve vs. ten hours per week in favor of economic secondary schools). Moreover, several core vocational subjects (five hours per week) can be distinguished in the two branches. N = 1455 13th-grade students were investigated in April and May 2013. Our test differentiated between four subtest skills, measuring economic and technical competencies, amongst others. Meeting our expectations, the economic branch showed higher performances in three out of four subtests (exception: subtest for technical competencies). Furthermore, our analyses showed that, after controlling for cognitive abilities and gender, there were small differences between the core vocational subjects taught in the technical branch of academic-track vocational secondary schools. (DIPF/Orig.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Lonnemann, Jan; Li, Su; Zhao, Pei; Li, Peng; Linkersdörfer, Janosch; Lindberg, Sven; Hasselhorn, Marcus; Yan, Song
Titel: Differences in arithmetic performance between Chinese and German adults are accompanied by differences in processing of non-symbolic numerical magnitude
In: PLoS ONE, 12 (2017) 4, S. e0174991
DOI: 10.1371/journal.pone.0174991
URN: urn:nbn:de:0111-dipfdocs-191811
URL: http://www.dipfdocs.de/volltexte/2020/19181/pdf/pone_2017_4_Lonnemann_et_al_Differences_in_arithmetic_performance_between_Chinese_and_German_adults_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Erwachsener; Chinese; Deutscher; Unterschied; Größe; Vergleich; Aufgabe; Test; Arithmetik; Leistung; Informationsverarbeitung; Denkfähigkeit; Datenanalyse; Empirische Untersuchung; China; Deutschland
Abstract (english): Human beings are assumed to possess an approximate number system (ANS) dedicated to extracting and representing approximate numerical magnitude information. The ANS is assumed to be fundamental to arithmetic learning and has been shown to be associated with arithmetic performance. It is, however, still a matter of debate whether better arithmetic skills are reflected in the ANS. To address this issue, Chinese and German adults were compared regarding their performance in simple arithmetic tasks and in a non-symbolic numerical magnitude comparison task. Chinese participants showed a better performance in solving simple arithmetic tasks and faster reaction times in the non-symbolic numerical magnitude comparison task without making more errors than their German peers. These differences in performance could not be ascribed to differences in general cognitive abilities. Better arithmetic skills were thus found to be accompanied by a higher speed of retrieving non-symbolic numerical magnitude knowledge but not by a higher precision of non-symbolic numerical magnitude representations. The group difference in the speed of retrieving non- symbolic numerical magnitude knowledge was fully mediated by the performance in arithmetic tasks, suggesting that arithmetic skills shape non-symbolic numerical magnitude pro- cessing skills. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Lühe, Josefine; Becker, Michael; Neumann, Marko; Maaz, Kai
Titel: Geschlechtsspezifische Leistungsunterschiede in Abhängigkeit der sozialen Herkunft. Eine Untersuchung zur Interaktion zweier sozialer Kategorien
In: Zeitschrift für Erziehungswissenschaft, 20 (2017) 3, S. 499-519
DOI: 10.1007/s11618-016-0720-4
URN: urn:nbn:de:0111-pedocs-154676
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-154676
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schülerleistung; Schulerfolg; Geschlechtsspezifischer Unterschied; Geschlecht; Soziale Herkunft; Wirkung; Sozioökonomische Lage; Migrationshintergrund; Schüler; Schuljahr 06; Grundschule; Leseverstehen; Mathematikunterricht; Englischunterricht; Leistungstest; Befragung; Stichprobe; Regressionsanalyse; Empirische Untersuchung; Berlin; Deutschland
Abstract: Geschlechterdisparitäten im Schulerfolg werden vielfach berichtet. Es gibt jedoch Hinweise darauf, dass diese nicht einheitlich ausfallen, sondern mit der sozialen Herkunft variieren. In der quantitativen Forschung wurde die Annahme einer wechselseitigen Wirkung zwischen Geschlecht und sozialer Herkunft bislang jedoch nur unzureichend untersucht. In der vorliegenden Studie wird anhand einer Stichprobe von N = 3935 Schülerinnen und Schülern der 6. Jahrgangsstufe an Berliner Grundschulen untersucht, ob die Wirkung der Geschlechtszugehörigkeit auf Schulleistungen durch den sozioökonomischen Status (SES) moderiert wird. Die Ergebnisse zeigen, dass der Einfluss der Geschlechtszugehörigkeit auf die Leistungen mit dem SES variiert, wobei unter Jungen ein stärkerer Zusammenhang zwischen SES und Leistung besteht. Damit legen die Ergebnisse eine differenziertere Betrachtung geschlechtsspezifischer Leistungen und die Wichtigkeit der Berücksichtigung multipler Gruppenzugehörigkeiten nahe. (DIPF/Orig.)
Abstract (english): Gender differences in educational outcomes are often reported. However, some evidence suggests that these differences are not consistent but vary with social background. In quantitative research, however, the interaction between gender and social background has been underinvestigated. The present study investigates whether the effect of gender on achievement is moderated by socio-economic status (SES). The sample consists of N = 3935 primary school-children in Berlin (6th grade). The results show that the effect of gender on achievement varies with SES, with a stronger correlation between the achievement of boys and their SES. Taken together, the results of the study suggest a differentiated consideration of the achievement of boys and girls and the importance of considering multiple group identities. (DIPF/Orig.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Lühe, Josefine; Becker, Michael; Neumann, Marko; Maaz, Kai
Titel: Zur Bedeutung der sozialen Herkunft für Geschlechterunterschiede im Bildungserfolg
In: Zeitschrift für Soziologie der Erziehung und Sozialisation, 37 (2017) 4, S. 416-436
URN: urn:nbn:de:0111-pedocs-168560
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-168560
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungserfolg; Datenanalyse; Deutschland; Einflussfaktor; Empfehlung; Geschlechtsspezifischer Unterschied; Grundschule; Grundschüler; Gymnasium; Leistungstest; Lesekompetenz; Mathematische Kompetenz; Regressionsanalyse; Schuljahr 04; Sekundäranalyse; Soziale Herkunft; Sozioökonomische Lage; TIMSS <Third International Mathematics and Science Study>; Übergang
Abstract: Geschlechterunterschiede im Bildungserfolg werden vielfach berichtet. Obwohl es Hinweise darauf gibt, dass sich diese nicht unabhängig von der sozialen Herkunft vollziehen, wurde eine Wechselwirkung in quantitativen Arbeiten bisher nur unzureichend untersucht. Anhand einer repräsentativen Stichprobe für Viertklässler in Deutschland (N=5240) wird analysiert, ob die Wirkung der Geschlechtszugehörigkeit auf den Bildungserfolg durch den sozioökonomischen Status (SES) moderiert wird. Es zeigt sich, dass der Einfluss der Geschlechtszugehörigkeit zu diesem frühen Zeitpunkt in der Bildungsbiografie in der Mathematikleistung und -note sowie - etwas weniger deutlich - in der Gymnasialempfehlung mit dem SES variiert. (DIPF/Orig.)
Abstract (english): Gender differences have frequently been reported for educational outcomes. Despite indications that these differences do not occur independently from social background, the recicprocity of effects has so far inadequately been addressed in quantitative research. Drawing on a representative sample of fourth graders in Germany (N=5240), the study investigates whether gender effects on educational outcomes are moderated by socioeconomic status (SES). According to the findings, the influence of gender varies with the SES in maths achievement and maths grade as well as in the teacher's recommendation for the academic track at this early point in the children's biography. (DIPF/Orig.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Morin, Alexandre J. S.; Arens, A. Katrin; Tracey, Danielle; Parker, Philip D.; Ciarrochi, Joseph; Craven, Rhonda G.; Maïano, Christophe
Titel: Self-esteem trajectories and their social determinants in adolescents with different levels of cognitive ability
In: American Journal on Intellectual and Developmental Disabilities, 122 (2017) 6, S. 539-560
DOI: 10.1352/1944-7558-122.6.539
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Australien; Befragung; Einstellung <Psy>; Eltern; Entwicklung; Erziehungsstil; Faktorenanalyse; Fragebogenerhebung; Integration; Kognitive Kompetenz; Längsschnittuntersuchung; Latente Wachstumskurvenmodelle; Lesekompetenz; Mathematische Kompetenz; Peergroup; Schreibkompetenz; Schule; Schüler; Sekundarstufe I; Sekundarstufe II; Selbstwertgefühl; Test; Unterschied; Weiterführende Schule
Abstract: This study examines the development of self-esteem in a sample of 138 Australian adolescents (90 males; 48 females) with cognitive abilities in the lowest 15% (L-CA) and a matched sample of 556 Australian adolescents (312 males; 244 females) with average to high levels of cognitive abilities (A/H-CA). These participants were measured annually (Grade 7 to 12). The findings showed that adolescents with L-CA and A/H-CA experience similar high and stable self-esteem trajectories that present similar relations with key predictors (sex, school usefulness and dislike, parenting, and peer integration). Both groups revealed substantial gender differences showing higher levels of self-esteem for adolescent males remaining relatively stable over time, compared to lower levels among adolescent females which decreased until midadolescence before increasing back. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Nagy, Gabriel; Retelsdorf, Jan; Goldhammer, Frank; Schiepe-Tiska, Anja; Lüdtke, Oliver
Titel: Veränderungen der Lesekompetenz von der 9. zur 10. Klasse. Differenzielle Entwicklungen in Abhängigkeit der Schulform, des Geschlechts und des soziodemografischen Hintergrunds?
In: Zeitschrift für Erziehungswissenschaft. Sonderheft, 33 (2017) , S. 177-203
DOI: 10.1007/s11618-017-0747-1
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Deutsch
Schlagwörter: Lesekompetenz; Schülerleistung; Entwicklung; Veränderung; Schuljahr 09; Schuljahr 10; Sekundarstufe I; Schulform; Geschlecht; Migrationshintergrund; Sozioökonomische Lage; Schülerleistungstest; Datenanalyse; Item-Response-Theory; PISA <Programme for International Student Assessment>; Längsschnittuntersuchung; Deutschland
Abstract: Im vorliegenden Beitrag wurde die Entwicklung der Lesekompetenz im letzten Abschnitt der Sekundarstufe I (Klassenstufen 9 bis 10) untersucht. Neben der Veränderung der Testleistungen in der Gesamtpopulation wurden die Assoziationen ausgewählter institutioneller (Schulform), familiärer (Zuwanderungshintergrund und sozioökonomischer familiärer Status) und individueller Merkmale (Geschlecht) mit der Leistungsentwicklung erfasst. In Übereinstimmung mit aktuellen Studien, die eine abflachende Entwicklung der Leseleistung in späteren Phasen der Beschulung zeigen, konnten wir keinen Leistungszuwachs in der Gesamtstichprobe feststellen. Ebenso fanden sich keine belastbaren Hinweise dafür, dass die betrachteten Erklärungsvariablen mit der Kompetenzentwicklung assoziiert sind. Die Auswertungen lieferten jedoch deutliche Indizien dafür, dass die schülerseitige Persistenz der Testbearbeitung, die mittels Positionseffekten erfasst wurde, sich systematisch in Abhängigkeit der Hintergrundvariablen veränderte, wobei stärkere Abnahmen der Bearbeitungspersistenz an nichtgymnasialen Schulformen, bei Jungen, und Schülerinnen und Schülern aus sozioökonomisch schlechter gestellten Familien festgestellt wurden. Die Nichtberücksichtigung des Testbearbeitungsverhaltens führte zu "Scheineffekten" der Erklärungsvariablen Schulform und Geschlecht, die sich bei einer genaueren Betrachtung jedoch nicht auf den realen Kompetenzzuwachs bezogen. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Alexander; Hartig, Johannes; Hochweber, Jan
Titel: Absolute and relative measures of instructional sensitivity
In: Journal of Educational and Behavioral Statistics, 42 (2017) 6, S. 678-705
DOI: 10.3102/1076998617703649
URN: urn:nbn:de:0111-pedocs-156029
URL: http://www.dipfdocs.de/volltexte/2018/15602/pdf/1076998617703649_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Bewertung; DESI <Deutsch-Englisch-Schülerleistungen-International>; Deutschland; Englischunterricht; Item-Response-Theory; Leistungsmessung; Messverfahren; Schüler; Schülerleistung; Schuljahr 09; Sprachkompetenz; Test; Testkonstruktion; Testtheorie; Unterricht; Wirkung
Abstract: Valid inferences on teaching drawn from students' test scores require that tests are sensitive to the instruction students received in class. Accordingly, measures of the test items' instructional sensitivity provide empirical support for validity claims about inferences on instruction. In the present study, we first introduce the concepts of absolute and relative measures of instructional sensitivity. Absolute measures summarize a single item's total capacity of capturing effects of instruction, which is independent of the test's sensitivity. In contrast, relative measures summarize a single item's capacity of capturing effects of instruction relative to test sensitivity. Then, we propose a longitudinal multilevel item response theory model that allows estimating both types of measures depending on the identification constraints. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation