Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Statistische Methode")

Zentrale quantitative Auswertungsverfahren Becker, Michael; Maaz, Kai Book Chapter | Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik | Münster: Waxmann | 2022 42715 Endnote: Author(s): Becker, Michael; Maaz, Kai
Title: Zentrale quantitative Auswertungsverfahren
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 948-958
Publication Type: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Fehlende Daten; Quantitative Forschung; Schulforschung; Bildungsforschung; Statistische Methode; Modellierung; Stichprobe; Datenanalyse; Verfahren; Mehrebenenanalyse; Pfadanalyse; Skalierung; Längsschnittuntersuchung; Panel
Abstract: [Im Beitrag wird] nach einer kurzen Darstellung der Gemeinsamkeiten statistischer Modellierung, die die Schul- und Bildungsforschung mit den meisten Sozialwissenschaften teilt, ein Überblick über die spezifischen Auswertungsverfahren gegeben, die sich vor allem in der quantitativen Bildungs- und Schulforschung häufig finden. Hierbei wird weniger auf die Darstellung spezifischer Kennwerte und ihrer Eigenschaften als auf die generelle Verwendung und den epistemologischen Zweck der Verfahren eingegangen. Der Fokus ist darauf gelegt, die wichtigsten statistischen Probleme und gegenwärtig gängigen analytischen Lösungen, wie sie in einer Vielzahl von Studien der Bildungs- und Schulforschung vorzufinden und zu adressieren sind, auf einer konzeptuellen Ebene zusammenzufassen und Hinweise für einen tieferen Einstieg in die Themen zu geben. Insofern sollen - nach einer kurzen Erläuterung der beiden grundlegenden Aspekte statistischer Modellierung (Deskriptive und Inferenzstatistik) im Allgemeinen - vier Aspekte quantitativer Auswertungen vorgestellt werden, wie sie unserer Meinung nach zentral für die quantitative Bildungs- und Schulforschung sind: (1) Hierarchische Datenstrukturen und Mehrebenenmodelle, (2) Pfadanalysen und längsschnittliche cross-lagged panel-Analysen, Fragen (3) fehlender Werte und (4) der Leistungsskalierung. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens

Teacher perceptions of learning motivation and classroom behavior. The role of student […] Brandmiller, Cornelius; Dumont, Hanna; Becker, Michael Journal Article | In: Contemporary Educational Psychology | 2020 40747 Endnote: Author(s): Brandmiller, Cornelius; Dumont, Hanna; Becker, Michael
Title: Teacher perceptions of learning motivation and classroom behavior. The role of student characteristics
In: Contemporary Educational Psychology, 63 (2020) , S. 101893
DOI: 10.1016/j.cedpsych.2020.101893
URL: https://www.sciencedirect.com/science/article/abs/pii/S0361476X20300588?via%3Dihub
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Lehrer; Wahrnehmung; Erwartung; Schüler; Kognitive Kompetenz; Lernmotivation; Verhalten; Sozioökonomische Lage; Soziale Herkunft; Migrationshintergrund; Gender; Einflussfaktor; Ungleichheit; Schuljahr 04; Leistungstest; Eltern; Lehrer; Befragung; Statistische Methode; Strukturgleichungsmodell; Deutschland
Abstract (english): The present study investigates whether teacher perceptions of students' cognitive skills, their learning motivation, and their classroom behavior differ according to students' socioeconomic status, immigrant background, and gender. Data from N = 4746 German fourth graders and data from their parents and teachers were analyzed using structural equation modeling. Controlling for student achievement as measured in a standardized achievement test and student motivation as measured by student and parent reports, we found that teachers overestimated the cognitive skills of high-SES students and girls in comparison to those of low-SES students and boys. Similarly, teachers perceived high-SES students, students who are not from an immigrant background, and girls as having a higher learning motivation and as having more cognitive skills. Finally, we found that teachers' perceptions of students' learning motivation and classroom behavior mediated the relationship between student characteristics and cognitive skills as perceived by the teacher. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens

Measurement invariance testing in questionnaires. A comparison of three Multigroup-CFA and […] Buchholz, Janine; Hartig, Johannes Journal Article | In: Psychological Test and Assessment Modelling | 2020 39818 Endnote: Author(s): Buchholz, Janine; Hartig, Johannes
Title: Measurement invariance testing in questionnaires. A comparison of three Multigroup-CFA and IRT-based approaches
In: Psychological Test and Assessment Modelling, 62 (2020) 1, S. 29-54
URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-1/03_Buchholz.pdf
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: PISA <Programme for International Student Assessment>; Item-Response-Theorie; Faktorenanalyse; Schülerleistung; Leistungsmessung; Messung; Invarianz; Validität; Statistische Methode
Abstract (english): International Large-Scale Assessments aim at comparisons of countries with respect to latent constructs such as attitudes, values and beliefs. Measurement invariance (MI) needs to hold in order for such comparisons to be valid. Several statistical approaches to test for MI have been proposed: While Multigroup Confirmatory Factor Analysis (MGCFA) is particularly popular, a newer, IRT-based approach was introduced for non-cognitive constructs in PISA 2015, thus raising the question of consistency between these approaches. A total of three approaches (MGCFA for ordinal and continuous data, multi-group IRT) were applied to simulated data containing different types and extents of MI violations, and to the empirical non-cognitive PISA 2015 data. Analyses are based on indices of the magnitude (i.e., parameter-specific modification indices resulting from MGCFA and group-specific item fit statistics resulting from the IRT approach) and direction of local misfit (i.e., standardized parameter change and mean deviation, respectively). Results indicate that all measures were sensitive to (some) MI violations and more consistent in identifying group differences in item difficulty parameters.
DIPF-Departments: Bildungsqualität und Evaluation

A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes Journal Article | In: Journal of Educational and Behavioral Statistics | 2020 40510 Endnote: Author(s): Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes
Title: A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives
In: Journal of Educational and Behavioral Statistics, 45 (2020) 3, S. 251-273
DOI: 10.3102/1076998619890566
URL: https://journals.sagepub.com/doi/10.3102/1076998619890566
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Item-Response-Theory; Testkonstruktion; Modell; Frage; Antwort; Messverfahren; Statistische Methode; Evaluation; Vergleich; Bildungsforschung; Empirische Forschung
Abstract: Testing whether items fit the assumptions of an item response theory model is an important step in evaluating a test. In the literature, numerous item fit statistics exist, many of which show severe limitations. The current study investigates the root mean squared deviation (RMSD) item fit statistic, which is used for evaluating item fit in various large-scale assessment studies. The three research questions of this study are (1) whether the empirical RMSD is an unbiased estimator of the population RMSD; (2) if this is not the case, whether this bias can be corrected; and (3) whether the test statistic provides an adequate significance test to detect misfitting items. Using simulation studies, it was found that the empirical RMSD is not an unbiased estimator of the population RMSD, and nonparametric bootstrapping falls short of entirely eliminating this bias. Using parametric bootstrapping, however, the RMSD can be used as a test statistic that outperforms the other approaches - infit and outfit, S1 X2 with respect to both Type I error rate and power. The empirical application showed that parametric bootstrapping of the RMSD results in rather conservative item fit decisions, which suggests more lenient cut-off criteria. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Comparing attitudes across groups. An IRT-based item-fit statistic for the analysis of measurement […] Buchholz, Janine; Hartig, Johannes Journal Article | In: Applied Psychological Measurement | 2019 37766 Endnote: Author(s): Buchholz, Janine; Hartig, Johannes
Title: Comparing attitudes across groups. An IRT-based item-fit statistic for the analysis of measurement invariance
In: Applied Psychological Measurement, 43 (2019) 3, S. 241-250
DOI: 10.1177/0146621617748323
URN: urn:nbn:de:0111-dipfdocs-174393
URL: http://www.dipfdocs.de/volltexte/2020/17439/pdf/APM_2019_3_Buchholz_Hartig_Comparing_attitudes_across_groups_A.pdf
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Einstellung <Psy>; Messung; Fragebogen; Internationaler Vergleich; Gruppe; Vergleich; Item-Response-Theory; Skalierung; Modell; Statistische Methode; Simulation
Abstract (english): Questionnaires for the assessment of attitudes and other psychological traits are crucial in educational and psychological research, and Item Response Theory (IRT) has become a viable tool for scaling such data. Many international large-scale assessments aim at comparing these constructs across countries, and the invariance of measures across countries is thus required. In its most recent cycle, the Programme for International Student Assessment (PISA 2015) implemented an innovative approach for testing the invariance of IRT-scaled constructs in the context questionnaires administered to students, parents, school principals and teachers. On the basis of a concurrent calibration with equal item parameters across all groups (i.e., languages within countries), a group-specific item-fit statistic (root-mean-square deviance; RMSD) was used as a measure for the invariance of item parameters for individual groups. The present simulation study examines the statistic's distribution under different types and extents of (non-) invariance in polytomous items. Responses to five four-point Likert-type items were generated under the Generalized Partial Credit Model (GPCM) for 1000 simulees in 50 groups each. For one of the five items, either location or discrimination parameters were drawn from a normal distribution. In addition to this type of non-invariance, we varied the extent of non-invariance by manipulating the variation of these distributions. Results indicate that the RMSD statistic is better at detecting non-invariance related to between-group differences in item location than in item discrimination. The study's findings may be used as a starting point to sensitivity analysis aiming to define cut-off values for determining (non-) invariance. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Zentrale quantitative Auswertungsverfahren Becker, Michael; Maaz, Kai Book Chapter | Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik | Münster: Waxmann | 2019 38906 Endnote: Author(s): Becker, Michael; Maaz, Kai
Title: Zentrale quantitative Auswertungsverfahren
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2019 , S. 869-879
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Schulforschung; Quantitative Forschung; Statistische Methode; Datenanalyse; Modell; Mehrebenenanalyse; Pfadanalyse; Fehlende Daten; Skalierung; Panel
Abstract: [Es wird] nach einer kurzen Darstellung der Gemeinsamkeiten statistischer Modellierung, die die Schul- und Bildungsforschung mit den meisten Sozialwissenschaften teilt, ein Überblick über die spezifischen Auswertungsverfahren gegeben, die sich vor allem in der quantitativen Bildungs- und Schulforschung häufig finden. Hierbei wird weniger auf die Darstellung spezifischer Kennwerte und ihrer Eigenschaften als auf die generelle Verwendung und den epistemologischen Zweck der Verfahren eingegangen. Der Fokus ist darauf gelegt, die wichtigsten statistischen Probleme und gegenwärtig gängigen analytischen Lösungen, wie sie in einer Vielzahl von Studien der Bildungs- und Schulforschung vorzufinden und zu adressieren sind, auf einer konzeptuellen Ebene zusammenzufassen und Hinweise für einen tieferen Einstieg in die Themen zu geben. Insofern sollen - nach einer kurzen Erläuterung der beiden grundlegenden Aspekte statistischer Modellierung (Deskriptive und inferenzstatistik) im Allgemeinen - vier Aspekte quantitativer Auswertungen vorgestellt werden, wie sie unserer Meinung nach zentral für die quantitative Bildungs- und Schulforschung sind: (1) Hierarchische Datenstrukturen und Mehrebenenmodelle, (2) Pfadanalysen und längsschnittliche cross-lagged panel-Analysen, Fragen (3) fehlender Werte und (4) der Leistungsskalierung. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens

Effects of implicit fear of failure on cognitive processing. A diffusion model analysis Lerche, Veronika; Neubauer, Andreas B.; Voss, Andreas Journal Article | In: Motivation and emotion | 2018 38308 Endnote: Author(s): Lerche, Veronika; Neubauer, Andreas B.; Voss, Andreas
Title: Effects of implicit fear of failure on cognitive processing. A diffusion model analysis
In: Motivation and emotion, 42 (2018) 3, S. 396-402
DOI: 10.1007/s11031-018-9691-5
URN: urn:nbn:de:0111-pedocs-160811
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-160811
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Deutschland; Kognitive Prozesse; Angst; Misserfolg; Wirkung; Frustration; Leistung; Motiv <Psy>; Experimentelle Untersuchung; Feedback; Beeinflussung; Modellbildung; Statistische Methode; Analyse; Experimentelle Psychologie
Abstract (english): Whereas previous studies suggest that individuals with high implicit fear of failure (FF) perform worse on various indicators of general performance, the underlying mechanisms of this effect have not yet been understood. In our experimental study, 280 participants worked on a binary color discrimination task. Half of the participants were frustrated by means of negative performance feedback, while the control group received mainly positive feedback. We employed a diffusion model analysis (Ratcliff in Psychol Rev 85(2):59-108, 1978) to disentangle the different components involved in the execution of the task. Results revealed that participants in the frustration condition adopted more conservative decision settings (threshold separation parameter of the diffusion model). Besides, high implicit FF was related to slow information accumulation (drift), and this relation was stronger in the frustration condition. Participants with higher FF further showed reduced learning rates during the task. Task related intrusive thoughts are discussed as mechanism for reduced performance of high FF individuals. We conclude that diffusion model analyses can contribute to a better understanding of the mechanisms underlying the effects of psychological motives. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung

Isn't something missing? Latent variable models accounting for item nonresponse Köhler, Carmen Monograph | Berlin: Freie Universität | 2017 37162 Endnote: Author(s): Köhler, Carmen
Title: Isn't something missing? Latent variable models accounting for item nonresponse
Published: Berlin: Freie Universität, 2017
URN: urn:nbn:de:kobv:188-fudissthesis000000103203-8
URL: http://www.diss.fu-berlin.de/diss/receive/FUDISS_thesis_000000103203
Publication Type: 1. Monographien (Autorenschaft); Monographie
Language: Englisch
Keywords: Empirische Forschung; Evaluation; Fehlende Daten; Item-Response-Theory; Kompetenz; Leistungsmessung; Modell; Schülerleistung; Schülerleistungstest; Statistische Methode; Testauswertung
Abstract: Item nonresponse in competence tests pose a threat to a valid and reliable competence measurement, especially if the missing values occur systematically and relate to the unobserved response. This is often the case in the context of large-scale assessments, where the failure to respond to an item relates to examinee ability. Researchers developed methods that consider the dependency between ability and item nonresponse by incorporating a model for the process that causes missing values into the measurement model for ability. These model-based approaches seem very promising and might prove superior to common missing data approaches, which typically fail at taking the dependency between ability and nonresponse into account. Up to this point, the approaches have barely been investigated in terms of applicability and performance with regard to the scaling of competence tests in large-scale assessments. The current dissertation bridges the gap between these theoretically postulated models and their possible implementation in the context of large-scale assessments. It aims at (1) testing the applicability of model-based approaches to competence test data, and (2) evaluating whether and under what missing data conditions these approaches are superior to common missing data approaches. Three research studies were conducted for this purpose. Study 1 investigated the assumptions of model-based approaches, whether they hold in empirical practice, and how violations to those assumptions affect individual person parameters. Study 2 focused on features of examinees' nonresponse behavior, such as its stability across different competence tests and how it relates to other examinee characteristics. Study 3 examined the performance of model-based approaches compared to other approaches. Results demonstrate that model-based approaches can be applied to large-scale assessment data, though slight extensions of the models might enhance accuracy in parameter estimates. Further, persons' tendencies not to respond can be considered person-specific attributes, which are relatively constant across different competence tests and also relate to other stable person characteristics. Findings from the third study confirmed the superiority of the model-based approaches compared to common missing data approaches, although a model that simply ignores missing values also led to acceptable results. Model-based approaches show serval advantages over common missing data approaches. Considering their complexity, however, the benefits and drawbacks from different methods need to be weighed. Important issues in the debate on an appropriate scaling method concern model complexity, consequences on examinees' test-taking behavior, and precision of parameter estimates. For many large-scale assessments, a change in the missing data treatment is clearly necessary. Whether model-based approaches will replace former methods is yet to be determined. They certainly count amongst the most advanced methods to handle missing values in the scaling of competence tests. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Analyzing organizational growth in repeated cross-sectional designs using multilevel structural […] Hochweber, Jan; Hartig, Johannes Journal Article | In: Methodology | 2017 37972 Endnote: Author(s): Hochweber, Jan; Hartig, Johannes
Title: Analyzing organizational growth in repeated cross-sectional designs using multilevel structural equation modeling
In: Methodology, 13 (2017) 3, S. 83-97
DOI: 10.1027/1614-2241/a000133
URN: urn:nbn:de:0111-pedocs-158678
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-158678
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Methodologie; Organisation; Wachstum; Längsschnittuntersuchung; Daten; Datenanalyse; Strukturgleichungsmodell; Mehrebenenanalyse; Latente Wachstumskurvenmodelle; PISA <Programme for International Student Assessment>; Simulation; Statistische Methode
Abstract (english): In repeated cross-sections of organizations, different individuals are sampled from the same set of organizations at each time point of measurement. As a result, common longitudinal data analysis methods (e.g., latent growth curve models) cannot be applied in the usual way. In this contribution, a multilevel structural equation modeling approach to analyze data from repeated cross-sections is presented. Results from a simulation study are reported which aimed at obtaining guidelines on appropriate sample sizes. We focused on a situation where linear growth occurs at the organizational level, and organizational growth is predicted by a single organizational level variable. The power to identify an effect of this organizational level variable was moderately to strongly positively related to number of measurement occasions, number of groups, group size, intraclass correlation, effect size, and growth curve reliability. The Type I error rate was close to the nominal alpha level under all conditions. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Durchführung, Datengrundlage, Erhebungsinstrumente und statistische Methoden Becker, Michael; Neumann, Marko; Radmann, Susanne; Jansen, Malte; Nagy, Gabriel; […] Book Chapter | Aus: Neumann, Marko; Becker, Michael; Baumert, Jürgen; Maaz, Kai; Köller, Olaf (Hrsg.): Zweigliedrigkeit im deutschen Schulsystem: Potenziale und Herausforderungen in Berlin | Münster: Waxmann | 2017 37457 Endnote: Author(s): Becker, Michael; Neumann, Marko; Radmann, Susanne; Jansen, Malte; Nagy, Gabriel; Borzikowsky, Christoph; Kropf, Michaela; Köller, Olaf; Maaz, Kai; Baumert, Jürgen
Title: Durchführung, Datengrundlage, Erhebungsinstrumente und statistische Methoden
In: Neumann, Marko; Becker, Michael; Baumert, Jürgen; Maaz, Kai; Köller, Olaf (Hrsg.): Zweigliedrigkeit im deutschen Schulsystem: Potenziale und Herausforderungen in Berlin, Münster: Waxmann, 2017 , S. 55-80
Publication Type: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Schulsystem; Sekundarbereich; Vergleich; Struktur; Reform; Datenerfassung; Datenanalyse; Statistische Methode; Forschungsdesign; Durchführung; Schüler; Schuljahr 09; Leistungstest; Stichprobe; Fehlende Daten; Vergleichsuntersuchung; Empirische Untersuchung; Berlin
Abstract: In diesem Kapitel wird die Datengrundlage für die Analyse des Vergleichs der Schülerinnen und Schüler in den beiden Berliner Sekundarschulsystemen vor und nach der Schulstrukturreform vorgestellt. Die beiden Untersuchungsgruppen bildeten Schülerinnen und Schüler des Schuljahres 2010/11 (Untersuchungsmodul 3; im Folgenden auch als "M3" oder als "Kontrollkohorte" bezeichnet) bzw. des Schuljahres 2013/14 (Untersuchungsmodul 2; im Folgenden auch "M2" oder "Reformkohorte" bezeichnet) im Sekundarschulsystem. Die untersuchte Schülerschaft befand sich entweder in der 9. Jahrgangsstufe des jeweiligen Schulsystems oder war Teil der Population 15-jähriger Schülerinnen und Schüler. Als Orientierung für die Instrumentierung dienten maßgeblich Instrumente aus dem Untersuchungsmodul 1 der BERLIN-Studie (Maaz, Baumert, Neumann, Becker, & Dumont, 2013), der Untersuchung Programme for International Student Assessment (PISA) aus dem Schuljahr 2005/06 (Prenzel, Artelt et al., 2007; Prenzel et al., 2008) sowie der Bildungsstandardsuntersuchung für die Sekundarstufe I aus dem Schuljahr 2008/09 (Köller, Knigge & Tesch, 2010). Im vorliegenden Kapitel wird zusammenfassend dargestellt, wie die BERLIN-Studie mit ihren Untersuchungsmodulen 2 und 3 angelegt wurde, um einen Vergleich der Kohorten vor und nach der Reform zu ermöglichen. Zunächst werden das grundlegende Design, die Beschreibung der spezifischen Populationen und Stichprobenziehungen und -gewichtungen beschrieben. Hierauf folgen eine Darstellung der realisierten Stichproben und ihrer Repräsentativität für die Jahrgänge sowie eine vergleichende Beschreibung der Stichproben der beiden Kohorten. Daran anschließend werden die statistischen Methoden zur Datenauswertung und zur Skalierung der Leistungswerte sowie der Umgang mit fehlenden Werten und der hierarchischen Datenstruktur beschrieben. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens