-
-
Autor*innen: Feldhoff, Tobias; Wurster, Sebastian; Rettinger, Tanja; Hausen, Joshua; Neumann, Marko
Titel: Steuerung und Qualitätsentwicklung im Bremer Schulsystem
Aus: Maaz, Kai; Hasselhorn, Marcus; Idel, Till-Sebastian; Klieme, Eckhard; Lütje-Klose, Birgit; Stanat, Petra; Neumann, Marko; Bachsleitner, Anna; Lühe, Josefine; Schipolowski, Stefan (Hrsg.): Zweigliedrigkeit und Inklusion im empirischen Fokus: Ergebnisse der Evaluation der Bremer Schulreform, Münster: Waxmann, 2019 , S. 177-216
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schulleitung; Schulaufsicht; Befragung; Empirische Untersuchung; Expertise; Bremen; Deutschland; Schulsystem; Qualitätsentwicklung; Steuerung; Schulentwicklung; Qualitätssicherung; Verfahren; Lernstandserhebung; Evaluation; Zentrale Prüfung; Schulstatistik; Daten; Bewertung; Nutzung; Schule; Selbstverantwortung; Schulprogramm; Akteur; Kooperation; Unterstützung
Abstract: Gegenstand des vorliegenden Kapitels ist die Steuerung und Qualitätsentwicklung des Bremer Schulsystems aus der Perspektive der Schulleitungen und Schulaufsichten. Im Zentrum des ersten Themenschwerpunkts steht dabei die Bewertung und Nutzung der verschiedenen im Land Bremen vorhandenen Instrumente der Qualitätssicherung und -entwicklung (z.B. Vergleichsarbeiten, interne Evaluation, Schulprogramm etc.). Im zweiten Themenschwerpunkt werden Befunde zur Zusammenarbeit zwischen Schulen und Schulaufsicht sowie zur wahrgenommenen Unterstützung der Qualitätsentwicklung in Schulen durch das Landesinstitut für Schule (LIS, Bremen), das Lehrerfortbildungsinstitut (LFI, Bremerhaven) und die Senatorin für Kinder und Bildung (SKB) als oberste Landesbehörde berichtet. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation; Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Titel: Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract: In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Leser, Christoph; Jornitz, Sieglinde
Titel: Delegation und Entgrenzung. Zur Bedeutung der Diagnostik in der Sonderpädagogik
Aus: Ellinger, Stephan; Schott-Leser, Hannah (Hrsg.): Rekonstruktionen sonderpädagogischer Praxis: Eine Fallsammlung für die Lehrerbildung, Opladen: Budrich, 2019 , S. 103-126
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Sonderpädagogik; Diagnostik; Förderschule; Sprachheilschule; Sonderpädagoge; Reflexion <Phil>; Fallbeispiel; Schüler; Verhaltensauffälligkeit; Mutter; Kommunikation; Sonderschullehrer; Pädagogisches Handeln; Verantwortung; Supervision; Protokoll; Analyse
Abstract: Der Beitrag befasst sich mit dem Phänomen von Delegation und Entgrenzung in der sonderpädagogischen Praxis. Den Kern bildet die rekonstruktionslogische Analyse eines Supervisionsprotokolls. In der Supervision tauschen sich Lehrerinnen über ihre Praxis aus und versuchen Wege aus den geschilderten Krisen zu finden. Das in der Sonderpädagogik verbreitete Instrument der Diagnostik wird dabei oftmals nicht dazu genutzt, zielgenauer pädagogisch mit dem Kind zu arbeiten, sondern es dient dazu, die Delegation des Kindes an eine andere Einrichtung zu legitimieren. Damit verkehrt sich das Instrument in sein Gegenteil.
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Frey, Andreas; Spoden, Christian; Goldhammer, Frank; Wenzel, S. Franziska C.
Titel: Response time-based treatment of omitted responses in computer-based testing
In: Behaviormetrika, 45 (2018) 2, S. 505-526
DOI: 10.1007/s41237-018-0073-9
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Methode; Technologiebasiertes Testen; Antwort; Dauer; Verhalten; Item-Response-Theory; Fehlende Daten; Datenanalyse; Testaufgabe; Typologie; Medienkompetenz; Schülerleistungstest; Testauswertung
Abstract: A new response time-based method for coding omitted item responses in computer-based testing is introduced and illustrated with empirical data. The new method is derived from the theory of missing data problems of Rubin and colleagues and embedded in an item response theory framework. Its basic idea is using item response times to statistically test for each individual item whether omitted responses are missing completely at random (MCAR) or missing due to a lack of ability and, thus, not at random (MNAR) with fixed type-1 and type-2 error levels. If the MCAR hypothesis is maintained, omitted responses are coded as not administered (NA), and as incorrect (0) otherwise. The empirical illustration draws from the responses given by N = 766 students to 70 items of a computer-based ICT skills test. The new method is compared with the two common deterministic methods of scoring omitted responses as 0 or as NA. In result, response time thresholds from 18 to 58 s were identified. With 61%, more omitted responses were recoded into 0 than into NA (39%). The differences in difficulty were larger when the new method was compared to deterministically scoring omitted responses as NA compared to scoring omitted responses as 0. The variances and reliabilities obtained under the three methods showed small differences. The paper concludes with a discussion of the practical relevance of the observed effect sizes, and with recommendations for the practical use of the new method as a method to be applied in the early stage of data processing. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Kroehne, Ulf; Goldhammer, Frank
Titel: How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items
In: Behaviormetrika, 45 (2018) 2, S. 527-563
DOI: 10.1007/s41237-018-0063-y
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Bildungsforschung; Empirische Forschung; Logdatei; Datenanalyse; Technologiebasiertes Testen; PISA <Programme for International Student Assessment>; Fragebogen; Konzeption; Testkonstruktion; Daten; Typologie; Hardware; Antwort; Verhalten; Dauer; Interaktion; Mensch-Maschine-Kommunikation; Indikator
Abstract: Log data from educational assessments attract more and more attention and large-scale assessment programs have started providing log data as scientific use files. Such data generated as a by-product of computer-assisted data collection has been known as paradata in survey research. In this paper, we integrate log data from educational assessments into a taxonomy of paradata. To provide a generic framework for the analysis of log data, finite state machines are suggested. Beyond its computational value, the specific benefit of using finite state machines is achieved by separating platform-specific log events from the definition of indicators by states. Specifically, states represent filtered log data given a theoretical process model, and therefore, encode the information of log files selectively. The approach is empirically illustrated using log data of the context questionnaires of the Programme for International Student Assessment (PISA). We extracted item-level response time components from questionnaire items that were administered as item batteries with multiple questions on one screen and related them to the item responses. Finally, the taxonomy and the finite state machine approach are discussed with respect to the definition of complete log data, the verification of log data and the reproducibility of log data analyses. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Titel: Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
In: Large-scale Assessments in Education, 6 (2018) 6:7
DOI: 10.1186/s40536-018-0060-3
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-018-0060-3
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Schüler; Lesefertigkeit; Geschlechtsspezifischer Unterschied; Lesetest; Antwort; Analyse; Kognitive Prozesse; PISA <Programme for International Student Assessment>; Sekundäranalyse; Deutschland
Abstract (english): Background: The gender gap in reading literacy is repeatedly found in large-scale assessments. This study compared girls' and boys' text responses in a reading test applying natural language processing. For this, a theoretical framework was compiled that allows mapping of response features to the preceding cognitive components such as micro- and macropropositions from the situation model.
Methods: In total, n = 33,604 responses from the German sample of the Programme for International Student Assessment (PISA) 2012 reading test have been analyzed for characterizing the genders' typical cognitive approaches. The analyses mainly explored the gender gap by contrasting groups of responses typical for either gender. These gender-specific responses characterize the typical responding of the genders to PISA reading questions.
Results: Responses typical for girls contained three to five more proposition entities from the situation model, irrespective of the response correctness. They integrated more relevant propositions and constituted better fits to the question focus. That means, in answering questions which ask for explicit information from the stimulus text, the typical girl responses appropriately encompassed more micropropositions, and typical boy responses tended to include more macropropositions-vice versa for questions requesting implicit information.
Conclusion: It appears that typical boy responses to PISA reading questions are characterized by struggling with retrieving and integrating propositions from the situation model. The typical girl liberally juggles these to formulate the responses. The results demonstrate that text responses are a neglected but informative source for educational large-scale assessments made accessible through natural language processing.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Jude, Nina; Kuger, Susanne
Titel: Questionnaire development and design for international large-scale asessments (ILSAs) Current practice, challenges, and recommendations
Erscheinungsvermerk: Washington; DC: National Academy of Education, 2018
URL: http://naeducation.org/wp-content/uploads/2018/02/2018-Questionnaire-Design-for-ILSA_v02-1.pdf
Dokumenttyp: 5. Arbeits- und Diskussionspapiere; Stellungnahme/Positionspapier
Sprache: Englisch
Schlagwörter: Konzeption; Fragebogen; Bildungsforschung; Empirische Forschung; Indikator; Schülerleistung; Motivation; Messverfahren; Erhebungsinstrument; Computerunterstütztes Verfahren; Anpassung; Übersetzung; Sozioökonomische Lage; Heterogenität; Inklusion; Antwort; Fehlende Daten; Validität; Daten; Dokumentation; Vergleichsuntersuchung; Internationaler Vergleich
Abstract: This paper summarizes the latest practices and research topics in questionnaire use for international large-scale assessments (ILSAs). We point to the most important aspects in questionnaire design and development for international studies and highlight current challenges for the cross-cultural measurement of context factors in education. Finally, we open the discussion for research and policy issues that might lead to recommendations concerning an improved usage of context questionnaires in future studies. While we provide insight into a range of different studies, many of our examples will focus on the Program for International Student Assessment (PISA), one of the best known ILSAs and our area of expertise. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Dirk, Judith; Kratzsch, Gesa Katharina; Prindle, John P.; Kröhne, Ulf; Goldhammer, Frank; Schmiedek, Florian
Titel: Paper-based assessment of the effects of aging on response time in processing speed. A diffusion model analysis
In: Journal of Intelligence, 5 (2017) 2, S. 1-16
DOI: 10.3390/jintelligence5020012
URN: urn:nbn:de:0111-dipfdocs-191786
URL: http://www.dipfdocs.de/volltexte/2020/19178/pdf/jintelligence_2017_2_Dirk_et_al_Paper-based_assessment_of_the_effects_of_aging_on_response_time_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Alter Mensch; Altern; Antwort; Deutschland; Empirische Untersuchung; Junger Erwachsener; Kognitionspsychologie; Leistung; Messung; Modell; Vergleichsuntersuchung; Zeit
Abstract: The effects of aging on response time were examined in a paper-based lexical-decision experiment with younger (age 18-36) and older (age 64-75) adults, applying Ratcliff's diffusion model. Using digital pens allowed the paper-based assessment of response times for single items. Age differences previously reported by Ratcliff and colleagues in computer-based experiments were partly replicated: older adults responded more conservatively than younger adults and showed a slowing of their nondecision components of RT by 53 ms. The rates of evidence accumulation (drift rate) showed no age-related differences. Participants with a higher score in a vocabulary test also had higher drift rates. The experiment demonstrates the possibility to use formal processing models with paper-based tests. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung; Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Martens, Thomas; Lüdtke, Oliver
Titel: Conditioning factors of test-taking engagement in PIAAC. An exploratory IRT modelling approach considering person and item characteristics
In: Large-scale Assessments in Education, 5 (2017) , S. 18
DOI: 10.1186/s40536-017-0051-9
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-017-0051-9
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Antwort; Einflussfaktor; Erwachsener; Item-Response-Theory; Kanada; Längsschnittuntersuchung; Leistungstest; Lesekompetenz; Mathematische Kompetenz; Messung; Motivation; PIAAC (Programme for the International Assessment of Adult Competencies); Problemlösen; Selbstkonzept; Technologiebasiertes Testen; Verhalten
Abstract: Background: A potential problem of low-stakes large-scale assessments such as the Programme for the International Assessment of Adult Competencies (PIAAC) is low test-taking engagement. The present study pursued two goals in order to better understand conditioning factors of test-taking disengagement: First, a model-based approach was used to investigate whether item indicators of disengagement constitute a continuous latent person variable by domain. Second, the effects of person and item characteristics were jointly tested using explanatory item response models. Methods: Analyses were based on the Canadian sample of Round 1 of the PIAAC, with N = 26,683 participants completing test items in the domains of literacy, numeracy, and problem solving. Binary item disengagement indicators were created by means of item response time thresholds. Results: The results showed that disengagement indicators define a latent dimension by domain. Disengagement increased with lower educational attainment, lower cognitive skills, and when the test language was not the participant's native language. Gender did not exert any effect on disengagement, while age had a positive effect for problem solving only. An item's location in the second of two assessment modules was positively related to disengagement, as was item difficulty. The latter effect was negatively moderated by cognitive skill, suggesting that poor test-takers are especially likely to disengage with more difficult items. Conclusions: The negative effect of cognitive skill, the positive effect of item difficulty, and their negative interaction effect support the assumption that disengagement is the outcome of individual expectations about success (informed disengagement). (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Steinwascher, Merle A.; Kroehne, Ulf; Naumann, Johannes
Titel: Modeling individual response time effects between and within experimental speed conditions. A GLMM approach for speeded tests
In: British Journal of Mathematical and Statistical Psychology, 70 (2017) 2, S. 238-256
DOI: 10.1111/bmsp.12099
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Test; Testkonstruktion; Antwort; Dauer; Unterschied; Messverfahren; Entscheidung; Einflussfaktor; Fehler; Modell; Vergleich
Abstract: Completing test items under multiple speed conditions avoids the performance measure being confounded with individual differences in the speed-accuracy compromise, and offers insights into the response process, that is, how response time relates to the probability of a correct response. This relation is traditionally represented by two conceptually different functions: the speed-accuracy trade-off function (SATF) across conditions relating the condition average response time to the condition average of accuracy, and the conditional accuracy function (CAF) within a condition describing accuracy conditional on response time. Using a generalized linear mixed modelling approach, we propose an item response modelling framework that is suitable for item response and response time data from experimental speed conditions. The proposed SATF and CAF model accommodates response time effects between conditions (i.e., person and item SATF slope) and within conditions (i.e., residual CAF slopes), captures person and item differences in these effects, and is suitable for measures with a strong speed component. Moreover, for a single condition a CAF model is proposed distinguishing person, item and residual CAF. The properties of the models are illustrated with an empirical example. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation