Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Testkonstruktion")

Digitales Lesen und papierbasiertes Lesen im nationalen Vergleich Goldhammer, Frank; Hahnel, Carolin; Kröhne, Ulf; Frey, Andreas; Ludewig, Ulrich Book Chapter | Aus: McElvany, Nele; Lorenz, Ramona; Frey, Andreas; Goldhammer, Frank; Schilcher, Anita; Stubbe, Andreas C. (Hrsg.): IGLU 2021: Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre | Münster: Waxmann | 2023 43958 Endnote: Author(s): Goldhammer, Frank; Hahnel, Carolin; Kröhne, Ulf; Frey, Andreas; Ludewig, Ulrich
Title: Digitales Lesen und papierbasiertes Lesen im nationalen Vergleich
In: McElvany, Nele; Lorenz, Ramona; Frey, Andreas; Goldhammer, Frank; Schilcher, Anita; Stubbe, Andreas C. (Hrsg.): IGLU 2021: Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre, Münster: Waxmann, 2023 , S. 89-109
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4700
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Bundesland; Deutschland; Digitale Medien; Grundschüler; Hypertext; IGLU <Internationale Grundschul-Lese-Untersuchung>; Leistungsmessung; Lesekompetenz; Leseverstehen; Printmedien; Schülerleistung; Schuljahr 04; Schwierigkeit; Testaufgabe; Testkonstruktion; Text; Veränderung; Vergleich; Wirkung
Abstract: Das vorliegende Kapitel untersucht für Deutschland anhand verschiedener Kriterien, ob die Aufgaben, die gleichermaßen in digitalPIRLS und paperPIRLS vorgegeben wurden, das Leseverständnis vergleichbar messen. An einem Teil der PIRLS-Schulen bearbeitete dazu neben der vierten Klasse mit digitalPIRLS-Testheften eine weitere vierte Klasse entsprechende PIRLS-Aufgaben in gedruckten Testheften. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

IGLU 2021. Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 […] McElvany, Nele; Lorenz, Ramona; Goldhammer, Frank; Schilcher, Anita; Stubbe, Tobias C. (Hrsg.) Compilation Book | Münster: Waxmann | 2023 43956 Endnote: Editor(s) McElvany, Nele; Lorenz, Ramona; Goldhammer, Frank; Schilcher, Anita; Stubbe, Tobias C.
Title: IGLU 2021. Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre
Published: Münster: Waxmann, 2023
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4700
Publication Type: Sammelbände; Werkeditionen (Herausgeberschaft); Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Bundesland; Curriculum; Deutschland; Differenzierung; Digitale Medien; Empirische Untersuchung; Erhebungsinstrument; Grundschule; Grundschüler; IGLU <Internationale Grundschul-Lese-Untersuchung>; Internationaler Vergleich; Junge; Klassenführung; Kognitive Aktivierung; Leistungsmessung; Lesekompetenz; Lesetest; Leseunterricht; Leseverhalten; Leseverstehen; Mädchen; Migrationshintergrund; Motivation; Schülerleistung; Schülerleistungstest; Schuljahr 04; Soziale Herkunft; Testdurchführung; Testkonstruktion; Validität; Wohlbefinden
Abstract: Lesekompetenz ist die zentrale Grundlage für das gesamte schulische sowie außerschulische Lernen, gesellschaftliche Teilhabe und den weiteren Lebensweg der Schülerinnen und Schüler. Sie ermöglicht es, Informationen aus schriftlichem Material zu entnehmen, Inhalte zu verknüpfen, Schlussfolgerungen zu ziehen und Inhalte, Quellen sowie Intentionen kritisch zu reflektieren. Seit nun 20 Jahren ermöglicht die Internationale Grundschul-Lese-Untersuchung (IGLU) die Beschreibung des Stands und der Bedingungsfaktoren der Schlüsselkompetenz Lesen am Ende der vierten Klassenstufe im internationalen Vergleich. Die Erhebung 2021 fand im Kontext besonderer Bedingungen statt: Es wurden Grundschulkinder in den Blick genommen, die etwas mehr als ein Jahr lang unter den Bedingungen der COVID-19-Pandemie-Schutzmaßnahmen beschult wurden. Erstmals können durch die kontinuierliche Studienteilnahme Deutschlands seit 2001 neben der wichtigen Kernfrage der internationalen Verortung der mittleren Lesekompetenz von Viertklässlerinnen und Viertklässlern in Deutschland Informationen zum Trend dieser Befunde für die Zeit von 20 Jahren dargestellt werden. Damit erlauben die Befunde von IGLU 2021 auch eine Antwort auf die drängende Frage, inwieweit es in Deutschland gelungen ist, die nach dem PISA-Schock 2000 durch die Kultusministerkonferenz formulierten Ziele für die Weiterentwicklung der Bildung in Deutschland zu erreichen. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Measurement invariance in relation to first language. An evaluation of German reading and spelling […] Visser, Linda; Cartschau, Friederike; Goldammer, Ariane von; Brandenburg, Janin; […] Journal Article | In: Applied Measurement in Education | 2023 43274 Endnote: Author(s): Visser, Linda; Cartschau, Friederike; Goldammer, Ariane von; Brandenburg, Janin; Timmerman, Marieke; Hasselhorn, Marcus; Mähler, Claudia
Title: Measurement invariance in relation to first language. An evaluation of German reading and spelling tests
In: Applied Measurement in Education, 36 (2023) 2, S. 115-131
DOI: 10.1080/08957347.2023.2201701
URL: https://www.tandfonline.com/doi/full/10.1080/08957347.2023.2201701
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Bewertung; deutsch; Deutsch als Zweitsprache; Deutschland; Faktorenanalyse; Grundschule; Lesen; Lesetest; Messung; Muttersprache; Rechtschreibtest; Rechtschreibung; Reliabilität; Sekundarstufe I; Testkonstruktion; Textverständnis; Varianzanalyse; Vergleich
Abstract (english): The growing number of children in primary schools in Germany who have German as their second language (L2) has raised questions about the fairness of performance assessment. Fair tests are a prerequisite for distinguishing between L2 learning delay and a specific learning disability. We evaluated five commonly-used reading and spelling tests for measurement invariance (MI) as a function of first language (German vs. other). Multi-group confirmatory factor analyses revealed strict MI for the Weingarten Basic Vocabulary Spelling Tests (WRTs) 3+ and 4+ and the Salzburger Reading (SLT) and Spelling (SRT) Tests, suggesting these instruments are suitable for assessing reading and spelling skills regardless of first language. The MI for A Reading Comprehension Test for First to Seventh Graders - 2nd Edition (ELFE II) was partly strict with unequal intercepts for the text subscale. We discuss the implications of this finding for assessing reading performance of children with L2. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung

Kompetenzdiagnostik Frey, Andreas; Hartig, Johannes Book Chapter | Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik | Münster: Waxmann | 2022 42714 Endnote: Author(s): Frey, Andreas; Hartig, Johannes
Title: Kompetenzdiagnostik
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 928-937
Publication Type: Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Empirische Forschung; Kompetenz; Diagnostik; Schüler; Schullaufbahn; Schülerleistung; Leistungsmessung; Testkonstruktion; Testtheorie; Testauswertung; Psychometrie; Qualität; Testdurchführung; Planung; Datenanalyse; Interpretation
Abstract: Mit dem vorliegenden Beitrag wird das Feld der Kompetenzdiagnostik zusammenfassend dargestellt. Konkret wird dabei beschrieben, (a) was unter Kompetenzdiagnostik zu verstehen ist und welche Ziele mit ihr verfolgt werden, (b) wie Kompetenztests entwickelt und (c) wie sie angewendet werden. Das Kapitel schließt mit einem zusammenfassenden Fazit und einem Ausblick auf künftige Entwicklungsmöglichkeiten im Bereich Kompetenzdiagnostik. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Disengaged response behavior when the response button is blocked. Evaluation of a micro-intervention Persic-Beck, Lothar; Goldhammer, Frank; Kroehne, Ulf Journal Article | In: Frontiers in Psychology. Section Quantitative Psychology and Measurement | 2022 43065 Endnote: Author(s): Persic-Beck, Lothar; Goldhammer, Frank; Kroehne, Ulf
Title: Disengaged response behavior when the response button is blocked. Evaluation of a micro-intervention
In: Frontiers in Psychology. Section Quantitative Psychology and Measurement, 13 (2022) , S. 954532
DOI: 10.3389/fpsyg.2022.954532
URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2022.954532/full
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Antwort; Datenanalyse; Dauer; Effektivität; Einflussfaktor; Erwachsener; Evaluation; Frage; Intervention; Kompetenz; Leistungstest; Logdatei; Messung; Motivation; Technologiebasiertes Testen; Testkonstruktion; Validität; Verhalten; Verhaltensänderung
Abstract (english): In large-scale assessments, disengaged participants might rapidly guess on items or skip items, which can affect the score interpretation's validity. This study analyzes data from a linear computer-based assessment to evaluate a micro-intervention that blocked the possibility to respond for 2 s. The blocked response was implemented to prevent participants from accidental navigation and as a naive attempt to prevent rapid guesses and rapid omissions. The response process was analyzed by interpreting log event sequences within a finite-state machine approach. Responses were assigned to different response classes based on the event sequence. Additionally, post hoc methods for detecting rapid responses based on response time thresholds were applied to validate the classification. Rapid guesses and rapid omissions could be distinguished from accidental clicks by the log events following the micro-intervention. Results showed that the blocked response interfered with rapid responses but hardly led to behavioral changes. However, the blocked response could improve the post hoc detection of rapid responding by identifying responses that narrowly exceed time-bound thresholds. In an assessment context, it is desirable to prevent participants from accidentally skipping items, which in itself may lead to an increasing popularity of initially blocking responses. If, however, data from those assessments is analyzed for rapid responses, additional log data information should be considered.
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

On the speed sensitivity parameter in the lognormal model for response times. Implications for test […] Becker, Benjamin; Debeer, Dries; Weirich, Sebastian; Goldhammer, Frank Journal Article | In: Applied Psychological Measurement | 2021 42009 Endnote: Author(s): Becker, Benjamin; Debeer, Dries; Weirich, Sebastian; Goldhammer, Frank
Title: On the speed sensitivity parameter in the lognormal model for response times. Implications for test assembly
In: Applied Psychological Measurement, 45 (2021) 6, S. 407-422
DOI: 10.1177/01466216211008530
URL: https://journals.sagepub.com/doi/abs/10.1177/01466216211008530
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Software; Technologiebasiertes Testen; Messverfahren; Item-Response-Theory; Leistungstest; Frage; Antwort; Dauer; Einflussfaktor; Testkonstruktion; Modell; Vergleich; Testtheorie; Simulation
Abstract: In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
Abstract (english): In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Model‐based treatment of rapid guessing Deribo, Tobias; Kröhne, Ulf; Goldhammer, Frank Journal Article | In: Journal of Educational Measurement | 2021 41271 Endnote: Author(s): Deribo, Tobias; Kröhne, Ulf; Goldhammer, Frank
Title: Model‐based treatment of rapid guessing
In: Journal of Educational Measurement, 58 (2021) 2, S. 281-303
DOI: 10.1111/jedm.12290
URL: https://onlinelibrary.wiley.com/doi/10.1111/jedm.12290?af=R
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Leistungstest; Testkonstruktion; Messverfahren; Computerunterstütztes Verfahren; Frage; Antwort; Verhalten; Dauer; Problemlösen; Modell; Student; Medienkompetenz; Item-Response-Theory; Multiple-Choice-Verfahren; Validität; Panel; Längsschnittuntersuchung
Abstract (english): The increased availability of time-related information as a result of computer-based assessment has enabled new ways to measure test-taking engagement. One of these ways is to distinguish between solution and rapid guessing behavior. Prior research has recommended response-level filtering to deal with rapid guessing. Response-level filtering can lead to parameter bias if rapid guessing depends on the measured trait or (un-)observed covariates. Therefore, a model based on Mislevy and Wu (1996) was applied to investigate the assumption of ignorable missing data underlying response-level filtering. The model allowed us to investigate different approaches to treating response-level filtered responses in a single framework through model parameterization. The study found that lower-ability test-takers tend to rapidly guess more frequently and are more likely to be unable to solve an item they guessed on, indicating a violation of the assumption of ignorable missing data underlying response-level filtering. Further ability estimation seemed sensitive to different approaches to treating response-level filtered responses. Moreover, model-based approaches exhibited better model fit and higher convergent validity evidence compared to more naïve treatments of rapid guessing. The results illustrate the need to thoroughly investigate the assumptions underlying specific treatments of rapid guessing as well as the need for robust methods. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

From byproduct to design factor. On validating the interpretation of process indicators based on […] Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf; Zehner, Fabian Journal Article | In: Large-scale Assessments in Education | 2021 41612 Endnote: Author(s): Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf; Zehner, Fabian
Title: From byproduct to design factor. On validating the interpretation of process indicators based on log data
In: Large-scale Assessments in Education, 9 (2021) , S. 20
DOI: 10.1186/s40536-021-00113-5
URN: urn:nbn:de:0111-pedocs-250050
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-250050
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Leistungstest; Logdatei; PISA <Programme for International Student Assessment>; PIAAC <Programme for the International Assessment of Adult Competencies>; Datenanalyse; Interpretation; Leistungsmessung; Messverfahren; Indikator; Typologie; Testkonstruktion; Testtheorie
Abstract (english): International large-scale assessments such as PISA or PIAAC have started to provide public or scientific use files for log data; that is, events, event-related attributes and timestamps of test-takers' interactions with the assessment system. Log data and the process indicators derived from it can be used for many purposes. However, the intended uses and interpretations of process indicators require validation, which here means a theoretical and/or empirical justification that inferences about (latent) attributes of the test-taker's work process are valid. This article reviews and synthesizes measurement concepts from various areas, including the standard assessment paradigm, the continuous assessment approach, the evidence-centered design (ECD) framework, and test validation. Based on this synthesis, we address the questions of how to ensure the valid interpretation of process indicators by means of an evidence-centered design of the task situation, and how to empirically challenge the intended interpretation of process indicators by developing and implementing correlational and/or experimental validation strategies. For this purpose, we explicate the process of reasoning from log data to low-level features and process indicators as the outcome of evidence identification. In this process, contextualizing information from log data is essential in order to reduce interpretative ambiguities regarding the derived process indicators. Finally, we show that empirical validation strategies can be adapted from classical approaches investigating the nomothetic span and construct representation. Two worked examples illustrate possible validation strategies for the design phase of measurements and their empirical evaluation. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Testwertinterpretation, Testnormen und Testeichung Goldhammer, Frank; Hartig, Johannes Book Chapter | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020 40528 Endnote: Author(s): Goldhammer, Frank; Hartig, Johannes
Title: Testwertinterpretation, Testnormen und Testeichung
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 171-195
DOI: 10.1007/978-3-662-61532-4_9
URL: https://link.springer.com/chapter/10.1007/978-3-662-61532-4_9
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Test; Wert; Interpretation; Testkonstruktion; Konzeption; Datenanalyse; Testauswertung; Testtheorie; Normung
Abstract: In diesem Kapitel werden verschiedene Möglichkeiten beschrieben, wie ein Testergebnis bzw. Testwert deskriptivstatistisch interpretiert werden kann. Bei der normorientierten Interpretation wird der Testwert in einen Normwert transformiert, der einen Vergleich mit den Testwerten anderer Personen einer Bezugsgruppe (den Testnormen) erlaubt. Die Testnormen werden im Wege der Testeichung an einer repräsentativen Eichstichprobe gewonnen. Sofern genauere theoretische Vorstellungen bestehen, kann das Testergebnis auch mit einem inhaltlich definierten Kriterium in Bezug gesetzt werden. Dieser Vorgang wird als kriteriumsorientierte Interpretation bezeichnet. Beide Interpretationsarten können auch miteinander verbunden werden. (DIPF/Orig.)
Abstract: In diesem Kapitel werden verschiedene Möglichkeiten beschrieben, wie ein Testergebnis bzw. Testwert deskriptivstatistisch interpretiert werden kann. Bei der normorientierten Interpretation wird der Testwert in einen Normwert transformiert, der einen Vergleich mit den Testwerten anderer Personen einer Bezugsgruppe (den Testnormen) erlaubt. Die Testnormen werden im Wege der Testeichung an einer repräsentativen Eichstichprobe gewonnen. Sofern genauere theoretische Vorstellungen bestehen, kann das Testergebnis auch mit einem inhaltlich definierten Kriterium in Bezug gesetzt werden. Dieser Vorgang wird als kriteriumsorientierte Interpretation bezeichnet. Beide Interpretationsarten können auch miteinander verbunden werden. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Computerbasiertes Assessment Goldhammer, Frank; Kröhne, Ulf Book Chapter | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020 40530 Endnote: Author(s): Goldhammer, Frank; Kröhne, Ulf
Title: Computerbasiertes Assessment
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 119-141
DOI: 10.1007/978-3-662-61532-4_6
URL: https://link.springer.com/chapter/10.1007/978-3-662-61532-4_6
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Datenanalyse; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Testverfahren; Psychologische Forschung; Sozialwissenschaften; Definition; Beispiel; Konzeption; Antwort; Datenerfassung; Interaktion; Bewertung; Testkonstruktion; Evidenz; Software; Fragebogen; Messverfahren
Abstract: Das Kapitel gibt einen Überblick, wie mit Hilfe von Computern im weiteren Sinne Tests und Fragebogen realisiert und dabei die Möglichkeiten von klassischen Papier-und-Bleistift-Verfahren erweitert bzw. deutlich überschritten werden können. Dies betrifft beispielsweise die Entwicklung computerbasierter Items mit innovativen Antwortformaten und multimedialen Stimuli sowie die automatische Bewertung des gezeigten Antwortverhaltens. Des Weiteren ermöglicht der Computer eine flexiblere Testzusammenstellung, d. h., Items können automatisch unter Berücksichtigung inhaltlicher und statistischer Kriterien sequenziert werden. Das Kapitel behandelt außerdem die Frage, wie durch Logfiledaten das Analysepotential gesteigert und durch die automatische und zeitnahe Rückmeldung von Testdaten beispielsweise das Lernen unterstützt werden kann. Das Kapitel schließt mit Hinweisen auf einschlägige und frei zugängliche Softwarelösungen für Assessmentzwecke. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation