Ergebnis der Suche in der DIPF Publikationendatenbank

Ihre Abfrage:

(Schlagwörter: "Testkonstruktion")

Kompetenzdiagnostik Frey, Andreas; Hartig, Johannes Sammelbandbeitrag | Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik | Münster: Waxmann | 2022 42714 Endnote: Autor*innen: Frey, Andreas; Hartig, Johannes
Titel: Kompetenzdiagnostik
Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2022 , S. 928-937
Dokumenttyp: 4. Beiträge in Sammelbänden; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Empirische Forschung; Kompetenz; Diagnostik; Schüler; Schullaufbahn; Schülerleistung; Leistungsmessung; Testkonstruktion; Testtheorie; Testauswertung; Psychometrie; Qualität; Testdurchführung; Planung; Datenanalyse; Interpretation
Abstract: Mit dem vorliegenden Beitrag wird das Feld der Kompetenzdiagnostik zusammenfassend dargestellt. Konkret wird dabei beschrieben, (a) was unter Kompetenzdiagnostik zu verstehen ist und welche Ziele mit ihr verfolgt werden, (b) wie Kompetenztests entwickelt und (c) wie sie angewendet werden. Das Kapitel schließt mit einem zusammenfassenden Fazit und einem Ausblick auf künftige Entwicklungsmöglichkeiten im Bereich Kompetenzdiagnostik. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

On the speed sensitivity parameter in the lognormal model for response times. Implications for test […] Becker, Benjamin; Debeer, Dries; Weirich, Sebastian; Goldhammer, Frank Zeitschriftenbeitrag | In: Applied Psychological Measurement | 2021 42009 Endnote: Autor*innen: Becker, Benjamin; Debeer, Dries; Weirich, Sebastian; Goldhammer, Frank
Titel: On the speed sensitivity parameter in the lognormal model for response times. Implications for test assembly
In: Applied Psychological Measurement, 45 (2021) 6, S. 407-422
DOI: 10.1177/01466216211008530
URL: https://journals.sagepub.com/doi/abs/10.1177/01466216211008530
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Software; Technologiebasiertes Testen; Messverfahren; Item-Response-Theory; Leistungstest; Frage; Antwort; Dauer; Einflussfaktor; Testkonstruktion; Modell; Vergleich; Testtheorie; Simulation
Abstract: In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
Abstract (english): In high-stakes testing, often multiple test forms are used and a common time limit is enforced. Test fairness requires that ability estimates must not depend on the administration of a specific test form. Such a requirement may be violated if speededness differs between test forms. The impact of not taking speed sensitivity into account on the comparability of test forms regarding speededness and ability estimation was investigated. The lognormal measurement model for response times by van der Linden was compared with its extension by Klein Entink, van der Linden, and Fox, which includes a speed sensitivity parameter. An empirical data example was used to show that the extended model can fit the data better than the model without speed sensitivity parameters. A simulation was conducted, which showed that test forms with different average speed sensitivity yielded substantial different ability estimates for slow test takers, especially for test takers with high ability. Therefore, the use of the extended lognormal model for response times is recommended for the calibration of item pools in high-stakes testing situations. Limitations to the proposed approach and further research questions are discussed. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

Model‐based treatment of rapid guessing Deribo, Tobias; Kröhne, Ulf; Goldhammer, Frank Zeitschriftenbeitrag | In: Journal of Educational Measurement | 2021 41271 Endnote: Autor*innen: Deribo, Tobias; Kröhne, Ulf; Goldhammer, Frank
Titel: Model‐based treatment of rapid guessing
In: Journal of Educational Measurement, 58 (2021) 2, S. 281-303
DOI: 10.1111/jedm.12290
URL: https://onlinelibrary.wiley.com/doi/10.1111/jedm.12290?af=R
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Leistungstest; Testkonstruktion; Messverfahren; Computerunterstütztes Verfahren; Frage; Antwort; Verhalten; Dauer; Problemlösen; Modell; Student; Medienkompetenz; Item-Response-Theory; Multiple-Choice-Verfahren; Validität; Panel; Längsschnittuntersuchung
Abstract (english): The increased availability of time-related information as a result of computer-based assessment has enabled new ways to measure test-taking engagement. One of these ways is to distinguish between solution and rapid guessing behavior. Prior research has recommended response-level filtering to deal with rapid guessing. Response-level filtering can lead to parameter bias if rapid guessing depends on the measured trait or (un-)observed covariates. Therefore, a model based on Mislevy and Wu (1996) was applied to investigate the assumption of ignorable missing data underlying response-level filtering. The model allowed us to investigate different approaches to treating response-level filtered responses in a single framework through model parameterization. The study found that lower-ability test-takers tend to rapidly guess more frequently and are more likely to be unable to solve an item they guessed on, indicating a violation of the assumption of ignorable missing data underlying response-level filtering. Further ability estimation seemed sensitive to different approaches to treating response-level filtered responses. Moreover, model-based approaches exhibited better model fit and higher convergent validity evidence compared to more naïve treatments of rapid guessing. The results illustrate the need to thoroughly investigate the assumptions underlying specific treatments of rapid guessing as well as the need for robust methods. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

From byproduct to design factor. On validating the interpretation of process indicators based on […] Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf; Zehner, Fabian Zeitschriftenbeitrag | In: Large-scale Assessments in Education | 2021 41612 Endnote: Autor*innen: Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf; Zehner, Fabian
Titel: From byproduct to design factor. On validating the interpretation of process indicators based on log data
In: Large-scale Assessments in Education, (2021) , S. 9:20
DOI: 10.1186/s40536-021-00113-5
URN: urn:nbn:de:0111-pedocs-250050
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-250050
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Leistungstest; Logdatei; PISA <Programme for International Student Assessment>; PIAAC <Programme for the International Assessment of Adult Competencies>; Datenanalyse; Interpretation; Leistungsmessung; Messverfahren; Indikator; Typologie; Testkonstruktion; Testtheorie
Abstract (english): International large-scale assessments such as PISA or PIAAC have started to provide public or scientific use files for log data; that is, events, event-related attributes and timestamps of test-takers' interactions with the assessment system. Log data and the process indicators derived from it can be used for many purposes. However, the intended uses and interpretations of process indicators require validation, which here means a theoretical and/or empirical justification that inferences about (latent) attributes of the test-taker's work process are valid. This article reviews and synthesizes measurement concepts from various areas, including the standard assessment paradigm, the continuous assessment approach, the evidence-centered design (ECD) framework, and test validation. Based on this synthesis, we address the questions of how to ensure the valid interpretation of process indicators by means of an evidence-centered design of the task situation, and how to empirically challenge the intended interpretation of process indicators by developing and implementing correlational and/or experimental validation strategies. For this purpose, we explicate the process of reasoning from log data to low-level features and process indicators as the outcome of evidence identification. In this process, contextualizing information from log data is essential in order to reduce interpretative ambiguities regarding the derived process indicators. Finally, we show that empirical validation strategies can be adapted from classical approaches investigating the nomothetic span and construct representation. Two worked examples illustrate possible validation strategies for the design phase of measurements and their empirical evaluation. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

Forschungsinstrumente im Kontext institutioneller (schrift-)sprachlicher Bildung Mackowiak, Katja; Beckerle, Christine; Gentrup, Sarah; Titz, Cora (Hrsg.) Sammelband | Bad Heilbrunn: Klinkhardt | 2020 40628 Endnote: Herausgeber*innen: Mackowiak, Katja; Beckerle, Christine; Gentrup, Sarah; Titz, Cora
Titel: Forschungsinstrumente im Kontext institutioneller (schrift-)sprachlicher Bildung
Erscheinungsvermerk: Bad Heilbrunn: Klinkhardt, 2020
DOI: doi.org/1035468/5801
URN: urn:nbn:de:0111-pedocs-201399
URL: https://www.pedocs.de/frontdoor.php?source_opus=20139
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Aktivierung; Anwendung; Auswertung; Baden-Württemberg; Bayern; Beobachtung; Beobachtungsmethode; Berufliche Kompetenz; Bewertung; Bildungsforschung; Bildungspraxis; Datenerfassung; Deutschland; Deutschunterricht; Diagnostik; Dokumentation; Empirische Forschung; Erhebungsinstrument; Erzieher; Erzieherin; Fachdidaktik; Fachsprache; Fachunterricht; Fachwissen; Feed-back; Förderdiagnostik; Förderung; Forschung; Forschungsmethode; Fragebogen; Grundschule; Handlungskompetenz; Instrument; Interview; Kind; Kindergarten; Kindergartenalltag; Kindergartenpädagogik; Kindertagesstätte; Kompetenz; Kompetenzmessung; Korrektur; Längsschnittuntersuchung; Lehramtsstudent; Lehrer; Lehrer-Schüler-Interaktion; Leitfadeninterview; Leseförderung; Lesekompetenz; Mathematikunterricht; Messinstrument; Methode; Nordrhein-Westfalen; Pädagogische Fachkraft; Pädagogisches Handeln; Primarbereich; Profession; Professionalisierung; Protokoll; Psychometrie; Qualitative Forschung; Quantitative Forschung; Reflexion <Phil>; Sachsen-Anhalt; Schriftsprache; Schule; Schüler; Schülermitarbeit; Sekundarstufe I; Software; Sprachbildung; Sprachdiagnostik; Spracherwerb; Sprachförderung; Sprachgebrauch; Sprachkompetenz; Sprachpraktische Übung; Sprachstandsforschung; Test; Testkonstruktion; Testvalidität; Testverfahren; Transfer; Unterricht; Videoanalyse; Videoaufzeichnung; Vignette <Methode>; Wissen; Wissenstest
Abstract: Das Buch stellt sieben Verfahren vor, die unterschiedliche Facetten (schrift-)sprachlicher Bildung erfassen. Die Verfahren fokussieren unterschiedlcihe Aspekte der Sprachbildung sowie Sprach- und Leseförderung in Kindertageseinrichtungen und Schulen und adressieren unterschiedliche Zielgruppen (pädagogische Fachkräfte, Lehrkräfte, Kinder). Die Instrumente wurden im Rahmen der Initiative "Bildung durch Sprache und Schrift" (BiSS) entwickelt und primär für Forschungszwecke, jedoch auch in der Aus- und Weiterbildung von pädagogischen Fach- und Lehrkräften einsetzbar. Ein online-Anhang stellt die Instrumente sowie alle notwendigen Materialien zur Verfügung.
DIPF-Abteilung: Bildung und Entwicklung

Foreign language learning in older age does not improve memory or intelligence. Evidence from a […] Berggren, Rasmus; Nilsson, Jonna; Brehmer, Yvonne; Schmiedek, Florian; Lövdén, Martin Zeitschriftenbeitrag | In: Psychology and Aging | 2020 39899 Endnote: Autor*innen: Berggren, Rasmus; Nilsson, Jonna; Brehmer, Yvonne; Schmiedek, Florian; Lövdén, Martin
Titel: Foreign language learning in older age does not improve memory or intelligence. Evidence from a randomized controlled study
In: Psychology and Aging, 35 (2020) 2, S. 212-219
DOI: 10.1037/pag0000439
URL: https://psycnet.apa.org/doiLanding?doi=10.1037%2Fpag0000439
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Alter Mensch; Fremdsprache; Lernen; Wirkung; Kognitive Kompetenz; Intelligenz; Arbeitsgedächtnis; Wortschatz; Assoziation; Leistungstest; Testkonstruktion; Strukturgleichungsmodell:Schweden
Abstract: Foreign language learning in older age has been proposed as a promising avenue for combatting age-related cognitive decline. We tested this hypothesis in a randomized controlled study in a sample of 160 healthy older participants (aged 65-75 years) who were randomized to 11 weeks of either language learning or relaxation training. Participants in the language learning condition obtained some basic knowledge in the new language (Italian), but between-groups differences in improvements on latent factors of verbal intelligence, spatial intelligence, working memory, item memory, or associative memory were negligible. We argue that this is not due to either poor measurement, low course intensity, or low statistical power, but that basic studies in foreign languages in older age are likely to have no or trivially small effects on cognitive abilities. We place this in the context of the cognitive training and engagement literature and conclude that while foreign language learning may expand the behavioral repertoire, it does little to improve cognitive processing abilities.
DIPF-Abteilung: Bildung und Entwicklung

A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes Zeitschriftenbeitrag | In: Journal of Educational and Behavioral Statistics | 2020 40510 Endnote: Autor*innen: Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes
Titel: A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives
In: Journal of Educational and Behavioral Statistics, 45 (2020) 3, S. 251-273
DOI: 10.3102/1076998619890566
URL: https://journals.sagepub.com/doi/10.3102/1076998619890566
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Item-Response-Theory; Testkonstruktion; Modell; Frage; Antwort; Messverfahren; Statistische Methode; Evaluation; Vergleich; Bildungsforschung; Empirische Forschung
Abstract: Testing whether items fit the assumptions of an item response theory model is an important step in evaluating a test. In the literature, numerous item fit statistics exist, many of which show severe limitations. The current study investigates the root mean squared deviation (RMSD) item fit statistic, which is used for evaluating item fit in various large-scale assessment studies. The three research questions of this study are (1) whether the empirical RMSD is an unbiased estimator of the population RMSD; (2) if this is not the case, whether this bias can be corrected; and (3) whether the test statistic provides an adequate significance test to detect misfitting items. Using simulation studies, it was found that the empirical RMSD is not an unbiased estimator of the population RMSD, and nonparametric bootstrapping falls short of entirely eliminating this bias. Using parametric bootstrapping, however, the RMSD can be used as a test statistic that outperforms the other approaches - infit and outfit, S1 X2 with respect to both Type I error rate and power. The empirical application showed that parametric bootstrapping of the RMSD results in rather conservative item fit decisions, which suggests more lenient cut-off criteria. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Rapid guessing rates across administration mode and test setting Kröhne, Ulf; Deribo, Tobias; Goldhammer, Frank Zeitschriftenbeitrag | In: Psychological Test and Assessment Modeling | 2020 40317 Endnote: Autor*innen: Kröhne, Ulf; Deribo, Tobias; Goldhammer, Frank
Titel: Rapid guessing rates across administration mode and test setting
In: Psychological Test and Assessment Modeling, 62 (2020) 2, S. 144-177
DOI: 10.25656/01:23630
URN: urn:nbn:de:0111-pedocs-236307
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-236307
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Test; Bewertung; Innovation; Validität; Technologiebasiertes Testen; Design; Testkonstruktion; Testverfahren; Wirkung; Verhalten; Logdatei; Experiment; Student; Vergleichsuntersuchung
Abstract (english): Rapid guessing can threaten measurement invariance and the validity of large-scale assessments, which are often conducted under low-stakes conditions. Comparing measures collected under different administration modes or in different test settings necessitates that rapid guessing rates also be comparable. Response time thresholds can be used to identify rapid guessing behavior. Using data from an experiment embedded in an assessment of university students as part of the National Educational Panel Study (NEPS), we show that rapid guessing rates can differ across modes. Specifically, rapid guessing rates are found to be higher for un-proctored individual online assessment. It is also shown that rapid guessing rates differ across different groups of students and are related to properties of the test design. No relationship between dropout behavior and rapid guessing rates was found. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von […] Schoor, Cornelia; Hahnel, Carolin; Artelt, Cordula; Reimann, Daniel; Kroehne, Ulf; Goldhammer, Frank Zeitschriftenbeitrag | In: Diagnostica | 2020 40128 Endnote: Autor*innen: Schoor, Cornelia; Hahnel, Carolin; Artelt, Cordula; Reimann, Daniel; Kroehne, Ulf; Goldhammer, Frank
Titel: Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden
In: Diagnostica, 66 (2020) 2, S. 123-135
DOI: 10.1026/0012-1924/a000231
URN: urn:nbn:de:0111-pedocs-218434
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-218434
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Testkonstruktion; Student; Messung; Textverständnis; Quelle; Inhalt; Dokument; Diagnostischer Test; Kompetenz; Datenerfassung; Datenanalyse; Modell; Skalierung; Validität
Abstract: Das Verständnis multipler Dokumente (Multiple Document Comprehension, MDC) wird als Fähigkeit verstanden, aus verschiedenen Informationsquellen eine integrierte Repräsentation eines inhaltlichen Gegenstandsbereichs zu konstruieren. Als solche ist sie sowohl für die erfolgreiche Bewältigung eines Studiums als auch für gesellschaftliche Partizipation eine wichtige Kompetenz. Bislang gibt es jedoch kein etabliertes Diagnostikum in diesem Bereich. Um diese Lücke zu schließen, wurde ein Test entwickelt, der vier zentrale kognitive Anforderungen von MDC abdeckt und auf Basis der Daten von 310 Studierenden sozial- und geisteswissenschaftlicher Fächer überprüft wurde. Die im MDC-Test gemessene Kompetenz erwies sich als eindimensional. Der MDC-Testwert wies theoriekonforme Zusammenhänge mit der Abiturnote, dem Studienabschnitt und der Leistung in einer Essay-Aufgabe auf. Insgesamt liefern die Ergebnisse empirische Belege dafür, dass der Testwert aus dem MDC-Test die fächerübergreifende Fähigkeit von Studierenden wiedergibt, multiple Dokumente zu verstehen. (DIPF/Orig.)
Abstract (english): Multiple document comprehension (MDC) is defined as the ability to construct an integrated representation based on different sources of information on a particular topic. It is an important competence for both the successful accomplishment of university studies and participation in societal discussions. Yet, there is no established assessment instrument for MDC. Therefore, we developed a test covering four theory-based cognitive requirements of MDC. Based on the data of 310 university students of social sciences and humanities, the MDC test proved to be a unidimensional measure. Furthermore, the test score was related to the final school exam grade, the study level (bachelor / master), and the performance in an essay task. The empirical results suggest that the score of the MDC test can be interpreted as the generic competence of university students to understand multiple documents. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Testwertinterpretation, Testnormen und Testeichung Goldhammer, Frank; Hartig, Johannes Sammelbandbeitrag | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020 40528 Endnote: Autor*innen: Goldhammer, Frank; Hartig, Johannes
Titel: Testwertinterpretation, Testnormen und Testeichung
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 171-195
DOI: 10.1007/978-3-662-61532-4_9
URL: https://link.springer.com/chapter/10.1007/978-3-662-61532-4_9
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Test; Wert; Interpretation; Testkonstruktion; Konzeption; Datenanalyse; Testauswertung; Testtheorie; Normung
Abstract: In diesem Kapitel werden verschiedene Möglichkeiten beschrieben, wie ein Testergebnis bzw. Testwert deskriptivstatistisch interpretiert werden kann. Bei der normorientierten Interpretation wird der Testwert in einen Normwert transformiert, der einen Vergleich mit den Testwerten anderer Personen einer Bezugsgruppe (den Testnormen) erlaubt. Die Testnormen werden im Wege der Testeichung an einer repräsentativen Eichstichprobe gewonnen. Sofern genauere theoretische Vorstellungen bestehen, kann das Testergebnis auch mit einem inhaltlich definierten Kriterium in Bezug gesetzt werden. Dieser Vorgang wird als kriteriumsorientierte Interpretation bezeichnet. Beide Interpretationsarten können auch miteinander verbunden werden. (DIPF/Orig.)
Abstract: In diesem Kapitel werden verschiedene Möglichkeiten beschrieben, wie ein Testergebnis bzw. Testwert deskriptivstatistisch interpretiert werden kann. Bei der normorientierten Interpretation wird der Testwert in einen Normwert transformiert, der einen Vergleich mit den Testwerten anderer Personen einer Bezugsgruppe (den Testnormen) erlaubt. Die Testnormen werden im Wege der Testeichung an einer repräsentativen Eichstichprobe gewonnen. Sofern genauere theoretische Vorstellungen bestehen, kann das Testergebnis auch mit einem inhaltlich definierten Kriterium in Bezug gesetzt werden. Dieser Vorgang wird als kriteriumsorientierte Interpretation bezeichnet. Beide Interpretationsarten können auch miteinander verbunden werden. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation