Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Schlagwörter: "Technologiebasiertes Testen")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
70
Inhalte gefunden
Alle Details anzeigen
Computerbasiertes Assessment
Goldhammer, Frank; Kröhne, Ulf
Sammelbandbeitrag
| Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020
40530 Endnote
Autor*innen:
Goldhammer, Frank; Kröhne, Ulf
Titel:
Computerbasiertes Assessment
Aus:
Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 119-141
DOI:
10.1007/978-3-662-61532-4_6
URL:
https://link.springer.com/chapter/10.1007/978-3-662-61532-4_6
Dokumenttyp:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Datenanalyse; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Testverfahren; Psychologische Forschung; Sozialwissenschaften; Definition; Beispiel; Konzeption; Antwort; Datenerfassung; Interaktion; Bewertung; Testkonstruktion; Evidenz; Software; Fragebogen; Messverfahren
Abstract:
Das Kapitel gibt einen Überblick, wie mit Hilfe von Computern im weiteren Sinne Tests und Fragebogen realisiert und dabei die Möglichkeiten von klassischen Papier-und-Bleistift-Verfahren erweitert bzw. deutlich überschritten werden können. Dies betrifft beispielsweise die Entwicklung computerbasierter Items mit innovativen Antwortformaten und multimedialen Stimuli sowie die automatische Bewertung des gezeigten Antwortverhaltens. Des Weiteren ermöglicht der Computer eine flexiblere Testzusammenstellung, d. h., Items können automatisch unter Berücksichtigung inhaltlicher und statistischer Kriterien sequenziert werden. Das Kapitel behandelt außerdem die Frage, wie durch Logfiledaten das Analysepotential gesteigert und durch die automatische und zeitnahe Rückmeldung von Testdaten beispielsweise das Lernen unterstützt werden kann. Das Kapitel schließt mit Hinweisen auf einschlägige und frei zugängliche Softwarelösungen für Assessmentzwecke. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
PISA 2018: Grundbildung im internationalen Vergleich
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.)
Sammelband
| Münster: Waxmann | 2019
39839 Endnote
Herausgeber*innen:
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf
Titel:
PISA 2018: Grundbildung im internationalen Vergleich
Erscheinungsvermerk:
Münster: Waxmann, 2019
DOI:
10.31244/9783830991007
URN:
urn:nbn:de:0111-pedocs-183155
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183155
Dokumenttyp:
2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Leseförderung; Textverständnis; Schüler; Migrationshintergrund; Muttersprache; Außerunterrichtliche Aktivität; Soziale Herkunft; Einflussfaktor; Mathematische Kompetenz; Geschlechtsspezifischer Unterschied; Naturwissenschaftliche Kompetenz; Schulform; Methodologie; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Lesekompetenz; Schülerleistungstest; Digitale Medien; Mediennutzung; Veränderung; Leseverhalten; Testaufgabe; Antwort; Lesen; Strategie; Selbstkonzept; Motivation; Sprachförderung; Technologiebasiertes Testen; Testkonstruktion; Konzeption; Internationaler Vergleich; OECD-LÄnder; Deutschland
Abstract:
Der nationale Berichtsband stellt die Ergebnisse der Schülerinnen und Schüler in Deutschland aus der PISA-Studie 2018 vor und setzt sie in Relation zu den Ergebnissen in anderen Staaten. Der Schwerpunkt der Erhebungen und Auswertungen liegt dabei auf der Lesekompetenz. Die Rahmenkonzeption der Lesekompetenz wurde für die PISA-Studie 2018 im Vergleich zu den vorigen Runden einer Revision unterzogen und berücksichtigt nun die sich verändernde Lesepraxis, die mit der Nutzung digitaler Medien einhergeht. Es werden leistungsbezogene Variablen genauso wie motivationale Orientierungen, Einstellungen und Verhalten erfasst, die für die Lesekompetenz wichtig sein können. Daneben wird der Beitrag der sozialen Herkunft und des Zuwanderungshintergrunds für die Lesekompetenzen untersucht. Darüber hinaus werden die Kompetenzen der Jugendlichen in der Mathematik und den Naturwissenschaften vorgestellt und diskutiert. (DIPF/Verlag).
DIPF-Abteilung:
Bildungsqualität und Evaluation
The role of planning in complex problem solving
Eichmann, Beate; Goldhammer, Frank; Greiff, Samuel; Pucite, Liene; Naumann, Johannes
Zeitschriftenbeitrag
| In: Computers & Education | 2019
38657 Endnote
Autor*innen:
Eichmann, Beate; Goldhammer, Frank; Greiff, Samuel; Pucite, Liene; Naumann, Johannes
Titel:
The role of planning in complex problem solving
In:
Computers & Education, 128 (2019) , S. 1-12
DOI:
10.1016/j.compedu.2018.08.004
URN:
urn:nbn:de:0111-dipfdocs-174087
URL:
https://nbn-resolving.org/urn:nbn:de:0111-dipfdocs-174087
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Problemlösen; Planung; Technologiebasiertes Testen; Logdatei; PISA <Programme for International Student Assessment>
Abstract:
Complex problem solving (CPS) is a highly transversal competence needed in educational and vocational settings as well as everyday life. The assessment of CPS is often computer-based, and therefore provides data regarding not only the outcome but also the process of CPS. However, research addressing this issue is scarce. In this article we investigated planning activities in the process of complex problem solving. We operationalized planning through three behavioral measures indicating the duration of the longest planning interval, the delay of the longest planning interval and the variance of intervals between each two successive interactions. We found a significant negative average effect for our delay indicator, indicating that early planning in CPS is more beneficial. However, we also found effects depending on task and interaction effects for all three indicators, suggesting that the effects of different planning behaviors on CPS are highly intertwined. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Validating process variables of sourcing in an assessment of multiple document comprehension
Hahnel, Carolin; Kroehne, Ulf; Goldhammer, Frank; Schoor, Cornelia; Mahlow, Nina; Artelt, Cordula
Zeitschriftenbeitrag
| In: British Journal of Educational Psychology | 2019
39118 Endnote
Autor*innen:
Hahnel, Carolin; Kroehne, Ulf; Goldhammer, Frank; Schoor, Cornelia; Mahlow, Nina; Artelt, Cordula
Titel:
Validating process variables of sourcing in an assessment of multiple document comprehension
In:
British Journal of Educational Psychology, 89 (2019) 3, S. 524-537
DOI:
10.1111/bjep.12278
URN:
urn:nbn:de:0111-dipfdocs-191514
URL:
https://onlinelibrary.wiley.com/doi/full/10.1111/bjep.12278
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Leistungsmessung; Technologiebasiertes Testen; Dokument; Verstehen; Quelle; Information; Strategie; Logdatei; Indikator; Validität; Student; Universität; Deutschland
Abstract:
Background: With digital technologies, competence assessments can provide process data, such as mouse clicks with corresponding timestamps, as additional information about the skills and strategies of test takers. However, in order to use variables generated from process data sensibly for educational purposes, their interpretation needs to be validated with regard to their intended meaning. Aims: This study seeks to demonstrate how process data from an assessment of multiple document comprehension can be used to represent sourcing, which summarizes activities for the consideration of the origin and intention of documents. The investigated process variables were created according to theoretical assumptions about sourcing, and systematically tested for differences between persons, units (i.e., documents and items), and properties of the test administration. Sample: The sample included 310 German university students (79.4% female), enrolled in several bachelor's or master's programmes of the social sciences and humanities. Methods: Regarding the hierarchical data structure, the hypotheses were analysed with generalized linear mixed models (GLMM). Results: The results mostly revealed expected differences between individuals and units. However, unexpected effects of the administered order of units and documents were detected. Conclusions: The study demonstrates the theory‐informed construction of process variables from log‐files and an approach for empirical validation of their interpretation. The results suggest that students apply sourcing for different reasons, but also stress the need of further validation studies and refinements in the operationalization of the indicators investigated. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based […]
Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Educational Measurement | 2019
39814 Endnote
Autor*innen:
Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Titel:
Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments
In:
Educational Measurement, 38 (2019) 3, S. 97-111
DOI:
10.1111/emip.12280
URL:
https://onlinelibrary.wiley.com/doi/abs/10.1111/emip.12280
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Einflussfaktor; Schülerleistung; Frage; Antwort; Interaktion; Unterschied; Vergleich; Item-Response-Theory; Deutschland; PISA <Programme for International Student Assessment>; Leseverstehen; Messverfahren; Testkonstruktion; Korrelation; Äquivalenz; Papier-Bleistift-Test; Computerunterstütztes Verfahren; Technologiebasiertes Testen; Leistungsmessung; Testverfahren; Testdurchführung
Abstract:
For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
Abstract (english):
For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Invariance of the response processes between gender and modes in an assessment of reading
Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Frontiers in Applied Mathematics and Statistics | 2019
39231 Endnote
Autor*innen:
Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Titel:
Invariance of the response processes between gender and modes in an assessment of reading
In:
Frontiers in Applied Mathematics and Statistics, (2019) , S. 5:2
DOI:
10.3389/fams.2019.00002
URL:
https://www.frontiersin.org/articles/10.3389/fams.2019.00002/full
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Lesefertigkeit; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Papier-Bleistift-Test; Antwort; Zeit; Messung; Item-Response-Theory; Modell; Geschlechtsspezifischer Unterschied; Logdatei; Datenanalyse; Empirische Untersuchung; Deutschland
Abstract:
In this paper, we developed a method to extract item-level response times from log data that are available in computer-based assessments (CBA) and paper-based assessments (PBA) with digital pens. Based on response times that were extracted using only time differences between responses, we used the bivariate generalized linear IRT model framework (B-GLIRT, [1]) to investigate response times as indicators for response processes. A parameterization that includes an interaction between the latent speed factor and the latent ability factor in the cross-relation function was found to fit the data best in CBA and PBA. Data were collected with a within-subject design in a national add-on study to PISA 2012 administering two clusters of PISA 2009 reading units. After investigating the invariance of the measurement models for ability and speed between boys and girls, we found the expected gender effect in reading ability to coincide with a gender effect in speed in CBA. Taking this result as indication for the validity of the time measures extracted from time differences between responses, we analyzed the PBA data and found the same gender effects for ability and speed. Analyzing PBA and CBA data together we identified the ability mode effect as the latent difference between reading measured in CBA and PBA. Similar to the gender effect the mode effect in ability was observed together with a difference in the latent speed between modes. However, while the relationship between speed and ability is identical for boys and girls we found hints for mode differences in the estimated parameters of the cross-relation function used in the B-GLIRT model. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Zeitschriftenbeitrag
| In: Zeitschrift für Erziehungswissenschaft | 2019
39123 Endnote
Autor*innen:
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Titel:
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
In:
Zeitschrift für Erziehungswissenschaft, 22 (2019) 3, S. 617-646
DOI:
10.1007/s11618-019-00874-4
URN:
urn:nbn:de:0111-pedocs-176046
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-176046
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Schülerleistungstest; Fragebogen; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Deutschland; OECD-Länder; Schüler; Problemlösen; Kooperation; Kompetenz; Schuljahr; Schulform; Computerunterstütztes Verfahren; Simulation; Technologiebasiertes Testen; Messverfahren; Qualität; Psychometrie; Item-Response-Theory; Skalierung
Abstract:
Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch. (DIPF/Orig.)
Abstract (english):
Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD's top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; […]
Sammelbandbeitrag
| Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019
39806 Endnote
Autor*innen:
Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Titel:
Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
Aus:
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL:
https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Dokumenttyp:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract:
In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Adaptive item selection under matroid constraints
Bengs, Daniel; Brefeld, Ulf; Kröhne, Ulf
Zeitschriftenbeitrag
| In: Journal of Computerized Adaptive Testing | 2018
38642 Endnote
Autor*innen:
Bengs, Daniel; Brefeld, Ulf; Kröhne, Ulf
Titel:
Adaptive item selection under matroid constraints
In:
Journal of Computerized Adaptive Testing, 6 (2018) 2, S. 15-36
DOI:
10.7333/1808-0602015
URN:
urn:nbn:de:0111-dipfdocs-166953
URL:
http://www.dipfdocs.de/volltexte/2020/16695/pdf/JCAT_2018_2_Bengs_Brefeld_Kroehne_Adaptive_item_selection_under_matroid_constraints_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Adaptives Testen; Algorithmus; Computerunterstütztes Verfahren; Itembank; Messverfahren; Technologiebasiertes Testen; Testkonstruktion
Abstract (english):
The shadow testing approach (STA; van der Linden & Reese, 1998) is considered the state of the art in constrained item selection for computerized adaptive tests. The present paper shows that certain types of constraints (e.g., bounds on categorical item attributes) induce a matroid on the item bank. This observation is used to devise item selection algorithms that are based on matroid optimization and lead to optimal tests, as the STA does. In particular, a single matroid constraint can be treated optimally by an efficient greedy algorithm that selects the most informative item preserving the integrity of the constraints. A simulation study shows that for applicable constraints, the optimal algorithms realize a decrease in standard error (SE) corresponding to a reduction in test length of up to 10% compared to the maximum priority index (Cheng & Chang, 2009) and up to 30% compared to Kingsbury and Zara's (1991) constrained computerized adaptive testing.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Response time-based treatment of omitted responses in computer-based testing
Frey, Andreas; Spoden, Christian; Goldhammer, Frank; Wenzel, S. Franziska C.
Zeitschriftenbeitrag
| In: Behaviormetrika | 2018
38894 Endnote
Autor*innen:
Frey, Andreas; Spoden, Christian; Goldhammer, Frank; Wenzel, S. Franziska C.
Titel:
Response time-based treatment of omitted responses in computer-based testing
In:
Behaviormetrika, 45 (2018) 2, S. 505-526
DOI:
10.1007/s41237-018-0073-9
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Methode; Technologiebasiertes Testen; Antwort; Dauer; Verhalten; Item-Response-Theory; Fehlende Daten; Datenanalyse; Testaufgabe; Typologie; Medienkompetenz; Schülerleistungstest; Testauswertung
Abstract:
A new response time-based method for coding omitted item responses in computer-based testing is introduced and illustrated with empirical data. The new method is derived from the theory of missing data problems of Rubin and colleagues and embedded in an item response theory framework. Its basic idea is using item response times to statistically test for each individual item whether omitted responses are missing completely at random (MCAR) or missing due to a lack of ability and, thus, not at random (MNAR) with fixed type-1 and type-2 error levels. If the MCAR hypothesis is maintained, omitted responses are coded as not administered (NA), and as incorrect (0) otherwise. The empirical illustration draws from the responses given by N = 766 students to 70 items of a computer-based ICT skills test. The new method is compared with the two common deterministic methods of scoring omitted responses as 0 or as NA. In result, response time thresholds from 18 to 58 s were identified. With 61%, more omitted responses were recoded into 0 than into NA (39%). The differences in difficulty were larger when the new method was compared to deterministically scoring omitted responses as NA compared to scoring omitted responses as 0. The variances and reliabilities obtained under the three methods showed small differences. The paper concludes with a discussion of the practical relevance of the observed effect sizes, and with recommendations for the practical use of the new method as a method to be applied in the early stage of data processing. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Markierungen aufheben
Alle Treffer markieren
Export
<
1
2
(aktuell)
3
...
7
>
Alle anzeigen
(70)