Menü Überspringen
Contact
Deutsch
English
Not track
Data Protection
Search
Log in
DIPF News
Research
Infrastructures
Institute
Zurück
Contact
Deutsch
English
Not track
Data Protection
Search
Home
>
Research
>
Publications
>
Publications Data Base
Search results in the DIPF database of publications
Your query:
(Schlagwörter: "Testaufgabe")
Advanced Search
Search term
Only Open Access
Search
Unselect matches
Select all matches
Export
39
items matching your search terms.
Show all details
Digitales Lesen und papierbasiertes Lesen im nationalen Vergleich
Goldhammer, Frank; Hahnel, Carolin; Kröhne, Ulf; Frey, Andreas; Ludewig, Ulrich
Book Chapter
| Aus: McElvany, Nele; Lorenz, Ramona; Frey, Andreas; Goldhammer, Frank; Schilcher, Anita; Stubbe, Andreas C. (Hrsg.): IGLU 2021: Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre | Münster: Waxmann | 2023
43958 Endnote
Author(s):
Goldhammer, Frank; Hahnel, Carolin; Kröhne, Ulf; Frey, Andreas; Ludewig, Ulrich
Title:
Digitales Lesen und papierbasiertes Lesen im nationalen Vergleich
In:
McElvany, Nele; Lorenz, Ramona; Frey, Andreas; Goldhammer, Frank; Schilcher, Anita; Stubbe, Andreas C. (Hrsg.): IGLU 2021: Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre, Münster: Waxmann, 2023 , S. 89-109
URL:
https://www.waxmann.com/index.php?eID=download&buchnr=4700
Publication Type:
4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Bundesland; Deutschland; Digitale Medien; Grundschüler; Hypertext; IGLU <Internationale Grundschul-Lese-Untersuchung>; Leistungsmessung; Lesekompetenz; Leseverstehen; Printmedien; Schülerleistung; Schuljahr 04; Schwierigkeit; Testaufgabe; Testkonstruktion; Text; Veränderung; Vergleich; Wirkung
Abstract:
Das vorliegende Kapitel untersucht für Deutschland anhand verschiedener Kriterien, ob die Aufgaben, die gleichermaßen in digitalPIRLS und paperPIRLS vorgegeben wurden, das Leseverständnis vergleichbar messen. An einem Teil der PIRLS-Schulen bearbeitete dazu neben der vierten Klasse mit digitalPIRLS-Testheften eine weitere vierte Klasse entsprechende PIRLS-Aufgaben in gedruckten Testheften. (DIPF/Orig.)
DIPF-Departments:
Lehr und Lernqualität in Bildungseinrichtungen
Convergent evidence for validity of a performance-based ICT skills test
Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Wenzel, S. Franziska C.; […]
Journal Article
| In: European Journal of Psychological Assessment | 2020
39137 Endnote
Author(s):
Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Wenzel, S. Franziska C.; Hartig, Katja; Horz, Holger
Title:
Convergent evidence for validity of a performance-based ICT skills test
In:
European Journal of Psychological Assessment, 36 (2020) 2, S. 269-279
DOI:
10.1027/1015-5759/a000507
URN:
urn:nbn:de:0111-pedocs-218426
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-218426
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Problemlösen; Kompetenz; Fertigkeit; Schüler; Sekundarstufe I; Test; Testaufgabe; Validität; Evidenz; Deutschland
Abstract (english):
The goal of this study was to investigate sources of evidence of convergent validity supporting the construct interpretation of scores on a simulation-based ICT skills test. The construct definition understands ICT skills as reliant on ICT-specific knowledge as well as comprehension and problem-solving skills. On the basis of this, a validity argument comprising three claims was formulated and tested. (1) In line with the classical nomothetic span approach, all three predictor variables explained task success positively across all ICT skills items. As ICT tasks can vary in the extent to which they require construct-related knowledge and skills and in the way related items are designed and implemented, the effects of construct-related predictor variables were expected to vary across items. (2) A task-based analysis approach revealed that the item-level effects of the three predictor variables were in line with the targeted construct interpretation for most items. (3) Finally, item characteristics could significantly explain the random effect of problem-solving skills, but not comprehension skills. Taken together, the obtained results generally support the validity of the construct interpretation.
DIPF-Departments:
Bildungsqualität und Evaluation
Assessment im Kontext von Mehrsprachigkeit
Köhler, Carmen; Hartig, Johannes
Book Chapter
| Aus: Gogolin, Ingrid; Hansen, Antje; McMonagle, Sarah; Rauch, Dominique (Hrsg.): Handbuch Mehrsprachigkeit und Bildung | Heidelberg: Springer | 2020
40645 Endnote
Author(s):
Köhler, Carmen; Hartig, Johannes
Title:
Assessment im Kontext von Mehrsprachigkeit
In:
Gogolin, Ingrid; Hansen, Antje; McMonagle, Sarah; Rauch, Dominique (Hrsg.): Handbuch Mehrsprachigkeit und Bildung, Heidelberg: Springer, 2020 , S. 303-308
DOI:
10.1007/978-3-658-20285-9_44
URL:
https://link.springer.com/chapter/10.1007/978-3-658-20285-9_44
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Chancengleichheit; Mehrsprachigkeit; Wirkung; Leistungstest; Testaufgabe; Problemlösen; Individuelle Förderung; Schüler; Benachteiligung; Testkonstruktion; Qualität; Unterstützung
Abstract:
In diesem Kapitel sollen die Auswirkungen von Mehrsprachigkeit bei standardisiert durchgeführten Leistungserfassungen mithilfe von Testaufgaben betrachtet werden, wie sie beispielsweise in der Individualdiagnostik, z. B. zur Klärung eines individuellen Förderbedarfs, oder bei Bildungsstudien wie PISA (Programme for International Student Assessment) zum Einsatz kommen. Im Folgenden nicht behandelt werden Tests zur Diagnose von Sprachentwicklungsstörungen, bei denen die Mehrsprachigkeit von Kindern auch eine spezielle Berücksichtigung findet (Wagner 2015). (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
PISA 2018: Grundbildung im internationalen Vergleich
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.)
Compilation Book
| Münster: Waxmann | 2019
39839 Endnote
Editor(s)
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf
Title:
PISA 2018: Grundbildung im internationalen Vergleich
Published:
Münster: Waxmann, 2019
DOI:
10.31244/9783830991007
URN:
urn:nbn:de:0111-pedocs-183155
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183155
Publication Type:
2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Leseförderung; Textverständnis; Schüler; Migrationshintergrund; Muttersprache; Außerunterrichtliche Aktivität; Soziale Herkunft; Einflussfaktor; Mathematische Kompetenz; Geschlechtsspezifischer Unterschied; Naturwissenschaftliche Kompetenz; Schulform; Methodologie; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Lesekompetenz; Schülerleistungstest; Digitale Medien; Mediennutzung; Veränderung; Leseverhalten; Testaufgabe; Antwort; Lesen; Strategie; Selbstkonzept; Motivation; Sprachförderung; Technologiebasiertes Testen; Testkonstruktion; Konzeption; Internationaler Vergleich; OECD-LÄnder; Deutschland
Abstract:
Der nationale Berichtsband stellt die Ergebnisse der Schülerinnen und Schüler in Deutschland aus der PISA-Studie 2018 vor und setzt sie in Relation zu den Ergebnissen in anderen Staaten. Der Schwerpunkt der Erhebungen und Auswertungen liegt dabei auf der Lesekompetenz. Die Rahmenkonzeption der Lesekompetenz wurde für die PISA-Studie 2018 im Vergleich zu den vorigen Runden einer Revision unterzogen und berücksichtigt nun die sich verändernde Lesepraxis, die mit der Nutzung digitaler Medien einhergeht. Es werden leistungsbezogene Variablen genauso wie motivationale Orientierungen, Einstellungen und Verhalten erfasst, die für die Lesekompetenz wichtig sein können. Daneben wird der Beitrag der sozialen Herkunft und des Zuwanderungshintergrunds für die Lesekompetenzen untersucht. Darüber hinaus werden die Kompetenzen der Jugendlichen in der Mathematik und den Naturwissenschaften vorgestellt und diskutiert. (DIPF/Verlag).
DIPF-Departments:
Bildungsqualität und Evaluation
Sensitivity of test items to teaching quality
Naumann, Alexander; Rieser, Svenja; Musow, Stephanie; Hochweber, Jan; Hartig, Johannes
Journal Article
| In: Learning and Instruction | 2019
38989 Endnote
Author(s):
Naumann, Alexander; Rieser, Svenja; Musow, Stephanie; Hochweber, Jan; Hartig, Johannes
Title:
Sensitivity of test items to teaching quality
In:
Learning and Instruction, 60 (2019) , S. 41-53
DOI:
10.1016/j.learninstruc.2018.11.002
URL:
https://www.sciencedirect.com/science/article/pii/S0959475217307065?via%3Dihub
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Leistungstest; Testkonstruktion; Unterricht; Qualität; Einflussfaktor; Testauswertung; Grundschule; Naturwissenschaftlicher Unterricht; Aktives Lernen; Entdeckendes Lernen; Unterrichtsmethode; Wirkung; Messverfahren; Testaufgabe; Problemlösen; Grundschüler; Dauer; Antwort; Schwierigkeit; Datenanalyse; Interpretation; Quasi-Experiment; Deutschland
Abstract:
Instructional sensitivity is the psychometric capacity of tests or single items of capturing effects of classroom instruction. Yet, current item sensitivity measures' relationship to (a) actual instruction and (b) overall test sensitivity is rather unclear. The present study aims at closing these gaps by investigating test and item sensitivity to teaching quality, reanalyzing data from a quasi-experimental intervention study in primary school science education (1026 students, 53 classes, Mage = 8.79 years, SDage = 0.49, 50% female). We examine (a) the correlation of item sensitivity measures and the potential for cognitive activation in class and (b) consequences for test score interpretation when assembling tests from items varying in their degree of sensitivity to cognitive activation. Our study (a) provides validity evidence that item sensitivity measures may be related to actual classroom instruction and (b) points out that inferences on teaching drawn from test scores may vary due to test composition. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Predictors of individual performance changes related to item positions in PISA assessments
Wu, Qian; Debeer, Dries; Buchholz, Janine; Hartig, Johannes; Janssen, Rianne
Journal Article
| In: Large-scale Assessments in Education | 2019
39021 Endnote
Author(s):
Wu, Qian; Debeer, Dries; Buchholz, Janine; Hartig, Johannes; Janssen, Rianne
Title:
Predictors of individual performance changes related to item positions in PISA assessments
In:
Large-scale Assessments in Education, (2019) , S. 7:5
DOI:
10.1186/s40536-019-0073-6
URL:
https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-019-0073-6
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Leistungstest; Testaufgabe; Design; Wirkung; PISA <Programme for International Student Assessment>; Naturwissenschaftliche Kompetenz; Lesekompetenz; Mathematische Kompetenz; Schülerleistung; Fragebogen; Mehrebenenanalyse; Item-Response-Theory
Abstract (english):
Background: Item position effects have been a common concern in large-scale assessments as changing the order of items in booklets may have an undesired effect on test performance. If every test taker would be affected by the effect in the very same way, comparisons between groups of individuals would still be valid. However, research has shown that in addition to a general fixed effect of item positions, the extent of the effect varies considerably across individuals. These individual differences are referred to as persistence. Test takers with a high level of persistence are able to keep up their performance better throughout the test administration, whereas those with a lower level of persistence show a larger decline in their test performance. Methods: The present study applied a multilevel extended item response theory (IRT ) framework and used the data from the PISA 2006 science, 2009 reading, and 2012 mathematics assessments. The first objective of this study is to provide a systematic investigation of item position effects across the three PISA domains, partially replicating the previous studies on PISA 2006 and 2009. Second, this study aims to gain a better understanding of the nature of individual differences in position effects by relating them to student characteristics. Gender, socio-economic status, language spoken at home, and three motivational scales (enjoyment of doing the subject being assessed, effort thermometer, perseverance) were used as person covariates for persistence. Results: This study replicated and extended the results found in previous studies. An overall negative item cluster position effect and significant individual differences in this effect were found in all the countries in the three PISA domains. Furthermore, the most frequently observed effect of person covariates on persistence is gender, with girls keeping up their performance better than boys. Other predictors showed little or inconsistent effects on persistence. Conclusions: Our study demonstrated inter-individual differences as well as group differences in item position effects, which may threaten the comparability between persons and groups. The consequences and implications of item position effects and persistence for the interpretation of PISA results are discussed.
DIPF-Departments:
Bildungsqualität und Evaluation
Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; […]
Book Chapter
| Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019
39806 Endnote
Author(s):
Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Title:
Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
In:
Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL:
https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract:
In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Response time-based treatment of omitted responses in computer-based testing
Frey, Andreas; Spoden, Christian; Goldhammer, Frank; Wenzel, S. Franziska C.
Journal Article
| In: Behaviormetrika | 2018
38894 Endnote
Author(s):
Frey, Andreas; Spoden, Christian; Goldhammer, Frank; Wenzel, S. Franziska C.
Title:
Response time-based treatment of omitted responses in computer-based testing
In:
Behaviormetrika, 45 (2018) 2, S. 505-526
DOI:
10.1007/s41237-018-0073-9
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language:
Englisch
Keywords:
Methode; Technologiebasiertes Testen; Antwort; Dauer; Verhalten; Item-Response-Theory; Fehlende Daten; Datenanalyse; Testaufgabe; Typologie; Medienkompetenz; Schülerleistungstest; Testauswertung
Abstract:
A new response time-based method for coding omitted item responses in computer-based testing is introduced and illustrated with empirical data. The new method is derived from the theory of missing data problems of Rubin and colleagues and embedded in an item response theory framework. Its basic idea is using item response times to statistically test for each individual item whether omitted responses are missing completely at random (MCAR) or missing due to a lack of ability and, thus, not at random (MNAR) with fixed type-1 and type-2 error levels. If the MCAR hypothesis is maintained, omitted responses are coded as not administered (NA), and as incorrect (0) otherwise. The empirical illustration draws from the responses given by N = 766 students to 70 items of a computer-based ICT skills test. The new method is compared with the two common deterministic methods of scoring omitted responses as 0 or as NA. In result, response time thresholds from 18 to 58 s were identified. With 61%, more omitted responses were recoded into 0 than into NA (39%). The differences in difficulty were larger when the new method was compared to deterministically scoring omitted responses as NA compared to scoring omitted responses as 0. The variances and reliabilities obtained under the three methods showed small differences. The paper concludes with a discussion of the practical relevance of the observed effect sizes, and with recommendations for the practical use of the new method as a method to be applied in the early stage of data processing. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Lokalisierung in internationalen Bildungsvergleichsstudien aus informationswissenschaftlicher […]
Upsing, Britta
Monograph
| Hildesheim: Universität | 2017
38132 Endnote
Author(s):
Upsing, Britta
Title:
Lokalisierung in internationalen Bildungsvergleichsstudien aus informationswissenschaftlicher Sicht. Herausforderungen, Übersetzungen, Prozesse
Published:
Hildesheim: Universität, 2017
URN:
urn:nbn:de:gbv:hil2-opus4-7304
URL:
https://hildok.bsz-bw.de/frontdoor/index/index/docId/730
Publication Type:
1. Monographien (Autorenschaft); Monographie
Language:
Deutsch
Keywords:
Anpassung; Befragung; Bildung; Empirische Untersuchung; Informationsbedarf; Informationssystem; Informationswissenschaft; Internationaler Vergleich; Leitfadeninterview; Mehrsprachigkeit; PIAAC <Programme for the International Assessment of Adult Competencies>; Qualitative Forschung; Sprache; Strategie; Studien; Test; Testaufgabe; Theorie; Übersetzer; Übersetzung
Abstract:
Die vorliegende Untersuchung thematisiert das Beziehungsgeflecht von Informationsangebot, Informationsbedürfnis und Informationsbedarf in einem Informationsprozess. Für die Untersuchung dieser Zusammenhänge wurde auf das Konzept der Information Ecology zurückgegriffen, in der die Akteure, die Arbeitsanforderungen und die Informationsumgebung verortet sind. Das Fallbeispiel besteht aus dem Lokalisierungsprozess der internationalen Bildungsvergleichsstudie PIAAC (Programme for the International Assessement of Adult Competencies) der OECD. Bei diesen Studien werden durch Testung Erkenntnisse zum Kompetenzniveau einer Population gesammelt. Dafür unabdinglich ist die Lokalisierung, also die Übersetzung und Anpassung der Testaufgaben, mit denen die Vergleichbarkeit der Testergebnisse zwischen Ländern angestrebt wird. Die vorliegende Untersuchung thematisiert, welchen Informationsbedarf die PIAAC-Akteure bei der Lokalisierung haben und in welchem Zusammenhang die Informationsumgebung mit ihrem Informationsangebot zu diesem Bedarf steht. Dafür wurde in einem ersten Schritt herausgearbeitet, welche Theorien und Strategien seitens der Fachgemeinschaft der Übersetzer in den Lokalisierungsprozess eingebracht werden. In einem zweiten Schritt wurde die von Psychologen geprägte historische Entwicklung der Lokalisierungsprozesse für Bildungsvergleichsstudien herausgearbeitet. Es zeigte sich, dass sich aktuelle translatorische Erkenntnisse nicht in den Qualitätskontrollprozessen von internationalen Bildungsvergleichsstudien wiederfinden. Auf der Grundlage dieser Erkenntnisse wurden im empirischen Teil der vorliegenden Arbeit die Informationsprozesse von PIAAC anhand der PIAAC-Dokumente, der bei PIAAC eingesetzten Informationssysteme und anhand von leitfadengestützten qualitativen Interviews mit 20 Lokalisierungsakteuren ausgewertet. Die Ergebnisse deuten darauf hin, dass es bei der Lokalisierung von Test-Aufgaben informationelle Defizite gibt (etwa weil Erkenntnisse dazu fehlen, wie Test-Aufgaben vergleichbarer Schwierigkeit in verschiedenen Sprachen erstellt werden können). Es zeigte sich, dass Vorgaben zur Umsetzung des Lokalisierungsprozesses umgangen wurden, wenn sich diese als nicht praktikabel herausstellten. Das Informationsangebot zur Lokalisierung spielte für einige Übersetzer eine größere Rolle als die eigenen Erfahrungen und Übersetzungsstrategien, wohl aufgrund der eigenen Unerfahrenheit mit dem Übersetzungssauftrag. Diese Erkenntnisse mündeten in einer Liste von Empfehlungen für zukünftige Bildungsvergleichsstudien. Die gewonnen Erkenntnisse liefern ein facettenreiches Bild eines komplexen Informationsprozesses. Die verschiedenen Wechselwirkungen wurden durch die Verortung der Fragestellung in eine konkrete Information Ecology deutlich, aber könnten in zukünftige Überlegungen zum Informationsbedarf eines Benutzers einfließen, etwa indem die Informationsquelle, der Status und die Rolle des Informationsbenutzers stärker berücksichtigt werden. (DIPF/Orig.)
Abstract (english):
{Abstract_englisch}
DIPF-Departments:
Informationszentrum Bildung
Experimental validation strategies for heterogeneous computer-based assessment items
Engelhardt, Lena; Goldhammer, Frank; Naumann, Johannes; Frey, Andreas
Journal Article
| In: Computers in Human Behavior | 2017
37464 Endnote
Author(s):
Engelhardt, Lena; Goldhammer, Frank; Naumann, Johannes; Frey, Andreas
Title:
Experimental validation strategies for heterogeneous computer-based assessment items
In:
Computers in Human Behavior, 76 (2017) , S. 683-692
DOI:
10.1016/j.chb.2017.02.020
URN:
urn:nbn:de:0111-dipfdocs-176056
URL:
http://www.dipfdocs.de/volltexte/2019/17605/pdf/Engelhardt_et_al._2017_ManuscriptAccepted_A.pdf
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language:
Englisch
Keywords:
Leistungstest; Leistungsmessung; Medienkompetenz; Computerunterstütztes Verfahren; Validität; Testaufgabe; Testkonstruktion; Anpassung; Strategie; Veränderung; Testmethodik; Testtheorie
Abstract (english):
Computer-based assessments open up new possibilities to measure constructs in authentic settings. They are especially promising to measure 21st century skills, as for instance information and communication technologies (ICT) skills. Items tapping such constructs may be diverse regarding design principles and content and thus form a heterogeneous item set. Existing validation approaches, as the construct representation approach by Embretson (1983), however, require homogenous item sets in the sense that a particular task characteristic can be applied to all items. To apply this validation rational also for heterogeneous item sets, two experimental approaches are proposed based on the idea to create variants of items by systematically manipulating task characteristics. The change-approach investigates whether the manipulation affects construct-related demands and the eliminate-approach whether the test score represents the targeted skill dimension. Both approaches were applied within an empirical study (N = 983) using heterogeneous items from an ICT skills test. The results show how changes of ICT-specific task characteristics influenced item difficulty without changing the represented construct. Additionally, eliminating the intended skill dimension led to easier items and changed the construct partly. Overall, the suggested experimental approaches provide a useful validation tool for 21st century skills assessed by heterogeneous items. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Unselect matches
Select all matches
Export
1
2
3
4
>
Show all
(39)