-
-
Author(s): Frey, Andreas; Hartig, Johannes
Title: Wann sollten computerbasierte Verfahren zur Messung von Kompetenzen anstelle von papier- und bleistift-basierten Verfahren eingesetzt werden?
In: Zeitschrift für Erziehungswissenschaft, 16 (2013) 1, S. 53-57
DOI: 10.1007/s11618-013-0385-1
URL: http://link.springer.com/article/10.1007%2Fs11618-013-0385-1
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Deutsch
Keywords: Computerunterstütztes Verfahren; Kompetenz; Messung; Papier-Bleistift-Test; Testverfahren
Abstract: Kompetenzen werden zurzeit meistens mit Papier- und Bleistift-Tests erhoben. Die Messung von bestimmten Kompetenzen stellt aber in dreierlei Hinsicht neue Herausforderungen an die pädagogisch-psychologische Diagnostik, denen nur schwer mit Papier- und Bleistift-Tests begegnet werden kann. Für a) Kompetenzen, bei denen eine zeitkritische Ausführung komplexer Interaktionen zentral ist, b) komplexen Kompetenzkonstrukten sowie c) Kompetenzen, deren Ausübung an einen Computer gebunden ist, ist eine computerbasierte Erfassung als deutlich vorteilhafter einzuschätzen als eine papier- und bleistift-basierte Messung. Generell gibt es jedoch kein per se überlegenes Testmedium. Vielmehr sollte jeweils das Testmedium genutzt werden, mit dem die jeweilige theoretische Konzeption eines Kompetenzkonstrukts am besten operationalisiert werden kann. Erscheinen sowohl Papier- und Bleistift als auch Computer prinzipiell zur Messung eines Kompetenzkonstrukts geeignet, sollte kalkuliert werden, welches der beiden Testmedien ökonomischer wäre. Bei der Kalkulation sind nicht nur die Mehrkosten durch den Computereinsatz zu beachten, sondern auch spezifische Kosten, die nur bei Papier- und Bleistift-Tests anfallen.
Abstract (english): Currently, competencies are mostly assessed with paper and pencil tests. Nevertheless, for some competencies, using paper and pencil tests is problematic for three reasons. For (a) competencies requiring complex interactions under time constraints, (b) complex competence constructs, and (c) competencies requiring using a computer, a computer-based assessment provides several advantages compared to a paper and pencil-based assessment. Nevertheless, none of the two testing media is superior to the other in a general way. Thus, the testing medium which provides the best opportunities for a proper operationalization of the competence construct at stake should be selected. If both paper and pencil and computer seem applicable for measuring a competence construct, precisely costing out and comparing the two alternatives is recommended. Within this comparison, not only the additional costs caused by using computers but also the specific costs of paper and pencil-based assessment should be considered.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Toth, Krisztina R.; Molnar, Gyongyvér; Hodi, Agnes; Csapo, Beno
Title: Examining media-effect among subgroups of students with different ability levels
In: European Association for Research on Learning and Instruction (Hrsg.): Book of abstracts and extended summaries, Leuven: EARLI, 2011 , S. 630-632
URL: http://www.earli2011.org/media/Documents_EARLI2011/BookofAbstractsandSummaries.pdf
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Computerunterstütztes Verfahren; Leistungsmessung; Leistungstest; Lesekompetenz; Medienwirkung; Papier-Bleistift-Test; Schülerleistung; Sekundarstufe I; Technologiebasiertes Testen; Unterschied; Urteilsbildung; Vergleich
Abstract (english): Due to the innovative possibilities provided by computers and the cost-efficiency of the system, technology-based assessment should displace paper-based testing (Csapo, Latour, Bennett, Ainley, & Law, 2010). If computer-based assessment is applied to replace traditional testing a number of questions arise regarding media-effect (see e.g. Clariana, & Wallance, 2002). In the past several media-effect studies were carried out focusing on different student and item-related variables, some of these studies attempted to identify the effect of background variables (gender, race/ethnicity, and ICT related factors) for the differences between paper- and computer-based test performance, however, less attention has been paid to the examination of paper-and-pencil test performance of different sample subgroups. The purpose of this paper is to investigate a comparison of data derived from two test delivery among subgroups of students based on paper-and-pencil performance. This paper argues that the media-effect is related to the ability level of test takers in low-stakes testing. Various age groups, measured context and research design validate our findings. Results indicate that different ability level students behave differently in traditional and computerized assessment. Low ability students performed significantly better in computerized environment than in traditional testing. The performance of students with average ability level was media independent, or they achieved higher scores in the computerized test delivery. High ability students were disadvantaged in the online assessment. These findings support that the comparison of paper-based and computer-based performance should consider the students ability level realized in printed medium.
DIPF-Departments: Informationszentrum Bildung