-
-
Autor*innen: Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger
Titel: Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fähigkeiten (ICT-Skills) in PISA. Projekt CavE - ICT - PISA; Schlussbericht
Erscheinungsvermerk: Frankfurt am Main: Universitätsbibliothek; Technische Informationsbibliothek, 2015
DOI: 10.2314/GBV:838771823
URL: http://edok01.tib.uni-hannover.de/edoks/e01fb15/838771823.pdf
Dokumenttyp: 5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Sprache: Deutsch
Schlagwörter: Adaptives Testen; Computerunterstütztes Verfahren; Fähigkeit; Forschungsprojekt; Informations- und Kommunikationstechnologie; Messverfahren; PISA <Programme for International Student Assessment>; Projektbericht; Skalierung; Testkonstruktion; Validität
Abstract: Mit dem Projektvorhaben CavE-ICT-PISA sollten Konstrukte und Erhebungsverfahren im Kontext der internationalen PISA Option ICT Familiarity Questionnaire weiterentwickelt werden. Ziel dabei war es zunächst eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills zu schaffen und darauf aufbauend eine verhaltensbasierten und computerisierten ICT-Test zu entwickeln und zu erproben. In diesem Sinne wurde zunächst ein theoretisches Framework erstellt, das auf Basis einer Synthese bestehender Frameworks dazu verwendet wurde Testitems zu entwickeln. Es wurden 70 funktionsfähige Items in einem umfangreichen Qualitätssicherungsprozess entwickelt, computerisiert und verhaltensbasiert in Simulationsumgebungen implementiert. Die entwickelten Items können mit einem Werkzeug in verschiedene Sprachen übersetzt werden und sind damit auch international einsetzbar. Die Testadministration erfolgte, unter Nutzung von USB-Sticks, an insgesamt 33 Schulen, deren IT-Ausstattung zuvor hinsichtlich spezifischer Leistungsanforderungen geprüft wurde. Die Stichprobe besteht aus 983 15jährigen Schülerinnen und Schülern. Auf Basis der Kalibrierungsergebnisse der ICT-Items wurden 64 Aufgaben für den endgültigen ICT-Test selektiert, welcher eine Reliabilität von .80 erreicht. Bei der Berechnung der Kompetenzverteilung wurden zudem latente Zusammenhänge mit Variablen wie Alter, Geschlecht oder Computernutzung, berücksichtigt. Eine verkürzte Version des ICT-Tests, wie auch ein adaptiver Testalgorithmus wurden unter Nutzung von Monte-Carlo-Simulationsstudien erprobt. Insgesamt kann festgehalten werden, dass im Rahmen von CavE-ICT-PISA innerhalb eines kurzen Zeitrahmens ein Testinstrument auf höchstem internationalem Standard konstruiert und zum Einsatz gebracht wurde. Der entstandene ICT-Test könnte auch als Kurzversion oder adaptiv, beispielsweise in computerbasierten Messungen als Kontrollvariable zum Einsatz kommen. (DIPF/Orig.)
Abstract (english): Goal of the project CavE-ICT-PISA was to develop constructs and assessment instruments in the context of PISA further, based on the optional ICT Familiarity Questionnaire. The first partial goal aimed to corroborate the construct ICT-Skills more theoretically and to develop a behavior-related and computer-based test.
With this in mind a theoretical framework concept was prepared based on a synthesis of existing frameworks including several feedback loops for optimization and implemented fully functional in simulation environment. The items can be translated in other languages, thus the test is international applicable. The test was delivered on USB flash drives at 33 German schools, after the schools were selected regarding their readiness of soft- and hardware. The sample consists of 983 15 year old students.
Based on the study results, 64 items were selected for the final item pool, which has a reliability of .80. For the ability distribution, latent relations to variables like age, sex and computer experience were modeled. A shorter version of the test as well as an adaptive test algorithm was developed using Monte-Carlo-simulations.
Thus, the goal of the project to develop and apply an assessment instrument in line with international standards was met. The developed test can be used as a short version or adaptive test für instance to control in computer-based assessments for ICT-skills. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation