Logo: Deutsches Institut für Internationale Pädagogische Forschung

Projekte

NEPS TBT: Arbeitspaket Technologiebasiertes Testen

Das DIPF trägt als Konsortialpartner zur Planung und Durchführung des Nationalen Bildungspanels bei, eines der Projektschwerpunkte ist das Arbeitspaket Technologiebasiertes Testen (TBT).

Projektbeschreibung

Das Arbeitspaket Technologiebasiertes Testen (TBT) gehört zur Methodengruppe des NEPS. TBT ist am  DIPF bei der interdisziplinären TBA (Technology Based Assessment)-Gruppe angesiedelt, unter der wissenschaftlichen Leitung von Prof. Frank Goldhammer. TBT arbeitet eng mit dem LIfBi zusammen und beschäftigt sich mit innovativen Befragungs- und Testmethoden, beispielsweise mit computer- und internetbasierter Kompetenztestung.

Projektvorhaben

Das Arbeitspaket TBT unterstützt mit wissenschaftsbasierten Dienstleistungen, projektspezifischen Anpassungen von Softwareprodukten und wissenschaftlicher Begleitforschung die Einführung und Umsetzung von technologiebasiertem Testen im NEPS. Für die im Längsschnitt des NEPS mehrfach erhobenen Domänen Lesen, Mathematik, Naturwissenschaften und ICT Literacy werden basierend auf kombiniertem Mode-Effekt und Linkstudien sowie mit Hilfe experimenteller Modusvariation Änderungen der Messinstrumente infolge der Computerisierung psychometrisch erforscht. Dazu werden solche Verfahren der Quantifizierung und Korrektur von Mode-Effekten untersucht und angewendet, die eine Einführung computerbasierter Kompetenztestung im NEPS ermöglichen.

Nach der erfolgreichen Einführung von technologiebasiertem Testen in den außerinstitutionellen und institutionellen Erhebungskontexten des NEPS liegt der Forschungs- und Entwicklungsschwerpunkt auf der Nutzung von Eigenschaften technologiebasierten Testens für die Weiterentwicklung und Optimierung von Assessments im Hinblick auf Validität (beispielsweise simulationsbasiertes Assessment von ICT Literacy, siehe beispielsweise TECCI  oder CavE-ICT PISA) sowie auf der Steigerung der Messeffizienz (siehe beispielsweise HEUREKO und MATE) und der Nutzung von Log- und Prozessdaten (siehe beispielsweise PROKOM).

Abgeschlossene Projektphase 2009-2013

In der Projektphase 2009 bis 2013 vorlaufend  zum Arbeitspaket Technologiebasiertes Testen (TBT) wurden am DIPF zwei vorbereitende Aufgaben durchgeführt:

NEPS AP 13 B

  • Die Softwareentwicklung für ein Data Warehouse, das einen möglichst schnellen Zugriff auf die Daten unter Berücksichtigung von Datenschutz gewährleisten soll, war bei TBA verortet.
  • Ziel der Einrichtung des Data Warehouses war es, einen zentralen Datenbestand für die gesamte NEPS Studie zu errichten und geeignete Werkzeuge zur Filterung sowie Reporterzeugung bereitzustellen.
  • Data Warehouse: Resultierend aus den Anforderungen entwickelten sich drei fortschreitende Prozesse paralleler Softwareentwicklung über die gesamte Laufzeit:  (1) Implementierung, Optimierung und Weiterentwicklung der Datenbanken (2) Implementierung, Optimierung und Weiterentwicklung der ETL- und Reportingwerkzeug (3) Implementierung, Optimierung und Weiterentwicklung des Webportals.
  • Mit dem Data Warehouse sollten sowohl die aus den vier Erhebungswellen gewonnenen Daten als auch die Werkzeuge zur Filterung und Reporterzeugung im Anschluss der gesamten Forschungsgemeinschaft zur Verfügung stehen.


NEPS AP 13 C

  • Zur Vorbereitung der Testausführung auf elektronischer Basis wurden empirische Erhebungen durchgeführt, um mögliche Unterschiede zwischen papierbasierten und computerbasierten Tests zu identifizieren (Quantifizierung von Mode Effekten) und um Möglichkeiten der Verbindung  zu papierbasierten Testergebnissen und computerbasierten Testergebnissen zu erforschen (Cross-Mode Linking).
  • Die Mode Effekt Studien (Äquivalenzstudien kombiniert mit Linkingstudien des NEPS) wurden durchgeführt, um eine Testausführung auf technologischer Basis vorzubereiten. Das Ziel der Mode Effekt Studien bestand darin, die Vergleichbarkeit (Äquivalenz) von papierbasierten Assessments (PBA) und computerbasierten Assessments (CBA) anhand unterschiedlicher Kriterien zu überprüfen. Die Organisation und Durchführung  der Mode Effekt Studien erfolgte zusammen mit  Säule 1 (Competence development in the life course).

Forschungsthemen (Psychometrie)

  • Effekte der Testadministration / Mode-Effekte / Testäquivalenz
  • Onlinetestungen und Effekte des Test Settings
  • Messeffizienz und Testzusammenstellung / Adaptives Testen
  • Innovative Item- und Antwortformate für computerbasiertes Testen
  • Nutzung und Analyse von Log- und Prozessdaten
  • Erfassung und Modellierung von Reaktionszeiten

Forschungsthemen (Informatik)

  • Reaktionszeitmessung und Analyse der zeitlichen Genauigkeit von Assessmentsystemen  
  • Workflowunterstützung bei der Umsetzung computerbasierter Aufgaben (ItemManagement – Portal)
  • Mobiles Assessment / Online Assessment mit mobilen Geräte
  • Langzeitarchivierung von computerbasierten Testinstrumenten
  • Testsicherheit und Test-Delivery auf vorhandener Hardware für computerbasiertes Testen in institutionellen Kontexten

Dienstleistungen

  • Anforderungsanalyse und Umsetzungsplanung für NEPS-Erhebungen mit eingebetteter computerbasierter Testung bei Individual- oder Gruppentestung
    Unterstützung von Domänenexperten und Item-Autoren bei der Umsetzung von computerbasierten Aufgaben mit dem Autorenwerkzeug CBA-ItemBuilder (Erstellung von Aufgabentemplates, Beratung, Weiterbildung)
  • Prototypische Programmierung innovativer und neuer Aufgabenformate sowie computerbasierter Befragungen  
  • Koordination von Anforderungen für die Weiterentwicklung des Autorenwerkzeugs CBA-ItemBuilder für den Einsatz im NEPS    
  • Erstellung von NEPS-TBT-Modulen für computerbasierte Testung und computerbasierte Befragung (Selbstausfüller) in Individualtestung oder notebookbasierter Gruppentestung mit TBA-Tools  
  • 2nd Level-Support für Erhebungsinstitute während der Durchführung von Studien mit  computerbasierter Testung
  • Lastentestung von Online-Auslieferung, Erstellung von Testplänen für computerbasierte Tests
  • Programmierung von spezifischen Instrumenten und Prototypen als  Diagnostikmodule für computerbasierte Erhebungen im NEPS

Publikationen

Ausgewählte Vorträge und Publikationen:

  • Buerger, S., Kroehne, U. & Goldhammer, F. (2014). An experimental investigation of mode effects in the National Educational Panel Study (NEPS). Talk presented at the VI European Congress of Methodology (EAM), Utrecht, Netherlands, July 23 – 25, 2014.
  • Buerger, S., Kroehne, U. & Goldhammer, F., (2014). Gibt es Unterschiede zwischen der papier- und computerbasierten Administration eines Leseverständnistests?  - Eine Analyse von Mode Effekten im NEPS. Beitrag auf dem Kongress der Deutsche Gesellschaft für Psychologie (DGPs), Bochum, 21.-25.9.2014.
  • Kroehne, U., Buerger, S., Weiss, T. & Goldhammer, F. (2014). Trennung von Mode- und Kontext-Effekten einer Online-Kompetenztestung im Rahmen des Nationalen Bildungspanels, Deutsche Gesellschaft für Psychologie (DGPs), Bochum, 21.-25.9.2014.
  • Kroehne, U., Buerger, S, Goldhammer F. (2014). Disentangle Mode Effects and Context Effects for Online Assessment in the National Educational Panel Study (NEPS) in Germany. Talk presented at the VI European Congress of Methodology (EAM), Utrecht, Netherlands, July 23 – 25, 2014.
  • Goldhammer, F., & Pfaff, Y. (2011, September). Measuring Individual Differences In High School Students’ (grade 12) ICT Literacy: Accessing And Evaluating Information. Talk presented at the European Conference on Educational Research (ECER), Berlin, Germany, September 13 – 16, 2011.
  • Goldhammer, F., Kroehne, U., Keßel, Y., Senkbeil, M., & Ihme, J.M. (2014). Diagnostik von ICT-Literacy: Multiple-Choice- vs. simulationsbasierte Aufgaben. Diagnostica, 60, 10-21.
  • Kroehne, U. & Martens, T. (2011). Computer-Based Competence Tests in the National Educational Panel Study: The Challenge of Mode Effects. Zeitschrift für Erziehungswissenschaften, 14, 169-186.
  • Goldhammer, F., Naumann, J. & Keßel, Y. (2013). Assessing Individual differences in Basic Computer Skills: Psychometric characteristics of an interactive performance measure. European Journal of Psychological Assessment, 29, 263-275.

Kooperation

Leibniz Institut für Bildunsgverläufe (Bamberg)

Assoziierte Mitarbeiter

  • Roland Johannes (Reaktionszeittestung)
  • Felix Wagner (Softwareentwicklung)
  • Yvonne Keßel (Doktorandin, Psychometrie)
  • Björn Buchal (Systemadministration)

Projektleitung

Projektteam

Projektdaten

Status:
Laufende Projekte
Laufzeit:
2014 - 2016
Finanzierung:
Drittmittelprojekt
Abteilung: Bildungsqualität und Evaluation
zuletzt verändert: 02.12.2016

Ein Projekt des Zentrums für technologiebasiertes Assessment.

TBA Webbanner (2480x472)