ProKom: Prozessdaten zur Kompetenzmodellierung

ProKom ist ein interdisziplinäres Projekt zur Nutzung von Prozessdaten zur Kompetenzmodellierung auf Grundlage der Feldtestdaten aus der PIAAC-Studie.

Projektbeschreibung

Die Messung und Modellierung von Kompetenzen fokussiert in der Regel auf Ergebnisindikatoren, d.h. durch die Analyse von Antwortmustern in Testaufgaben wird auf das zugrundeliegende Kompetenzniveau geschlossen. Nicht berücksichtig wird bei dieser Vorgehensweise die Möglichkeit, neben interindividuellen Unterschieden in den Aufgabenergebnissen auch Verhaltensunterschiede in der Erreichung eines bestimmten Ergebnisses in die Kompetenzmodellierung einzubeziehen.

Methodisches Vorgehen

Empirische Grundlage der Untersuchung sind jeweils die nationalen Feldtestdaten aus der PIAAC-Studie. Im geplanten Projekt sollen erweiterte und fortgeschrittene Analysen durchgeführt werden, die nicht zum regulären Analyseplan der PIAAC-Studie gehören. Die nationale PIAAC Feldtest(FT)-Stichprobe umfasst ca. N=1500 für die Teilnahme (Haushaltsstichprobe). Für das geplante Projekt werden die Daten aus dem computer-basierten Assessment von Literacy, Numeracy und Problem Solving genutzt.

Die statistische Modellbildung beinhaltet u. a. Messmodelle für kategoriale und kontinuierliche Indikatoren (IRT, CFA), Erklärungsmodelle unter Berücksichtigung von Aufgaben- und Personenmerkmalen und deren Interaktion, sowie explorative Process Mining-Techniken.

Projektziele

Das übergeordnete Ziel des Projektes besteht in einer erweiterten Modellierung von Kompetenzen durch die Verwendung von Prozessdaten. Kompetenzausprägungen, die in der Regel nur über Ergebnisdaten definiert werden, sollen im Rahmen der drei folgenden Teilziele anhand der Benutzung von Prozessdaten (Bearbeitungszeiten und Bearbeitungsschritte) und unter Verwendung unterschiedlicher methodischer Herangehensweisen aus Psychometrie und Informatik umfassender beschrieben werden.

  1. Bearbeitungszeiten: Durch die Anwendung integrierter Messmodelle für Reaktionen und Reaktionszeiten (IRT-RT Modelle) soll u. a. die Beziehung zwischen domänenspezifischen Fertigkeits- und Geschwindigkeitskonstrukten empirisch ermittelt werden. 
  2. Bearbeitungsschritte (theoriegeleitet): Für die Domänen Literacy und Problem Solving werden u. a. theoriegeleitet Prozessmaße gebildet, die die Güte des Navigationspfades beschreiben und als Prädiktoren des Aufgabenerfolgs sowie als Kompetenzindikatoren eingesetzt werden. 
  3. Bearbeitungsschritte (explorativ): Die registrierten Ereignissequenzen sollen u. a. mittels Process-Mining-Techniken automatisiert analysiert werden, um aus den empirischen Lösungswegen explorativ ein zugrundeliegendes Prozessmodell des tatsächlichen Bearbeitungsverhaltens zu ermitteln. 

Finanzierung

Deutsche Forschungsgemeinschaft

Kooperationen

International: R.H. Klein Entink (NL), M.L. Lennon (USA), L. Salmerón, E. Vidal-Abarca (ES), W. van der Aalst (NL)

National: J. Funke, J. Hartig, D. Moldt, GESIS

Projektdaten

Status:
Abgeschlossenes Projekt
Laufzeit:
10/2011 – 06/2016
Finanzierung:
Drittmittelprojekt