Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen

Im Projekt werden verschiedene Modelle der Item-Response-Theorie (IRT) zur Modellierung von Kompetenzen miteinander verglichen und auf Testdaten zur Messung von Fremdsprachkompetenzen im Englischen angewandt. Zunächst wurden bereits vorliegende Daten aus abgeschlossenen Large Scale Assessments analysiert. In der zweiten Projektphase wurden darauf aufbauend neue Testaufgaben zum Lese- und Hörverstehen mit systematisch variierten Aufgaben­anforderungen entwickelt und einer Schülerstichprobe vorgegeben. In der derzeit laufenden dritten Phase steht die Auswertung der erhobenen Daten hinsichtlich Dimensionalität und Itemschwierigkeiten im Mittelpunkt. Ziel ist die Formulierung eines hinsichtlich Dimensionen und Niveaus empirisch fundierten Kompetenzmodells für rezeptive Fremdsprachkompetenzen. Darüber hinaus sollen die bei der Konstruktion verwendeten Merkmale durch unabhängige Einschätzungen validiert werden sowie eine Anbindung der Skalen an die Niveaus des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER) erfolgen. Am Ende der laufenden beantragten Projektphase ist Zeit eingeplant, die ausschließlich zur Verwertung der empirischen Ergebnisse für internationale Zeitschriftenpublikationen genutzt werden soll.

Ziele des Projekts

In der von Oktober 2011 bis September 2013 laufenden dritten Phase des Projekts sollen im Wesentlichen vier Ziele verfolgt werden:

1.    Die bei der Aufgabenentwicklung in der 2. Projektphase verwendeten Aufgabenmerkmale sollen durch unabhängige Kodierer bestätigt werden. Hierzu werden die Aufgaben analog dem Vorgehen für die DESI- und Bildungsstandards-Aufgaben in der ersten Projektphase von hierzu geschulten studentischen Kodierern hinsichtlich der Aufgabenmerkmale eingeschätzt.

2.    Die dimensionale Struktur der mit den neu entwickelten Aufgaben erfassten Kompetenzen soll mit mehrdimensionalen IRT-Modellen geprüft werden. Es wird erwartet, dass sich Lese- und Hörverstehen als zwei jeweils homogene, miteinander korrelierte Dimensionen darstellen lassen. Dieses angenommene Modell wird gegen konkurrierende Modelle getestet, in denen weitere, durch bestimmte Aufgabenmerkmale definierte Dimensionen (z. B. offenes Antwortformat) hinzu kommen.

3.    Innerhalb der Kompetenzdimensionen (z. B. Lese- und Hörverstehen) werden die Effekte der Aufgabenmerkmale auf die Itemschwierigkeiten untersucht. Es wird erwartet, dass alle bei der Aufgabenentwicklung berücksichtigten Merkmale einen substanziellen Effekt auf die Schwierigkeit haben. Die Prüfung dieser Effekte dient zum einen der Konstruktvalidierung, zum anderen sollen die Ergebnisse aus der Modellierung der Itemschwierigkeiten verwendet werden, um Kompetenzniveaus zu definieren.

4.    Die im Projekt entwickelten, modellbasierten Niveaumodelle sollen an den Gemeinsamen Europäischen Referenzrahmen für Sprachen (GER) angebunden werden. Hierzu sollen zum einen die konkret verwendeten Testaufgaben durch Experten auf den Niveaus des GER verortet werden, zum anderen sollen die bei der Aufgabenentwicklung berücksichtigten Aufgabenmerkmale und ihre Kombinationen in GER-Niveaus übersetzt werden.

5.    Systematischer Vergleich der diagnostischen Aussagen, die aus den Anwendungen unterschiedlicher psychometrischer Modelle resultieren. Die Nützlichkeit und Verständlichkeit der Ergebnisse aus verschiedenen Modellen für den Fremdsprachunterricht wird durch eine Befragung von Englischlehrkräften untersucht.

Fragestellungen

1.    Lassen sich die bei der Konstruktion verwendeten Aufgabenmerkmale auch von unabhängigen Beurteilern objektiv einschätzen?
2.    Wie lässt sich die Struktur von Lese- und Hörverstehen in Englisch als Fremdsprache hinsichtlich der dimensionalen Struktur beschreiben?
3.    Lassen sich Niveaus im Lese- und Hörverstehen in Englisch als Fremdsprache durch Aufgabenanforderungen beschreiben, und sind diese Beschreibungen generalisierbar über die beiden Bereiche hinweg?
4.    Lassen sich Bezüge zwischen den Anforderungen des entwickelten Aufgabenmaterials und den Niveaus des Europäischen Referenzrahmens für Sprachen (GER) herstellen?
5.    Als wie verständlich und nützlich empfinden Lehrer Ergebnisrückmeldungen die auf komplexen psychometrischen Modellen beruhen?

Methodisches Vorgehen

1.    Die Testdaten werden mit ein- und mehrdimensionalen IRT-Modellen analysiert.

2.    Aufgabenschwierigkeiten werden mit Regressionsanalysen und erklärenden IRT-Modellen vorhergesagt.

3.    Die Prüfung der Aufgabenmerkmale erfolgt durch hierfür geschulte Beurteiler (Studierende in Englisch als Fremdsprache / auf Lehramt)

4.    Die Anbindung an den Europäischen Referenzrahmen für Sprachen (GER) erfolgt über Expertenurteile.

5.    Es erfolgt eine systematische Ergebnisaufbereitung für den Lese- und Hörverstehenstest, die von den Lehrern mittels Fragebogen hinsichtlich Verständlichkeit und Nützlichkeit geratet werden.

Meilensteine der Projektarbeit im laufenden Jahr

• Fertigstellung des Datensatzes und Rückmeldung der Ergebnisse
• Analysen zu Item- und Skaleneigenschaften
• Analysen zur Dimensionalität
• Analysen zur Vorhersage der Itemschwierigkeiten

Publikationen

Hartig, J., Frey, A., Nold, G. & Klieme, E. (in press). An application of explanatory item response modeling for model-based proficiency scaling. Educational and Psychological Measurement.
Hartig, J. & Frey, A. (2012). Konstruktvalidierung und Skalenbeschreibung in der Kompetenz-diagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63, 43-49.
Hartig, J. & Höhler, J. (2010). Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen. Zeitschrift für Pädagogik, 56, 189-198.
Höhler, J., Hartig, J. & Goldhammer, F. (2010). Modeling the multidimensional structure of students' foreign language competence within and between classrooms. Psychological Test and Assessment Modeling, 52, 323-340.
Hartig, J. & Höhler, J. (2009). Multidimensional IRT models for the assessment of competences. Studies in Educational Evaluation, 35, 57-63.
Hartig, J. & Höhler, J. (2008). Representation of competencies in multidimensional IRT models with within- and between-item multidimensionality. Journal of Psychology, 216, 89–101.
Hartig, J. (2008). Psychometric models for the assessment of competencies. In J. Hartig, E. Klieme & D. Leutner (Hrsg.) Assessment of competencies in educational contexts (S. 69–90). Göttingen: Hogrefe & Huber Publishers.

Finanzierung

Das Projekt wird finanziert von der Deutschen Forschungsgemeinschaft (Kennz.: HA 5050/2-3) im DFG-Schwerpunktprogramm "Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen " (SPP 1293).

Kooperationspartner

• Andreas Frey, Friedrich-Schiller Universität, Jena Olga Kunina-Habenicht, Goethe-Universität, Frankfurt/M. Hans-Anand Pant, Institut für Qualitätsentwicklung im Bildungswesen (IQB), Berlin

Projektleitung

Johannes Hartig

Claudia Harsch, University of Warwick