Logo: Deutsches Institut für Internationale Pädagogische Forschung

Publications

Publikationendatenbank

show results

Autor:
Hartig, Johannes; Frey, Andreas:

Titel:
Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten

Quelle:
In: Psychologische Rundschau, 63 (2012) 1 , 43-49

URL des Volltextes:
http://psycontent.metapress.com/content/8w4607412m163861/?p=b5f0aa5125ab483798d21ab9efb101e1

Sprache:
Deutsch

Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft

Schlagwörter:
DESI-Studie, Englisch, Item-Responce-Theory, Kompetenz, Leseverstehen, Präsentation, Sekundäranalyse, Validität


Abstract:
Kompetenzkonstrukte in der empirischen Bildungsforschung werden in der Regel auf kontinuierlichen Skalen abgebildet. Bei der Verwendung von Messmodellen der Item-Response-Theorie (IRT) kann auf Basis der gemeinsamen Metrik für individuelle Kompetenzausprägungen und Itemschwierigkeiten eine kriterienorientierte Testwert-beschreibung vorgenommen werden. Da die gemessene Kompetenz hierbei bezogen auf Itemschwierigkeiten beschrieben wird, ist es von großem Interesse, warum bestimmte Items empirisch schwieriger sind als andere. Der vorliegende Beitrag stellt zunächst den generellen Nutzen der Vorhersage von Itemschwierigkeiten dar. Dieser besteht (1) in der Prüfung von Theorien über die gemessene Kompetenz im Sinne einer Konstruktvalidierung, (2) in der Fundierung einer kriterienorientierten Skaleninterpretation und (3) in der Steuerung und Optimierung der Itemkonstruktion. Die IRT-basierte Vorhersage von Itemschwierigkeiten wird auf Basis von Daten aus dem Schwerpunktprogramm-Projekt zur Kompetenzmodellierung in Englisch als Fremdsprache illustriert (N = 9.409). Für den Bereich Leseverstehen in Englisch als Fremdsprache kann gezeigt werden, dass sowohl die sprachlichen Anforderungen des Textes als auch die Anforderungen hinsichtlich der Informationsverarbeitung für das Konstrukt bedeutsam sind.

Abstract(englisch):
In educational measurement, competencies are typically modeled as continuous dimensions. By using item response theory (IRT), criterion referenced descriptions for the scores on these dimensions can be derived from a joint scale for the distribution of competencies and the item difficulties. Since here the scale descriptions are based on the item difficulties, those factors which systematically affect the item difficulties are of major interest. The paper describes the general benefits of item difficulty modeling, namely (1) construct validation by testing hypotheses about the measured construct, (2) deriving model based criterion referenced scale descriptions, and (3) gaining information for future item development. An illustration of IRT-based item difficulty modeling is given based on the test data from a study on reading comprehension in English as foreign language (EFL) (N = 9.409). The findings suggest that for reading comprehension in EFL, both the linguistic demands of the texts as well as the type of required information processing are relevant item characteristics.


DIPF-Abteilung:
Bildungsqualität und Evaluation

Notizen:

last modified Nov 11, 2016