-
-
Author(s): Richter, Tobias; Naumann, Johannes
Title: Was misst der ELVES-Subtest Satzverifikation? Analysen von Mess- und Itemeigenschaften mit hierarchisch-linearen Modellen
In: Lenhard, Wolfgang; Schneider, Wolfgang (Hrsg.): Diagnostik und Förderung des Leseverständnisses, Göttingen: Hogrefe, 2009 (Tests und Trends. N.F., 7), S. 131-149
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Lesefähigkeit; Diagnostischer Test; Testanwendung; Leseverstehen; Erwachsener; Student; Reaktion; Itemanalyse; Modellierung; Kognitive Prozesse; Effizienz; Deutschland
Abstract: Die Mess- und Itemeigenschaften des Subtests Satzverifikation aus dem Lesefähigkeitsdiagnostikum ELVES (Effizienz von Teilprozessen des Leseverstehens bei Erwachsenen nach dem Strategiemodell) wurden mit hierarchisch-linearen Modellen analysiert. Der Subtest Satzverifikation erfasst die Effizienz hierarchieniedriger Teilprozesse des Leseverstehens ( lexikalischer Zugriff und semantische Integration) durch Testwerte, die wesentlich auf Reaktionszeiten beruhen. Im vorliegenden Beitrag wurde erstens untersucht, ob sich die Reaktionszeiten als additive Kombination von Item- und Personenparametern modellieren lassen (spezifische Objektivität). Zweitens wurde der mögliche kritische Einwand geprüft und widerlegt, dass die Reaktionszeitdaten einem potenziell validitätsgefährdenden Speed-Accuracy-Tradeoff unterliegen. Drittens wurde gezeigt, dass sich Reaktionszeitunterschiede zwischen Testitems auf Itemmerkmale zurückführen lassen, die aus psycholinguistischer und kognitionspsychologischer Sicht die Itembearbeitung erleichtern oder erschweren sollten. Insgesamt sprechen die Ergebnisse dafür, dass der Subtest Satzverifikation näherungsweise dem Prinzip der spezifischen Objektivität genügt und tatsächlich die Effizienz der angezielten Teilprozesse des Leseverstehens erfasst. (DIPF/Orig.)
Abstract (english): Test- and item-characteristics of the subtest "Sentence Verification" from the reading skills test ELVES (efficiency of reading comprehension in adult readers according to the strategy model) were analyzed using hierarchical linear models. The subtest Sentence Verification captures the efficiency of lower level component reading processes (lexical access, semantic integration) through scores that rely primarily on decision latencies. The present article firstly investigates whether decision latencies can be decomposed into an additive combination of item- and person-parameters (specific objectivity). Secondly, and adding to the validity of latency-based measures of reading skills, it is shown that the decision latencies in the subtest Sentence Verification are not subject to a speed-accuracy-tradeoff. Thirdly, it is shown that differences in decision latencies between items are due to item characteristics that can be assumed to influence processing difficulty from the perspectives of cognitive psychology and psycholinguistics. In sum, the subtest Sentence Verification appears to approximately satisfy the condition of specific objectivity, and capture the targeted reading component processes' efficiency.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Hartig, Johannes; Klieme, Eckhard; Leutner, Detlev
Title: Assessment of competencies in educational contexts
Published: Göttingen: Hogrefe, 2008
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Kompetenz; Bildungsforschung; Leistungsmessung; Kognitive Fähigkeit; Testtheorie; Item-Response-Theory; Psychometrie; Diagnostischer Test; Test; Methodologie; Technologiebasiertes Testen; Fernunterricht; Bildungsmonitoring; Leistungstest; Vergleichsuntersuchung; Feedback; Bildungsstandard; Deutschland; Österreich; Schweiz
Abstract (english): This book covers current theoretical, psychometric, and practical issues related to the assessment of competencies in educational and vocational settings. Leading researchers from around the world contribute their expertise from different research fields. The book provides theoretical perspectives on the concept of competencies in educational and vocational contexts, as well as on developmental models. It deals with item writing and psychometric models forassessing and explaining competencies, and addresses practical issues such as test construction, computer-based assessment, and the implementation of assessment tools. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hartig, Johannes; Höhler, Jana
Title: Representation of competencies in multidimensional IRT models with within-item and between-item multidimensionality
In: Zeitschrift für Psychologie, 216 (2008) 2, S. 89-101
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Item-Response-Theory; Modell; DESI-Studie; Kompetenz; Fertigkeit; Englisch als Fremdsprache; Leseverstehen; Hörverstehen; Datenanalyse
Abstract (english): Multidimensional item response theory (MIRT) holds considerable promise for the development of psychometric models of competence. It provides an ideal foundation for modeling performance in complex domains, simultaneously taking into account multiple basic abilities. The aim of this paper is to illustrate the relations between a two- dimensional IRT model with between-item multidimensionality and a nested-factor model with within-item multidimensionality, and the different substantive meanings of the ability dimensions in the two models. Both models are applied to empirical data from a large-scale assessment of reading and listening comprehension in a foreign language. In the between-item model, performance in the reading and listening items is modeled by two separate dimensions. In the within-item model, one dimension represents the abilities common to both tests, and a second dimension represents abilities specific to listening comprehension. Distinct relations of external variables, such as gender and cognitive abilities, with ability scores demonstrate that the alternative models have substantively different implications. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Martens, Thomas; Rost, Jürgen; Gresele, Christiane
Title: Bedrohung: Vulnerabilität
In: Glöckner-Rist, Angelika (Hrsg.): Zusammenstellung sozialwissenschaftlicher Items und Skalen: ZIS Version, Bonn: GESIS, 2008
URL: http://www.gesis.org/dienstleistungen/methoden/spezielle-dienste/zis-ehes/download-zis/downloads/
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Umwelt; Bewußtsein; Verhalten; Motivation; Itemanalyse
Abstract: Als Ausgangspunkt einer Motivierung zum umweltgerechten Verhalten wird nach Martens und Rost (1998) die Bedrohungswahrnehmung angenommen. Dabei kann sich das Bedrohungsgefühl nicht nur auf sich selbst beziehen sondern auch auf physische Umwelten. Die entsprechend konstruierte Skala kombiniert systematisch verschiedene Umweltgefahren mit der eigenen Gefährdung und der Bedrohung von Pflanzen und Tieren.(DIPF/Autor)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Martens, Thomas; Rost, Jürgen; Gresele, Christiane
Title: Verantwortung für Umweltprobleme
In: Glöckner-Rist, Angelika (Hrsg.): Zusammenstellung sozialwissenschaftlicher Items und Skalen: ZIS Version, Bonn: GESIS, 2008
URL: http://www.gesis.org/dienstleistungen/methoden/spezielle-dienste/zis-ehes/download-zis/downloads/
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Umwelt; Verantwortung; Bewußtsein; Handlungskompetenz; Messung; Messverfahren; Itemanalyse; Politik; Industrie; Individuum
Abstract: Das zweite in die Motivierung für umweltgerechtes Handeln eingreifende Konstrukt ist die Zuschreibung von Verantwortlichkeit (Martens & Rost, 1998). Nur wenn sich eine Person auch für eine Bedrohungsreduktion verantwortlich fühlt, wird sie ein entsprechendes Handlungsmotiv ausprägen. Die entsprechend konstruierte Skala kombiniert systematisch verschiedene Umweltgefahren mit den drei Verantwortungsgruppen Politiker, Industrie und jeder Einzelne. Die Verantwortung des Einzelnen wird zusätzlich nach direktem und politischem (indirektem) Umwelthandeln differenziert.(DIPF/ Autor)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hartig, Johannes; Hölzel, Britta; Moosbrugger, Helfried
Title: A Confirmatory Analysis of Item Reliability Trends (CAIRT). Differentiating true score and error variance in the analysis of item context effects
In: Multivariate Behavioral Research, 42 (2007) 1, S. 157-183
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Keywords: Persönlichkeitstest; Itemanalyse; Reliabilität; Methode
Abstract (english): Numerous studies have shown increasing item reliabilities as an effect of the item position in personality scales. Traditionally, these context effects are analyzed based on item-total correlations. This approach neglects that trends in item reliabilities can be caused either by an increase in true score variance or by a decrease in error variance. The paper presents the Confirmatory Analysis of Item Reliability Trends (CAIRT), a method that allows to estimate trends in true score and error variances separately within a SEM framework. Results of a simulation study prove the CAIRT method to provide reliable and independent parameter estimates. The power for detecting trends in item reliabilities exceeds the traditional analysis of item-total correlations. (DIPF/Author)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Rauch, Dominique; Hartig, Johannes
Title: Interpretation von Testwerten in der IRT
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 240-250
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Testtheorie; Itemanalyse; Testauswertung; Interpretation; Individuum; Methode; Kompetenzniveau
Abstract: Auf Basis der Item Response Theorie (IRT) können wie auf Basis der Klassischen Testtheorie (KTT) Testwerte für Personen gebildet werden, die die Items eines Tests beantwortet haben. Im Gegensatz zur KTT setzt die IRT die Antwortenauf die Items eines Tests nicht mit der Messung des im Test erfassten Konstrukts gleich, sondern konzipiert die Messung des Konstrukts explizit als indirekt: IRT-Modelle postulieren, dass dem im Test gezeigten Verhalten, also denAntworten auf die Items des Tests ( daher Item-Response-Theorie), eine Fähigkeit oder Eigenschaft zugrunde liegt, die das Testverhalten "verursacht". Grundvoraussetzung für eine kriteriumsorientierte Interpretation individueller Testwerte ist die Abbildung von Itemschwierigkeiten und Personenfähigkeiten auf einer gemeinsamen Skala. Im Rahmen der KTT wird zwischen der individuellen Leistung einer Person - z.B. Prozent gelöster Items - und der Schwierigkeiteines Items - z.B. Prozent der Personen, die das Item gelöst haben - kein expliziter Bezug hergestellt. In IRT-Modellen dagegen werden individuelle Fähigkeitsschätzungen und Itemschwierigkeiten auf einer gemeinsamen Skala abgebildet. Dadurch ist es möglich, individuelle Testwerte durch ihre Abstände zu Itemschwierigkeiten zu interpretieren. Der vorliegende Text stellt die Grundlagen der Interpretation von Testwerten in der IRT anhand von Beispielen aus der empirischen Bildungsforschung dar und erläutert unter anderem verschiedene Methoden zur Bildung von Kompetenzniveaus. (DIPF/Autor)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hartig, Johannes
Title: Methoden zur Bildung von Kompetenzstufenmodellen
In: Moosbrugger, Helfried (Hrsg.): Qualitätssicherung im Bildungswesen, Frankfurt am Main: Univ., 2004 , S. 74-93
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Kompetenz; Stufenmodell; Definition; Methode; Itemanalyse; Skalierung; DESI-Studie; Hörverstehen
Abstract: Der Autor erläutert zunächst Hintergrund und Ziele der Definition von Kompetenzstufen. Dann werden die theoretischen Grundlagen erörtert. Als mögliche Vorgehensweisen bei der Stufenbildung werden die Methoden post hoc-Analyse der Aufgabeninhalte sowie Skalierung mit a priori definierten Aufgabenmerkmalen beschrieben. (DIPF/Mar.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Dossey, John; Hartig, Johannes; Klieme, Eckhard; Wu, M.
Title: Problem solving for tomorrow's world. First measures of cross-curricular competencies from PISA 2003
Published: Paris: OECD, 2003
URL: http://www.pisa.oecd.org/dataoecd/25/12/34009000.pdf
Publication Type: 1. Monographien (Autorenschaft); Monographie (keine besondere Kategorie)
Language: Englisch
Keywords: Problemlösen; Leistungsmessung; Schülerleistung; Kompetenz; PISA; Itemanalyse; Soziale Herkunft; Geschlechtsunterschied; Vergleichen; Australien; Österreich; Belgien; Kanada; Tschechische Republik; Dänemark; Finnland; Frankreich; Deutschland; Griechenland; Ungarn; Island; Irland; Italien; Japan; Korea; Luxemburg; Mexiko; Neuseeland; Norwegen; Polen; Portugal; Spanien; Schweden; Schweiz; Vereinigtes Königreich; Vereinigte Staaten
Abstract (english): {Abstract_englisch}
DIPF-Departments: Bildungsqualität und Evaluation