-
-
Autor*innen: Hartig, Johannes; Harsch, Claudia
Titel: Multidimensional structures of competencies. Focusing on text comprehension in English as a foreign language
Aus: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments, Cham: Springer, 2017 (Methodology of educational measurement and assessment), S. 357-368
DOI: 10.1007/978-3-319-50030-0_21
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Deutschland; Englischunterricht; Englisch als Zweitsprache; Textverständnis; Hörverstehen; Item-Response-Theory; Itemanalyse; Schwierigkeit; Test; Schüler; Schuljahr 09; Text; Rezeption; Rasch-Modell
Abstract: The project "Modeling competencies with multidimensional item-response-theory models" examined different psychometric models for student performance in English as a foreign language. On the basis of the results of re-analyses of data from completed large scale assessments, a new test of reading and listening comprehension was constructed. The items within this test use the same text material both for reading and for listening tasks, thus allowing a closer examination of the relations between abilities required for the comprehension of both written and spoken texts. Furthermore, item characteristics (e.g., cognitive demands and response format) were systematically varied, allowing us to disentangle the effects of these characteristics on item difficulty and dimensional structure. This chapter presents results on the properties of the newly developed test: Both reading and listening comprehension can be reliably measured (rel = .91 for reading and .86 for listening). Abilities for both sub-domains prove to be highly correlated yet empirically distinguishable, with a latent correlation of .84. Despite the listening items being more difficult, in terms of absolute correct answers, the difficulties of the same items in the reading and listening versions are highly correlated (r = .84). Implications of the results for measuring language competencies in educational contexts are discussed. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Harsch, Claudia; Hartig, Johannes
Titel: Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills
In: Language Testing, 33 (2016) 4, S. 555-575
DOI: 10.1177/0265532215594642
URN: urn:nbn:de:0111-pedocs-125709
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-125709
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Deutschland; Einstufung; Hörverstehen; Leseverstehen; Methode; Prognostischer Test; Regressionsanalyse; Reliabilität; Schüler; Sekundarbereich; Sprachtest; Strukturgleichungsmodell; Test; Testkonstruktion; Testverfahren; Validität
Abstract (english): Placement and screening tests serve important functions, not only with regard to placing learners at appropriate levels of language courses but also with a view to maximizing the effectiveness of administering test batteries. We examined two widely reported formats suitable for these purposes, the discrete decontextualized Yes/No vocabulary test and the embedded contextualized C-test format, in order to determine which format can explain more variance in measures of listening and reading comprehension. Our data stem from a large-scale assessment with over 3000 students in the German secondary educational context; the four measures relevant to our study were administered to a subsample of 559 students. Using regression analysis on observed scores and SEM on a latent level, we found that the C-test outperforms the Yes/No format in both methodological approaches. The contextualized nature of the C-test seems to be able to explain large amounts of variance in measures of receptive language skills. The C-test, being a reliable, economical and robust measure, appears to be an ideal candidate for placement and screening purposes. In a side-line of our study, we also explored different scoring approaches for the Yes-No format. We found that using the hit rate and the false-alarm rate as two separate indicators yielded the most reliable results. These indicators can be interpreted as measures for vocabulary breadth and as guessing factors respectively, and they allow controlling for guessing. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rauch, Dominique; Schastak, Martin; Richter, Katja
Titel: Diagnostik sprachlicher Kompetenzen bei Personen mit Migrationshintergrund
Aus: Maehler, Débora B.;Brinkmann, Heinz Ulrich (Hrsg.): Methoden der Migrationsforschung: Ein interdisziplinärer Forschungsleitfaden, Wiesbaden: Springer VS, 2016 , S. 97-133
DOI: 10.1007/978-3-658-10394-1_4
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungsforschung; Datenanalyse; Deutschland; Diagnostik; Empirische Forschung; Forschungsplanung; Hörverstehen; Lesetest; Leseverstehen; Migrant; Migrationshintergrund; Normung; Schreibkompetenz; Schreibtest; Sekundäranalyse; Sprachkompetenz; Sprachtest; Testverfahren; Zweisprachigkeit
Abstract: Das vorliegende Kapitel gibt einen Einstieg in die Diagnostik sprachlicher Kompetenzen bei Personen mit Migrationshintergrund. Diese sprachlichen Kompetenzen werden sowohl in Large Scale Assessments als auch in kleineren Forschungsvorhaben erhoben. Eine sinnvolle Bearbeitung der eigenen Forschungsfragen setzt in beiden Fällen eine Auseinandersetzung mit den fokussierten sprachlichen Kompetenzen (Sprechen, Hörverständnis, Lesen und Schreiben) und der Tests voraus. Es werden die wichtigsten für Sekundäranalysen zugänglichen Datensätze, in denen sprachliche Kompetenzen von Personen mit Migrationshintergrund erhoben wurden, vorgestellt. Für die Planung einer eigenen Datenerhebung werden gängige Testverfahren zur Erfassung von sprachlichen Kompetenzen dargestellt. Im Zuge dessen werden die sich aus der Mehrsprachigkeit von Personen mit Migrationshintergrund ergebenden Probleme bei der Normierung von Testverfahren werden diskutiert. Die meisten existierenden Testinstrumente zielen auf Kompetenzen in der Verkehrs- und Unterrichtssprache Deutsch ab. Es gibt jedoch auch einige Verfahren zur Erfassung von Kompetenzen in den häufigsten Herkunftssprachen in Deutschland lebender Migranten. Diese Verfahren finden im vorliegenden Kapitel besondere Beachtung. (DIPF/Orig.)
Abstract (english): The chapter at hand gives an introduction to the diagnosis of language competencies of immigrants. Those language competencies are assessed in large scale assessments as well as small scale scientific studies. Sensible research on language competencies of immigrants requires in depth reflection of the focused language competencies (speaking, listening comprehension, reading and writing) and tests. The most important data sets that are available for reanalysis and that include data of immigrants will be presented in our chapter. For those planning to design their own study, well established tests for the assessment of language competencies will be described. Here, the implications of multilingualism of immigrants for the use of test norms will be discussed, too. Most of the existing tests focus on competencies in German, the language of public communication and teaching in Germany. There are, however, some tests that can be used to assess language competencies in the most prominent heritage languages of immigrants in Germany; those tests are given special attention. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Neeb, Yvonne; Naumann, Johannes; Knoepke, Julia; Isberner, Maj‑Britt; Richter, Tobias
Titel: Phonologische Verarbeitung von gesprochener und geschriebener Sprache. Erfassung und Unterschiede im Verlauf der Grundschulzeit
Aus: Redder, Angelika;Naumann, Johannes;Tracy, Rosemarie (Hrsg.): Forschungsinitiative Sprachdiagnostik und Sprachförderung: Ergebnisse, Münster: Waxmann, 2015 , S. 47-66
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Deutschland; Empirische Untersuchung; Gesprochene Sprache; Grundschüler; Hessen; Hörverstehen; Köln; Lesefertigkeit; Lesenlernen; Leseverstehen; Messung; Schriftsprache; Schuljahr 01; Schuljahr 02; Schuljahr 03; Schuljahr 04; Test
Abstract: Phonologische Verarbeitung basiert auf mentalen Repräsentationen der Lautstruktur und ist mit dem Leseerwerb eng verknüpft. Anhand schwierigkeitsbestimmender Merkmale wurden Aufgaben entwickelt, die Rückschlüsse auf den Entwicklungsstand dieser phonologischen Repräsentationen erlauben, und mit einer Stichprobe von 868 GrundschülerInnen der Klassenstufen eins bis vier hinsichtlich ihrer Validität untersucht. Bei einer Aufgabe zur Phonemdiskrimination klären die variierten Aufgabenmerkmale einen beträchtlichen Anteil der Varianz in Fehlerraten und Bearbeitungszeiten auf. Mit einer hinsichtlich der Aufgabenmerkmale parallelen Skala zur phonologischen Rekodierung konnten klassenstufenbedingte Unterschiede in der Verarbeitung von gesprochener und geschriebener Sprache abgebildet werden. So übertreffen die Leistungen von LeseanfängerInnen in der Phonemdiskrimination stets die Leistungen in der phonologischen Rekodierung, wobei diese Leistungsdifferenz über die Klassenstufen hinweg abnimmt. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Knoepke, Julia; Richter, Tobias; Isberner, Maj-Britt; Neeb, Yvonne; Naumann, Johannes
Titel: Leseverstehen = Hörverstehen X Dekodieren? Ein stringenter Test der Simple View of Reading bei deutschsprachigen Grundschulkindern
Aus: Redder, Angelika; Weinert, Sabine (Hrsg.): Sprachförderung und Sprachdiagnostik: Interdisziplinäre Perspektiven, Münster: Waxmann, 2013 , S. 256-276
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Computerunterstütztes Verfahren; Deutschland; Empirische Untersuchung; Erkennen; Grundschüler; Hörverstehen; Kognitive Prozesse; Lesekompetenz; Lesetest; Leseverstehen; Schuljahr 03; Schuljahr 04; Visuelle Wahrnehmung; Wort
Abstract: Die Autoren prüfen im Rahmen des Projekts "Prozessbezogene Diagnostik des Lese- und Hörverstehens im Grundschulalter" systematisch, ob sich Leseverstehen als Produkt aus der Effizienz der visuellen Worterkennung und im Hörverstehen von Sprache erklären lässt, wie es der "simple view of reading" annimmt. Die Befunde, die mittels gezielt entwickelter Tests zur Erfassung der entsprechenden Teilkompetenzen erzielt wurden, sind diagnostisch weiterführend und zeigen die Bedeutung beider Kompetenzen, ohne hingegen einen simple view of reading in einfacher Weise zu stützen.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Höhler, Jana
Titel: Representation of competencies in multidimensional IRT models with within-item and between-item multidimensionality
In: Zeitschrift für Psychologie, 216 (2008) 2, S. 89-101
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Item-Response-Theory; Modell; DESI-Studie; Kompetenz; Fertigkeit; Englisch als Fremdsprache; Leseverstehen; Hörverstehen; Datenanalyse
Abstract (english): Multidimensional item response theory (MIRT) holds considerable promise for the development of psychometric models of competence. It provides an ideal foundation for modeling performance in complex domains, simultaneously taking into account multiple basic abilities. The aim of this paper is to illustrate the relations between a two- dimensional IRT model with between-item multidimensionality and a nested-factor model with within-item multidimensionality, and the different substantive meanings of the ability dimensions in the two models. Both models are applied to empirical data from a large-scale assessment of reading and listening comprehension in a foreign language. In the between-item model, performance in the reading and listening items is modeled by two separate dimensions. In the within-item model, one dimension represents the abilities common to both tests, and a second dimension represents abilities specific to listening comprehension. Distinct relations of external variables, such as gender and cognitive abilities, with ability scores demonstrate that the alternative models have substantively different implications. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes
Titel: Methoden zur Bildung von Kompetenzstufenmodellen
Aus: Moosbrugger, Helfried (Hrsg.): Qualitätssicherung im Bildungswesen, Frankfurt am Main: Univ., 2004 , S. 74-93
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Stufenmodell; Definition; Methode; Itemanalyse; Skalierung; DESI-Studie; Hörverstehen
Abstract: Der Autor erläutert zunächst Hintergrund und Ziele der Definition von Kompetenzstufen. Dann werden die theoretischen Grundlagen erörtert. Als mögliche Vorgehensweisen bei der Stufenbildung werden die Methoden post hoc-Analyse der Aufgabeninhalte sowie Skalierung mit a priori definierten Aufgabenmerkmalen beschrieben. (DIPF/Mar.)
DIPF-Abteilung: Bildungsqualität und Evaluation