-
-
Autor*innen: Höhler, Jana; Hartig, Johannes; Goldhammer, Frank
Titel: Modeling the multidimensional structure of students' foreign language competence within and between classrooms
In: Psychological Test and Assessment Modeling, 52 (2010) 3, S. 323-340
URL: http://www.psychologie-aktuell.com/fileadmin/download/ptam/3-2010_20100928/07_Hoehler.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: DESI-Studie; Deutschland; Englisch als Fremdsprache; Hörverständnis; Item-Response-Theory; Kompetenz; Leistungsmessung; Leseverstehen; Mehrebenenanalyse; Modellierung; Schüler; Schulklasse; Sekundarstufe I; Sprachkompetenz; Testkonstruktion
Abstract (english): Combining multilevel (ML) analysis and multidimensional item response theory (MIRT) provides a valuable method for analyzing data of educational assessments, where clustered data (e.g., students in classes) and multidimensional constructs frequently occur. It allows to model multiple ability dimensions while simultaneously taking the hierarchical structure into account. The dimensional structure of students foreign language competence within and between classrooms was investigated by applying a ML-MIRT measurement model to data of N = 9,410 students in 427 classes who had answered three different subtests of English as a foreign language. Results were compared to a MIRT model not taking into account the multilevel structure. A markedly more differentiated correlation structure is found within classrooms compared with the between-classroom level and compared with the model without multilevel structure. Results show that by modeling the latent multilevel structure, estimation and interpretation of ability profiles can bepossible even with highly correlated ability dimensions. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rauch, Dominique; Hartig, Johannes
Titel: Multiple-choice versus open-ended response formats of reading test items: A two-dimensional IRT analysis
In: Psychological Test and Assessment Modeling, 52 (2010) 4, S. 354-379
URL: http://www.psychologie-aktuell.com/fileadmin/download/ptam/4-2010_20101218/02_Rauch.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Bildungsforschung; Datenanalyse; Deutschland; Experimentelle Psychologie; Itemanalyse; Item-Response-Theory; Leistungsmessung; Lesefertigkeit; Lesetest; Leseverstehen; Mehrebenenanalyse; Messverfahren; Multiple-Choice-Verfahren; Textverständnis
Abstract (english): The dimensionality of a reading comprehension assessment with non-stem equivalent multiplechoice (MC) items and open-ended (OE) items was analyzed with German test data of 8523 9th-graders. We found that a two-dimensional IRT model with within-item multidimensionality, where MC and OE items load on a general latent dimension and OE items additionally load on a nested latent dimension, had a superior fit compared to an unidimensional model (p .05). Correlations between general cognitive abilities, orthography and vocabulary and the general latent dimension were significantly higher than with the nested latent dimension (p .05). Drawing back on experimental studies on the effect of item format on reading processes, we suppose that the general latent dimension measures abilities necessary to master basic reading processes and the nested latent dimension captures abilities necessary to master higher reading processes. Including gender, language spoken at home, and school track as predictors in latent regression models showed that the well known advantage of girls and mother-tongue students is found only for the nested latent dimension.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Richter, Tobias; Naumann, Johannes
Titel: Was misst der ELVES-Subtest Satzverifikation? Analysen von Mess- und Itemeigenschaften mit hierarchisch-linearen Modellen
Aus: Lenhard, Wolfgang; Schneider, Wolfgang (Hrsg.): Diagnostik und Förderung des Leseverständnisses, Göttingen: Hogrefe, 2009 (Tests und Trends. N.F., 7), S. 131-149
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Lesefähigkeit; Diagnostischer Test; Testanwendung; Leseverstehen; Erwachsener; Student; Reaktion; Itemanalyse; Modellierung; Kognitive Prozesse; Effizienz; Deutschland
Abstract: Die Mess- und Itemeigenschaften des Subtests Satzverifikation aus dem Lesefähigkeitsdiagnostikum ELVES (Effizienz von Teilprozessen des Leseverstehens bei Erwachsenen nach dem Strategiemodell) wurden mit hierarchisch-linearen Modellen analysiert. Der Subtest Satzverifikation erfasst die Effizienz hierarchieniedriger Teilprozesse des Leseverstehens ( lexikalischer Zugriff und semantische Integration) durch Testwerte, die wesentlich auf Reaktionszeiten beruhen. Im vorliegenden Beitrag wurde erstens untersucht, ob sich die Reaktionszeiten als additive Kombination von Item- und Personenparametern modellieren lassen (spezifische Objektivität). Zweitens wurde der mögliche kritische Einwand geprüft und widerlegt, dass die Reaktionszeitdaten einem potenziell validitätsgefährdenden Speed-Accuracy-Tradeoff unterliegen. Drittens wurde gezeigt, dass sich Reaktionszeitunterschiede zwischen Testitems auf Itemmerkmale zurückführen lassen, die aus psycholinguistischer und kognitionspsychologischer Sicht die Itembearbeitung erleichtern oder erschweren sollten. Insgesamt sprechen die Ergebnisse dafür, dass der Subtest Satzverifikation näherungsweise dem Prinzip der spezifischen Objektivität genügt und tatsächlich die Effizienz der angezielten Teilprozesse des Leseverstehens erfasst. (DIPF/Orig.)
Abstract (english): Test- and item-characteristics of the subtest "Sentence Verification" from the reading skills test ELVES (efficiency of reading comprehension in adult readers according to the strategy model) were analyzed using hierarchical linear models. The subtest Sentence Verification captures the efficiency of lower level component reading processes (lexical access, semantic integration) through scores that rely primarily on decision latencies. The present article firstly investigates whether decision latencies can be decomposed into an additive combination of item- and person-parameters (specific objectivity). Secondly, and adding to the validity of latency-based measures of reading skills, it is shown that the decision latencies in the subtest Sentence Verification are not subject to a speed-accuracy-tradeoff. Thirdly, it is shown that differences in decision latencies between items are due to item characteristics that can be assumed to influence processing difficulty from the perspectives of cognitive psychology and psycholinguistics. In sum, the subtest Sentence Verification appears to approximately satisfy the condition of specific objectivity, and capture the targeted reading component processes' efficiency.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Seeber, Susan
Titel: Urteilsgenauigkeit von Lehrerinnen und Lehrern in der sonderpädagogischen Förderung
Aus: Lehman, Rainer; Hoffmann, Ellen (Hrsg.): BELLA, Berliner Erhebung arbeitsrelevanter Basikompetenzen von Schülerinnen und Schülern mit Förderbedarf "Lernen", Münster: Waxmann, 2009 , S. 197-208
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Sonderpädagogik; Sonderschüler; Diagnostik; Lehrer; Lehrerurteil; Forschungsstand; Lernbehinderung; Lernschwierigkeit; Schülerleistung; Leistungsbeurteilung; Lesekompetenz; Mathematische Kompetenz; Leseverstehen; Leistungsdifferenzierung; Lerngruppe; Sekundarbereich; Befragung; Empirische Untersuchung; Berlin; Deutschland
Abstract: Im Rahmen der "Berliner Erhebung der Lernausgangslagen arbeitsrelevanter Basiskompetenzen von Schülerinnen und Schülern mit Förderbedarf Lernen" (BELLA) wurde auch die Urteilsgenauigkeit von Lehrerinnen und Lehrern in der sonderpädagogischen Förderung in den Bereichen Mathematik und Leseverständnis untersucht. Dabei stand nicht die Urteilsgenauigkeit von Lehrenden in Bezug auf die individuelle Leistungsfähigkeit von Lernenden im Zentrum der Analysen, sondern die Übereinstimmung von Lehrereinschätzungen zum Leistungsvermögen der Lerngruppen und deren mittleren Leistungen. Die Ergebnisse zeigen sowohl für den mathematischen Bereich als auch für die Lesefähigkeiten, dass die Lehrerinnen und Lehrer das Leistungsvermögen ihrer Klassen eher unter- als überschätzen. Darüber hinaus verweisen die Ergebnisse der Untersuchung darauf, dass die Vorstellungen der Lehrenden darüber, welche Aufgaben den Schülern besondere Schwierigkeiten bereiten und welche Anforderungen besser bewältigt werden, noch Entwicklungsbedarfe im Bereich der Diagnostik erkennen lassen. (DIPF/Autor)
DIPF-Abteilung: Steuerung und Finanzierung des Bildungswesens
-
-
Herausgeber*innen: Klieme, Eckhard; Helmke, Andreas; Lehmann, Rainer H.; Nold, Günter; Rolff, Hans-Günter; Schröder, Konrad; Thomé, Günther; Willenberg, Heiner
Titel: Unterricht und Kompetenzerwerb in Deutsch und Englisch. Ergebnisse der DESI-Studie
Erscheinungsvermerk: Weinheim: Beltz, 2008
DOI: 10.25656/01:3149
URN: urn:nbn:de:0111-opus-31494
URL: https://www.pedocs.de/frontdoor.php?source_opus=3149
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Sprachkompetenz; Fremdsprache; Deutsch; Englisch; Schülerleistung; Leistungsmessung; Sekundarstufe I; Schuljahr 09; Leseverstehen; Wortschatz; Sprachgebrauch; Interkulturelle Kompetenz; Mehrsprachigkeit; Deutsch als Zweitsprache; Deutschunterricht; Englischunterricht; Qualität; Effektivität; Bildungsforschung; Unterrichtsforschung; Empirische Untersuchung; Deutschland
Abstract: Der hier vorliegenden Band geht in einem einleitenden Teil auf Ziele und Anlange der DESI Studie, die methodischen Grundlagen der Sprachkompetenzmessung und Erklärung sowie die Rückmeldung der DESI Ergebnisse an die Lehrkräfte ein. Die darauf folgenden Kapitel setzen die Messung von sprachlichen Kompetenzen voraus und behandeln die für die Unterrichtspraxis relevanten Fragen in den übergeordneten Themenblöcken: Leistungsverteilungen im Deutschen und Englischen sowie mit sprachlichen Kompetenzen in Zusammenhang stehende Bedingungsfaktoren auf verschiedenen Ebenen. Zunächst werden auf Ebene des Individuums die individuellen und familialen Bedingungsfaktoren sprachlicher Kompetenzen analysiert, anschließend wird auf Ebene der Klasse der Einfluss des Unterrichts und der Lehrkräfte untersucht und schließlich auf Ebene der Schule nach institutionellen Bedingungsfaktoren sprachlicher Kompetenzen geforscht. In den Kapiteln 5 bis 10 werden die Leistungsverteilungen im Deutschen in den Kompetenzbereichen Leseverstehen, Wortschatz, Argumentation, Schreiben, Rechtschreibung und Sprachbewusstheit vorgestellt; in den Kapiteln 11 bis 17 folgen die Darstellungen der Leistungsverteilungen im Englischen in den Kompetenzbereichen Hörverstehen, Leseverstehen, Schreiben, Textrekonstruktion, Sprachbewusstheit, Sprechen und interkulturelle Kompetenz. Einleitend wird dabei zunächst in aller Kürze auf das jeweilige Kompetenzmodell eingegangen. Die Operationalisierung wird anhand von Beispielaufgaben erläutert, bevor die Kompetenzniveaus definiert werden. Daran schließt sich als Kernstück eine kommentierte Darstellung der Leistungsverteilung in Jahrgangsstufe neun an, sowohl über die Bildungsgänge hinweg als auch nach Bildungsgang differenziert. Für die Kompetenzbereiche, die am Anfang und am Ende der neunten Jahrgangsstufe erhoben wurden, wird zudem die Kompetenzentwicklung innerhalb des Schuljahrs vorgestellt. Einige wichtige differentielle Effekte, wie Geschlechtsunterschiede im jeweiligen Kompetenzbereich und der Effekt der Erstsprache auf die Leistung werden zusätzlich dargestellt und jedes Kapitel schließt mit Schlussfolgerungen für die Fachdidaktik und den Fachunterricht. Kapitel 18 befasst sich mit Strukturen sprachlicher Kompetenzen und bringt die in den Kapiteln 5 bis 17 dargestellten sprachlichen Kompetenzbereiche theoriebasiert und empirisch in einen Zusammenhang. Es bildet den Übergang von dem auf einzelne Kompetenzen fokussierenden ersten Teil des Buchs zu den die Bedingungen sprachlicherKompetenzen auf verschiedenen Ebenen erforschenden folgenden Abschnitten. Die Kapitel 19 bis 25 befassen sich mit individuellen und familialen Bedingungsfaktoren sprachlicher Kompetenzen. Merkmale der Schülerinnen und Schüler sowie Merkmale der Herkunftsfamilie, dem Ort der ersten - auch sprachlichen - Sozialisation, werden mit sprachlichen Kompetenzen in Verbindung gebracht. Dabei befassen sich die Kapitel zu Sprachkompetenzen von Jungen und Mädchen, zu Sprachkompetenzen von Schülern nicht- deutscher Herkunftssprache und dem sozialen und familialen Hintergrund mit Merkmalen, die dem Unterricht vorgelagert sind. Das Selbstkonzept und die Motivation in den Fächern Deutsch und Englisch hingegen sind Teil des Gestaltungsraums von Unterricht, wie auch die Lernstrategien der Schülerinnen und Schüler in Deutsch und Englisch; diese Merkmale können somit sowohl als Bedingungen wie auch als Ergebnisse des Unterrichts verstanden werden. Eine zentrale Fragestellung von DESI ist, welche Merkmale von Lehrpersonen und des Fachunterrichts für den Kompetenzzuwachs eine Rolle spielen. Nachdem Leistungsverteilungen und individuelle Bedingungen sprachlicher Kompetenzen behandelt wurden, sind deshalb der Unterricht und die Lehrer Gegenstand der folgenden Kapitel. In Kapitel 26 wird ein theoretisches Modell für den Einfluss des Unterrichts auf die Entwicklung sprachlicher Kompetenzen vorgestellt und es wird die Analysestrategie erläutert, nach der in den Kapiteln 28 und 32 die Wirksamkeit bestimmter Merkmale des Unterrichts erforscht wird. Die Informationen über den Unterricht stammen jeweils aus der Befragung sowohl der Schülerinnen und Schüler als auch der Fachlehrkräfte, wodurch der Zugriff auf Unterricht aus beiden Perspektiven erfolgt. Für den Englischunterricht stehen zudem durch die Videostudie Beobachtungsdaten zum Englischunterricht zur Verfügung. Über diese zentralen Wirksamkeitsanalysen hinaus werden die Alltagspraxis des Deutsch- und Englischunterrichts, sowie die für den Unterricht relevanten Merkmale der Deutsch- und Englischlehrer dargestellt. Wie schon bei der Darstellung der Leistung in unterschiedlichen Kompetenzbereichen wird auch hier gesondert auf die Vermittlung interkultureller Kompetenzen eingegangen. Zusätzlich zum Unterricht bezieht DESI darüber hinausgehende institutionelle Bedingungsfaktoren sprachlicher Kompetenzen ein. Hierbei stützen sich die Analysen auf Befragungen der Fachkollegien und der Schulleitungen zu Fragen der pädagogischen Zielsetzung und Kooperationsstrukturen. Dem bilingualen Sachfachunterricht, der als eine der zentralen Innovationen für den Fremdsprachenunterricht gilt, ist zudem ein eigenständiges Kapitel am Ende des Buchs gewidmet. (DIPF/Orig./Mar.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Höhler, Jana
Titel: Representation of competencies in multidimensional IRT models with within-item and between-item multidimensionality
In: Zeitschrift für Psychologie, 216 (2008) 2, S. 89-101
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Item-Response-Theory; Modell; DESI-Studie; Kompetenz; Fertigkeit; Englisch als Fremdsprache; Leseverstehen; Hörverstehen; Datenanalyse
Abstract (english): Multidimensional item response theory (MIRT) holds considerable promise for the development of psychometric models of competence. It provides an ideal foundation for modeling performance in complex domains, simultaneously taking into account multiple basic abilities. The aim of this paper is to illustrate the relations between a two- dimensional IRT model with between-item multidimensionality and a nested-factor model with within-item multidimensionality, and the different substantive meanings of the ability dimensions in the two models. Both models are applied to empirical data from a large-scale assessment of reading and listening comprehension in a foreign language. In the between-item model, performance in the reading and listening items is modeled by two separate dimensions. In the within-item model, one dimension represents the abilities common to both tests, and a second dimension represents abilities specific to listening comprehension. Distinct relations of external variables, such as gender and cognitive abilities, with ability scores demonstrate that the alternative models have substantively different implications. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hasselhorn, Marcus; Grube, Dietmar
Titel: Was hat das Arbeitsgedächtnis mit dem Erwerb des Lesens, Schreibens und Rechnens zu tun?
Aus: Rosenberger, Katharina; Ochoko-Stastny, Martina (Hrsg.): Mit Sprache wachsen: Die Bedeutung der Sprache und ihrer Grundlagen für den Erwerb der Kulturtechniken, Wien: Österreichische Gesellschaft für Sprachpädagogik, 2007 (Sprachheilpädagogik. Wissenschaft in Praxis, 2), S. 43-59
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Lesen; Schreiben; Rechnen; Arbeitsgedächtnis; Definition; Kind; Schriftsprache; Leseverstehen; Messung; Funktion
Abstract: In diesem Beitrag geht es nicht um die Frage, welche didaktischen Strategien am besten geeignet sind, um Kinder zu kompetenten Nutzern dieser Kulturtechniken [Lesen, Schreiben, Rechnen] zu machen, sondern die Autoren nehmen eine p sychologische Perspektive ein, in dem sie die Frage aufwerfen, welche individuellen Voraussetzungen von Kindern für die Qualität des Erwerbs von Schriftsprache und mathematischen Grundlagen entscheidend sind. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Seeber, Susan
Titel: Allgemeine Grundqualifikationen am Ende der beruflichen Ausbildung
Aus: Lehmann, Rainer H.; Seeber, Susan (Hrsg.): ULME III: Untersuchung von Leistungen, Motivation und Einstellungen der Schülerinnen und Schüler in den Abschlussklassen der Berufsschulen, Hamburg: Behörde für Bildung und Sport, 2007 , S. 67-88
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Berufsausbildung; Auszubildender; Qualifikation; Leistung; Leseverstehen; Textanalyse; Mathematische Kompetenz; Grundbildung; Ausbildungsberuf; Soziokulturelle Kompetenz; Unterschied; Bundesländer; D-Hamburg; Deutschland
Abstract: Der Artikel befasst sich mit allgemeinen Grundqualifikationen von Jugendlichen am Ende der beruflichen Ausbildung. Es werden die Kompetenzausprägungen im Bereich kontinuierlicher und diskontinuierlicher Texte sowie grundlegender Rechenfertigkeiten, die auf der Grundlage einer Adaption des Testkonzepts aus der Internationalen Erwachsenenstudie (IALS) ermittelt wurden, dargestellt und diskutiert. Für den Untertest "Diskontinuierliche Texte" konnte über regressionsanalytische Schätzungen näherungsweise zu einer Entsprechung der Metriken zwischen dem hier diskutierten Hamburger Test und dem Test der Internationalen Erwachsenenstudie gelangt werden. Auf der Grundlage der tentativen Zuordnung der Schülerfähigkeiten zu den verschiedenen IALS-Niveaus werden diese im Beitrag qualitativ beschrieben sowie inhaltlich abgesichert im Anschluss an die international definierten Kompetenzstufen dargestellt und erörtert. (DIPF/Autor)
DIPF-Abteilung: Steuerung und Finanzierung des Bildungswesens
-
-
Autor*innen: Nold, Günter; Klieme, Eckhard; Schröder, Konrad
Titel: Messung von Schülerkompetenzen. Der Beitrag der DESI-Studie zur Diskussion um Bildungsstandards und Referenzrahmen
Aus: Timm, Johannes-Peter (Hrsg.): Fremdsprachenlernen und Fremdsprachenforschung: Kompetenzen, Standards, Lernformen, Evaluation, Tübingen: Narr, 2006 , S. 85-104
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schülerleistung; Leistungsmessung; Englischunterricht; Hörverständnis; Leseverstehen; Sprechen; Leistungstest; Konzeption; Bildungsstandard; Kompetenz; Sprachkompetenz; Deutschland
Abstract: Das Projekt "Deutsch Englisch Schülerleistungen International ( DESI)" wurde von den Kultusministerien der Länder der Bundesrepublik Deutschland als Teil einer empirisch fundierten Bestandsaufnahme des deutschen Schulsystems geplant. ... Der vorliegende Beitrag konzentriert sich auf die Konzeption der Kompetenzmodellierung in DESI und auf erstezentrale Befunde zum Leistungsstand im Englischen. Diese Arbeitsergebnisse des Projekts haben für Bildungspolitik und Fachdidaktik eine Bedeutung erlangt, die über die ursprünglichen Ziele des Systemmonitoring und der Grundlagenforschung für Unterrichts- und Schulentwicklung hinaus reicht. Grund sind zwei weitere Entwicklungen, die sich parallel zurArbeit an der Studie vollzogen: die nationale Diskussion um Bildungsstandards und die europäische Diskussion um Indikatoren des Sprachenlernens.
DIPF-Abteilung: Bildungsqualität und Evaluation