-
-
Autor*innen: Beck, Bärbel; Klieme, Eckhard
Titel: Einleitung
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung: DESI-Studie (Deutsch Englisch Schülerleistung International), Weinheim: Beltz, 2007 , S. 1-8
DOI: 10.25656/01:3230
URN: urn:nbn:de:0111-opus-32304
URL: https://www.pedocs.de/frontdoor.php?source_opus=3230
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Schülerleistung; Leistungsmessung; Englischunterricht; Deutschunterricht; Empirische Untersuchung; Konzeption; Sprachkompetenz; Diagnostik
Abstract: Einführend werden die Ziele des DESI-Projekts erläutert sowie die Entstehungsgeschichte, Verlauf und Design der Studie skizziert. Dann wird festgestellt, dass das Projekt mit fundamentalen Fragen der Sprachforschung und -diagnostik konfrontiert war, allerdings auf keine einheitlichen Antworten aus diesem Forschungsbereich zurückgreifen konnte, weshalb zunächst eine Begriffsklärung (u.a. Kompetenz vs. Performance, Produkt vs. Prozess, Aufgaben vs. Deskriptoren) vorgenommen wird. (DIPF/ Mar.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes
Titel: Skalierung und Definition von Kompetenzniveaus
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung. DESI-Ergebnisse Band 1, Weinheim: Beltz, 2007 , S. 83-99
Dokumenttyp: 4. Beiträge in Sammelwerken; Sonstiges
Sprache: Deutsch
Schlagwörter: Definition; DESI-Studie; deutsch; Englisch; Kompetenz; Leistungstest; Skalierung; Sprachkompetenz; Testauswertung; Testmethodik
Abstract: Der Beitrag beschreibt die Skalierung der Leistungstestdaten und das Vorgehen bei der Definition der Kompetenzniveaus in der DESI-Studie ( Deutsch Englisch Schülerleistungen International). Die Erfassung der Sprachkompetenzen in Deutsch und Englisch erfolgt in DESI im Rahmen eines multidimensionalen Ansatzes, für beide Sprachen werden verschiedene Teilbereiche der jeweiligen Sprachkompetenz mit separaten Tests erfasst. Die Skalierung der DESI-Daten erfolgte auf Grundlage eines generalisierten Rasch-Modells, welches in der Analysesoftware ConQuest implementiert ist und das die simultane Berücksichtigung dichotomer und mehrstufiger Auswertungsformate erlaubt. Die Kompetenzniveaus in DESI dienen dazu, eine kriterienorientierte Beschreibung der konkreten sprachlichen Kompetenzen von Schülern in bestimmten Leistungsbereichen vorzunehmen. Bei der Definition der Kompetenzniveaus wurden anforderungsrelevante Aufgabenmerkmale herangezogen, die für jeden Test separat definiert worden waren. In Regressionsanalysen wurden diese Merkmale verwendet, um die bei der Raschskalierung ermittelten Schwierigkeiten vorherzusagen. Als Schwellen zwischen den Kompetenzniveaus wurden die in den Regressionsmodellen ermittelten erwarteten Schwierigkeiten für Aufgaben mit bestimmten Merkmalskombinationen verwendet. Dabei wurden Merkmalskombinationen verwendet, die (a) in mehreren Aufgaben im Test realisiert waren und für die (b) die erwarteten Schwierigkeiten nahe an den empirisch beobachteten Schwierigkeiten dieser Aufgaben lag. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hesse, Hermann-Günter; Göbel, Kerstin
Titel: Interkulturelle Kompetenz
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung, Weinheim: Beltz, 2007 (DESI-Ergebnisse, 1), S. 256-272
URN: urn:nbn:de:0111-opus-31418
URL: https://www.pedocs.de/frontdoor.php?source_opus=3141
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Schülerleistung; Englisch; Interkulturelle Kompetenz; Messung; Konzeption; Testauswertung; Deutschland
Abstract: Im DESI-Modul "Interkulturelle Kompetenz" wird auf der Grundlage des "Developmental Model of Intercultural Sensitivity" von Milton Bennett und den Arbeiten zu kritischen Interaktionssituationen von Alexander Thomas ein Verfahren entwickelt, das es erlaubt, kulturspezifische interkulturelle Kompetenz im Rahmen des Englischunterrichts zu erfassen. Die Konzeption und die Datenauswertung mittels eines hypothesenorientierten Modells der "Latent-Class-Analysis" wird dargestellt. (DIPF/Autor)
Abstract (english): On the basis of Milton Bennett's "Developmental Model of Intercultural Sensitivity" and the work about critical incidents of Alexander Thomas the members of the DESI-module "intercultural competence" developed a method for the assessment of culture-specific intercultural competence within the scope of English lessons. The basic concept and the data analysis by means of a hypothesis-oriented model of "Latent-Class-Analysis" is presented. (DIPF/author)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Jude, Nina; Klieme, Eckhard
Titel: Sprachliche Kompetenz aus Sicht der pädagogisch-psychologischen Diagnostik
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung, Weinheim: Beltz, 2007 , S. 9-22
URN: urn:nbn:de:0111-opus-31423
URL: https://www.pedocs.de/frontdoor.php?source_opus=3142
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Schüler; Schülerleistung; Sprachkompetenz; Definition; Deutschunterricht; Englischunterricht; Diagnostik; Konzeption; Testmethodik; Deutschland
Abstract: Empirische Studien, die an einer großen Stichprobe repräsentative Leistungsdaten mit normierten Tests erfassen, ermöglichen die Überprüfung von allgemeinen fachlichen Kompetenzen und Sprachkompetenz im Besonderen. Damit stellen sie einen wesentlichen Bestandteil für die Verbesserung des schulischen Lehrens und Lernens dar (National Research Council 2001). Diese Large-Scale- Assessments auf internationalerEbene, wie das Programme for International Student Assessment (PISA) oder die Internationale Grundschul Lese Untersuchung (IGLU) sind durch ihre aktuellen Befunde zu den sprachlichen Fähigkeiten deutscher Schülerinnen und Schüler in der politischen und wissenschaftlichen Diskussion (Bos/Lankes/Prenzel et al. 2003; Deutsches PISA-Konsortium 2001; PISA-Konsortium Deutschland 2004). Sie versprechen detaillierte Ergebnisse und Rückmeldungen über Lernerfolge analle Beteiligten in Bildungssystemen sowie Aufschluss über die Entstehung von sprachlichen Fähigkeiten und mögliche Förderungsansätze. Dabei bedarf es einesAuswertungsdesigns, das nicht nur globale Einschätzungen der jeweiligen Kompetenzen ermöglicht, sondern darüber hinaus deren Differenzierung, d.h. kriteriumsorientierte Aussagen über erreichte Niveaustufen in Teilbereichen der Sprachkompetenz. Die Studie Deutsch-Englisch-Schülerleistungen-International (DESI) betrachtet in diesem Rahmen die Sprachkompetenz von Schülerinnen und Schülern als ein komplexes Phänomen, das es in seinen Facetten abzubilden gilt. Dazu gehört die Berücksichtigung verschiedener Sprachen, in diesem Fall der Verkehrssprache Deutsch und der Fremdsprache Englisch. Neben der Erhebung von Schülerleistungen in den einzelnen Teilbereichen und der Entwicklung möglicher Erklärungsansätze für sprachliche Leistung zielt das Projekt auch auf die Analyse der Struktur von Sprachkompetenz. Diese wird verstanden als interagierendes Gefüge von Teilkompetenzen in Deutsch und Englisch. Durch die Analyse struktureller Zusammenhänge können nicht nur didaktische Schwerpunkte ermittelt, sondern auch Unterschiede zwischen der Kompetenzstruktur von Verkehrs- und Fremdsprache offen gelegt werden. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Klieme, Eckhard
Titel: Empirische Schulforschung versus Allgemeine Erziehungswissenschaft? Eine Erwiderung zum Statement von Jörg Ruhloff
Aus: Kraul, Margret; Schlömerkemper, Jörg (Hrsg.): Bildungsforschung und Bildungspolitik: Heinrich Roth revisited, Weinheim: Juventa, 2007 (Die Deutsche Schule. Beih., 9), S. 141-145
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schule; Forschung; Schulpolitik; Empirische Forschung; Erziehungswissenschaft; Allgemeine Pädagogik; Kritik; DESI-Studie; Roth; Heinrich
Abstract: In einer Replik auf den Beitrag von Jörg Ruhloff in diesem Band verweist der Autor darauf, dass Schulforschung, die selbstverständlich nicht mit Schulpolitik verwechselt werden solle, auch aus sich heraus den der Allgemeinen Pädagogik zugewiesenen Aufgaben nachkomme. Der Autor versteht Schulforschung im Sinne Roths als "theoriegeleitete, systematische, auf verallgemeinerbare Erkenntnis ausgerichtete Untersuchung von Lehr- und Lernprozessen in ihrem institutionellen und soziokulturellen Kontext", also eine "theoriegeleitete, substantielle Forschung über pädagogische Sachverhalte", die nicht erst der allgemeinen Erziehungswissenschaft bedarf, um "bildungsrelevante (...) Prozesse" abzubilden. Am Beispiel der DESI-Studie führt er aus, in welcher Weise Schulforschung über "tatsächliche Bildungsverläufe" Auskunft gibt, und setzt diese Ergebnisse Ruhloffs Skepsis in Bezug auf die Leistung von Schulforschung entgegen. In seinem Fazit stellt jedoch auch der Autor durchaus eine fruchtbare Verbindung von allgemeiner Erziehungswissenschaft, als deren Kern er bei Roth dessen pädagogische Anthropologie sieht, und Schulforschung in Aussicht. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Kühnbach, Olga; Hartig, Johannes
Titel: Schätzung von Veränderung mit "plausible values" in mehrdimensionalen Rasch-Modellen
Aus: Ittel, Angela; Merkens, Hans (Hrsg.): Veränderungsmessung und Längsschnittstudien in der Erziehungswissenschaft, Wiesbaden: VS Verlag für Sozialwissenschaften, 2006 , S. 27-44
DOI: 10.1007/978-3-531-90502-0_3
URL: https://link.springer.com/chapter/10.1007/978-3-531-90502-0_3
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Empirische Forschung; Messung; Methode; Veränderung; Persönlichkeitsmerkmal; Datenanalyse; DESI-Studie; Deutschland
Abstract: Um in IRT-Analysen mit Messwiederholungen individuelle Veränderungsschätzungen vorzunehmen, werden häufig virtuelle Personen gebildet, d.h. k Messungen je Person werden als k separate Fälle behandelt, und für jeden "Fall" wird ein unabhängiger Personenparameter geschätzt. Eine alternative Möglichkeit ist die Schätzung von Veränderungen im Rahmen mehrdimensionaler Rasch-Modelle, hierbei werden die k Messungen als k Dimensionen behandelt. Der Unterschied zwischen den beiden Vorgehensweisen wird insbesondere bei der Schätzung von "Plausible Values" (PVs) bedeutsam, welche Hintergrundvariablen und Zusammenhangsstrukturen der latenten Variablen berücksichtigen. Anhand eines einfachen Modells mit zwei Messzeitpunkten wird auf Basis einer Simulationsstudie die Tauglichkeit der beiden Techniken zur Schätzung der wahren Veränderungen verglichen. Die im mehrdimensionalen Modell geschätzten PVs liefern unverzerrte Schätzungen der Varianz der Veränderungsmaße sowie der Zusammenhänge mit weiteren Variablen. Im Gegensatz dazu führt die Schätzung von PVs an virtuellen Personen zu einer Unterschätzung der erfassten Veränderungen und des Effektes differenzieller Variablen. Die Ergebnislage spricht deutlich für die Verwendung mehrdimensionaler IRT-Modelle zur Schätzung von Veränderungen.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes
Titel: Methoden zur Bildung von Kompetenzstufenmodellen
Aus: Moosbrugger, Helfried (Hrsg.): Qualitätssicherung im Bildungswesen, Frankfurt am Main: Univ., 2004 , S. 74-93
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Stufenmodell; Definition; Methode; Itemanalyse; Skalierung; DESI-Studie; Hörverstehen
Abstract: Der Autor erläutert zunächst Hintergrund und Ziele der Definition von Kompetenzstufen. Dann werden die theoretischen Grundlagen erörtert. Als mögliche Vorgehensweisen bei der Stufenbildung werden die Methoden post hoc-Analyse der Aufgabeninhalte sowie Skalierung mit a priori definierten Aufgabenmerkmalen beschrieben. (DIPF/Mar.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Jude, Nina; Klieme, Eckhard
Titel: Assessment im Bildungsbereich und die Frage nach den Standards
Aus: Mossbrugger, Helfried (Hrsg.): Qualitätssicherung im Bildungswesen, Frankfurt am Main: Univ., Institut für Psychologie, 2004 (Riezlern-Reader XIII. Arbeiten aus dem Institut für Psychologie der Johann Wolfgang Goethe-Universität, 3), S. 63-76
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungswesen; Leistungsmessung; Leistungstest; Bildungsstandard; Definition; Testmethodik; Lernpsychologie; DESI-Studie; Schuljahr 09; Deutschunterricht; Englischunterricht; Deutschland
Abstract: Standards des Lehrens und Lernens im nationalen wie auch im internationalen Kontext bedürfen einer Einbettung in ein angemessenes Rahmenkonzept von Lehr-Lerntheorien sowie entsprechender Methoden von Assessment. Ein optimales Rahmenkonzept sollte dabei die Anforderungen von Seiten der fachspezifischen Curricula, der existierenden didaktischen Ansätze und aktuellen Kompetenzmodelle ebenso berücksichtigen wie die Möglichkeiten und Einschränkungen der Erfassung von Schülerleistungen durch existierende Test- und Auswertungsmethoden. Eine besondere Herausforderung ist dabei die Verknüpfung von Standards auf nationalem und internationalem Level mit dem Ziel, vergleichbare Tests sowie standardisierte Indikatoren für Kompetenzen zu entwickeln und anzuwenden. Im Bereich der Testung von Sprachkompetenz kann bspw. der "Gemeinsame europäische Referenzrahmen für Sprachen" als ein erster Schritt zum international vergleichbaren Testen angesehen werden. Dieses Rahmenkonzept formuliert Anforderungen an die kommunikativen Fähigkeiten von Sprachlernern auf unterschiedlichen Kompetenzniveaus mittels holistischer Beschreibungen für jedes Niveau. Die Herausforderung besteht darin, Testaufgaben zu entwickeln, welche die unterschiedlichen Standards und Kriterien der Kompetenzniveaus auf internationaler Ebene repräsentieren. Darüber hinaus ist auch die Anpassung an die nationalen Curricula zu gewährleisten, um entsprechende Assessments in das Systemmonitoring spezifischer Bildungssysteme integrieren zu können. Hierzu bedarf es der Entwicklung und der empirischen Validierung von Testaufgaben, die den Kompetenzniveaus der Rahmenkonzeptionen entsprechen sollen. Neben der Analyse von Reliabilität und Dimensionalität der Testinstrumente schließt dies auch die Verifizierung von Itemschwierigkeiten und Schwellenwerten der Kompetenzniveaus mit ein. Ein solches Vorgehen findet Anwendung in der DESI-Studie (Deutsch Englisch Schülerleistungen International), die mit einer bundesweit repräsentativen Stichprobe die Sprachkompetenz von Schülern der 9. Klassen in den Fächern Englisch und Deutsch erhebt. An diesem Beispiel werden die notwendigen Vorgehensweisen vorgestellt, im Rahmen eines Large Scale Assessments national entwickelte Tests auf der Basis von curricularen Standards und Lehrbuchinhalten mit internationalen Standards zu verbinden. Grundlegend ist dabei die Integration unterschiedlicher Fachdisziplinen und Methoden in der Zusammenarbeit zwischen Sprachdidaktikern und Lehrern sowie Unterrichtsforschern und Psychologen.
Abstract (english): As in many other European and North-American countries, the movement towards standards-based educational reforms has recently become quite strong in Germany. By setting standards (i.e. expected levels of student outcome) and monitoring the level of competencies which students actually achieve, policy makers want to identify strengths and weaknesses of the educational system, to increase the overall outcome level and to reduce inequalities. Educational scientists gave the advice that rather than defining performance standards directly (e.g. by setting cutoff-scores in norm referenced tests) as in many Anglo-American countries, standards should be based on models of competence which allow for a sophisticated description of competence dimensions and levels. These models shall be based on psychological theories of learning and instruction. Consequently, appropriate assessment methods have to be developed and implemented. The challenge here is the alignment between standards/competence models and (large scale) assessment. Standard testing hence has to be embedded in an adequate and specific assessment framework, focussing especially on the empirical representation of multi-dimensional competence models and profiles of abilities. Appropriate items corresponding to the postulated levels of competence have to be developed. Hypotheses concerning cognitive demands that determine item difficulty have to be tested empirically. A special challenge is the link between national and international standards, aiming for the integration of testing instruments and standardized indicators of competence. In language testing, the Common European Framework for languages (CEFL) can act as a first step towards international comparable testing. It describes the communicative abilities of language learners on different levels of competence using holistic descriptions for each level. Still the corresponding tests representing the different criteria for each level of competence have to be developed. This paper describes the steps necessary for the development of such language tests, considering different aspects of national and international standards of language teaching and learning.
DIPF-Abteilung: Bildungsqualität und Evaluation