-
-
Author(s): Hartig, Johannes
Title: Skalierung und Definition von Kompetenzniveaus
In: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung. DESI-Ergebnisse Band 1, Weinheim: Beltz, 2007 , S. 83-99
Publication Type: 4. Beiträge in Sammelwerken; Sonstiges
Language: Deutsch
Keywords: Definition; DESI-Studie; deutsch; Englisch; Kompetenz; Leistungstest; Skalierung; Sprachkompetenz; Testauswertung; Testmethodik
Abstract: Der Beitrag beschreibt die Skalierung der Leistungstestdaten und das Vorgehen bei der Definition der Kompetenzniveaus in der DESI-Studie ( Deutsch Englisch Schülerleistungen International). Die Erfassung der Sprachkompetenzen in Deutsch und Englisch erfolgt in DESI im Rahmen eines multidimensionalen Ansatzes, für beide Sprachen werden verschiedene Teilbereiche der jeweiligen Sprachkompetenz mit separaten Tests erfasst. Die Skalierung der DESI-Daten erfolgte auf Grundlage eines generalisierten Rasch-Modells, welches in der Analysesoftware ConQuest implementiert ist und das die simultane Berücksichtigung dichotomer und mehrstufiger Auswertungsformate erlaubt. Die Kompetenzniveaus in DESI dienen dazu, eine kriterienorientierte Beschreibung der konkreten sprachlichen Kompetenzen von Schülern in bestimmten Leistungsbereichen vorzunehmen. Bei der Definition der Kompetenzniveaus wurden anforderungsrelevante Aufgabenmerkmale herangezogen, die für jeden Test separat definiert worden waren. In Regressionsanalysen wurden diese Merkmale verwendet, um die bei der Raschskalierung ermittelten Schwierigkeiten vorherzusagen. Als Schwellen zwischen den Kompetenzniveaus wurden die in den Regressionsmodellen ermittelten erwarteten Schwierigkeiten für Aufgaben mit bestimmten Merkmalskombinationen verwendet. Dabei wurden Merkmalskombinationen verwendet, die (a) in mehreren Aufgaben im Test realisiert waren und für die (b) die erwarteten Schwierigkeiten nahe an den empirisch beobachteten Schwierigkeiten dieser Aufgaben lag. (DIPF/Autor)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hartig, Johannes; Frey, Andreas; Jude, Nina
Title: Validität
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 135-163
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Begriff; Beurteilung; Definition; Diagnostik; Methode; Test; Testanwendung; Testauswertung; Validität
Abstract: In der psychologischen Diagnostik zählt die Validität (Gültigkeit) neben der Objektivität und Reliabilität zu den wichtigsten Gütekriterien von diagnostischen Verfahren. Die Beurteilung der Validität bezieht sich auf das Ausmaß, indem auf Basis der Testwerte getroffene Schlussfolgerungen und Maßnahmen durch theoretische Argumente und empirische Belege gestützt werden können. Die Validierung eines Testverfahrens ist nicht als immer gleiches Routineverfahren anzusehen, sondern muss vielmehr berücksichtigen, in welcher Weise die Testergebnisse interpretiert werden sollen. Das Lehrbuchkapitel befasst sich mit verschiedenen Arten der Validitätsbestimmung: Beginnend mit der allgemeinen Frage, was unter dem Begriff der Validität zu verstehen ist, werden operationale und theoretische Definitionen der Merkmale von Validität dargestellt. Darauf aufbauend werden differenziert verschiedene Arten der Validitätsbestimmung diskutiert: Die Frage nach der Beziehung zwischen Merkmal und Testinhalten (Inhaltsvalidität), die Voraussetzungen für theoriebasierte Testwertinterpretationen (Konstruktvalidität), die Validierung anhand der Vorhersage externer Kriterien sowie die Validität diagnostischer Entscheidungen (Kriteriumsvalidität) und die Legitimation von Testwertinterpretationen (consequential validity). Abschließend diskutieren die Autoren, welche Validierungsmethoden vor dem Hintergrund spezifischer Anwendungszwecke des jeweiligen Testverfahrens zu präferieren sind.(DIPF/Autoren)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hesse, Hermann-Günter; Göbel, Kerstin
Title: Interkulturelle Kompetenz
In: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung, Weinheim: Beltz, 2007 (DESI-Ergebnisse, 1), S. 256-272
URN: urn:nbn:de:0111-opus-31418
URL: https://www.pedocs.de/frontdoor.php?source_opus=3141
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: DESI-Studie; Schülerleistung; Englisch; Interkulturelle Kompetenz; Messung; Konzeption; Testauswertung; Deutschland
Abstract: Im DESI-Modul "Interkulturelle Kompetenz" wird auf der Grundlage des "Developmental Model of Intercultural Sensitivity" von Milton Bennett und den Arbeiten zu kritischen Interaktionssituationen von Alexander Thomas ein Verfahren entwickelt, das es erlaubt, kulturspezifische interkulturelle Kompetenz im Rahmen des Englischunterrichts zu erfassen. Die Konzeption und die Datenauswertung mittels eines hypothesenorientierten Modells der "Latent-Class-Analysis" wird dargestellt. (DIPF/Autor)
Abstract (english): On the basis of Milton Bennett's "Developmental Model of Intercultural Sensitivity" and the work about critical incidents of Alexander Thomas the members of the DESI-module "intercultural competence" developed a method for the assessment of culture-specific intercultural competence within the scope of English lessons. The basic concept and the data analysis by means of a hypothesis-oriented model of "Latent-Class-Analysis" is presented. (DIPF/author)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Klieme, Eckhard; Avenarius, Hermann; Baethge, Martin; Döbert, Hans; Hetmeier, Heinz-Werner; Meister-Scheufelen, Gisela; Rauschenbach, Thomas; Wolter, Andrä
Title: Grundkonzeption der Bildungsberichterstattung für Deutschland
In: Krüger, Heinz-Hermann; Rauschenbach, Thomas; Sander, Uwe (Hrsg.): Bildungs- und Sozialberichterstattung, Wiesbaden: VS Verlag für Sozialwissenschaften, 2007 (Zeitschrift für Erziehungswissenschaft. Beih., 6), S. 129-145
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Bildungsbericht; Konzeption; Steuerung; Monitoring; Bildungsindikator; Datenerhebungstechniken; Datenanalyse; Auswertung; Deutschland
Abstract: Im vorliegenden Beitrag formulieren die Autoren, die gemeinsam den ersten indikatorengestützten Bericht "Bildung für Deutschland" verantwortet haben, die Grundlagen ihrer Arbeit an einem Gesamtsystem der Bildungsberichterstattung für Deutschland. Der erste Abschnitt enthält gewissermaßen die Philosophie der Bildungsberichterstattung. Gemeinsam mit den Abschnitten 2 (Inhalte) und 3 (Elemente) erläutert er, welche Ziele ein nationaler Bildungsbericht im Kontext des Bildungsmonitoring verfolgt, begründet die inhaltlichen Schwerpunkte und skizziert die erforderliche wissenschaftliche und statistische Infrastruktur einschließlich der Strategien zur regelmäßigen Erhebung von benötigten Daten. Abschnitt 4 ergänzt diese Grundkonzeption durch detaillierte Überlegungen zu Definition und Darstellung von Indikatoren. Abschnitt 5 schließlich setzt sich mit den Grenzen der Bildungsberichterstattung, insbesondre im Hinblick auf deren analytische Aussagekraft auseinander. ( DIPF/Orig.)
Abstract (english): In this contribution, the authors, who together were responsible for the first indicator-based education report "Education for Germany", will describe the basis for their work on a comprehensive education monitoring system for Germany. The first section presents the "philosophy" of education monitoring. Together with sections 2 (contents) and 3 (elements), it explains the goals folIowed by national education reports within the context of education monitoring and the choice of focal topics and sketches the necessary scientific and statistic infrastructure, including strategies for regular surveys of the required data. In the fourth section, the presentation of the basic concept will be extended through detailed consideration of the definition and the presentation of the indicators. Finally, the fifth section evaluates the limitations of education monitoring, in particular in respect of the analytical value of the results. (DIPF/orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Rauch, Dominique; Hartig, Johannes
Title: Interpretation von Testwerten in der IRT
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 240-250
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Testtheorie; Itemanalyse; Testauswertung; Interpretation; Individuum; Methode; Kompetenzniveau
Abstract: Auf Basis der Item Response Theorie (IRT) können wie auf Basis der Klassischen Testtheorie (KTT) Testwerte für Personen gebildet werden, die die Items eines Tests beantwortet haben. Im Gegensatz zur KTT setzt die IRT die Antwortenauf die Items eines Tests nicht mit der Messung des im Test erfassten Konstrukts gleich, sondern konzipiert die Messung des Konstrukts explizit als indirekt: IRT-Modelle postulieren, dass dem im Test gezeigten Verhalten, also denAntworten auf die Items des Tests ( daher Item-Response-Theorie), eine Fähigkeit oder Eigenschaft zugrunde liegt, die das Testverhalten "verursacht". Grundvoraussetzung für eine kriteriumsorientierte Interpretation individueller Testwerte ist die Abbildung von Itemschwierigkeiten und Personenfähigkeiten auf einer gemeinsamen Skala. Im Rahmen der KTT wird zwischen der individuellen Leistung einer Person - z.B. Prozent gelöster Items - und der Schwierigkeiteines Items - z.B. Prozent der Personen, die das Item gelöst haben - kein expliziter Bezug hergestellt. In IRT-Modellen dagegen werden individuelle Fähigkeitsschätzungen und Itemschwierigkeiten auf einer gemeinsamen Skala abgebildet. Dadurch ist es möglich, individuelle Testwerte durch ihre Abstände zu Itemschwierigkeiten zu interpretieren. Der vorliegende Text stellt die Grundlagen der Interpretation von Testwerten in der IRT anhand von Beispielen aus der empirischen Bildungsforschung dar und erläutert unter anderem verschiedene Methoden zur Bildung von Kompetenzniveaus. (DIPF/Autor)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Klieme, Eckhard; Pauli, Christine; Reusser, Kurt; Hugener, Isabelle
Title: Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis" Teil 3 – Videoanalysen
Published: Frankfurt am Main: Deutsches Institut für Internationale Pädagogische Forschung, 2006 (Materialien zur Bildungsforschung, 15)
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Unterricht; Mathematikunterricht; Qualität; Video; Analyse; Testanwendung; Testdurchführung; Testauswertung; Deutschland; Schweiz
Abstract: Der dritte Band der Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie beinhaltet alle Instrumente, welche im Rahmen der Videografierung der Unterrichtseinheiten und tutoriellen Situationen eingesetzt worden sind. ... Das verwendete Kameraskript zum standardisierten Videografieren der Unterrichtslektionen wird in Kapitel 1 dargestellt. Auf die anschließende Aufarbeitung der Daten als Grundbedingung für die weiteren Analysen wird in Kapitel 2 eingegangen. Zur Analyse des videografierten Unterrichts wurden zahlreiche Beobachtungsinstrumente entwickelt. Kapitel 3 gibt einen Überblick über diese verschiedenen Beobachtungsinstrumente, wobei auch auf methodische Aspekte wie zum Beispiel deren Entwicklung eingegangen wird. Anschließend werden in den Kapiteln 4 bis 13 die verschiedenen Beobachtungsinstrumente vorgestellt. Das Vorgehen zur Erhebung handlungsleitender Kognitionen der Lehrpersonen anhand von Leitfadeninterviews wird in den Kapiteln 14 und 15 vorgetsellt. Kapitel 16 bezieht sich maßgeblich auf die tutoriellen Situationen des Textaufgabenmoduls, wobei die Lehrpersonen mittels verschiedener Instrumente zur Reflexion über den Umgang mit Textaufgaben angeregt wurden. ( DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Klieme, Eckhard; Pauli, Christine; Reusser, Kurt; Lipowsky, Frank; Drollinger-Vetter, Barbara; Hartig, Johannes
Title: Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis" Teil 2, Leistungstests
Published: Frankfurt am Main: Deutsches Institut für Internationale Pädagogische Forschung, 2006 (Materialien zur Bildungsforschung, 14)
DOI: 10.25656/01:3107
URN: urn:nbn:de:0111-opus-31078
URL: https://www.pedocs.de/frontdoor.php?source_opus=3107
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Mathematikunterricht; Kompetenz; Schüler; Schülerleistung; Leistungstest; Testmethodik; Testdurchführung; Testauswertung; Deutschland; Schweiz
Abstract: Im zweiten Band werden die im Rahmen der Studie ["Unterrichtsqualität, Lernverhalten und mathematisches Verständnis"] eingesetzten Leistungstests und die dazugehörigen Codieranwendungen dokumentiert und statistische Kennwerte der Items und Skalen vorgestellt. Im Rahmen der Studie werden fünf Leistungstests eingesetzt. Diese dienen zum einen der längsschnittlichen Ermittlung der Leistungsentwicklung der Lernenden über ein gesamtes Schuljahr, zum anderen dermikrogenetischen Erfassung der Leistungsentwicklung im Rahmen der Unterrichtseinheit zur Einführung in die Satzgruppe des Pythagoras. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Klieme, Eckhard; Hartig, Johannes; Wirth, Joachim
Title: Analytisches Problemlösen: Messansatz und Befunde zu Planungs- und Entscheidungsaufgaben
In: Klieme, Eckhard; Leutner, Detlev; Wirth, Joachim (Hrsg.): Problemlösekompetenz von Schülerinnen und Schülern, Wiesbaden: VS Verlag für Sozialwissenschaften, 2005 , S. 37-54
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: PISA-Studie; Problemlösen; Kompetenz; Schülerleistung; Leistungsmessung; Testkonstruktion; Testauswertung; Geschlechtsunterschied; Schulform; Empirische Untersuchung; Deutschland
Abstract: "Tests zum analytischen Problemlösen erfassen ... nicht unmittelbar die Güte von Problemlöseprozessen, sondern die Qualität ... der Lösungen, die durch schlussfolgerndes Denken und intelligente Nutzung von Wissen in weitgehend transparenten Situationen erzielt werden." Im ersten Abschnitt des Aufsatzes wird das Messkonzept der Testaufgaben illustriert. "Insbesondere werden jene Aufgaben vorgestellt, mit denen bei PISA 2000 (Hauptstudie) analytische Problemlösefähigkeiten gemessen werden. Abschnitt 2 ist dem Versuch gewidmet, auf der Basis von Anforderungsmerkmalen der Aufgaben Abstufungen der gemessenen Problemlösekompetenz zu beschreiben. ... Abschnitt 3 berichtet sodann über die Verteilung der analytischen Problemlösefähigkeit bei deutschen Schülerinnen und Schülern, wobei auf den Effekt des Geschlechts sowie auf Leistungsunterschiede zwischen Schulformen bzw. zwischen Ländern der Bundesrepublik Deutschland eingegangen wird." (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Lauterbach, Uwe
Title: Auswertung der Konferenz und Ausblick. Evaluation of the Conference and Prospects
In: Lauterbach, Uwe; Hellwig, Wolfgang; InWEnt (Internationale Weiterbildung und Entwicklung gGmbH (Hrsg.): European-Islamic Dialogue 2004, Köln: InWent, 2005 , S. 82-83
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Deutsch
Keywords: Berufliche Bildung; Internationale Zusammenarbeit; Mädchenbildung; Frauenbildung; Konferenz; Auswertung
Abstract: Mit dem Projekt European-Islamic Dialogue soll seit 2002 der Dialog zwischen den europäischen Staaten und einigen islamisch geprägten Ländern gefördert werden. Dabei erfolgt eine Konzentration auf die berufliche Bildung in den beteiligten Ländern. Der Autor zieht ein Resümee der Konferenz, die vom 1.-3. Dezember 2004 in Köln durchgeführt wurde, um eine Basis für einen nachhaltigen Austausch auf dem Gebiet der beruflichen Bildung zu schaffen.
DIPF-Departments: Steuerung und Finanzierung des Bildungswesens
-
-
Author(s): Watermann, Rainer; Stanat, Petra; Kunter, Mareike; Klieme, Eckhard; Baumert, Jürgen
Title: Schulrückmeldungen im Rahmen von Schulleistungsuntersuchungen. Das Disseminationskonzept von PISA 2000
In: Zeitschrift für Pädagogik, 49 (2003) 1, S. 92-111
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Deutsch
Keywords: Datenanalyse; Deutschland; Evaluation; Interpretation; PISA <Programme for International Student Assessment>; Qualitätssicherung; Schule; Schulentwicklung; Schülerleistungstest; Schulleistung; Testauswertung
Abstract: Mit Rückmeldungen schulbezogener Befunde aus Schulleistungsuntersuchungen wird häufig die Erwartung verknüpft, dass sie Schulentwicklungsprozesse in Gang setzen könnten. Es wird unzureichend berücksichtigt, dass der potentielle Nutzen solcher Schulrückmeldungen vom jeweiligen Untersuchungsdesign abhängt und die Verarbeitung der Ergebnisse nicht unbedingt problemlos verläuft. In diesem Artikel wird eine realistische Position im Umgang mit Schulrückmeldungen beschrieben. Es wird dargestellt, wie in PISA unter Berücksichtigung vorliegender Implementationserfahrungen und Forschungsbefunde Schulrückmeldungen als Teil eines breiteren Disseminationskonzepts untersuchungsspezifisch entwickelt wurden. (DIPF/Orig.) Providing schools with feedback on their results in assessment studies is often expected to trigger school- development processes. The fact that the usefulness of such feedback depends on the design of the study and that interpreting the results may be difficult for schools is frequently ignored. The current article describes a realistic position with regard to the use of school-level feedback. It presents a study-specific approach to providing schools with such information that was developed for PISA-2000 as part of a broader dissemination strategy. This approach takes into account research findings and implementation experiences pertaining to the potential and limitations of school-level feedback. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen