-
-
Autor*innen: Jude, Nina; Klieme, Eckhard
Titel: Assessment im Bildungsbereich und die Frage nach den Standards
Aus: Mossbrugger, Helfried (Hrsg.): Qualitätssicherung im Bildungswesen, Frankfurt am Main: Univ., Institut für Psychologie, 2004 (Riezlern-Reader XIII. Arbeiten aus dem Institut für Psychologie der Johann Wolfgang Goethe-Universität, 3), S. 63-76
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungswesen; Leistungsmessung; Leistungstest; Bildungsstandard; Definition; Testmethodik; Lernpsychologie; DESI-Studie; Schuljahr 09; Deutschunterricht; Englischunterricht; Deutschland
Abstract: Standards des Lehrens und Lernens im nationalen wie auch im internationalen Kontext bedürfen einer Einbettung in ein angemessenes Rahmenkonzept von Lehr-Lerntheorien sowie entsprechender Methoden von Assessment. Ein optimales Rahmenkonzept sollte dabei die Anforderungen von Seiten der fachspezifischen Curricula, der existierenden didaktischen Ansätze und aktuellen Kompetenzmodelle ebenso berücksichtigen wie die Möglichkeiten und Einschränkungen der Erfassung von Schülerleistungen durch existierende Test- und Auswertungsmethoden. Eine besondere Herausforderung ist dabei die Verknüpfung von Standards auf nationalem und internationalem Level mit dem Ziel, vergleichbare Tests sowie standardisierte Indikatoren für Kompetenzen zu entwickeln und anzuwenden. Im Bereich der Testung von Sprachkompetenz kann bspw. der "Gemeinsame europäische Referenzrahmen für Sprachen" als ein erster Schritt zum international vergleichbaren Testen angesehen werden. Dieses Rahmenkonzept formuliert Anforderungen an die kommunikativen Fähigkeiten von Sprachlernern auf unterschiedlichen Kompetenzniveaus mittels holistischer Beschreibungen für jedes Niveau. Die Herausforderung besteht darin, Testaufgaben zu entwickeln, welche die unterschiedlichen Standards und Kriterien der Kompetenzniveaus auf internationaler Ebene repräsentieren. Darüber hinaus ist auch die Anpassung an die nationalen Curricula zu gewährleisten, um entsprechende Assessments in das Systemmonitoring spezifischer Bildungssysteme integrieren zu können. Hierzu bedarf es der Entwicklung und der empirischen Validierung von Testaufgaben, die den Kompetenzniveaus der Rahmenkonzeptionen entsprechen sollen. Neben der Analyse von Reliabilität und Dimensionalität der Testinstrumente schließt dies auch die Verifizierung von Itemschwierigkeiten und Schwellenwerten der Kompetenzniveaus mit ein. Ein solches Vorgehen findet Anwendung in der DESI-Studie (Deutsch Englisch Schülerleistungen International), die mit einer bundesweit repräsentativen Stichprobe die Sprachkompetenz von Schülern der 9. Klassen in den Fächern Englisch und Deutsch erhebt. An diesem Beispiel werden die notwendigen Vorgehensweisen vorgestellt, im Rahmen eines Large Scale Assessments national entwickelte Tests auf der Basis von curricularen Standards und Lehrbuchinhalten mit internationalen Standards zu verbinden. Grundlegend ist dabei die Integration unterschiedlicher Fachdisziplinen und Methoden in der Zusammenarbeit zwischen Sprachdidaktikern und Lehrern sowie Unterrichtsforschern und Psychologen.
Abstract (english): As in many other European and North-American countries, the movement towards standards-based educational reforms has recently become quite strong in Germany. By setting standards (i.e. expected levels of student outcome) and monitoring the level of competencies which students actually achieve, policy makers want to identify strengths and weaknesses of the educational system, to increase the overall outcome level and to reduce inequalities. Educational scientists gave the advice that rather than defining performance standards directly (e.g. by setting cutoff-scores in norm referenced tests) as in many Anglo-American countries, standards should be based on models of competence which allow for a sophisticated description of competence dimensions and levels. These models shall be based on psychological theories of learning and instruction. Consequently, appropriate assessment methods have to be developed and implemented. The challenge here is the alignment between standards/competence models and (large scale) assessment. Standard testing hence has to be embedded in an adequate and specific assessment framework, focussing especially on the empirical representation of multi-dimensional competence models and profiles of abilities. Appropriate items corresponding to the postulated levels of competence have to be developed. Hypotheses concerning cognitive demands that determine item difficulty have to be tested empirically. A special challenge is the link between national and international standards, aiming for the integration of testing instruments and standardized indicators of competence. In language testing, the Common European Framework for languages (CEFL) can act as a first step towards international comparable testing. It describes the communicative abilities of language learners on different levels of competence using holistic descriptions for each level. Still the corresponding tests representing the different criteria for each level of competence have to be developed. This paper describes the steps necessary for the development of such language tests, considering different aspects of national and international standards of language teaching and learning.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Klieme, Eckhard
Titel: Zur Entwicklung nationaler Bildungsstandards. Grundpositionen einer Expertise
Aus: Thilo Fitzner (Hrsg.): Bildungsstandards: Internationale Erfahrungen - Schulentwicklung - Bildungsreform, Bad Boll: Evang. Akad., 2004 , S. 256-265
Dokumenttyp: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Deutsch
Schlagwörter: Bildungsstandard; Erziehungsziel; Lehrplan; Bildungspolitik; Schüler; Kompetenz; Leistungstest; Leistungsmessung; Deutschland
Abstract (english): The debate about educational standards as an instrument for quality monitoring in schools has just recently started in Germany. However, the swift from input-based control to output-based control is a kind of revolution in the German school system. Researchers as well as policy makers seem to agree that standards a) should be based on models of student competencies, b) have to be operationalized empirically by constructing validating and norming tests which require high-level thinking, over and above procedural and factual knowledge, c) will be used for system monitoring as well as for school evaluation purposes, and d) will in the long run replace traditional syllabuses as the main curriculum document which guides instruction, thus allowing for many issues to be settled by school-based, "autonomous" decisions. This presentation will discuss how far Germany has gone towards the development and implementation of demanding competency-based standards. Next steps and open problems are outlined. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Ratzka, Nadja
Titel: Mathematische Fähigkeiten und Fertigkeiten am Ende der Grundschulzeit. Empirische Studien im Anschluss an TIMSS
Erscheinungsvermerk: Hildesheim: Franzbecker, 2003 (Texte zur mathematischen Forschung und Lehre, 29)
Dokumenttyp: 1. Monographien (Autorenschaft); Monographie (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schülerleistung; Vergleichsuntersuchung; Mathematikunterricht; TIMSS; Schüler; Grundschulalter; Mathematik; Fertigkeit; Fähigkeit; Textaufgabe; Leistungstest; Internationaler Vergleich; Geschlechtsunterschied; Einflussfaktor; Lehrer; Einstellung (Psychologie); Befragung; Fallstudie; Empirische Untersuchung; Deutschland
Abstract: Die vorliegende Arbeit schließt eine Forschungslücke: Sie ergänzt die TIMSS-Befunde für Deutschland im Bereich der Grundschule. Da sich Deutschland im Unterschied zu den meisten anderen OECD-Ländern seinerzeit nicht an der TIMSS-Grundschuluntersuchung beteiligt hatte, führt die Untersuchung deutscher Grundschüler mittels der Original- TIMSS-Aufgaben unter Bedingungen, die weitgehend denen der internationalen Originaluntersuchung entsprechen, schon für sich genommen zu einem wichtigen Erkenntnisfortschritt. Die vorliegende Arbeit beschränkt sich aber nicht auf die Schließung dieser Lücke, sondern geht in zweierlei Hinsicht noch einen wichtigen Schritt weiter: Zum einen wird ein Teil der Schülerstichprobe zusätzlich mit zwei weiteren erprobten Instrumenten untersucht, die mathematische Fertigkeiten und Fähigleiten in der betreffenden Altersgruppe zum Gegenstand haben. ... Zum zweiten werden qualitative Methoden (Interviews in Fallstudien) eingesetzt, um das Vorgehen von Kindern beim Lösen einzelner TIMSS-Aufgaben genauer zu beleuchten. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Watermann, Rainer; Stanat, Petra; Kunter, Mareike; Klieme, Eckhard; Baumert, Jürgen
Titel: Schulrückmeldungen im Rahmen von Schulleistungsuntersuchungen. Das Disseminationskonzept von PISA 2000
In: Zeitschrift für Pädagogik, 49 (2003) 1, S. 92-111
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Datenanalyse; Deutschland; Evaluation; Interpretation; PISA <Programme for International Student Assessment>; Qualitätssicherung; Schule; Schulentwicklung; Schülerleistungstest; Schulleistung; Testauswertung
Abstract: Mit Rückmeldungen schulbezogener Befunde aus Schulleistungsuntersuchungen wird häufig die Erwartung verknüpft, dass sie Schulentwicklungsprozesse in Gang setzen könnten. Es wird unzureichend berücksichtigt, dass der potentielle Nutzen solcher Schulrückmeldungen vom jeweiligen Untersuchungsdesign abhängt und die Verarbeitung der Ergebnisse nicht unbedingt problemlos verläuft. In diesem Artikel wird eine realistische Position im Umgang mit Schulrückmeldungen beschrieben. Es wird dargestellt, wie in PISA unter Berücksichtigung vorliegender Implementationserfahrungen und Forschungsbefunde Schulrückmeldungen als Teil eines breiteren Disseminationskonzepts untersuchungsspezifisch entwickelt wurden. (DIPF/Orig.) Providing schools with feedback on their results in assessment studies is often expected to trigger school- development processes. The fact that the usefulness of such feedback depends on the design of the study and that interpreting the results may be difficult for schools is frequently ignored. The current article describes a realistic position with regard to the use of school-level feedback. It presents a study-specific approach to providing schools with such information that was developed for PISA-2000 as part of a broader dissemination strategy. This approach takes into account research findings and implementation experiences pertaining to the potential and limitations of school-level feedback. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Herausgeber*innen: Stanat, Petra; Watermann, Rainer; Baumert, Jürgen; Klieme, Eckhard; Artelt, Cordula; Neubrand, Michael; Prenzel, Manfred; Schiefele, Ulrich; Schneider, Wolfgang; Schümer, Gundel; Tillmann, Klaus-Jürgen; Weiß, Manfred
Titel: Rückmeldung der PISA 2000-Ergebnisse an die beteiligten Schulen
Erscheinungsvermerk: Berlin: MPI f. Bildungsforschung, 2002
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schüler; Schulleistung; Leistungstest; Internationaler Vergleich
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Neubrand, Michael; Klieme, Eckhard; Lüdtke, Oliver; Neubrand, Johanna
Titel: Kompetenzstufen und Schwierigkeitsmodelle für den PISA-Test zur mathematischen Grundbildung
In: Unterrichtswissenschaft, 30 (2002) 2, S. 100-119
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schulleistungstest; Mathematikunterricht; PISA
Abstract: Die nationalen Ergänzungen des Untersuchungsprogramms für PISA haben den mathematischen Teil der Studie wesentlich erweitert. Dies betrifft die theoretische Konzeption zur mathematischen Grundbildung - dargelegt in einem nationalen Rahmenkonzept, das das internationale Framework ergänzt und erweitert - ebenso wie die Aufgabensammlung und die Stichprobe; zudem wurden in Deutschland eine Reihe von Zusatzuntersuchungen zur curricularen und Konstrukt-Validität der Aufgaben durchgeführt. Im vorliegenden Beitrag wird auf der Basis dieser Ergänzungen das Konzept der mathematischen Grundbildung und seine Operationalisierung differenziert dargestellt. Getrennt nach der Art des mathematischen Arbeitens - Ausführung technischer Prozeduren, rechnerisches Modellieren und begriffliches Modellieren - wird untersucht, welche Anforderungsmerkmale die Schwierigkeit der Aufgaben bestimmen. Die Stufen mathematischer Kompetenz lassen sich damit aus didaktischer und psychologischer Sicht charakterisieren.
Abstract (english): The German national supplements to the PISA study include a considerable extension to the mathematical domain of the assessment, in terms of the theoretical conception of mathematical literacy - presented in a national framework that complements and extends the international framework - as well as the items administered and the student sample drawn. A number of additional studies on the curricular and construct validity of the items were also conducted in Germany. In the present article, the national supplements are used as a basis for a differentiated presentation of the concept of mathematical literacy and its operationalization. The items are grouped according to the type of mathematical reasoning required - execution of technical procedures, procedural modelling, or conceptual modelling - and the features that determine the difficulty of the individual items are examined. This allows levels of mathematical literacy to be characterised from the didactic and psychological perspective.
DIPF-Abteilung: Bildungsqualität und Evaluation