-
-
Autor*innen: Martens, Thomas; Rölke, Heiko
Titel: Neues DIPF-Projekt entwickelt computerbasierte Testverfahren für den Bildungsbereich. Kompetenzcluster bietet Service für anwendungsorientierte Bildungsforschung
In: Pädagogische Rundschau, 61 (2007) 6, S. 743-744
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Diagnostik; Diagnostischer Test; Testanwendung; Computer; Messung; Neue Technologien; Bildungsforschung; Projekt
Abstract: Die empirische Bildungsforschung der letzten Jahre ist in zunehmendem Maße durch Arbeiten im Bereich der Kompetenzerfassung geprägt. Hierzu müssen diagnostische Instrumente auf einer theoretischen Basis entwickelt und empirisch erprobt werden. Computerbasierte Testverfahren bieten für die Kompetenzdiagnostik gute Voraussetzungen, da sie valide Messungen und effiziente Datenerhebungen ermöglichen. Das Verständnis und die Beherrschung dieser neuen Technologien sind daher für die Bildungsforschung von großer Bedeutung. Um dies zu erreichen, wurde im April des Jahres 2007 die vom Bundesministerium Bildung und Forschung ( BMBF) geförderte Forschungs- und Servicestruktur "Technology Based Assessment - TBA" am DIPF eingerichtet.(DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Abs, Hermann Josef
Titel: Überlegungen zur Modellierung diagnostischer Kompetenz bei Lehrerinnen und Lehrern
Aus: Lüders, Manfred; Wissinger, Jochen (Hrsg.): Forschung zur Lehrerbildung: Kompetenzentwicklung und Programmevaluation, Münster i.W.: Waxmann, 2007 , S. 63-84
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Diagnostik; Kompetenz; Entwicklung; Lehrer; Referendar; Evaluation; Lehrerausbildung; Grundschullehrer; Hauptschullehrer; Realschullehrer; Sonderpädagoge; Gymnasiallehrer; Modellbildung; Erhebungsinstrument; Deutschland
Abstract: Der Beitrag erörtert Konzeptionen diagnostischer Kompetenz aus Psychologie und Pädagogik. Vor dem Hintergrund eines Evaluationsprojekts wird der Frage nachgegangen, welche Funktionen durch die Erfassung diagnostischer Kompetenz erfüllt werden sollen, und welche Messverfahren den jeweiligen Anforderungen genügen. Es werden Alternativen dargestellt wie bei der Konstruktion eines gestuften Kompetenzmodells vorgegangen werden könnte und welche normativen Erwartungen ein solches Modell zu erfüllen hätte (DIPF/Autor).
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Beck, Bärbel; Klieme, Eckhard
Titel: Einleitung
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung: DESI-Studie (Deutsch Englisch Schülerleistung International), Weinheim: Beltz, 2007 , S. 1-8
DOI: 10.25656/01:3230
URN: urn:nbn:de:0111-opus-32304
URL: https://www.pedocs.de/frontdoor.php?source_opus=3230
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Schülerleistung; Leistungsmessung; Englischunterricht; Deutschunterricht; Empirische Untersuchung; Konzeption; Sprachkompetenz; Diagnostik
Abstract: Einführend werden die Ziele des DESI-Projekts erläutert sowie die Entstehungsgeschichte, Verlauf und Design der Studie skizziert. Dann wird festgestellt, dass das Projekt mit fundamentalen Fragen der Sprachforschung und -diagnostik konfrontiert war, allerdings auf keine einheitlichen Antworten aus diesem Forschungsbereich zurückgreifen konnte, weshalb zunächst eine Begriffsklärung (u.a. Kompetenz vs. Performance, Produkt vs. Prozess, Aufgaben vs. Deskriptoren) vorgenommen wird. (DIPF/ Mar.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Büttner, Gerhard; Hasselhorn, Marcus
Titel: Förderung von Lern- und Gedächtnisleistungen
Aus: Walter, Jürgen; Wember, Franz B. (Hrsg.): Sonderpädagogik des Lernens, Göttingen: Hogrefe, 2007 (Handbuch Sonderpädagogik, 2), S. 281-292
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Lernbehinderung; Lernschwierigkeit; Kind; Jugendlicher; Kognitive Prozesse; Arbeitsgedächtnis; Gedächtnis; Wissen; Diagnostik; Intervention; Förderung; Lernverhalten; Selbstregulation
Abstract: Die Autoren sprechen in ihrem Beitrag zwei bedeutsame Bereiche an, in denen wissenschaftlich evaluierte Maßnahmen zur Förderung von Lern- und Gedächtnisleistungen bei stark lernbeeinträchtigten Kindern und Jugendlichen entwickelt worden sind: Vermittlung von spezifischen deklarativen Wissensinhalten und Förderung selbstregulatorischer Lernkompetenzen. Die bisherigen Erfolge zur Vermittlung von schulrelevantem Faktenwissen sind sehr überzeugend. Es gibt zahlreiche internationale Laborstudien zur Wirksamkeit von Mnemotechniken bei Kindern mit generalisierten Lernschwierigkeiten, die durch Evaluationsstudien in der Schule ergänzt worden sind. Im deutschen Sprachraum fehlen bislang solch schulnahe Interventionsstudien bei Lernbehinderten. Beim derzeitigen Stand der Forschung scheint eine besonders erfolgreiche Förderung der Lern- und Gedächtnisleistungen Lernbehinderter dann möglich zu sein, wenn Interventionengewählt werden, in denen ein gezieltes und informiertes Einüben bereichsspezifischer Strategien und deren metakognitiver Regulation erfolgt. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Hartig, Johannes; Frey, Andreas; Jude, Nina
Titel: Validität
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 135-163
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Begriff; Beurteilung; Definition; Diagnostik; Methode; Test; Testanwendung; Testauswertung; Validität
Abstract: In der psychologischen Diagnostik zählt die Validität (Gültigkeit) neben der Objektivität und Reliabilität zu den wichtigsten Gütekriterien von diagnostischen Verfahren. Die Beurteilung der Validität bezieht sich auf das Ausmaß, indem auf Basis der Testwerte getroffene Schlussfolgerungen und Maßnahmen durch theoretische Argumente und empirische Belege gestützt werden können. Die Validierung eines Testverfahrens ist nicht als immer gleiches Routineverfahren anzusehen, sondern muss vielmehr berücksichtigen, in welcher Weise die Testergebnisse interpretiert werden sollen. Das Lehrbuchkapitel befasst sich mit verschiedenen Arten der Validitätsbestimmung: Beginnend mit der allgemeinen Frage, was unter dem Begriff der Validität zu verstehen ist, werden operationale und theoretische Definitionen der Merkmale von Validität dargestellt. Darauf aufbauend werden differenziert verschiedene Arten der Validitätsbestimmung diskutiert: Die Frage nach der Beziehung zwischen Merkmal und Testinhalten (Inhaltsvalidität), die Voraussetzungen für theoriebasierte Testwertinterpretationen (Konstruktvalidität), die Validierung anhand der Vorhersage externer Kriterien sowie die Validität diagnostischer Entscheidungen (Kriteriumsvalidität) und die Legitimation von Testwertinterpretationen (consequential validity). Abschließend diskutieren die Autoren, welche Validierungsmethoden vor dem Hintergrund spezifischer Anwendungszwecke des jeweiligen Testverfahrens zu präferieren sind.(DIPF/Autoren)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Jude, Nina
Titel: Empirische Erfassung von Kompetenzen und psychometrische Kompetenzmodelle
Aus: Hartig, Johannes; Klieme, Eckhard (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik: Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung, Berlin: BMBF, 2007 (Bildungsforschung, 20), S. 17-36
URL: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Diagnostik; Bildungsstandard; Messung; Messverfahren; Testanwendung; Testmethodik; Validität; Empirische Forschung; Psychometrie
Abstract: Der Diagnostik von Kompetenzen kommt eine Schlüsselfunktion für die Optimierung von Bildungsprozessen und für die Weiterentwicklung des Bildungswesens zu. Basis für diese Diagnostik ist die Entwicklung adäquater Messverfahren. Nach einigen grundlegenden Begriffdefinitionen werden zunächst allgemeine Qualitätsanforderungen erläutert, die an Messverfahren zur Erfassung von Kompetenzen zu stellen sind. Wie auch in anderen diagnostischen Anwendungsbereichen sind auch hier Objektivität, Reliabilität und Validität zentral für die Güte der Messung und die Generalisierbarkeit der Ergebnisse. Als Voraussetzung für die Beschreibung und Bestimmung von Kompetenzniveaus und Bildungsstandards ist bei der Erfassung von Kompetenzen zusätzlich die kriteriumsbezogene Testwertinterpretation relevant. Hinsichtlich der Generierung und Auswahl der Test- und Aufgabeninhalte ist sowohl die deduktive Aufgabenauswahl als auch das Kriteriumssampling für den Bereich der Kompetenzdiagnostik geeignet. Selbsteinschätzungen in Fragebögen können nicht als geeignete Methode zur Messung von Kompetenzen betrachtet werden. Kompetenzmessungen sollten auf angemessenen psychometrischen Modellen basieren, in denen die Zusammenhänge zwischen Merkmal und Testverhalten definiert werden. Eindimensionale Modelle haben hierbei den Vorteil einer einfachen Analyse und Ergebnisinterpretation. Zudem sind sie zur Konstruktion von Kompetenzniveaumodellen geeignet, mit denen kontinuierliche Kompetenzdimensionen inhaltlich konkret beschrieben werden können und Aussagen jenseits sozialer Bezugsnormen möglich werden. Mehrdimensionale Modelle können komplexere Zusammenhänge darstellen und ermöglichen eine differenziertere Diagnostik von Teilkompetenzen. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Kröhne, Ulf; Jurecka, Astrid
Titel: Anforderungen an computer- und netzwerkbasierte Assessments
Aus: Hartig, Johannes; Klieme, Eckhard (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik: Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung, Berlin: BMBF, 2007 (Bildungsforschung, 20), S. 57-67
URL: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Technologiebasiertes Testen; Diagnostik; Bildungsforschung; Erhebungsinstrument; Netzwerk; Testanwendung; Adaptation; Lernprozeß
Abstract: Die Durchführung zentral standardisierter Testverfahren im Bildungsbereich war in Deutschland verglichen mit anderen Ländern bisher unüblich. Vor allem im Zuge der geplanten kontinuierlichen Überprüfung der Bildungsstandards zeichnet sich hier aktuell eine Änderung ab. Vor diesem Hintergrund werden im vorliegenden Artikel Überlegungen zu einem Basissystem für computer- und netzwerkbasierte Assessments angestellt. Die Idee ist hierbei die Entwicklung einer grundlegenden technischen Basis, auf der konkrete Instrumente für spezifische Fragestellungen aufbauen können. Die Entwicklung eines Basissystems würde nicht nur den Aufwand für die Softwareentwicklung reduzieren, sondern auch einen inhaltlichen Austausch von Aufgabenformaten, Aufgabeninhalten, Daten und Ergebnissen innerhalb der Anwendergemeinde begünstigen. Die strukturellen Anforderungen an dieses System betreffen vor allem die Flexibilität von Datenformaten und Datenschnittstellen und die flexible Verwendung von Netzwerkstrukturen, die das Zusammenfassen der Daten zu einer zentralen Datenbank erlauben. Ein Datensystem für computer- und netzwerkbasiertes Assessment muss zudem für eine flexible Gestaltung von Nutzer und Administratorenrechten offen sein, um unterschiedlichen Anwendungskontexten und hierarchischen organisatorischen Strukturen gerecht zu werden. Des Weiteren stellt die Datensicherheit nach den rechtlichen Anforderungen der Datenschutzgesetze ein unverzichtbares Qualitätskriterium dar. Die spezifischen diagnostischen Anforderungen betreffen in erster Linie die Berücksichtigung von Aufgabenhierarchien bei der Verwaltung von Aufgaben, Items, Antworten und Auswertungsalgorithmen, den variablen Einsatz unterschiedlicher Auswertungsalgorithmen, die dynamische Kontrolle der Aufgabendarbietung und die technischen Grundlagen für eine benutzerfreundliche Ergebnisrückmeldung. Zusätzlich sollte das Basissystem den Einbezug menschlicher Beurteiler erlauben, die Anpassung an den spezifischen Lernkontext ermöglichen und über Anpassungsmöglichkeiten für Benutzer mit körperlichen Einschränkungen verfügen. Für einen Einsatz in Bildungsinstitutionen müssen auch vor Ort personale Voraussetzungen sowie die technische Grundausstattung gewährleistet sein. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hasselhorn, Marcus; Grube, Dietmar; Mähler, Claudia; Roick, Thorsten
Titel: Experimentelle Forschung: Was leistet sie für die Sonderpädagogik?
Aus: Walter, Jürgen; Wember, Franz B.(Hrsg.): Sonderpädagogik des Lernens, Göttingen: Hogrefe, 2007 (Handbuch der Sonderpädagogik, 2), S. 897-919
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Sonderpädagogik; Forschung; Experimentelle Untersuchung; Experiment; Lernstörung; Bedingung; Diagnostik; Intervention; Evaluation
Abstract: Die Autoren stellen ... die Frage, was experimentelle Forschung für die Sonderpädagogik leistet. Während qualitative Forschung sich bevorzugt der vertieften Einzelfallanalyse widmet und dabei gern auf Interviews und biografische Verfahren sowie auf hermeneutische Ansätze der Dateninterpretation zurückgreift, steht im Zentrum der quantitativen Forschung die Quantifizierung der interessierenden Verhaltens- und Erlebensmerkmale in Form der sogenannten Variablen. Das Experiment stellt sich in diesem Zusammenhang als eine systematische Form der Beobachtung dar. Anhand von konkreten Experimenten geben die Autoren Antworten auf die Fragen, was die experimentelle Forschung für die Bestimmung von Störungsursachen, für die sonderpädagogische Diagnostik sowie für die Behandlung sonderpädagogisch relevanter Störungen leistet. Nicht ausgespart wird die Frage nach den Grenzen des experimentellen Forschungsansatzes in derSonderpädagogik. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Jude, Nina; Klieme, Eckhard
Titel: Sprachliche Kompetenz aus Sicht der pädagogisch-psychologischen Diagnostik
Aus: Beck, Bärbel; Klieme, Eckhard (Hrsg.): Sprachliche Kompetenzen: Konzepte und Messung, Weinheim: Beltz, 2007 , S. 9-22
URN: urn:nbn:de:0111-opus-31423
URL: https://www.pedocs.de/frontdoor.php?source_opus=3142
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: DESI-Studie; Schüler; Schülerleistung; Sprachkompetenz; Definition; Deutschunterricht; Englischunterricht; Diagnostik; Konzeption; Testmethodik; Deutschland
Abstract: Empirische Studien, die an einer großen Stichprobe repräsentative Leistungsdaten mit normierten Tests erfassen, ermöglichen die Überprüfung von allgemeinen fachlichen Kompetenzen und Sprachkompetenz im Besonderen. Damit stellen sie einen wesentlichen Bestandteil für die Verbesserung des schulischen Lehrens und Lernens dar (National Research Council 2001). Diese Large-Scale- Assessments auf internationalerEbene, wie das Programme for International Student Assessment (PISA) oder die Internationale Grundschul Lese Untersuchung (IGLU) sind durch ihre aktuellen Befunde zu den sprachlichen Fähigkeiten deutscher Schülerinnen und Schüler in der politischen und wissenschaftlichen Diskussion (Bos/Lankes/Prenzel et al. 2003; Deutsches PISA-Konsortium 2001; PISA-Konsortium Deutschland 2004). Sie versprechen detaillierte Ergebnisse und Rückmeldungen über Lernerfolge analle Beteiligten in Bildungssystemen sowie Aufschluss über die Entstehung von sprachlichen Fähigkeiten und mögliche Förderungsansätze. Dabei bedarf es einesAuswertungsdesigns, das nicht nur globale Einschätzungen der jeweiligen Kompetenzen ermöglicht, sondern darüber hinaus deren Differenzierung, d.h. kriteriumsorientierte Aussagen über erreichte Niveaustufen in Teilbereichen der Sprachkompetenz. Die Studie Deutsch-Englisch-Schülerleistungen-International (DESI) betrachtet in diesem Rahmen die Sprachkompetenz von Schülerinnen und Schülern als ein komplexes Phänomen, das es in seinen Facetten abzubilden gilt. Dazu gehört die Berücksichtigung verschiedener Sprachen, in diesem Fall der Verkehrssprache Deutsch und der Fremdsprache Englisch. Neben der Erhebung von Schülerleistungen in den einzelnen Teilbereichen und der Entwicklung möglicher Erklärungsansätze für sprachliche Leistung zielt das Projekt auch auf die Analyse der Struktur von Sprachkompetenz. Diese wird verstanden als interagierendes Gefüge von Teilkompetenzen in Deutsch und Englisch. Durch die Analyse struktureller Zusammenhänge können nicht nur didaktische Schwerpunkte ermittelt, sondern auch Unterschiede zwischen der Kompetenzstruktur von Verkehrs- und Fremdsprache offen gelegt werden. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Reeff, Jean-Paul
Titel: Technische Lösungen für ein computer- und internetbasiertes Assessment-System
Aus: Hartig, Johannes; Klieme, Eckhard (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik: Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung, Berlin: BMBF, 2007 (Bildungsforschung, 20), S. 81-91
URL: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Technologiebasiertes Testen; Kompetenz; Diagnostik; Messung; Bedingung; Technologie
Abstract: In diesem Kapitel werden die Anforderungen an eine technologiebasierte Kompetenzdiagnostik zusammengefasst und Konsequenzen für die Architektur einer entsprechenden Plattform abgeleitet. Ziel ist die funktionale Analyse aller relevanten Etappen computergestützter Kompetenzmessung und ihrer Abbildung in einer adäquaten Systemarchitektur. Um die Anforderungen an ein technologiebasiertes Basissystem zur Kompetenzerfassung zu erfüllen sollte das System mindestens folgende Prozesse abbilden: Activity Selection, Presentation, Response Processing und Summary Scoring. Ein vollständiger Assessment-Zyklus entsteht durch die Interaktion dieser vier Prozesse und unter Kontrolle von mindestens zwei Akteuren. Aus diesem Modell lassen sich spezifischere Anforderungen ableiten, z.B. dass eine hohe Flexibilität auf der Ebene von Datenformaten und -schnittstellen sich insbesondere in der Implementierung des Activity Selection-Prozesses widerspiegeln sollte. Für größere Teilnehmergruppen und komplexe Testdesigns empfiehlt sich die Implementierung eines separaten Moduls zur Teilnehmerverwaltung (Presentation Process). Auf der Ebene des Summary Scoring-Prozesses muss der Forderung unterschiedlicher Auswertungsmodelle genügt werden. Ebenso müssen Schnittstellen zu den wichtigsten statistischen Auswertungspaketen bereitgestellt werden. Die bis dato einzige systematisch entwickelte und offen dokumentierte generische Architektur, die zudem zu einer erfolgreichen Implementierung führte, ist das TAO-System. Hier stand die konkrete Entwicklung einer technologiebasierten Plattform für internetbasiertes Testen von Anfang an im Vordergrund. Alle wesentlichen Anforderungen an ein Assessment-System gemäß ECD und "Vier-Prozess-Architektur" wurden hier erfüllt. Die Breite des Konzeptes und die daraus resultierenden vielfältigen Einsatzmöglichkeiten sind die herausragenden Stärken von TAO. Darüber hinaus ist das an internationalen Standards orientierte Software-Engineering positiv hervorzuheben. (DIPF/Autor)
DIPF-Abteilung: Informationszentrum Bildung