-
-
Autor*innen: Schweizer, Karl; Goldhammer, Frank; Rauch, Wolfgang; Moosbrugger, Helfried
Titel: On the validity of Raven's Matrices Test. Does spatial ability contribute to performance?
In: Personality and Individual Differences, 43 (2007) , S. 1998-2010
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Validität; Messung; Messverfahren; Kognitive Fähigkeit; Raumvorstellung; Vorstellung (Psychologie); Testkonstruktion; Testanwendung
Abstract (english): The paper reports on an investigation of the convergent and discriminant validity of Raven's matrices in considering reasoning and spatial abilities. Raven's advanced progressive matrices (APM) and four scales representing reasoning, visualization, mental rotation and closure were applied to a sample of N = 280 university students. The data were investigated by means of structural equation modeling. The results demonstratedconvergent validity of APM with respect to reasoning. In contrast, in investigating discriminant validity substantial correlations of moderate size between APM and the scales representing spatial abilitieswere observed. However, the investigation of the structure of the prediction of APM revealed that the scales representing spatial abilities did not improve the prediction based on the reasoning scale alone at the latent level. Consequently, it is suggested that Raven's matrices show good convergent validity and slightly impaired discriminant validity. (DIPF/Author)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Hartig, Johannes
Titel: Interpretation von Testresultaten und Testeichung
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 165-192
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Testpsychologie; Testanwendung; Testauswertung; Interpretation; Testmethodik; Testtheorie
Abstract: Wendet man einen psychologischen Test an, so erhält man in der Regel ein numerisches Testresultat, das Auskunft über die Merkmalsausprägung der Testperson geben soll. Fragt man sich, was dieser Testwert hinsichtlich der Merkmalsausprägung aussagt, dann lässt sich diese Frage in zweierlei Weise sinnvoll beantworten: einerseits dadurch, dass der Testwert durch den Vergleich mit den Testwerten einer Bezugsgruppe interpretiert wird (normorientierte Interpretation) oder dass andererseits eine genaue theoretische Vorstellung darüber besteht, wie der erzielte Testwert mit einem inhaltlichpsychologisch definierten Kriterium in Beziehung steht (kriteriumsorientierte Interpretation). (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Frey, Andreas; Jude, Nina
Titel: Validität
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 135-163
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Begriff; Beurteilung; Definition; Diagnostik; Methode; Test; Testanwendung; Testauswertung; Validität
Abstract: In der psychologischen Diagnostik zählt die Validität (Gültigkeit) neben der Objektivität und Reliabilität zu den wichtigsten Gütekriterien von diagnostischen Verfahren. Die Beurteilung der Validität bezieht sich auf das Ausmaß, indem auf Basis der Testwerte getroffene Schlussfolgerungen und Maßnahmen durch theoretische Argumente und empirische Belege gestützt werden können. Die Validierung eines Testverfahrens ist nicht als immer gleiches Routineverfahren anzusehen, sondern muss vielmehr berücksichtigen, in welcher Weise die Testergebnisse interpretiert werden sollen. Das Lehrbuchkapitel befasst sich mit verschiedenen Arten der Validitätsbestimmung: Beginnend mit der allgemeinen Frage, was unter dem Begriff der Validität zu verstehen ist, werden operationale und theoretische Definitionen der Merkmale von Validität dargestellt. Darauf aufbauend werden differenziert verschiedene Arten der Validitätsbestimmung diskutiert: Die Frage nach der Beziehung zwischen Merkmal und Testinhalten (Inhaltsvalidität), die Voraussetzungen für theoriebasierte Testwertinterpretationen (Konstruktvalidität), die Validierung anhand der Vorhersage externer Kriterien sowie die Validität diagnostischer Entscheidungen (Kriteriumsvalidität) und die Legitimation von Testwertinterpretationen (consequential validity). Abschließend diskutieren die Autoren, welche Validierungsmethoden vor dem Hintergrund spezifischer Anwendungszwecke des jeweiligen Testverfahrens zu präferieren sind.(DIPF/Autoren)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Jude, Nina
Titel: Empirische Erfassung von Kompetenzen und psychometrische Kompetenzmodelle
Aus: Hartig, Johannes; Klieme, Eckhard (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik: Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung, Berlin: BMBF, 2007 (Bildungsforschung, 20), S. 17-36
URL: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Diagnostik; Bildungsstandard; Messung; Messverfahren; Testanwendung; Testmethodik; Validität; Empirische Forschung; Psychometrie
Abstract: Der Diagnostik von Kompetenzen kommt eine Schlüsselfunktion für die Optimierung von Bildungsprozessen und für die Weiterentwicklung des Bildungswesens zu. Basis für diese Diagnostik ist die Entwicklung adäquater Messverfahren. Nach einigen grundlegenden Begriffdefinitionen werden zunächst allgemeine Qualitätsanforderungen erläutert, die an Messverfahren zur Erfassung von Kompetenzen zu stellen sind. Wie auch in anderen diagnostischen Anwendungsbereichen sind auch hier Objektivität, Reliabilität und Validität zentral für die Güte der Messung und die Generalisierbarkeit der Ergebnisse. Als Voraussetzung für die Beschreibung und Bestimmung von Kompetenzniveaus und Bildungsstandards ist bei der Erfassung von Kompetenzen zusätzlich die kriteriumsbezogene Testwertinterpretation relevant. Hinsichtlich der Generierung und Auswahl der Test- und Aufgabeninhalte ist sowohl die deduktive Aufgabenauswahl als auch das Kriteriumssampling für den Bereich der Kompetenzdiagnostik geeignet. Selbsteinschätzungen in Fragebögen können nicht als geeignete Methode zur Messung von Kompetenzen betrachtet werden. Kompetenzmessungen sollten auf angemessenen psychometrischen Modellen basieren, in denen die Zusammenhänge zwischen Merkmal und Testverhalten definiert werden. Eindimensionale Modelle haben hierbei den Vorteil einer einfachen Analyse und Ergebnisinterpretation. Zudem sind sie zur Konstruktion von Kompetenzniveaumodellen geeignet, mit denen kontinuierliche Kompetenzdimensionen inhaltlich konkret beschrieben werden können und Aussagen jenseits sozialer Bezugsnormen möglich werden. Mehrdimensionale Modelle können komplexere Zusammenhänge darstellen und ermöglichen eine differenziertere Diagnostik von Teilkompetenzen. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Kröhne, Ulf; Jurecka, Astrid
Titel: Anforderungen an computer- und netzwerkbasierte Assessments
Aus: Hartig, Johannes; Klieme, Eckhard (Hrsg.): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik: Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung, Berlin: BMBF, 2007 (Bildungsforschung, 20), S. 57-67
URL: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Technologiebasiertes Testen; Diagnostik; Bildungsforschung; Erhebungsinstrument; Netzwerk; Testanwendung; Adaptation; Lernprozeß
Abstract: Die Durchführung zentral standardisierter Testverfahren im Bildungsbereich war in Deutschland verglichen mit anderen Ländern bisher unüblich. Vor allem im Zuge der geplanten kontinuierlichen Überprüfung der Bildungsstandards zeichnet sich hier aktuell eine Änderung ab. Vor diesem Hintergrund werden im vorliegenden Artikel Überlegungen zu einem Basissystem für computer- und netzwerkbasierte Assessments angestellt. Die Idee ist hierbei die Entwicklung einer grundlegenden technischen Basis, auf der konkrete Instrumente für spezifische Fragestellungen aufbauen können. Die Entwicklung eines Basissystems würde nicht nur den Aufwand für die Softwareentwicklung reduzieren, sondern auch einen inhaltlichen Austausch von Aufgabenformaten, Aufgabeninhalten, Daten und Ergebnissen innerhalb der Anwendergemeinde begünstigen. Die strukturellen Anforderungen an dieses System betreffen vor allem die Flexibilität von Datenformaten und Datenschnittstellen und die flexible Verwendung von Netzwerkstrukturen, die das Zusammenfassen der Daten zu einer zentralen Datenbank erlauben. Ein Datensystem für computer- und netzwerkbasiertes Assessment muss zudem für eine flexible Gestaltung von Nutzer und Administratorenrechten offen sein, um unterschiedlichen Anwendungskontexten und hierarchischen organisatorischen Strukturen gerecht zu werden. Des Weiteren stellt die Datensicherheit nach den rechtlichen Anforderungen der Datenschutzgesetze ein unverzichtbares Qualitätskriterium dar. Die spezifischen diagnostischen Anforderungen betreffen in erster Linie die Berücksichtigung von Aufgabenhierarchien bei der Verwaltung von Aufgaben, Items, Antworten und Auswertungsalgorithmen, den variablen Einsatz unterschiedlicher Auswertungsalgorithmen, die dynamische Kontrolle der Aufgabendarbietung und die technischen Grundlagen für eine benutzerfreundliche Ergebnisrückmeldung. Zusätzlich sollte das Basissystem den Einbezug menschlicher Beurteiler erlauben, die Anpassung an den spezifischen Lernkontext ermöglichen und über Anpassungsmöglichkeiten für Benutzer mit körperlichen Einschränkungen verfügen. Für einen Einsatz in Bildungsinstitutionen müssen auch vor Ort personale Voraussetzungen sowie die technische Grundausstattung gewährleistet sein. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Herausgeber*innen: Klieme, Eckhard; Pauli, Christine; Reusser, Kurt; Hugener, Isabelle
Titel: Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis" Teil 3 – Videoanalysen
Erscheinungsvermerk: Frankfurt am Main: Deutsches Institut für Internationale Pädagogische Forschung, 2006 (Materialien zur Bildungsforschung, 15)
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Unterricht; Mathematikunterricht; Qualität; Video; Analyse; Testanwendung; Testdurchführung; Testauswertung; Deutschland; Schweiz
Abstract: Der dritte Band der Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie beinhaltet alle Instrumente, welche im Rahmen der Videografierung der Unterrichtseinheiten und tutoriellen Situationen eingesetzt worden sind. ... Das verwendete Kameraskript zum standardisierten Videografieren der Unterrichtslektionen wird in Kapitel 1 dargestellt. Auf die anschließende Aufarbeitung der Daten als Grundbedingung für die weiteren Analysen wird in Kapitel 2 eingegangen. Zur Analyse des videografierten Unterrichts wurden zahlreiche Beobachtungsinstrumente entwickelt. Kapitel 3 gibt einen Überblick über diese verschiedenen Beobachtungsinstrumente, wobei auch auf methodische Aspekte wie zum Beispiel deren Entwicklung eingegangen wird. Anschließend werden in den Kapiteln 4 bis 13 die verschiedenen Beobachtungsinstrumente vorgestellt. Das Vorgehen zur Erhebung handlungsleitender Kognitionen der Lehrpersonen anhand von Leitfadeninterviews wird in den Kapiteln 14 und 15 vorgetsellt. Kapitel 16 bezieht sich maßgeblich auf die tutoriellen Situationen des Textaufgabenmoduls, wobei die Lehrpersonen mittels verschiedener Instrumente zur Reflexion über den Umgang mit Textaufgaben angeregt wurden. ( DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation