-
-
Autor*innen: Kröhne, Ulf; Martens, Thomas
Titel: Computer-based competence tests in the national educational panel study. the challenge of mode effects
In: Zeitschrift für Erziehungswissenschaft, 14 (2011) 2, S. 169-186
DOI: 10.1007/s11618-011-0185-4
URL: http://dx.doi.org/10.1007/s11618-011-0185-4
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Bildungsforschung; Computerunterstütztes Verfahren; Diagnostik; Diagnostischer Test; Kompetenz; Messverfahren; Panel; Technologiebasiertes Testen; Testanwendung; Testkonstruktion; Testtheorie
Abstract: Im Vergleich zu Papier- und Bleistifttests versprechen computerisierte Kompetenztests eine Vielzahl von Vorteilen, beispielsweise eine erhöhte Testsicherheit, mehr Informationen über die Testteilnehmer, sofortiges Scoring und unmittelbares Feedback. Zudem können neue, innovative Aufgabenformate angewendet werden, um die Testinhalte zu erweitern. Drei Vorteile sind für die Messung kognitiver Kompetenzen im Rahmen des Nationalen Bildungspanels besonders hervorzuheben: Erstens kann eine Reduktion der Testzeit durch die höhere Messeffizienz von adaptiven
Tests erzielt werden. Zweitens ist zu erwarten, dass computerisiertes Testen die Standardisierung erhöht und das Interesse der Testteilnehmer an der Testdurchführung steigert. Drittens ermöglicht die internetbasierte Testdurchführung die Auslieferung von Tests an räumlich entfernte Testteilnehmer. Bevor diese Vorteile jedoch genutzt werden können, muss die Äquivalenz zwischen den verschiedenen Formen der Testadministration untersucht werden, um die Vergleichbarkeit der Testergebnisse und die Validität der Ergebnisinterpretationen sicherzustellen. In diesem Kapitel wird ein theoretisches Bezugssystem für Mode Effects beschrieben und spezifische Eigenschaften der verschiedenen Administrationsformen werden diskutiert. Darüber hinaus werden abgeleitete Äquivalenzkriterien im Hinblick auf die Gegebenheiten der Kompetenzdiagnostik im Nationalen Bildungspanel betrachtet unter denen (a) die Nutzung computerisierter Kompetenztests für nachfolgende Testdurchführungen vorbereitet wird und unter denen (b) die Kompetenzentwicklung über die Lebensspanne mit Tests für verschiedene Klassenstufen und Altersgruppen gemessen wird.
Abstract (english): Computerized competence tests promise a variety of advantages compared to paper-pencil delivered tests, for instance, increased test security, more information about test takers and the test-taking process, instant scoring, and immediate feedback. Moreover, new innovative item types can be administered to broaden the test content. Three benefits should be particularly emphasized for the assessment of cognitive competencies in the German National Educational Panel Study. First, reductions of test time can be obtained through the higher measurement efficiency of adaptive tests. Second, computerized testing is expected to enhance standardization and to increase test takers' interest in completing the test. Third, Internet-based assessment offers the opportunity to deliver tests to spatially distanced test takers. However, before we can exploit these opportunities, we have to study the equivalence between different test administrations in order to maintain comparability of test scores and to ensure the validity of score interpretations. In this chapter, we shall describe a theoretical framework of mode effects and discuss various properties of test administrations. We shall relate the resulting equivalence criteria to the specific settings of the National Educational Panel Study in which (a) the usage of computerized competence tests is being prepared for upcoming assessments, and (b) tests for different grades and age groups are being designed to assess competence development over the life span.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Goldhammer, Frank
Titel: Modelle der Item-Response-Theorie
Aus: Maschke, Sabine; Stecher, Ludwig (Hrsg.) Methoden der empirischen erziehungswissenschaftlichen Forschung, Weinheim: Juventa, 2010 , S. 36
DOI: 10.3262/EEO07100111
URL: http://dx.doi.org/10.3262/EEO07100111
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Test; Testtheorie; Item-Response-Theory; Psychometrie; Modell; Skalierung; Empirische Forschung; Quantitative Forschung; Deutschland
Abstract: Die Item-Response-Theorie (IRT) stellt Methoden zur Auswertung von Tests zur Verfügung, die gegenüber älteren Methoden wie der klassischen Testtheorie verschiedene konzeptuelle und forschungspraktische Vorteile haben. In diesem Kapitel sind zentrale Grundideen von IRT-Modellen sowie mögliche Anwendungsbereiche dargestellt. Darauffolgend wird eine Auswahl unterschiedlicher IRT-Modelle sowohl für zweistufige als auch für mehrstufige Antwortformate beschrieben: das Raschmodell, das zwei- und dreiparametrige logistische Modell, das Partial Credit Model und das Graded Response Model. Weiterhin werden Methoden der Schätzung der Modellparameter beschrieben und die Konzepte der Item- und T estinformation eingeführt. Abschließend werden Kriterien zur Wahl eines spezifischen Modells und die IRT-basierte kriterienorientierte Skaleninterpretation behandelt.(DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Herausgeber*innen: Hartig, Johannes; Klieme, Eckhard; Leutner, Detlev
Titel: Assessment of competencies in educational contexts
Erscheinungsvermerk: Göttingen: Hogrefe, 2008
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Kompetenz; Bildungsforschung; Leistungsmessung; Kognitive Fähigkeit; Testtheorie; Item-Response-Theory; Psychometrie; Diagnostischer Test; Test; Methodologie; Technologiebasiertes Testen; Fernunterricht; Bildungsmonitoring; Leistungstest; Vergleichsuntersuchung; Feedback; Bildungsstandard; Deutschland; Österreich; Schweiz
Abstract (english): This book covers current theoretical, psychometric, and practical issues related to the assessment of competencies in educational and vocational settings. Leading researchers from around the world contribute their expertise from different research fields. The book provides theoretical perspectives on the concept of competencies in educational and vocational contexts, as well as on developmental models. It deals with item writing and psychometric models forassessing and explaining competencies, and addresses practical issues such as test construction, computer-based assessment, and the implementation of assessment tools. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes
Titel: Psychometric models for the assessment of competencies
Aus: Hartig, Johannes; Klieme, Eckhard; Leutner, Detlev (Hrsg.): Assessment of competencies in educational contexts, Göttingen: Hogrefe, 2008 , S. 69-90
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Kompetenz; Messung; Leistungsmessung; Psychometrie; Modell; Testtheorie
Abstract (english): The chapter deals with the implications of the context-specific nature of competence constructs for adequate psychometric models for competence assessment. First, some general demands on psychometric models for competence constructs are derived. Subsequently, different possible effects of task demands on item responses are conceptually illustrated. After that, general features that characterize different psychometric models are described. Subsequently, selected examples of psychometric models are used to illustrate differences between models. Based on the general model characteristics and the examples, criteria for the selection of an appropriate model are discussed. (DIPF/Orig. )
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Hartig, Johannes
Titel: Interpretation von Testresultaten und Testeichung
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 165-192
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Testpsychologie; Testanwendung; Testauswertung; Interpretation; Testmethodik; Testtheorie
Abstract: Wendet man einen psychologischen Test an, so erhält man in der Regel ein numerisches Testresultat, das Auskunft über die Merkmalsausprägung der Testperson geben soll. Fragt man sich, was dieser Testwert hinsichtlich der Merkmalsausprägung aussagt, dann lässt sich diese Frage in zweierlei Weise sinnvoll beantworten: einerseits dadurch, dass der Testwert durch den Vergleich mit den Testwerten einer Bezugsgruppe interpretiert wird (normorientierte Interpretation) oder dass andererseits eine genaue theoretische Vorstellung darüber besteht, wie der erzielte Testwert mit einem inhaltlichpsychologisch definierten Kriterium in Beziehung steht (kriteriumsorientierte Interpretation). (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rauch, Dominique; Hartig, Johannes
Titel: Interpretation von Testwerten in der IRT
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2007 , S. 240-250
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Testtheorie; Itemanalyse; Testauswertung; Interpretation; Individuum; Methode; Kompetenzniveau
Abstract: Auf Basis der Item Response Theorie (IRT) können wie auf Basis der Klassischen Testtheorie (KTT) Testwerte für Personen gebildet werden, die die Items eines Tests beantwortet haben. Im Gegensatz zur KTT setzt die IRT die Antwortenauf die Items eines Tests nicht mit der Messung des im Test erfassten Konstrukts gleich, sondern konzipiert die Messung des Konstrukts explizit als indirekt: IRT-Modelle postulieren, dass dem im Test gezeigten Verhalten, also denAntworten auf die Items des Tests ( daher Item-Response-Theorie), eine Fähigkeit oder Eigenschaft zugrunde liegt, die das Testverhalten "verursacht". Grundvoraussetzung für eine kriteriumsorientierte Interpretation individueller Testwerte ist die Abbildung von Itemschwierigkeiten und Personenfähigkeiten auf einer gemeinsamen Skala. Im Rahmen der KTT wird zwischen der individuellen Leistung einer Person - z.B. Prozent gelöster Items - und der Schwierigkeiteines Items - z.B. Prozent der Personen, die das Item gelöst haben - kein expliziter Bezug hergestellt. In IRT-Modellen dagegen werden individuelle Fähigkeitsschätzungen und Itemschwierigkeiten auf einer gemeinsamen Skala abgebildet. Dadurch ist es möglich, individuelle Testwerte durch ihre Abstände zu Itemschwierigkeiten zu interpretieren. Der vorliegende Text stellt die Grundlagen der Interpretation von Testwerten in der IRT anhand von Beispielen aus der empirischen Bildungsforschung dar und erläutert unter anderem verschiedene Methoden zur Bildung von Kompetenzniveaus. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Moosbrugger, Helfried; Hartig, Johannes
Titel: Klassische Testtheorie
Aus: Kubinger, K.; Jäger, R. (Hrsg.): Schlüsselbegriffe der Psychologischen Diagnostik, Weinheim: Psychologie Verlags Union, 2003 , S. 408-415
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Testtheorie
DIPF-Abteilung: Bildungsqualität und Evaluation