Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Testkonstruktion")

Reporting differentiated literacy results in PISA by using multidimensional adaptive testing Frey, Andreas; Kröhne, Ulf Book Chapter | Aus: Prenzel, Manfred; Kobarg, Mareike; Schöps, Katrin; Rönnebeck, Silke (Hrsg.): Research on PISA: Research outcomes of the PISA Research Conference 2009 | Dordrecht: Springer | 2013 33709 Endnote: Author(s): Frey, Andreas; Kröhne, Ulf
Title: Reporting differentiated literacy results in PISA by using multidimensional adaptive testing
In: Prenzel, Manfred; Kobarg, Mareike; Schöps, Katrin; Rönnebeck, Silke (Hrsg.): Research on PISA: Research outcomes of the PISA Research Conference 2009, Dordrecht: Springer, 2013 , S. 103-120
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Adaptives Testen; Algorithmus; Deutschland; Itemanalyse; Item-Response-Theory; Längsschnittuntersuchung; Leistungsmessung; Lesekompetenz; Mathematische Kompetenz; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Reliabilität; Schülerleistung; Technologiebasiertes Testen; Testaufgabe; Testauswertung; Testkonstruktion; Testtheorie
Abstract: Multidimensional adaptive testing (MAT) allows for substantial increases in measurement efficiency. It was examined whether this capability can be used to report reliable results for all 10 subdimensions of students' literacy in reading, mathematics and science considered in PISA. The responses of N=14,624 students who participated in the PISA assessments of the years 2000, 2003 and 2006 in Germany were used to simulate unrestricted MAT, MAT with the multidimensional maximum priority index method (MMPI), and MAT with MMPI taking typical restrictions of the PISA assessments (treatment of link items, treatment of open items, grouping of items to units) into account. For MAT with MMPI the reliability coefficients for all subdimensions were lager than .80, as opposed to sequential testing based on the booklet design of PISA 2006. These advantages slightly lessened with the incorporation of PISA-typical restrictions. The findings demonstrate that MAT with MMPI can successfully be used for subdimensional reporting in PISA.
DIPF-Departments: Bildungsqualität und Evaluation

Kettenrechner für dritte und vierte Klassen (KR 3-4) Gölitz, Dietmar; Roick, Thorsten; Hasselhorn, Marcus Book Chapter | Aus: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen | Göttingen: Hogrefe | 2013 33480 Endnote: Author(s): Gölitz, Dietmar; Roick, Thorsten; Hasselhorn, Marcus
Title: Kettenrechner für dritte und vierte Klassen (KR 3-4)
In: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen, Göttingen: Hogrefe, 2013 (Test und Trends. N.F., 11), S. 149-164
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Arbeitsgedächtnis; Arithmetik; Diagnostik; Grundschule; Grundschüler; Kompetenzerwerb; Mathematiklehrer; Mathematische Kompetenz; Objektivität; Qualität; Rechenschwierigkeit; Rechentest; Rechenunterricht; Reliabilität; Schuljahr 03; Schuljahr 04; Screening-Verfahren; Testanwendung; Testkonstruktion; Validität
Abstract: Der Kettenrechner 3-4 ist ein ökonomisches Screeningverfahren. Er erfasst grundlegende arithmetische Kompetenzen im Zahlenraum bis 20 und kann als Gruppentest in Schulklassen und als Einzeltest eingesetzt werden. Der Ansatz des Verfahrens greift den Befund auf, dass ein beeinträchtigter Kompetenzerwerb in der Grundschulmathematik mit einem verlangsamten Lösen komplexer arithmetischer Faktenaufgaben einhergeht. Für das Verfahren liegen jeweils für die Mitte und das Ende des dritten und vierten Schuljahres Normwerte vor. In diesem Beitrag beschreiben wir die Güte des Kettenrechners 3-4 als Screeningverfahren und schlagen Cutoff-Werte zur Prädiktion eines beeinträchtigten Kompetenzerwerbs vor.
DIPF-Departments: Bildung und Entwicklung

Testfairness Mildner, Dorothea Book Chapter | Aus: Wirtz, Markus Antonius (Hrsg.): Dorsch - Lexikon der Psychologie | Bern: Huber | 2013 33699 Endnote: Author(s): Mildner, Dorothea
Title: Testfairness
In: Wirtz, Markus Antonius (Hrsg.): Dorsch - Lexikon der Psychologie, Bern: Huber, 2013 , S. 1540-1541
Publication Type: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Language: Deutsch
Keywords: Begriff; Definition; Gleichberechtigung; Teilnehmer; Test; Testaufgabe; Testkonstruktion
Abstract: Stichwortbeitrag
Abstract (english): keyword
DIPF-Departments: Bildungsqualität und Evaluation

Affektive Komponenten der Mathematikkompetenz. Die Mathematikangst-Ratingskala für vierte bis […] Roick, Thorsten; Gölitz, Dietmar; Hasselhorn, Marcus Book Chapter | Aus: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen | Göttingen: Hogrefe | 2013 33481 Endnote: Author(s): Roick, Thorsten; Gölitz, Dietmar; Hasselhorn, Marcus
Title: Affektive Komponenten der Mathematikkompetenz. Die Mathematikangst-Ratingskala für vierte bis sechste Klassen (MARS 4-6)
In: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen, Göttingen: Hogrefe, 2013 (Tests und Trends. N.F., 11), S. 205-221
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Affekt; Angst; Fragebogen; Grundschule; Mathematikunterricht; Mathematische Kompetenz; Modell; Qualität; Schüler; Schuljahr 04; Schuljahr 05; Schuljahr 06; Sekundarstufe I; Testkonstruktion; Testverfahren
Abstract: Mathematikkompetenz und Mathe(matik)angst stehen in einem negativen Zusammenhang. Die Wirkrichtung dieses Zusammenhangs ist ebenso ungeklärt wie die Frage, ob alle Teilbereiche der Mathematikkompetenz gleichermaßen betroffen sind. Während im englischsprachigen Raum bereits seit den 1970er Jahren Fragebogenverfahren zur Erfassung der Matheangst vorliegen, wurde diesen im deutschen Sprachraum bislang wenig Aufmerksamkeit zuteil/ Die Mathematikangst-Ratingskala für vierte bis sechste Klassen basiert auf einem im amerikanischen Sprachraum weit verbreiteten Fragebogenverfahren zur Bestimmung der Matheangst im Grundschulalter.
DIPF-Departments: Bildung und Entwicklung

A multilevel item response model for item position effects and individual persistence Hartig, Johannes; Buchholz, Janine Journal Article | In: Psychological Test and Assessment Modeling | 2012 33302 Endnote: Author(s): Hartig, Johannes; Buchholz, Janine
Title: A multilevel item response model for item position effects and individual persistence
In: Psychological Test and Assessment Modeling, 54 (2012) 4, S. 418-431
URL: http://www.psychologie-aktuell.com/fileadmin/download/ptam/4-2012_20121224/06_Hartig.pdf
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Brasilien; Evaluation; Finnland; Großbritannien; Item-Response-Theory; Japan; Korea; Republik; Leistungstest; Mehrebenenanalyse; Modell; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Polen; Rasch-Modell; Schülerleistung; Schweden; Testkonstruktion; Testmethodik; Thailand; Tunesien; Türkei
Abstract (english): The paper presents a multilevel item response model for item position effects. It includes individual differences regarding the position effect to which we refer to as the persistence of the test-takers. The model is applied to published data from the PISA 2006 science assessment. We analyzed responses to 103 science test items from N = 64.251 students from 10 countries selected to cover a wide range of national performance levels. All effects of interest were analyzed separately for each country. A significant negative effect of item position on performance was found in all countries, which is more prominent in countries with a lower national performance level. The individual differences in persistence were relatively small in all countries, but more pronounced in countries with lower performance levels. Students' performance level is practically uncorrelated with persistence in high performing countries, while it is negatively correlated within low performing countries.
DIPF-Departments: Bildungsqualität und Evaluation

TBS-TK Rezension. Entwicklungstest für Kinder von 6 Monaten bis 6 Jahren (ET 6-6) Hasselhorn, Marcus; Margraf-Stiksrud, Jutta Journal Article | In: Psychologische Rundschau | 2012 32582 Endnote: Author(s): Hasselhorn, Marcus; Margraf-Stiksrud, Jutta
Title: TBS-TK Rezension. Entwicklungstest für Kinder von 6 Monaten bis 6 Jahren (ET 6-6)
In: Psychologische Rundschau, 63 (2012) 2, S. 141-143
DOI: 10.1026/0033-3042/a000120
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Bibliografien/Rezensionen u.ä. (z.B. Linktipps)
Language: Deutsch
Keywords: Bewertung; Empfehlung; Entwicklung; Entwicklungspsychologie; Entwicklungstest; Kind; Kleinkind; Kognitives Lernen; Normung; Objektivität; Qualität; Reliabilität; Rezension; Säugling; Skalierung; Testkonstruktion; Theorie; Validität
Abstract: Allgemeine Informationen über den Test, Beschreibung des Tests und seiner diagnostischen Zielsetzung. Mit dem Entwicklungstest 6-6 soll der allgemeine Entwicklungsstand eines Kindes im Alter von 6 Monaten bis 6 Jahren als differenziertes Entwicklungsprofil abgebildet werden. Die Autoren wollen Entwicklungsdefizite und individuelle Stärken mithilfe der Ergebnisse aufzeigen und Entwicklungsprognosen begründen. Sie nutzen dazu sechs "inhaltlich begründete Beschreibungsdimensionen" (Körpermotorik, Handmotorik, kognitive Entwicklung, Sprachentwicklung, Sozialentwicklung, emotionale Entwicklung). Diese sind in zehn "empirisch begründeten Entwicklungsdimensionen und einem Nachzeichentest" operationalisiert (113 Aufgaben, 67 Fragebogenitems ). Die individuelle Testung des Kindes erfolgt mit altersgerecht ausgewählten Aufgaben und wird durch die Befragung der Eltern ergänzt. Die Dauer der Testung wird mit etwa 12-20 (Säuglingsalter), 30-40 (Kleinkindalter) bzw. 40-50 Minuten (Vorschulalter) angegeben. Die relative Anzahl gelöster Items je Dimension wird im Entwicklungsprofil eingetragen.
DIPF-Departments: Bildungsqualität und Evaluation

The ItemBuilder: A graphical authoring system for complex item development. Rölke, Heiko Book Chapter | Aus: AACE (Hrsg.): World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (ELEARN) | Chesapeake; VA: Association for the Advancement of Computers in Education (AACE) | 2012 33077 Endnote: Author(s): Rölke, Heiko
Title: The ItemBuilder: A graphical authoring system for complex item development.
In: AACE (Hrsg.): World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (ELEARN), Chesapeake; VA: Association for the Advancement of Computers in Education (AACE), 2012 , S. 344-353
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Computergrafik; Design; Leistungstest; Schülerleistung; Software; Technologiebasiertes Testen; Testkonstruktion; Testmethodik
Abstract (english): Modern assessments are increasingly based on complex test materials, which are often implemented as simulations. These interactive assessment instruments enable students to use the system in various ways. For this reason, students' interactions with a test delivery platform are stored in automatically generated log files but during the assessment process a large amount of log data is accumulated with various characteristics (clicking, typed answers, and timing-related data). For an efficient analysis of these human-computer interactions' data, it is necessary to gain information about the actual test-taking processes. One very promising way of examining test-taking behaviour is visual data exploration, which is focused in our study. The main objective of this paper is to illustrate how information visualization can help the educational measurement with exploring students' activities in computer-based assessment. It gives insights into visual representations that are useful in depicting test-taking behaviour, identifying trends in students' activities in simulation-based assessment, and examining individual differences on the grounds of test-taking processes. We therefore applied tools and visualization layouts, which support educational practitioners in making use of the data assembled in computerized test delivery.
DIPF-Departments: Informationszentrum Bildung

Interpretation von Testresultaten und Testeichung Goldhammer, Frank; Hartig, Johannes Book Chapter | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2012 32144 Endnote: Author(s): Goldhammer, Frank; Hartig, Johannes
Title: Interpretation von Testresultaten und Testeichung
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2012 , S. 165-192
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Datenanalyse; Interpretation; Normung; Test; Testauswertung; Testkonstruktion; Testtheorie
Abstract: Wendet man einen psychologischen Test an, so erhält man in der Regel ein numerisches Testrsultat, das Auskunft über die Merkmalsausprägung der Testperson geben soll. Fragt man sich, was dieser Testwert hinsichtlich der Merkmalsausprägung aussagt, dann lässt sich diese Frage in zweierlei Weise sinnvoll beantworten: einerseits dadurch, dass der Testwert durch den Vergleich mit den Testwerten einer Bezugsgruppe interpretiert wird (normorientierte Interpretation) und andererseits, dass eine genaue theoretische Vorstellung darüber besteht, wie der erzielte Testwert mit einem inhaltlich-pschologisch definierten Kriterium in Beziehung steht (kriteriumsorientierte Interpretation (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Adaptives Testen in der Rehabilitation - ein Weg zur ökonomischen Erhebung von Patientenmerkmalen Frey, Christian; Zwingmann, Christian; Böcker, Maren; Forkmann, Thomas; Kröhne, Ulf; […] Journal Article | In: Rehabilitation | 2011 32343 Endnote: Author(s): Frey, Christian; Zwingmann, Christian; Böcker, Maren; Forkmann, Thomas; Kröhne, Ulf; Müller, Evelyn; Wirtz, Markus
Title: Adaptives Testen in der Rehabilitation - ein Weg zur ökonomischen Erhebung von Patientenmerkmalen
In: Rehabilitation, 50 (2011) 3, S. 195-203
DOI: 10.1055/s-0031-1271816
URL: http://dx.doi.org/10.1055/s-0031-1271816
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Deutsch
Keywords: Diagnostik; Item; Kranker; Messverfahren; Psychometrie; Rehabilitation; Technologiebasiertes Testen; Testkonstruktion; Testtheorie; Testverfahren
Abstract: In der Diagnostik und der Outcome-Messung werden in der Rehabilitation eine Vielzahl von Fragebogen eingesetzt. In der Regel werden dabei - unabhängig vom aktuellen Gesundheitszustand und vom Schweregrad - für jeden Rehabilitanden dieselben Informationen mittels identischer Gruppen von Items erfasst, um die Vergleichbarkeit der diagnostischen Befunde gewährleisten zu können. Hierbei erweist es sich als problematisch, dass a) in der Regel nur im mittleren Belastungsspektrum eine hinreichend genaue und zuverlässige Diagnostik möglich ist und b) Messinstrumente durch die Vorgabe von vielen und im Einzelfall uninformativen Items eine unökonomische Datenerhebung erfordern. In diesem Beitrag wird gezeigt, wie durch adaptives oder maßgeschneidertes Testen die Datenerhebung an der individuellen Belastung des Patienten selbst orientiert werden kann. Hierdurch können im Idealfall eine hohe Ökonomie und eine optimierte Messpräzision der Testung und patientenseitig eine hohe Akzeptanz gewährleistet werden, da eine gute Passung zwischen Fähigkeit der Patienten und erfragten Iteminhalten gegeben ist. Adaptive Testverfahren erfordern jedoch eine aufwändige und sehr sorgfältige psychometrische Entwicklung der Erhebungsprozeduren, damit trotz Vorgabe unterschiedlicher Items an die Patienten die diagnostischen Befunde zwischen Patienten und Messzeitpunkten (z. B. Prä-Post-Vergleich) vergleichbar sind. In diesem Beitrag wird gezeigt, welche Entwicklungsschritte eine fundierte adaptive Testprozedur durchlaufen muss und wie der Einsatz auch in der medizinischen Rehabilitation zum Gewinn für Anwender und Patient werden kann.
Abstract (english): For diagnostics and outcome measurement in clinical rehabilitation a multitude of questionnaires is used. In order to gain comparability of the diagnostic findings, generally, the same information is gathered of all patients, regardless of their state of health or how severely ill they are, by using identical groups of items. In this kind of assessment it is, however, problematic that (a) the assessment instrument usually only allows for adequate and reliable diagnostics of patients who suffer from injuries or illnesses of medium severity, and (b) that an uneconomic data collection is required because of an extensive set of items which may in individual cases be uninformative and unnecessary. This article shows how data assessment can be adjusted to the individual handicaps of the patient by using adaptive or tailored testing. Thus it can be ensured that the testing becomes more economical and results more precise. Furthermore, a high acceptance by the patients participating in the data collection can be achieved, as the test items submitted fit the ability of the patients adequately. Yet, adaptive test systems require a complex and very careful psychometrical development of the assessment procedure in such a way that in spite of presenting different items to patients, diagnostic outcomes are comparable between patients and for different points in time (e. g., pre-post comparison). This article shows the steps of development that have to be accomplished in order to set up a psychometrically sound adaptive test procedure. Moreover, it shows how its usage in the area of medical rehabilitation can be profitable for handlers and patients.
DIPF-Departments: Bildungsqualität und Evaluation

Computer-based competence tests in the national educational panel study. the challenge of mode […] Kröhne, Ulf; Martens, Thomas Journal Article | In: Zeitschrift für Erziehungswissenschaft | 2011 31840 Endnote: Author(s): Kröhne, Ulf; Martens, Thomas
Title: Computer-based competence tests in the national educational panel study. the challenge of mode effects
In: Zeitschrift für Erziehungswissenschaft, 14 (2011) 2, S. 169-186
DOI: 10.1007/s11618-011-0185-4
URL: http://dx.doi.org/10.1007/s11618-011-0185-4
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Bildungsforschung; Computerunterstütztes Verfahren; Diagnostik; Diagnostischer Test; Kompetenz; Messverfahren; Panel; Technologiebasiertes Testen; Testanwendung; Testkonstruktion; Testtheorie
Abstract: Im Vergleich zu Papier- und Bleistifttests versprechen computerisierte Kompetenztests eine Vielzahl von Vorteilen, beispielsweise eine erhöhte Testsicherheit, mehr Informationen über die Testteilnehmer, sofortiges Scoring und unmittelbares Feedback. Zudem können neue, innovative Aufgabenformate angewendet werden, um die Testinhalte zu erweitern. Drei Vorteile sind für die Messung kognitiver Kompetenzen im Rahmen des Nationalen Bildungspanels besonders hervorzuheben: Erstens kann eine Reduktion der Testzeit durch die höhere Messeffizienz von adaptiven Tests erzielt werden. Zweitens ist zu erwarten, dass computerisiertes Testen die Standardisierung erhöht und das Interesse der Testteilnehmer an der Testdurchführung steigert. Drittens ermöglicht die internetbasierte Testdurchführung die Auslieferung von Tests an räumlich entfernte Testteilnehmer. Bevor diese Vorteile jedoch genutzt werden können, muss die Äquivalenz zwischen den verschiedenen Formen der Testadministration untersucht werden, um die Vergleichbarkeit der Testergebnisse und die Validität der Ergebnisinterpretationen sicherzustellen. In diesem Kapitel wird ein theoretisches Bezugssystem für Mode Effects beschrieben und spezifische Eigenschaften der verschiedenen Administrationsformen werden diskutiert. Darüber hinaus werden abgeleitete Äquivalenzkriterien im Hinblick auf die Gegebenheiten der Kompetenzdiagnostik im Nationalen Bildungspanel betrachtet unter denen (a) die Nutzung computerisierter Kompetenztests für nachfolgende Testdurchführungen vorbereitet wird und unter denen (b) die Kompetenzentwicklung über die Lebensspanne mit Tests für verschiedene Klassenstufen und Altersgruppen gemessen wird.
Abstract (english): Computerized competence tests promise a variety of advantages compared to paper-pencil delivered tests, for instance, increased test security, more information about test takers and the test-taking process, instant scoring, and immediate feedback. Moreover, new innovative item types can be administered to broaden the test content. Three benefits should be particularly emphasized for the assessment of cognitive competencies in the German National Educational Panel Study. First, reductions of test time can be obtained through the higher measurement efficiency of adaptive tests. Second, computerized testing is expected to enhance standardization and to increase test takers' interest in completing the test. Third, Internet-based assessment offers the opportunity to deliver tests to spatially distanced test takers. However, before we can exploit these opportunities, we have to study the equivalence between different test administrations in order to maintain comparability of test scores and to ensure the validity of score interpretations. In this chapter, we shall describe a theoretical framework of mode effects and discuss various properties of test administrations. We shall relate the resulting equivalence criteria to the specific settings of the National Educational Panel Study in which (a) the usage of computerized competence tests is being prepared for upcoming assessments, and (b) tests for different grades and age groups are being designed to assess competence development over the life span.
DIPF-Departments: Bildungsqualität und Evaluation