-
-
Autor*innen: Greiff, Samuel; Wüstenberg, Sascha; Holt, Daniel; Goldhammer, Frank; Funke, Joachim
Titel: Computer-based assessment of complex problem solving. Concept, implementation, and application
In: Educational Technology Research and Development, 61 (2013) 3, S. 407-421
DOI: 10.1007/s11423-013-9301-x
URL: https://link.springer.com/article/10.1007%2Fs11423-013-9301-x
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Bewertung; Bildung; Computerunterstütztes Verfahren; Deutschland; Fertigkeit; Intervention; Itembank; Problemlösen; Student; Test; Testkonstruktion; Wissen
Abstract (english): Complex Problem Solving (CPS) skills are essential to successfully deal with environments that change dynamically and involve a large number of interconnected and partially unknown causal influences. The increasing importance of such skills in the 21st century requires appropriate assessment and intervention methods, which in turn rely on adequate item construction, delivery, and scoring. The lack of assessment tools, however, has slowed down research on and understanding of CPS. This paper first presents the MicroDYN framework for assessing CPS, which is based on linear structural equation systems with input and output variables and opaque relations among them. Second, a versatile assessment platform, the CBA Item Builder, which allows the authoring, delivery, and scoring of CPS tasks for scientific and educational purposes is introduced. Third, we demonstrate the potential of such a tool for research by reporting an experimental study illustrating the effect of domain specific content knowledge on performance in CPS tasks both on an overall performance and on a process level. The importance of accessible and versatile technical platforms not only for assessment and research but also for intervention and learning are discussed with a particular focus on educational contexts.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Jude, Nina; Hartig, Johannes; Schipolowski, Stefan; Böhme, Katrin; Stanat, Petra
Titel: Definition und Messung von Lesekompetenz. PISA und die Bildungsstandards
In: Zeitschrift für Pädagogik. Beih., 59 (2013) , S. 200-228
URN: urn:nbn:de:0111-opus-78285
URL: http://www.pedocs.de/volltexte/2013/7828/pdf/Jude_et_al_Definition_und_Messung_von_Lesekompetenz.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Deutsch
Schlagwörter: Bildungsstandards; Bundesland; Definition; Deutschland; Internationaler Vergleich; Konzeption; Leistungsmessung; Leistungstest; Lesekompetenz; Lesetest; PISA <Programme for International Student Assessment>; Rasch-Modell; Schulform; Schuljahr 09; Stufenmodell; Testaufgabe; Testkonstruktion; Vergleich
Abstract: Im Rahmen von PISA wird die Lesekompetenz von Fünfzehnjährigen in Deutschland seit dem Jahr 2000 im dreijährigen Rhythmus getestet und im internationalen Vergleich berichtet. Auch in den Ländervergleichen auf Basis der Bildungsstandards der KMK im Fach Deutsch für den Mittleren Schulabschluss wird die Lesekompetenz von Schülerinnen und Schülern erfasst. Die Studien verwendeten für ihre Testung allerdings jeweils einen eigenen Lesetest und testen unterschiedliche Populationen von Schülerinnen und Schülern. Der vorliegende Artikel geht der Frage nach, welche Beziehung zwischen den in beiden Studien gemessenen Lesekompetenzkonstrukten besteht und inwieweit die auf den Testergebnissen der Studien basierenden Kompetenzverteilungen der Schülerinnen und Schüler in Deutschland empirisch vergleichbar sind.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Frey, Andreas; Kröhne, Ulf
Titel: Reporting differentiated literacy results in PISA by using multidimensional adaptive testing
Aus: Prenzel, Manfred; Kobarg, Mareike; Schöps, Katrin; Rönnebeck, Silke (Hrsg.): Research on PISA: Research outcomes of the PISA Research Conference 2009, Dordrecht: Springer, 2013 , S. 103-120
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Adaptives Testen; Algorithmus; Deutschland; Itemanalyse; Item-Response-Theory; Längsschnittuntersuchung; Leistungsmessung; Lesekompetenz; Mathematische Kompetenz; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Reliabilität; Schülerleistung; Technologiebasiertes Testen; Testaufgabe; Testauswertung; Testkonstruktion; Testtheorie
Abstract: Multidimensional adaptive testing (MAT) allows for substantial increases in measurement efficiency. It was examined whether this capability can be used to report reliable results for all 10 subdimensions of students' literacy in reading, mathematics and science considered in PISA. The responses of N=14,624 students who participated in the PISA assessments of the years 2000, 2003 and 2006 in Germany were used to simulate unrestricted MAT, MAT with the multidimensional maximum priority index method (MMPI), and MAT with MMPI taking typical restrictions of the PISA assessments (treatment of link items, treatment of open items, grouping of items to units) into account. For MAT with MMPI the reliability coefficients for all subdimensions were lager than .80, as opposed to sequential testing based on the booklet design of PISA 2006. These advantages slightly lessened with the incorporation of PISA-typical restrictions. The findings demonstrate that MAT with MMPI can successfully be used for subdimensional reporting in PISA.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Gölitz, Dietmar; Roick, Thorsten; Hasselhorn, Marcus
Titel: Kettenrechner für dritte und vierte Klassen (KR 3-4)
Aus: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen, Göttingen: Hogrefe, 2013 (Test und Trends. N.F., 11), S. 149-164
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Arbeitsgedächtnis; Arithmetik; Diagnostik; Grundschule; Grundschüler; Kompetenzerwerb; Mathematiklehrer; Mathematische Kompetenz; Objektivität; Qualität; Rechenschwierigkeit; Rechentest; Rechenunterricht; Reliabilität; Schuljahr 03; Schuljahr 04; Screening-Verfahren; Testanwendung; Testkonstruktion; Validität
Abstract: Der Kettenrechner 3-4 ist ein ökonomisches Screeningverfahren. Er erfasst grundlegende arithmetische Kompetenzen im Zahlenraum bis 20 und kann als Gruppentest in Schulklassen und als Einzeltest eingesetzt werden. Der Ansatz des Verfahrens greift den Befund auf, dass ein beeinträchtigter Kompetenzerwerb in der Grundschulmathematik mit einem verlangsamten Lösen komplexer arithmetischer Faktenaufgaben einhergeht. Für das Verfahren liegen jeweils für die Mitte und das Ende des dritten und vierten Schuljahres Normwerte vor. In diesem Beitrag beschreiben wir die Güte des Kettenrechners 3-4 als Screeningverfahren und schlagen Cutoff-Werte zur Prädiktion eines beeinträchtigten Kompetenzerwerbs vor.
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Mildner, Dorothea
Titel: Testfairness
Aus: Wirtz, Markus Antonius (Hrsg.): Dorsch - Lexikon der Psychologie, Bern: Huber, 2013 , S. 1540-1541
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Begriff; Definition; Gleichberechtigung; Teilnehmer; Test; Testaufgabe; Testkonstruktion
Abstract: Stichwortbeitrag
Abstract (english): keyword
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Roick, Thorsten; Gölitz, Dietmar; Hasselhorn, Marcus
Titel: Affektive Komponenten der Mathematikkompetenz. Die Mathematikangst-Ratingskala für vierte bis sechste Klassen (MARS 4-6)
Aus: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen, Göttingen: Hogrefe, 2013 (Tests und Trends. N.F., 11), S. 205-221
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Affekt; Angst; Fragebogen; Grundschule; Mathematikunterricht; Mathematische Kompetenz; Modell; Qualität; Schüler; Schuljahr 04; Schuljahr 05; Schuljahr 06; Sekundarstufe I; Testkonstruktion; Testverfahren
Abstract: Mathematikkompetenz und Mathe(matik)angst stehen in einem negativen Zusammenhang. Die Wirkrichtung dieses Zusammenhangs ist ebenso ungeklärt wie die Frage, ob alle Teilbereiche der Mathematikkompetenz gleichermaßen betroffen sind. Während im englischsprachigen Raum bereits seit den 1970er Jahren Fragebogenverfahren zur Erfassung der Matheangst vorliegen, wurde diesen im deutschen Sprachraum bislang wenig Aufmerksamkeit zuteil/ Die Mathematikangst-Ratingskala für vierte bis sechste Klassen basiert auf einem im amerikanischen Sprachraum weit verbreiteten Fragebogenverfahren zur Bestimmung der Matheangst im Grundschulalter.
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Hartig, Johannes; Buchholz, Janine
Titel: A multilevel item response model for item position effects and individual persistence
In: Psychological Test and Assessment Modeling, 54 (2012) 4, S. 418-431
URL: http://www.psychologie-aktuell.com/fileadmin/download/ptam/4-2012_20121224/06_Hartig.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Brasilien; Evaluation; Finnland; Großbritannien; Item-Response-Theory; Japan; Korea; Republik; Leistungstest; Mehrebenenanalyse; Modell; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Polen; Rasch-Modell; Schülerleistung; Schweden; Testkonstruktion; Testmethodik; Thailand; Tunesien; Türkei
Abstract (english): The paper presents a multilevel item response model for item position effects. It includes individual differences regarding the position effect to which we refer to as the persistence of the test-takers. The model is applied to published data from the PISA 2006 science assessment. We analyzed responses to 103 science test items from N = 64.251 students from 10 countries selected to cover a wide range of national performance levels. All effects of interest were analyzed separately for each country. A significant negative effect of item position on performance was found in all countries, which is more prominent in countries with a lower national performance level. The individual differences in persistence were relatively small in all countries, but more pronounced in countries with lower performance levels. Students' performance level is practically uncorrelated with persistence in high performing countries, while it is negatively correlated within low performing countries.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hasselhorn, Marcus; Margraf-Stiksrud, Jutta
Titel: TBS-TK Rezension. Entwicklungstest für Kinder von 6 Monaten bis 6 Jahren (ET 6-6)
In: Psychologische Rundschau, 63 (2012) 2, S. 141-143
DOI: 10.1026/0033-3042/a000120
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Bibliografien/Rezensionen u.ä. (z.B. Linktipps)
Sprache: Deutsch
Schlagwörter: Bewertung; Empfehlung; Entwicklung; Entwicklungspsychologie; Entwicklungstest; Kind; Kleinkind; Kognitives Lernen; Normung; Objektivität; Qualität; Reliabilität; Rezension; Säugling; Skalierung; Testkonstruktion; Theorie; Validität
Abstract: Allgemeine Informationen über den Test, Beschreibung
des Tests und seiner diagnostischen Zielsetzung.
Mit dem Entwicklungstest 6-6 soll der allgemeine Entwicklungsstand
eines Kindes im Alter von 6 Monaten bis 6
Jahren als differenziertes Entwicklungsprofil abgebildet
werden. Die Autoren wollen Entwicklungsdefizite und
individuelle Stärken mithilfe der Ergebnisse aufzeigen
und Entwicklungsprognosen begründen. Sie nutzen dazu
sechs "inhaltlich begründete Beschreibungsdimensionen"
(Körpermotorik, Handmotorik, kognitive Entwicklung,
Sprachentwicklung, Sozialentwicklung, emotionale
Entwicklung). Diese sind in zehn "empirisch begründeten
Entwicklungsdimensionen und einem Nachzeichentest"
operationalisiert (113 Aufgaben, 67 Fragebogenitems ). Die
individuelle Testung des Kindes erfolgt mit altersgerecht
ausgewählten Aufgaben und wird durch die Befragung
der Eltern ergänzt. Die Dauer der Testung wird mit etwa
12-20 (Säuglingsalter), 30-40 (Kleinkindalter) bzw. 40-50
Minuten (Vorschulalter) angegeben. Die relative Anzahl
gelöster Items je Dimension wird im Entwicklungsprofil
eingetragen.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Rölke, Heiko
Titel: The ItemBuilder: A graphical authoring system for complex item development.
Aus: AACE (Hrsg.): World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education (ELEARN), Chesapeake; VA: Association for the Advancement of Computers in Education (AACE), 2012 , S. 344-353
Dokumenttyp: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Computergrafik; Design; Leistungstest; Schülerleistung; Software; Technologiebasiertes Testen; Testkonstruktion; Testmethodik
Abstract (english): Modern assessments are increasingly based on complex test materials, which are often implemented as simulations. These interactive assessment instruments enable students to use the system in various ways. For this reason, students' interactions with a test delivery platform are stored in automatically generated log files but during the assessment process a large amount of log data is accumulated with various characteristics (clicking, typed answers, and timing-related data). For an efficient analysis of these human-computer interactions' data, it is necessary to gain information about the actual test-taking processes. One very promising way of examining test-taking behaviour is visual data exploration, which is focused in our study. The main objective of this paper is to illustrate how information visualization can help the educational measurement with exploring students' activities in computer-based assessment. It gives insights into visual representations that are useful in depicting test-taking behaviour, identifying trends in students' activities in simulation-based assessment, and examining individual differences on the grounds of test-taking processes. We therefore applied tools and visualization layouts, which support educational practitioners in making use of the data assembled in computerized test delivery.
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Goldhammer, Frank; Hartig, Johannes
Titel: Interpretation von Testresultaten und Testeichung
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2012 , S. 165-192
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Datenanalyse; Interpretation; Normung; Test; Testauswertung; Testkonstruktion; Testtheorie
Abstract: Wendet man einen psychologischen Test an, so erhält man in der Regel ein numerisches Testrsultat, das Auskunft über die Merkmalsausprägung der Testperson geben soll. Fragt man sich, was dieser Testwert hinsichtlich der Merkmalsausprägung aussagt, dann lässt sich diese Frage in zweierlei Weise sinnvoll beantworten: einerseits dadurch, dass der Testwert durch den Vergleich mit den Testwerten einer Bezugsgruppe interpretiert wird (normorientierte Interpretation) und andererseits, dass eine genaue theoretische Vorstellung darüber besteht, wie der erzielte Testwert mit einem inhaltlich-pschologisch definierten Kriterium in Beziehung steht (kriteriumsorientierte Interpretation (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation