Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Papier-Bleistift-Test")

Segregierte Schulmilieus, variierende Unterrichtsbedingungen und Lernleistungen der Schülerinnen […] Kraus, Thorben; Weishaupt, Horst; Hosenfeld, Ingmar Journal Article | In: Zeitschrift für Grundschulforschung | 2021 40945 Endnote: Author(s): Kraus, Thorben; Weishaupt, Horst; Hosenfeld, Ingmar
Title: Segregierte Schulmilieus, variierende Unterrichtsbedingungen und Lernleistungen der Schülerinnen und Schüler. Eine Analyse mit Daten der Grundschulen in Rheinland-Pfalz 2015/16
In: Zeitschrift für Grundschulforschung, 14 (2021) 1, S. 129-148
DOI: 10.1007/s42278-020-00102-7
URL: https://link.springer.com/article/10.1007%2Fs42278-020-00102-7
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Deutsch
Keywords: Bedingung; Deutschland; Grundschule; Korrelation; Lernen; Lernstandserhebung; Leseverstehen; Mathematische Kompetenz; Migrationshintergrund; Milieu; Modellbildung; Papier-Bleistift-Test; Personal; Rheinland-Pfalz; Schule; Schüler; Schülerleistung; Schulorganisation; Schulstatistik; Segregation; Sonderpädagogischer Förderbedarf; Soziale Benachteiligung; Sprache; Unterricht
Abstract: Auf der Grundlage der VERA3-Daten der Grundschulen in Rheinland-Pfalz wird der Zusammenhang zwischen der sozialen Zusammensetzung der Schülerinnen und Schüler der einzelnen Schulen und den durchschnittlichen Leistungen im Leseverstehen und in Mathematik analysiert. Besonders interessiert der vermittelnde Einfluss der schulstatistisch erfassten schul- und unterrichtsorganisatorischen Bedingungen, weil sie - im Gegensatz zu der familiären Situation der Schülerinnen und Schüler - schulpolitisch beeinflusst werden können. Neben deskriptiven Befunden wird ein Pfadmodell berechnet, in das die schulorganisatorischen Variablen als vermittelnde Prozessvariablen des Zusammenhangs zwischen Merkmalen der Schülerschaft und den gemessenen durchschnittlichen Leistungen enthalten sind. (DIPF/Orig.)
Abstract (english): Drawing on data from the VERA3 study of primary schools in Rhineland-Palatinate, the authors analyze the correlation between social compositions of students in individual schools and average reading and mathematics achievement. Particular attention is paid to the mediating influence of school statistically relevant conditions of school and instructional organization, which - other than the family background - can be influenced by educational policy-making. Alongside presenting descriptive findings, the authors calculate a path model which contains the school organizational variables as mediating process variables of the correlation between student population variables and measured average achievement. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens

Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based […] Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank Journal Article | In: Educational Measurement | 2019 39814 Endnote: Author(s): Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Title: Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments
In: Educational Measurement, 38 (2019) 3, S. 97-111
DOI: 10.1111/emip.12280
URL: https://onlinelibrary.wiley.com/doi/abs/10.1111/emip.12280
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Einflussfaktor; Schülerleistung; Frage; Antwort; Interaktion; Unterschied; Vergleich; Item-Response-Theory; Deutschland; PISA <Programme for International Student Assessment>; Leseverstehen; Messverfahren; Testkonstruktion; Korrelation; Äquivalenz; Papier-Bleistift-Test; Computerunterstütztes Verfahren; Technologiebasiertes Testen; Leistungsmessung; Testverfahren; Testdurchführung
Abstract: For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
Abstract (english): For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
DIPF-Departments: Bildungsqualität und Evaluation

Invariance of the response processes between gender and modes in an assessment of reading Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank Journal Article | In: Frontiers in Applied Mathematics and Statistics | 2019 39231 Endnote: Author(s): Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Title: Invariance of the response processes between gender and modes in an assessment of reading
In: Frontiers in Applied Mathematics and Statistics, (2019) , S. 5:2
DOI: 10.3389/fams.2019.00002
URL: https://www.frontiersin.org/articles/10.3389/fams.2019.00002/full
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Lesefertigkeit; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Papier-Bleistift-Test; Antwort; Zeit; Messung; Item-Response-Theory; Modell; Geschlechtsspezifischer Unterschied; Logdatei; Datenanalyse; Empirische Untersuchung; Deutschland
Abstract: In this paper, we developed a method to extract item-level response times from log data that are available in computer-based assessments (CBA) and paper-based assessments (PBA) with digital pens. Based on response times that were extracted using only time differences between responses, we used the bivariate generalized linear IRT model framework (B-GLIRT, [1]) to investigate response times as indicators for response processes. A parameterization that includes an interaction between the latent speed factor and the latent ability factor in the cross-relation function was found to fit the data best in CBA and PBA. Data were collected with a within-subject design in a national add-on study to PISA 2012 administering two clusters of PISA 2009 reading units. After investigating the invariance of the measurement models for ability and speed between boys and girls, we found the expected gender effect in reading ability to coincide with a gender effect in speed in CBA. Taking this result as indication for the validity of the time measures extracted from time differences between responses, we analyzed the PBA data and found the same gender effects for ability and speed. Analyzing PBA and CBA data together we identified the ability mode effect as the latent difference between reading measured in CBA and PBA. Similar to the gender effect the mode effect in ability was observed together with a difference in the latent speed between modes. However, while the relationship between speed and ability is identical for boys and girls we found hints for mode differences in the estimated parameters of the cross-relation function used in the B-GLIRT model. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Predicting the difficulty of exercise items for dynamic difficulty adaptation in adaptive language […] Pandarova, Irina; Schmidt, Torben; Hartig, Johannes; Boubekki, Ahcène; Jones, Roger Dale; […] Journal Article | In: International Journal of Artificial Intelligence in Education | 2019 39472 Endnote: Author(s): Pandarova, Irina; Schmidt, Torben; Hartig, Johannes; Boubekki, Ahcène; Jones, Roger Dale; Brefeld, Ulf
Title: Predicting the difficulty of exercise items for dynamic difficulty adaptation in adaptive language tutoring
In: International Journal of Artificial Intelligence in Education, 29 (2019) 3, S. 342-367
DOI: 10.1007/s40593-019-00180-4
URL: https://link.springer.com/article/10.1007%2Fs40593-019-00180-4
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Fremdsprachenunterricht; Englischunterricht; Digitale Medien; Künstliche Intelligenz; Tutorensystem; Grammatik; Aufgabe; Zweitsprachenerwerb; Problemlösen; Schwierigkeit; Prognose; Messung; Computerunterstütztes Lernen; Schüler; Schuljahr 09; Schuljahr 10; Papier-Bleistift-Test; Gymnasium; Integrierte Gesamtschule; Item-Response-Theory; Itemanalyse; Niedersachsen; Deutschland
Abstract: Advances in computer technology and artificial intelligence create opportunities for developing adaptive language learning technologies which are sensitive to individual learner characteristics. This paper focuses on one form of adaptivity in which the difficulty of learning content is dynamically adjusted to the learner's evolving language ability. A pilot study is presented which aims to advance the (semi-)automatic difficulty scoring of grammar exercise items to be used in dynamic difficulty adaptation in an intelligent language tutoring system for practicing English tenses. In it, methods from item response theory and machine learning are combined with linguistic item analysis in order to calibrate the difficulty of an initial exercise pool of cued gap-filling items (CGFIs) and isolate CGFI features predictive of item difficulty. Multiple item features at the gap, context and CGFI levels are tested and relevant predictors are identified at all three levels. Our pilot regression models reach encouraging prediction accuracy levels which could, pending additional validation, enable the dynamic selection of newly generated items ranging from moderately easy to moderately difficult. The paper highlights further applications of the proposed methodology in the area of adapting language tutoring, item design and second language acquisition, and sketches out issues for future research. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; […] Book Chapter | Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019 39806 Endnote: Author(s): Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Title: Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
In: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract: In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Diagnostik mathematischer Kompetenzen Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.) Compilation Book | Göttingen: Hogrefe | 2013 33479 Endnote: Editor(s) Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich
Title: Diagnostik mathematischer Kompetenzen
Published: Göttingen: Hogrefe, 2013 (Tests und Trends. N.F., 11)
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Arithmetik; Computerunterstütztes Verfahren; Deutschland; Diagnose; Diagnostik; Didaktik; Empirische Forschung; Erzieher; Evaluation; Förderungsmaßnahme; Größe; Grundschulalter; Grundschule; Interview; Kind; Kindergarten; Kompetenzerwerb; Leistungstest; Mathematiklehrer; Mathematische Kompetenz; Mathematisches Denken; Modellierung; Papier-Bleistift-Test; Prognose; Raumvorstellung; Rechenschwierigkeit; Rechentest; Rechenunterricht; Screening-Verfahren; Sekundarstufe I; Testdurchführung; Testkonstruktion; Testtheorie; Testverfahren; Vorschulalter; Zahlbegriff
Abstract: Die diagnostische Erfassung von mathematischen Kompetenzen ist in der Praxis und der Forschung von zentralem Interesse und Bestandteil vieler empirischer Untersuchungen. Letztere behandeln neben Fragestellungen der Grundlagenforschung aus der Psychologie, den Erziehungswissenschaften oder der Mathematikdidaktik auch die Auswahl geeigneter Maßnahmen für das Bildungsmonitoring oder die individuelle Förderung von Lernenden in Bildungseinrichtungen. Die vorliegenden Testverfahren bedienen sich je nach Ziel spezifischer Methoden und Vorgehensweisen. So werden neben dem klassischen Papier und Bleistift-Test etwa auch computergestützte Verfahren eingesetzt, IRT-skalierte Itempools für Längsschnittstudien entwickelt oder Interviewverfahren mit qualitativen und quantitativen Auswertungsmöglichkeiten bereitgestellt. Der vorliegende Band greift diesen Forschungsbereich in seiner gesamten Breite auf und ergänzt den ersten Mathematikband dieser Reihe von 2005 um aktuelle Tests und Trends. Somit erhält der Leser einerseits Informationen über die aktuellen Ergebnisse der pädagogisch-psychologischen und mathematikdidaktischen Forschung zu Mathematikleistungen, -kompetenzen und -schwächen. Andererseits informiert der Band in bewährter Manier über die aktuell verfügbaren und sich in Vorbereitung befindlichen Testverfahren zur Diagnose mathematischer Kompetenzen und Schwierigkeiten.
DIPF-Departments: Bildung und Entwicklung

Socioscientific decision making in the science classroom. The effect of embedded metacognitive […] Eggert, Sabina; Ostermeyer, Frauke; Hasselhorn, Marcus; Bögeholz, Susanne Journal Article | In: Education Research International | 2013 33300 Endnote: Author(s): Eggert, Sabina; Ostermeyer, Frauke; Hasselhorn, Marcus; Bögeholz, Susanne
Title: Socioscientific decision making in the science classroom. The effect of embedded metacognitive instructions on students' learning outcomes
In: Education Research International, 2013 (2013) ID 309894, S. 1-12
DOI: 10.1155/2013/309894
URL: http://dx.doi.org/10.1155/2013/309894
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Argumentation; Deutschland; Empirische Untersuchung; Experimentelle Untersuchung; Gymnasiale Oberstufe; Kooperatives Lernen; Lernerfolg; Messverfahren; Metakognition; Naturwissenschaftliche Kompetenz; Naturwissenschaftlicher Unterricht; Papier-Bleistift-Test; Problemlösen; Schüler; Schülerleistung; Selbstgesteuertes Lernen; Selbstregulation; Soziales Lernen; Urteilsbildung; Wirkung
Abstract: The purpose of the present study was to examine the effects of cooperative training strategies to enhance students' socioscientific decision making as well as their metacognitive skills in the science classroom. Socioscientific decision making refers to both "describing socioscientific issues" as well as "developing and evaluating solutions" to socioscientific issues. We investigated two cooperative training strategies which differed with respect to embedded metacognitive instructions that were developed on the basis of the IMPROVE method. Participants were 360 senior high school students who studied either in a cooperative learning setting (COOP), a cooperative learning setting with embedded metacognitive questions (COOP+META), or a nontreatment control group. Results indicate that students in the two training conditions outperformed students in the control group on both processes of socioscientific decision making. However, students in the COOP+META condition did not outperform students in the COOP condition. With respect to students' learning outcomes on the regulation facet of metacognition, results indicate that all conditions improved over time. Students in the COOP+META condition exhibited highest mean scores at posttest measures, but again, results were not significant. Implications for integrating metacognitive instructions into science classrooms are discussed.
DIPF-Departments: Bildung und Entwicklung

Wann sollten computerbasierte Verfahren zur Messung von Kompetenzen anstelle von papier- und […] Frey, Andreas; Hartig, Johannes Journal Article | In: Zeitschrift für Erziehungswissenschaft | 2013 33798 Endnote: Author(s): Frey, Andreas; Hartig, Johannes
Title: Wann sollten computerbasierte Verfahren zur Messung von Kompetenzen anstelle von papier- und bleistift-basierten Verfahren eingesetzt werden?
In: Zeitschrift für Erziehungswissenschaft, 16 (2013) 1, S. 53-57
DOI: 10.1007/s11618-013-0385-1
URL: http://link.springer.com/article/10.1007%2Fs11618-013-0385-1
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Deutsch
Keywords: Computerunterstütztes Verfahren; Kompetenz; Messung; Papier-Bleistift-Test; Testverfahren
Abstract: Kompetenzen werden zurzeit meistens mit Papier- und Bleistift-Tests erhoben. Die Messung von bestimmten Kompetenzen stellt aber in dreierlei Hinsicht neue Herausforderungen an die pädagogisch-psychologische Diagnostik, denen nur schwer mit Papier- und Bleistift-Tests begegnet werden kann. Für a) Kompetenzen, bei denen eine zeitkritische Ausführung komplexer Interaktionen zentral ist, b) komplexen Kompetenzkonstrukten sowie c) Kompetenzen, deren Ausübung an einen Computer gebunden ist, ist eine computerbasierte Erfassung als deutlich vorteilhafter einzuschätzen als eine papier- und bleistift-basierte Messung. Generell gibt es jedoch kein per se überlegenes Testmedium. Vielmehr sollte jeweils das Testmedium genutzt werden, mit dem die jeweilige theoretische Konzeption eines Kompetenzkonstrukts am besten operationalisiert werden kann. Erscheinen sowohl Papier- und Bleistift als auch Computer prinzipiell zur Messung eines Kompetenzkonstrukts geeignet, sollte kalkuliert werden, welches der beiden Testmedien ökonomischer wäre. Bei der Kalkulation sind nicht nur die Mehrkosten durch den Computereinsatz zu beachten, sondern auch spezifische Kosten, die nur bei Papier- und Bleistift-Tests anfallen.
Abstract (english): Currently, competencies are mostly assessed with paper and pencil tests. Nevertheless, for some competencies, using paper and pencil tests is problematic for three reasons. For (a) competencies requiring complex interactions under time constraints, (b) complex competence constructs, and (c) competencies requiring using a computer, a computer-based assessment provides several advantages compared to a paper and pencil-based assessment. Nevertheless, none of the two testing media is superior to the other in a general way. Thus, the testing medium which provides the best opportunities for a proper operationalization of the competence construct at stake should be selected. If both paper and pencil and computer seem applicable for measuring a competence construct, precisely costing out and comparing the two alternatives is recommended. Within this comparison, not only the additional costs caused by using computers but also the specific costs of paper and pencil-based assessment should be considered.
DIPF-Departments: Bildungsqualität und Evaluation

Examining media-effect among subgroups of students with different ability levels Toth, Krisztina R.; Molnar, Gyongyvér; Hodi, Agnes; Csapo, Beno Book Chapter | Aus: European Association for Research on Learning and Instruction (Hrsg.): Book of abstracts and extended summaries | Leuven: EARLI | 2011 32358 Endnote: Author(s): Toth, Krisztina R.; Molnar, Gyongyvér; Hodi, Agnes; Csapo, Beno
Title: Examining media-effect among subgroups of students with different ability levels
In: European Association for Research on Learning and Instruction (Hrsg.): Book of abstracts and extended summaries, Leuven: EARLI, 2011 , S. 630-632
URL: http://www.earli2011.org/media/Documents_EARLI2011/BookofAbstractsandSummaries.pdf
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Computerunterstütztes Verfahren; Leistungsmessung; Leistungstest; Lesekompetenz; Medienwirkung; Papier-Bleistift-Test; Schülerleistung; Sekundarstufe I; Technologiebasiertes Testen; Unterschied; Urteilsbildung; Vergleich
Abstract (english): Due to the innovative possibilities provided by computers and the cost-efficiency of the system, technology-based assessment should displace paper-based testing (Csapo, Latour, Bennett, Ainley, & Law, 2010). If computer-based assessment is applied to replace traditional testing a number of questions arise regarding media-effect (see e.g. Clariana, & Wallance, 2002). In the past several media-effect studies were carried out focusing on different student and item-related variables, some of these studies attempted to identify the effect of background variables (gender, race/ethnicity, and ICT related factors) for the differences between paper- and computer-based test performance, however, less attention has been paid to the examination of paper-and-pencil test performance of different sample subgroups. The purpose of this paper is to investigate a comparison of data derived from two test delivery among subgroups of students based on paper-and-pencil performance. This paper argues that the media-effect is related to the ability level of test takers in low-stakes testing. Various age groups, measured context and research design validate our findings. Results indicate that different ability level students behave differently in traditional and computerized assessment. Low ability students performed significantly better in computerized environment than in traditional testing. The performance of students with average ability level was media independent, or they achieved higher scores in the computerized test delivery. High ability students were disadvantaged in the online assessment. These findings support that the comparison of paper-based and computer-based performance should consider the students ability level realized in printed medium.
DIPF-Departments: Informationszentrum Bildung