Ergebnis der Suche in der DIPF Publikationendatenbank

Ihre Abfrage:

(Schlagwörter: "PISA") oder (Schlagwörter: "PISA" oder "(PROGRAMME" oder "FOR" oder "INTERNATIONAL" oder "STUDENT" oder "ASSESSMENT)") oder (Schlagwörter: "PISA-STUDIE") und (Abteilung: "Bildung und Entwicklung" oder "Bildungsqualität und Evaluation" oder "Steuerung und Finanzierung des Bildungswesens" oder "Informationszentrum Bildung")

Zu viele Suchergebnisse: Es werden maximal 500 Treffer angezeigt. Bitte grenzen Sie ihre Abfrage in der erweiterten Suche. weiter ein.

Cross-cultural comparability of noncognitive constructs in TIMSS and PISA He, Jia; Barrera-Pedemonte, Fabian; Buchholz, Janine Zeitschriftenbeitrag | In: Assessment in Education | 2019 38403 Endnote: Autor*innen: He, Jia; Barrera-Pedemonte, Fabian; Buchholz, Janine
Titel: Cross-cultural comparability of noncognitive constructs in TIMSS and PISA
In: Assessment in Education, 26 (2019) 4, S. 369-385
DOI: 10.1080/0969594X.2018.1469467
URL: https://www.tandfonline.com/doi/full/10.1080/0969594X.2018.1469467
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; TIMSS <Third International Mathematics and Science Study>; Schülerleistung; Leistungsmessung; Mathematikunterricht; Naturwissenschaftlicher Unterricht; Freude; Motivation; Schule; Identifikation <Psy>; Sekundarstufe I; Schüler; Messverfahren; Vergleich; Item-Response-Theory; Faktorenanalyse; OECD-Länder
Abstract: Noncognitive assessments in Programme for International Student Assessment (PISA) and Trends in International Mathematics and Science Study share certain similarities and provide complementary information, yet their comparability is seldom checked and convergence not sought. We made use of student self-report data of Instrumental Motivation, Enjoyment of Science and Sense of Belonging to School targeted in both surveys in 29 overlapping countries to (1) demonstrate levels of measurement comparability, (2) check convergence of different scaling methods within survey and (3) check convergence of these constructs with student achievement across surveys. We found that the three scales in either survey (except Sense of Belonging to School in PISA) reached at least metric invariance. The scale scores from the multigroup confirmatory factor analysis and the item response theory analysis were highly correlated, pointing to robustness of scaling methods. The correlations between each construct and achievement was generally positive within each culture in each survey, and the correlational pattern was similar across surveys (except for Sense of Belonging), indicating certain convergence in the cross-survey validation. We stress the importance of checking measurement invariance before making comparative inferences, and we discuss implications on the quality and relevance of these constructs in understating learning. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based […] Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank Zeitschriftenbeitrag | In: Educational Measurement | 2019 39814 Endnote: Autor*innen: Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Titel: Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments
In: Educational Measurement, 38 (2019) 3, S. 97-111
DOI: 10.1111/emip.12280
URL: https://onlinelibrary.wiley.com/doi/abs/10.1111/emip.12280
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Einflussfaktor; Schülerleistung; Frage; Antwort; Interaktion; Unterschied; Vergleich; Item-Response-Theory; Deutschland; PISA <Programme for International Student Assessment>; Leseverstehen; Messverfahren; Testkonstruktion; Korrelation; Äquivalenz; Papier-Bleistift-Test; Computerunterstütztes Verfahren; Technologiebasiertes Testen; Leistungsmessung; Testverfahren; Testdurchführung
Abstract: For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
Abstract (english): For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
DIPF-Abteilung: Bildungsqualität und Evaluation

Mehrsprachigkeit - ein Problem? Zusammenhänge zwischen L1-Nutzung und schulisch relevanten […] Rauch, Dominique Zeitschriftenbeitrag | In: Zeitschrift für Erziehungswissenschaft. Sonderheft | 2019 39832 Endnote: Autor*innen: Rauch, Dominique
Titel: Mehrsprachigkeit - ein Problem? Zusammenhänge zwischen L1-Nutzung und schulisch relevanten Kompetenzen auf Basis von PISA 2012 Daten
In: Zeitschrift für Erziehungswissenschaft. Sonderheft, 34 (2019) , S. 125-142
DOI: 10.1007/s11618-019-00888-y
URL: https://link.springer.com/article/10.1007/s11618-019-00888-y
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Deutsch
Schlagwörter: Jugendlicher; Migrationshintergrund; Mehrsprachigkeit; Muttersprache; Unterrichtssprache; Sprachgebrauch; Nutzung; Familie; Generation; Peergroup; Freizeit; Lesekompetenz; Mathematische Kompetenz; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Fragebogen; Regressionsanalyse; Multivariate Analyse; Empirische Untersuchung; Deutschland
Abstract: Mehrsprachige Schüler nutzen die Herkunftssprache ihrer Familie (L1) und die Unterrichtssprache (L2) je nach Anlass und Partner. Der vorliegende Beitrag untersucht, ob sich ein aus der Assimilationstheorie abzuleitender Zusammenhang zwischen Generationsstatus und Nutzung der L1 nachweisen lässt und ob im Sinne der Time-on-Task-Hypothese der Gebrauch der L1 negative Effekte auf schulisch relevante Kompetenzen hat. Hierzu werden Daten von N = 1023 Jugendlichen, die im Zuge der PISA-2012-Erhebung getestet und befragt wurden, ausgewertet. Die Jugendlichen beantworteten Fragen nach der L1 Nutzung mit verschiedenen Gesprächspartnern (Vater, Mutter, Geschwister, bester Freund außerhalb der Schule, Mitschüler auf dem Schulhof) und zu verschiedenen Nutzungsanlässen (Lesen, Fernsehen, Internet, E‑Mail). Es zeigte sich, dass kein eindeutiger Trend zu sprachlicher Assimilation über die Generationen hinweg nachzuweisen ist. Lediglich für die L1-Nutzung mit den besten Freunden außerhalb der Schule und mit Mitschülern auf dem Schulhof (hier nur Lesekompetenz) zeigten sich signifikante negative Zusammenhänge mit schulisch relevanten Kompetenzen. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Predictors of individual performance changes related to item positions in PISA assessments Wu, Qian; Debeer, Dries; Buchholz, Janine; Hartig, Johannes; Janssen, Rianne Zeitschriftenbeitrag | In: Large-scale Assessments in Education | 2019 39021 Endnote: Autor*innen: Wu, Qian; Debeer, Dries; Buchholz, Janine; Hartig, Johannes; Janssen, Rianne
Titel: Predictors of individual performance changes related to item positions in PISA assessments
In: Large-scale Assessments in Education, (2019) , S. 7:5
DOI: 10.1186/s40536-019-0073-6
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-019-0073-6
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Leistungstest; Testaufgabe; Design; Wirkung; PISA <Programme for International Student Assessment>; Naturwissenschaftliche Kompetenz; Lesekompetenz; Mathematische Kompetenz; Schülerleistung; Fragebogen; Mehrebenenanalyse; Item-Response-Theory
Abstract (english): Background: Item position effects have been a common concern in large-scale assessments as changing the order of items in booklets may have an undesired effect on test performance. If every test taker would be affected by the effect in the very same way, comparisons between groups of individuals would still be valid. However, research has shown that in addition to a general fixed effect of item positions, the extent of the effect varies considerably across individuals. These individual differences are referred to as persistence. Test takers with a high level of persistence are able to keep up their performance better throughout the test administration, whereas those with a lower level of persistence show a larger decline in their test performance. Methods: The present study applied a multilevel extended item response theory (IRT ) framework and used the data from the PISA 2006 science, 2009 reading, and 2012 mathematics assessments. The first objective of this study is to provide a systematic investigation of item position effects across the three PISA domains, partially replicating the previous studies on PISA 2006 and 2009. Second, this study aims to gain a better understanding of the nature of individual differences in position effects by relating them to student characteristics. Gender, socio-economic status, language spoken at home, and three motivational scales (enjoyment of doing the subject being assessed, effort thermometer, perseverance) were used as person covariates for persistence. Results: This study replicated and extended the results found in previous studies. An overall negative item cluster position effect and significant individual differences in this effect were found in all the countries in the three PISA domains. Furthermore, the most frequently observed effect of person covariates on persistence is gender, with girls keeping up their performance better than boys. Other predictors showed little or inconsistent effects on persistence. Conclusions: Our study demonstrated inter-individual differences as well as group differences in item position effects, which may threaten the comparability between persons and groups. The consequences and implications of item position effects and persistence for the interpretation of PISA results are discussed.
DIPF-Abteilung: Bildungsqualität und Evaluation

Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015 Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine Zeitschriftenbeitrag | In: Education Inquiry | 2019 38711 Endnote: Autor*innen: Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Titel: Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
In: Education Inquiry, 10 (2019) 1, S. 34-55
DOI: 10.1080/20004508.2018.1518080
URL: https://www.tandfonline.com/doi/pdf/10.1080/20004508.2018.1518080?needAccess=true
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; Schülerleistungstest; Design; Veränderung; Computerunterstütztes Verfahren; Lesetest; Antwort; Text; Unterschied; Information; Relevanz; Schuljahr 09; Empirische Untersuchung; Deutschland
Abstract (english): In 2015, the Programme for International Student Assessment (PISA) introduced multiple changes in its study design, the most extensive being the transition from paper- to computer-based assessment. We investigated the differences between German students' text responses to eight reading items from the paper-based study in 2012 to text responses to the same items from the computer-based study in 2015. Two response features - information quantity and relevance proportion - were extracted by natural language processing techniques because they are crucial indicators for the response process. Showcasing potential differential relationships, we additionally examined gender differences. Modelling effects of the round of assessment, gender, and response correctness on the response features, we analysed responses from 15-year-olds and ninth-graders in Germany. Results revealed differences in the text responses between the rounds of assessment in that students included more information overall in 2015, and the proportions of relevance varied substantially across items. As the study investigated the mode change in PISA's natural (not experimental) setting, the differences could mirror cohort trends or design changes. However, with the evidence reported, we conclude that the differences could indicate mode effects. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina Zeitschriftenbeitrag | In: Zeitschrift für Erziehungswissenschaft | 2019 39123 Endnote: Autor*innen: Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Titel: Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
In: Zeitschrift für Erziehungswissenschaft, 22 (2019) 3, S. 617-646
DOI: 10.1007/s11618-019-00874-4
URN: urn:nbn:de:0111-pedocs-176046
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-176046
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Schülerleistungstest; Fragebogen; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Deutschland; OECD-Länder; Schüler; Problemlösen; Kooperation; Kompetenz; Schuljahr; Schulform; Computerunterstütztes Verfahren; Simulation; Technologiebasiertes Testen; Messverfahren; Qualität; Psychometrie; Item-Response-Theory; Skalierung
Abstract: Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch. (DIPF/Orig.)
Abstract (english): Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD's top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; […] Sammelbandbeitrag | Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019 39806 Endnote: Autor*innen: Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Titel: Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract: In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Lesekompetenz in PISA 2018 - Ergebnisse in einer digitalen Welt Weis, Mirjam; Doroganova, Anastasia; Hahnel, Carolin; Becker-Mrotzek, Michael; Lindauer, Thomas; […] Sammelbandbeitrag | Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019 39684 Endnote: Autor*innen: Weis, Mirjam; Doroganova, Anastasia; Hahnel, Carolin; Becker-Mrotzek, Michael; Lindauer, Thomas; Artelt, Cordula; Reiss, Kristina
Titel: Lesekompetenz in PISA 2018 - Ergebnisse in einer digitalen Welt
Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 47-80
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=47
Dokumenttyp: 4. Beiträge in Sammelwerken; Sonstiges
Sprache: Deutsch
Schlagwörter: Lesekompetenz; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Digitale Medien; Leseverhalten; Veränderung; Text; Textverständnis; Information; Bewertung; Bildungsmonitoring; Geschlechtsspezifischer Unterschied; Mädchen; Junge; Schulform; Unterschied; Leistungssteigerung; Gymnasiast; Internationaler Vergleich; Deutschland; OECD-Länder
Abstract: Die mittlere Lesekompetenz der Fünfzehnjährigen in Deutschland liegt bei der PISA-Studie 2018 signifikant über dem OECD-Durchschnitt. Der Mittelwert der Lesekompetenz der Fünfzehnjährigen in Deutschland unterscheidet sich 2018 nicht signifikant von den deutschen Durchschnittswerten bei den PISA-Studien 2009 und 2015, ist aber deutlich höher als bei PISA 2000. Die Gruppe der besonders leseschwachen Schülerinnen und Schüler ist im Vergleich zu anderen lesestarken Staaten verhältnismäßig groß und entspricht in etwa dem OECD-Durchschnitt. Die Gruppe der besonders lesestarken Jugendlichen ist in Deutschland hingegen signifikant großer als im Durchschnitt der OECD-Staaten. Die differenzierten Analysen zeigen, dass ein relativ hoher Anteil der Gymnasiastinnen und Gymnasiasten bei PISA 2018 hochkompetent im Lesen ist und diese Gruppe seit PISA 2009 deutlich gewachsen ist. Allerdings gibt es insbesondere an nicht gymnasialen Schularten einen hohen Anteil leseschwacher Jugendlicher, der sowohl im Vergleich zu 2009 als auch im Vergleich zu 2015 bedeutsam angestiegen ist. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

How to conceptualize, represent, and analyze log data from technology-based assessments? A generic […] Kroehne, Ulf; Goldhammer, Frank Zeitschriftenbeitrag | In: Behaviormetrika | 2018 38895 Endnote: Autor*innen: Kroehne, Ulf; Goldhammer, Frank
Titel: How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items
In: Behaviormetrika, 45 (2018) 2, S. 527-563
DOI: 10.1007/s41237-018-0063-y
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Bildungsforschung; Empirische Forschung; Logdatei; Datenanalyse; Technologiebasiertes Testen; PISA <Programme for International Student Assessment>; Fragebogen; Konzeption; Testkonstruktion; Daten; Typologie; Hardware; Antwort; Verhalten; Dauer; Interaktion; Mensch-Maschine-Kommunikation; Indikator
Abstract: Log data from educational assessments attract more and more attention and large-scale assessment programs have started providing log data as scientific use files. Such data generated as a by-product of computer-assisted data collection has been known as paradata in survey research. In this paper, we integrate log data from educational assessments into a taxonomy of paradata. To provide a generic framework for the analysis of log data, finite state machines are suggested. Beyond its computational value, the specific benefit of using finite state machines is achieved by separating platform-specific log events from the definition of indicators by states. Specifically, states represent filtered log data given a theoretical process model, and therefore, encode the information of log files selectively. The approach is empirically illustrated using log data of the context questionnaires of the Programme for International Student Assessment (PISA). We extracted item-level response time components from questionnaire items that were administered as item batteries with multiple questions on one screen and related them to the item responses. Finally, the taxonomy and the finite state machine approach are discussed with respect to the definition of complete log data, the verification of log data and the reproducibility of log data analyses. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Assessing global competence in PISA 2018. Challenges and approaches to capturing a complex […] Sälzer, Christine; Roczen, Nina Zeitschriftenbeitrag | In: International Journal of Development Education and Global Learning | 2018 38479 Endnote: Autor*innen: Sälzer, Christine; Roczen, Nina
Titel: Assessing global competence in PISA 2018. Challenges and approaches to capturing a complex construct [Englischer Zweitabdruck von Sälzer & Roczen, 2018]
In: International Journal of Development Education and Global Learning, 10 (2018) 1, S. 5-20
DOI: 10.18546/IJDEGL.10.1.02
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Globalisierung; Kompetenz; Konzeption; Interkulturelle Kompetenz; Globales Lernen; Messung; Herausforderung; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Vergleichsuntersuchung
Abstract: International large-scale assessments such as the Programme for International Student Assessment (PISA) yield comparative indicators of student achievement in various competence domains. This article focuses on global competence as a suggested cross-curricular domain for the PISA 2018 study. The measurement of global competence is related to a number of challenges, which are elaborated, described and discussed. As these challenges have so far not been sufficiently targeted, Germany, among several other countries, has decided not to assess global competence in the upcoming PISA cycle. In conclusion, propositions are made regarding viable options to capture global competence in international comparative studies so that established quality standards can be met. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation

Ergebnis der Suche in der DIPF Publikationendatenbank

Zu viele Suchergebnisse