-
-
Autor*innen: Kunina-Habenicht, Olga; Goldhammer, Frank
Titel: ICT engagement. A new construct and its assessment in PISA 2015
In: Large-scale Assessments in Education, (2020) , S. 8:6
DOI: 10.1186/s40536-020-00084-z
URN: urn:nbn:de:0111-pedocs-232754
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-232754
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Informations- und Kommunikationstechnologie; Kompetenz; Interesse; Nutzung; Selbstständigkeit; Soziale Interaktion; PISA <Programme for International Student Assessment>; Datenanalyse; Variable; Beziehung; Strukturgleichungsmodell; Schweiz; Deutschland
Abstract (english): As a relevant cognitive-motivational aspect of ICT literacy, a new construct ICT Engagement is theoretically based on self-determination theory and involves the factors ICT interest, Perceived ICT competence, Perceived autonomy related to ICT use, and ICT as a topic in social interaction. In this manuscript, we present different sources of validity supporting the construct interpretation of test scores in the ICT Engagement scale, which was used in PISA 2015. Specifically, we investigated the internal structure by dimensional analyses and investigated the relation of ICT Engagement aspects to other variables. The analyses are based on public data from PISA 2015 main study from Switzerland (n = 5860) and Germany (n = 6504). First, we could confirm the four-dimensional structure of ICT Engagement for the Swiss sample using a structural equation modelling approach. Second, ICT Engagement scales explained the highest amount of variance in ICT Use for Entertainment, followed by Practical use. Third, we found significantly lower values for girls in all ICT Engagement scales except ICT Interest. Fourth, we found a small negative correlation between the scores in the subscale "ICT as a topic in social interaction" and reading performance in PISA 2015. We could replicate most results for the German sample. Overall, the obtained results support the construct interpretation of the four ICT Engagement subscales. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: List, Marit Kristine; Schmidt, Fabian T.C.; Mundt, Daria; Föste-Eggers, Dennis
Titel: Still green at fifteen? Investigating environmental awareness of the PISA 2015 population. Cross-national differences and correlates
In: Sustainability, 7 (2020) 12, S. 2985
DOI: 10.3390/su12072985
URL: https://www.mdpi.com/2071-1050/12/7/2985
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Internationaler Vergleich; OECD-Länder; Schüler; Sekundarstufe I; Umweltbewusstsein; Problembewusstsein; Umweltschutz; Einstellung <Psy>; Nachhaltigkeit; Bildungsinhalt; Umweltverhalten; PISA <Programme for International Student Assessment>; Mehrebenenanalyse; Naturwissenschaftlicher Unterricht
Abstract (english): The PISA studies provide unique opportunities to investigate the competencies and attitudes of 15-year-olds across the world. Past research investigating environmental awareness (EA) in PISA 2006 found associations between EA and science-related competencies and attitudes. Investigating EA in the PISA studies may have important implications for education for sustainable development (ESD): results may show which factors should be considered in educational interventions to enhance students' EA. Cross-national analyses of EA may provide insights into the predictors of EA on a local, national or international level. This study investigates the individual, school, and country level predictors of EA in PISA 2015 (365,194 students, 12,594 schools, 53 countries). The multi-level regression analysis on EA reveals that most of the variance is located at the student level. On the individual level, variables related to science learning in school are associated with EA across all countries. This study also compares the degrees of EA in the 2006 and 2015 populations. The results show similar degrees of EA in 2006 and 2015. Altogether, the study provides cross-country evidence on important aspects that should be addressed in successful ESD programs. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Marksteiner, Tamara; Janson, Marc Philipp; Beißert, Hanna
Titel: Belonging as compensator. Social belonging moderates the relation between bullying and well-being worldwide
In: Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 52 (2020) 3/4, S. 116-126
DOI: 10.1026/0049-8637/a000221
URL: https://econtent.hogrefe.com/doi/10.1026/0049-8637/a000221
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Schüler; Jugendlicher; Soziale Beziehung; Soziale Integration; Mobbing; Wirkung; Wohlbefinden; Zufriedenheit; PISA <Programme for International Student Assessment>; Datenanalyse; Mehrebenenanalyse; Regressionsanalyse; Faktorenanalyse; Empirische Untersuchung
Abstract: Mobbing ist ein ernstes Problem bei Jugendlichen weltweit. Es wird als eine Art physische oder indirekte Peer-Viktimisierung verstanden, die im Laufe der Zeit wiederholt auftritt und durch einen systematischen Machtmissbrauch gekennzeichnet ist. Gemobbt zu werden beeinträchtigt die Gesundheit und das Wohlbefinden der Opfer erheblich. Was schützt die Schüler vor diesen Folgen? Wir untersuchen Zugehörigkeitsgefühle - d.h. das Gefühl, im jeweiligen sozialen Umfeld akzeptiert, einbezogen, respektiert und geschätzt zu werden - als möglichen Kompensator für Mobbing-Konsequenzen in verschiedenen Kulturen. Wir nehmen an, dass es für Schüler mit starkem Zugehörigkeitsgefühl weniger schwerwiegend ist, gemobbt zu werden. Wir verwenden Daten von N = 319.057 15-jährigen Schülern aus 47 Ländern. Mehrebenen-Regressionsanalysen zeigen, dass Mobbing und Wohlbefinden negativ korrelieren. Darüber hinaus zeigen die Ergebnisse erwartungsgemäß, dass Zugehörigkeitsgefühle die negativen Auswirkungen von Mobbing auf das Wohlbefinden kompensieren. Praktische Implikationen sowie Einschränkungen werden diskutiert. (DIPF/Orig.)
Abstract (english): Bullying is a serious issue among adolescents worldwide. It has been conceptualized as a type of physical or indirect peer victimization that occurs repeatedly over time and is characterized by a systematic abuse of power. Being bullied at school severely affects victims' health and well-being. What protects students from these consequences? We investigate feelings of belonging -i. e., the feeling that one is accepted, included, respected, and valued in the respective social environment - as a possible compensator for bullying consequences across different cultures. We hypothesize that being bullied is less severe for students who have strong feelings of belonging. We use data from 319,057 15-year-old students across 47 countries. Multilevel regression analyses replicated that bullying and well-being are negatively associated. Further, the results indicated, as expected, that feelings of belonging compensate for the negative impact that bullying has on well-being. Practical implications as well as limitations are discussed. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Robitzsch, Alexander; Lüdtke, Oliver; Goldhammer, Frank; Kröhne, Ulf; Köller, Olaf
Titel: Reanalysis of the German PISA data. A comparison of different approaches for trend estimation with a particular emphasis on mode effects
In: Frontiers in Psychology, (2020) , S. 11:884
DOI: 10.3389/fpsyg.2020.00884
URN: urn:nbn:de:0111-pedocs-232269
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-232269
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; Test; Verfahren; Skalierung; Methode; Technologiebasiertes Testen; Veränderung; Entwicklung; Wirkungsforschung; Deutschland
Abstract: International large-scale assessments, such as the Program for International Student Assessment (PISA), are conducted to provide information on the effectiveness of education systems. In PISA, the target population of 15-year-old students is assessed every 3 years. Trends show whether competencies have changed in the countries between PISA cycles. In order to provide valid trend estimates, it is desirable to retain the same test conditions and statistical methods in all PISA cycles. In PISA 2015, however, the test mode changed from paper-based to computer-based tests, and the scaling method was changed. In this paper, we investigate the effects of these changes on trend estimation in PISA using German data from all PISA cycles (2000-2015). Our findings suggest that the change from paper-based to computer-based tests could have a severe impact on trend estimation but that the change of the scaling model did not substantially change the trend estimates.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Zehner, Fabian; Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Titel: PISA reading. Mode effects unveiled in short text responses
In: Psychological Test and Assessment Modeling, 62 (2020) 1, S. 85-105
URN: urn:nbn:de:0111-pedocs-203542
URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-1/05_Zehner.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; Deutschland; Schülerleistung; Leistungstest; Computerunterstütztes Verfahren; Papier; Bleistift; Antwort; Text; Inhalt; Information; Quantität; Methodenwechsel; Effekt; Wirkungsforschung; Datenanalyse; Sekundäranalyse
Abstract (english): Educational largescale assessments risk their temporal comparability when shifting from paperto computerbased assessment. A recent study showed how text responses have altered alongside PISA's mode change, indicating mode effects. Uncertainty remained, however, because it compared students from 2012 and 2015. We aimed at reproducing the findings in an experimental setting, in which n = 836 students answered PISA reading questions on computer, paper, or both. Text response features for information quantity and relevance were extracted automatically. Results show a comprehensive recovery of findings. Students incorporated more information into their text responses on computer than on paper, with some items being more affected than others. Regarding information relevance, we found less mode effect variance across items than the original study. Hints for a relationship between mode effect and gender across items could be reproduced. The study demonstrates the stability of linguistic feature extraction from text responses. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Zhou, Ji; He, Jia; Lafontaine, Dominique
Titel: Cross-cultural comparability and validity of metacognitive knowledge in reading in PISA 2009. A comparison of two scoring methods
In: Assessment in Education, 27 (2020) 6, S. 635-654
DOI: 10.1080/0969594X.2020.1828820
URN: urn:nbn:de:0111-pedocs-221384
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-221384
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Metakognition; Wissen; Messung; Lesen; PISA <Programme for International Student Assessment>; Interkultureller Vergleich; Datenanalyse; Sekundäranalyse; Validität; Vergleich; Likert-Skala; OECD-Länder
Abstract: Accurate measurement of metacognitive knowledge in reading is important. Different instruments and scoring methods have been proposed but not systematically compared for their measurement comparability across cultures and validity. Given student data from 34 OECD countries in the Programme for International Student Assessment (PISA) in 2009, we compared two scoring methods for metacognitive knowledge in reading based on pair-wise comparisons of strategies and with conventional Likert-scale responses of selected items. Metacognitive knowledge scored with conventional Likert-scale responses demonstrated higher cross-cultural comparability than the pair-wise comparison method. Linked with reading competence, motivation and control strategy in reading, scores from the two scoring methods showed differential criterion validity, possibly related to the types of tasks (understanding and remembering versus summarising), item content (complexity and discrimination between preferred strategies in reading) and common method variance (e.g., individuals' stable response style in rating scales). Theoretical and methodological implications are discussed. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Klieme, Eckhard; Vach, Karin
Titel: 20 Jahre PISA. Ein Gespräch mit Eckhard Klieme
In: Leseräume, (2020) 6, S. 6-12
URL: http://leseräume.de/wp-content/uploads/2020/10/lr-2020-1-Klieme.pdf
Dokumenttyp: 3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache: Deutsch
Schlagwörter: Bildungssystem; 21. Jahrhundert; Bildungsreform; Schulleistungsmessung; PISA <Programme for International Student Assessment>; Bildungsstandards; Bildungsmonitoring; Benachteiligung; Deutschunterricht; Fachdidaktik; DESI <Deutsch-Englisch-Schülerleistungen-International>; Soziokulturelle Benachteiligung; Sozioökonomische Lage; Soziale Herkunft; Chancengleichheit; Förderung; Lesekompetenz; Kompetenz; Bildung; Begriff; Bildungsforschung; Empirische Forschung; Deutschland
Abstract: Das Gespräch mit dem Bildungsforscher Eckhard Klieme ist in drei Teile gegliedert. Im ersten Teil werden die Entwicklungen Ende der 1990er und Anfang der 2000er Jahre reflektiert, die letztlich zu einer umfassenden Bildungsreform geführt haben. Im zweiten Teil des Gesprächs steht der Deutschunterricht im Mittelpunkt. Mögliche forschungsbezogene Aufgaben der Deutschdidaktik werden hier reflektiert. Gegenstand des letzten Teils ist das spannungsreiche Verhältnis von Kompetenz und Bildung. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Weis, Mirjam; Doroganova, Anastasia; Hahnel, Carolin; Becker-Mrotzek, Michael; Lindauer, Thomas; Artelt, Cordula; Reiss, Kristina
Titel: Aktueller Stand der Lesekompetenz in PISA 2018
In: Schulmanagement-Handbuch, (2020) 173, S. 9-19
Dokumenttyp: 3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache: Deutsch
Schlagwörter: Lesekompetenz; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Aufgabe; Beispiel; Lesen; Jugendlicher; Leistungssteigerung; Leseförderung; Wirkung; Schulform; Geschlechtsspezifischer Unterschied; Internationaler Vergleich; OECD-Länder; Deutschland
Abstract: Welche Lehren können aus den Ergebnissen zur Lesekompetenz der PISA-Erhebung 2018 gezogen werden? Erfreulich ist, dass die Lesekompetenz der Fünfzehnjährigen in Deutschland im Vergleich zum OECD-Mittelwert überdurchschnittlich ausgeprägt ist. Zudem hat sich der Anteil der besonders lesestarken Jugendlichen in Deutschland bei PISA 2018 im Vergleich zum Jahr 2009 signifikant vergrößert. Somit gibt es in Deutschland im internationalen Vergleich einen relativ großen Anteil an Fünfzehnjährigen, die hochkompetent im Lesen sind und optimale Voraussetzungen für ein selbstständiges Lernen mittels Lesen mitbringen. Es ist wichtig, in der Förderung der Spitzengruppe nicht nachzulassen, um so ihren Anteil aufrechterhalten und ausbauen zu können. Wenig erfreulich ist der große Anteil besonders lernschwacher Schülerinnen und Schüler in Deutschland. Mehr als ein Fünftel der Fünfzehnjährigen zeigt Kompetenzen unterhalb der Kompetenzstufe II und ist damit kaum in der Lage, sinnerfassend mit Texten umzugehen. Insbesondere an nicht gymnasialen Schularten ist der Anteil leseschwacher Jugendlicher im Vergleich zu 2009 bedeutsam angestiegen. Dies ist ein besorgniserregender Befund, der zur Konsequenz haben sollte, dass leseschwache Kinder und Jugendliche in Deutschland noch stärker gefördert werden. Die Forschung hat gezeigt, dass die durchgängige Leseförderung vom Vorschulbereich bis zum Ende der Schulzeit besonders wirksam ist. Insgesamt legen die Ergebnisse aus PISA 2018 zum Lesen in Deutschland nahe, dass eine Förderung des besonders leseschwachen Schülerinnen und Schüler in den Blick genommen werden muss, um die Risikogruppe der Jugendlichen, die sich auf den untersten Kompetenzstufen befinden, deutlich zu verringern. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Buchholz, Janine; Jude, Nina; Komorowski, Felix; Leck, Johanna
Titel: Scaling procedures and construct validation of context questionnaire data
Erscheinungsvermerk: Paris: OECD, 2020 (PISA 2018 technical report)
URL: https://www.oecd.org/pisa/data/pisa2018technicalreport/PISA2018_Technical-Report-Chapter-16-Background-Questionnaires.pdf
Dokumenttyp: 5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Sprache: Englisch
Schlagwörter: PISA <Programme for International Student Assessment>; Fragebogen; Skalierung; Validität; Variable; Index; Berechnung; OECD-Staaten
Abstract: The PISA 2018 Context Questionnaire are based on the questionnaire framework (OECD, 2018), described in chapter 3 of this report. Many questionnaire items were designed to be combined in some way in order to measure latent constructs that cannot be observed directly (e.g. a student's achievement motivation or economic, social and cultural background). To these items, transformations or scaling procedures were applied to contruct meaningful indices. In the following, these indices are referred to as "derived variables". This chapter describes derived variables based on one or more items that were constructed and validated for all questionnaires administered in PISA 2018.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Herausgeber*innen: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf
Titel: PISA 2018. Grundbildung im internationalen Vergleich; Zusammenfassung
Erscheinungsvermerk: Münster: Waxmann, 2019
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/Zusammenfassung_PISA2018.pdf
Dokumenttyp: 2. Herausgeberschaft; Monographie
Sprache: Deutsch
Schlagwörter: Migrationshintergrund; Mathematische Kompetenz; Naturwissenschaftliche Kompetenz; Internationaler Vergleich; Deutschland; OECD-Länder; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Lesekompetenz; Leseverhalten; Strategie; Digitale Medien; Motivation; Selbstkonzept; Schüler; Schulform; Geschlechtsspezifischer Unterschied; Soziale Herkunft
Abstract: Mit der PISA-Studie werden grundlegende Kompetenzen von Fünfzehnjährigen gegen Ende der Pflichtschulzeit erfasst. Ziel ist es, Aussagen darüber zu treffen, wie gut die Jugendlichen auf eine erfolgreiche Teilhabe an der modernen Gesellschaft vorbereitet sind. Die Ergebnisse der PISA-Studie ermöglichen alle drei Jahre den internationalen Vergleich von Kompetenzen Fünfzehnjähriger in den Bereichen Naturwissenschaften, Mathematik und Lesen und damit Aussagen über die Wirksamkeit von Bildungssystemen. Mit der PISA-Studie 2018 begann der dritte Zyklus und zum dritten Mal war Lesen die Hauptdomäne. Die Rahmenkonzeption der Lesekompetenz wurde für die PISA-Studie 2018 einer Revision unterzogen und berücksichtigt nun die sich verändernde Lesepraxis, die mit der Nutzung digitaler Medien einhergeht. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation