-
-
Autor*innen: Weis, Mirjam; Doroganova, Anastasia; Hahnel, Carolin; Becker-Mrotzek, Michael; Lindauer, Thomas; Artelt, Cordula; Reiss, Kristina
Titel: Lesekompetenz in PISA 2018 - Ergebnisse in einer digitalen Welt
Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 47-80
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=47
Dokumenttyp: 4. Beiträge in Sammelwerken; Sonstiges
Sprache: Deutsch
Schlagwörter: Lesekompetenz; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Digitale Medien; Leseverhalten; Veränderung; Text; Textverständnis; Information; Bewertung; Bildungsmonitoring; Geschlechtsspezifischer Unterschied; Mädchen; Junge; Schulform; Unterschied; Leistungssteigerung; Gymnasiast; Internationaler Vergleich; Deutschland; OECD-Länder
Abstract: Die mittlere Lesekompetenz der Fünfzehnjährigen in Deutschland liegt bei der PISA-Studie 2018 signifikant über dem OECD-Durchschnitt. Der Mittelwert der Lesekompetenz der Fünfzehnjährigen in Deutschland unterscheidet sich 2018 nicht signifikant von den deutschen Durchschnittswerten bei den PISA-Studien 2009 und 2015, ist aber deutlich höher als bei PISA 2000. Die Gruppe der besonders leseschwachen Schülerinnen und Schüler ist im Vergleich zu anderen lesestarken Staaten verhältnismäßig groß und entspricht in etwa dem OECD-Durchschnitt. Die Gruppe der besonders lesestarken Jugendlichen ist in Deutschland hingegen signifikant großer als im Durchschnitt der OECD-Staaten. Die differenzierten Analysen zeigen, dass ein relativ hoher Anteil der Gymnasiastinnen und Gymnasiasten bei PISA 2018 hochkompetent im Lesen ist und diese Gruppe seit PISA 2009 deutlich gewachsen ist. Allerdings gibt es insbesondere an nicht gymnasialen Schularten einen hohen Anteil leseschwacher Jugendlicher, der sowohl im Vergleich zu 2009 als auch im Vergleich zu 2015 bedeutsam angestiegen ist. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Kroehne, Ulf; Goldhammer, Frank
Titel: How to conceptualize, represent, and analyze log data from technology-based assessments? A generic framework and an application to questionnaire items
In: Behaviormetrika, 45 (2018) 2, S. 527-563
DOI: 10.1007/s41237-018-0063-y
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Bildungsforschung; Empirische Forschung; Logdatei; Datenanalyse; Technologiebasiertes Testen; PISA <Programme for International Student Assessment>; Fragebogen; Konzeption; Testkonstruktion; Daten; Typologie; Hardware; Antwort; Verhalten; Dauer; Interaktion; Mensch-Maschine-Kommunikation; Indikator
Abstract: Log data from educational assessments attract more and more attention and large-scale assessment programs have started providing log data as scientific use files. Such data generated as a by-product of computer-assisted data collection has been known as paradata in survey research. In this paper, we integrate log data from educational assessments into a taxonomy of paradata. To provide a generic framework for the analysis of log data, finite state machines are suggested. Beyond its computational value, the specific benefit of using finite state machines is achieved by separating platform-specific log events from the definition of indicators by states. Specifically, states represent filtered log data given a theoretical process model, and therefore, encode the information of log files selectively. The approach is empirically illustrated using log data of the context questionnaires of the Programme for International Student Assessment (PISA). We extracted item-level response time components from questionnaire items that were administered as item batteries with multiple questions on one screen and related them to the item responses. Finally, the taxonomy and the finite state machine approach are discussed with respect to the definition of complete log data, the verification of log data and the reproducibility of log data analyses. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Sälzer, Christine; Roczen, Nina
Titel: Assessing global competence in PISA 2018. Challenges and approaches to capturing a complex construct [Englischer Zweitabdruck von Sälzer & Roczen, 2018]
In: International Journal of Development Education and Global Learning, 10 (2018) 1, S. 5-20
DOI: 10.18546/IJDEGL.10.1.02
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Globalisierung; Kompetenz; Konzeption; Interkulturelle Kompetenz; Globales Lernen; Messung; Herausforderung; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Vergleichsuntersuchung
Abstract: International large-scale assessments such as the Programme for International Student Assessment (PISA) yield comparative indicators of student achievement in various competence domains. This article focuses on global competence as a suggested cross-curricular domain for the PISA 2018 study. The measurement of global competence is related to a number of challenges, which are elaborated, described and discussed. As these challenges have so far not been sufficiently targeted, Germany, among several other countries, has decided not to assess global competence in the upcoming PISA cycle. In conclusion, propositions are made regarding viable options to capture global competence in international comparative studies so that established quality standards can be met. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Sälzer, Christine; Roczen, Nina
Titel: Die Messung von Global Competence im Rahmen von PISA 2018. Herausforderungen und mögliche Ansätze zur Erfassung eines komplexen Konstrukts
In: Zeitschrift für Erziehungswissenschaft, 21 (2018) 2, S. 299-316
DOI: 10.1007/s11618-018-0818-y
URN: urn:nbn:de:0111-pedocs-155201
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-155201
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Globalisierung; Kompetenz; Konzeption; Interkulturelle Kompetenz; Globales Lernen; Messung; Herausforderung; PISA <Programme for International Student Assessment>; Internationaler Vergleich
Abstract: Dieser Beitrag befasst sich mit dem Konstrukt der sogenannten Global Competence und deren geplanter Erfassung als lehrplanübergreifende Kompetenz im Rahmen von PISA 2018. Mit diesem Vorhaben sind einige Herausforderungen verbunden, die beschrieben und diskutiert werden. Aufgrund dieser - bisher nicht zufriedenstellend gelösten - Herausforderungen wird Deutschland wie mehrere weitere Staaten auf die Erfassung von Global Competence in PISA 2018 verzichten. In einem Ausblick werden Vorschläge erarbeitet, wie Global Competence in einer international vergleichenden Bildungsstudie so erfasst werden könnte, dass die etablierten Qualitätsstandards erreicht werden. (DIPF/Orig.)
Abstract (english): This work deals with Global Competence as a suggested cross-curricular domain for the PISA study of 2018. Measuring Global Competence is related to a number of challenges, which are elaborated, described and discussed. As these challenges have not been sufficiently targeted up to now, Germany, among several other countries, decided not to assess Global Competence in the upcoming PISA assessment. Conclusively, propositions are made regarding viable options to capture Global Competence in international comparative studies so that established quality standards can be met. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Upsing, Britta; Rittberger, Marc
Titel: The translator's perspective on translation quality control processes for international large-scale assessment studies
In: Translation & Interpreting, 10 (2018) 2, S. 55-72
DOI: 10.12807/ti.110202.2018.a05
URN: urn:nbn:de:0111-dipfdocs-168048
URL: http://www.dipfdocs.de/volltexte/2019/16804/pdf/Upsing_2018_Translators_perspective_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Evaluation; Fragebogen; Interview; Kontrolle; Leistungstest; Methode; PIAAC <Programme for the International Assessment of Adult Competencies>; PISA <Programme for International Student Assessment>; Qualität; Qualitative Forschung; Übersetzung; Verfahren
Abstract (english): International Large-Scale Assessment studies (iLSAs) like PISA (the Programme for International Student Assessment) and PIAAC (the Programme for the International Assessment of Adult Competencies) employ stringent quality control procedures for the translation of their test items. The translations are crucial: a test item should not become more or less difficult because of its translation, given that test results are used to assess and compare the competency levels of different populations across countries. This article discusses how PISA and PIAAC translation procedures have evolved from earlier translation quality processes, and the underlying assumptions about translation that have shaped this evolution. We then report on findings from a qualitative interview study with translators, reviewers, and translation managers who have been involved in PISA or PIAAC translation processes. The objective of the interview study is to analyse the quality control procedures from the perspective of translation players. How do translators prepare for and perform translations for iLSA studies, and how does this process compare with other translation assignments they receive? This comparison will give an understanding of whether translators, in general, believe the iLSA translation process and its quality control procedures provide adequate guidance for performing these translations. We finish by proposing recommendations for future iLSA translation processes. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Titel: Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
In: Large-scale Assessments in Education, 6 (2018) 6:7
DOI: 10.1186/s40536-018-0060-3
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-018-0060-3
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Schüler; Lesefertigkeit; Geschlechtsspezifischer Unterschied; Lesetest; Antwort; Analyse; Kognitive Prozesse; PISA <Programme for International Student Assessment>; Sekundäranalyse; Deutschland
Abstract (english): Background: The gender gap in reading literacy is repeatedly found in large-scale assessments. This study compared girls' and boys' text responses in a reading test applying natural language processing. For this, a theoretical framework was compiled that allows mapping of response features to the preceding cognitive components such as micro- and macropropositions from the situation model.
Methods: In total, n = 33,604 responses from the German sample of the Programme for International Student Assessment (PISA) 2012 reading test have been analyzed for characterizing the genders' typical cognitive approaches. The analyses mainly explored the gender gap by contrasting groups of responses typical for either gender. These gender-specific responses characterize the typical responding of the genders to PISA reading questions.
Results: Responses typical for girls contained three to five more proposition entities from the situation model, irrespective of the response correctness. They integrated more relevant propositions and constituted better fits to the question focus. That means, in answering questions which ask for explicit information from the stimulus text, the typical girl responses appropriately encompassed more micropropositions, and typical boy responses tended to include more macropropositions-vice versa for questions requesting implicit information.
Conclusion: It appears that typical boy responses to PISA reading questions are characterized by struggling with retrieving and integrating propositions from the situation model. The typical girl liberally juggles these to formulate the responses. The results demonstrate that text responses are a neglected but informative source for educational large-scale assessments made accessible through natural language processing.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hertel, Silke; Jude, Nina
Titel: Was können wir aus der Elternperspektive lernen? Befunde aus PISA 2015
In: Klasse leiten, (2018) 2, S. 34-36
URN: urn:nbn:de:0111-pedocs-170399
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-170399
Dokumenttyp: 3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache: Deutsch
Schlagwörter: Eltern; Unterstützung; Förderung; Jugendlicher; Bildungsprozess; PISA <Programme for International Student Assessment>; Sekundarstufe I; Indikator; Einflussfaktor; Bildungserfolg; Sozioökonomische Lage; Migrationshintergrund; Interesse; Naturwissenschaften; Lernbedingungen; Fragebogenerhebung; Deutschland
Abstract: Der vorliegende Beitrag befasst sich mit der Perspektive von Eltern auf Schule bzw. ihre Beteiligungsmöglichkeiten sowie die Unterstützung ihres Kindes beim Lernen. Im Fokus stehen Fragen danach, ob und wie Eltern sich an der Schule ihres Kindes engagieren und wie sie die Qualität der Schule einschätzen.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Huebener, Mathias; Kuger, Susanne; Marcus, Jan
Titel: G8-Schulreform verbessert PISA-Testergebnisse - insbesondere leistungsstarke SchülerInnen profitieren
In: DIW Wochenbericht, 85 (2018) 13/14, S. 265-275
DOI: 10.18723/diw_wb:2018-13-1
URL: http://www.diw.de/documents/publikationen/73/diw_01.c.581447.de/18-13-1.pdf
Dokumenttyp: 3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache: Deutsch
Schlagwörter: Schulzeit; Reform; Wirkung; Schülerleistung; Kompetenzerwerb; Schuljahr 09; Gymnasium; Unterrichtszeit; PISA <Programme for International Student Assessment>; Abitur; Regressionsanalyse; Datenanalyse; Empirische Untersuchung; Bundesland; Deutschland
Abstract: Durch die G8-Schulreform haben sich die PISA-Leistungen von GymnasiastInnen in der neunten Klasse verbessert. Insbesondere leistungsstärkere SchülerInnen schneiden bei den PISA-Tests besser ab, während Leistungsschwächere kaum oder gar nicht profitieren - sie scheinen Probleme mit dem zeitlich nach vorne verlagerten Lernstoff zu haben. Der vorliegenden Studie zufolge, die auf PISA-Daten zu mehr als 33 000 SchülerInnen basiert, hat die G8-Reform jedoch nicht dazu geführt, dass sozioökonomische Merkmale wie der Bildungshintergrund der Eltern einen größeren Einfluss auf die Schülerleistungen haben. Der Kompetenzvorsprung in der neunten Klasse scheint allerdings nicht auszureichen, um das wegfallende 13. Schuljahr vollständig zu kompensieren, denn die Abiturnoten haben sich im Durchschnitt leicht verschlechtert. Anstelle der Länge der Gymnasialschulzeit sollten vielmehr die Unterrichtsinhalte und -qualität im Fokus der Debatte stehen. Der fortwährende Ausbau des Ganztagsschulangebots sollte genutzt werden, um Kinder individueller entsprechend ihrer Bedürfnisse zu fördern. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Helsper, Werner; Klieme, Eckhard; Terhart, Ewald
Titel: Perspektiven zur Entwicklung der empirischen Bildungsforschung
Aus: Krüger, Anja; Radisch, Falk; Willems, Ariane S.; Häcker, Thomas; Walm, Maik (Hrsg.): Empirische Bildungsforschung im Kontext von Schule und Lehrer*innenbildung, Bad Heilbrunn: Klinkhardt, 2018 , S. 21-50
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bildungsforschung; Empirische Forschung; Entwicklung; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Erziehungswissenschaft; Lehrerausbildung; Unterrichtsforschung; Schulforschung; Veränderung; Internationalisierung; Qualitätssicherung; Forscher; Netzwerk
Abstract: Der Beitrag ist die Verschriftlichung einer anregenden Diskussion, die ein Teil des Herausgeber*innenteams mit den Autoren des Beitrages im Sommer 2017 in Dortmund führen konnte. Werner Helsper, Eckhard Klieme und Ewald Terhart diskutieren gemeinsam die Frage, ob sich die Empirische Bildungsforschung "ohne Ende weiterentwickelt" oder sich "bereits im Verfall befindet" und zeigen resümierend Perspektiven zur Entwicklung der empirischen Bildungsforschung auf. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Bischof, Linda Marie
Titel: Schulentwicklung und Schuleffektivität. Ihre theoretische und empirische Verknüpfung
Erscheinungsvermerk: Wiesbaden: Springer VS, 2017 (Schulentwicklungsforschung, 1)
DOI: 10.1007/978-3-658-14628-3
Dokumenttyp: 1. Monographien (Autorenschaft); Monographie
Sprache: Deutsch
Schlagwörter: Deutschland; Diskussion; Effektivität; Empirische Untersuchung; Evaluation; Forschung; Ganztagsschule; Individuelle Förderung; Längsschnittuntersuchung; Panel; PISA <Programme for International Student Assessment>; Reform; Schule; Schulentwicklung; Schulorganisation; Theorie
Abstract: [Die Autorin] arbeitet die Diskussion über die Verknüpfung von Schuleffektivität und Schulentwicklung systematisch auf und analysiert bestehende Verknüpfungsansätze. Sie behandelt Herausforderungen und Möglichkeiten theoretischer und empirischer Verknüpfung und thematisiert diese als Ausgangspunkt für weitere Ansätze. Basis der empirischen Verknüpfung ist das PISA-Schulpanel, welches das Design der PISA 2009-Studie um die Schulentwicklungsperspektive ergänzt. Die Autorin untersucht im Längsschnitt die Wirkung von Reformmaßnahmen (individuelle Förderung, ganztägige Schulorganisation, Evaluation) auf die Entwicklung von Schulen. Als Effektivitätskriterium zieht sie die Lesekompetenz, als Entwicklungskriterium das Schulklima heran. Die Ergebnisse zeigen, dass Large-Scale-Assessments die Möglichkeit einer empirischen Verknüpfung bieten. Auf theoretischer Ebene erscheint es ratsam, Konzepte wie lose Kopplung von Schulen, Technologiedefizit und Rekontextualisierung zu berücksichtigen. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation