-
-
Author(s): Grünkorn, Juliane; Klieme, Eckhard
Title: Die TALIS-Videostudie Deutschland
In: Grünkorn, Juliane; Klieme, Eckhard; Praetorius, Anna-Katharina; Schreyer, Patrick (Hrsg.): Mathemathikunterricht im internatinalen Vergleich: Ergebnisse aus der TALIS-Videostudie Deutschland, Frankfurt am Main: DIPF | Leibniz‐Institut für Bildungsforschung und Bildungsinformation, 2020 , S. 2-7
URL: https://www.pedocs.de/volltexte/2020/21156/pdf/Gruenkorn_Klieme_Praetorius_Schreyer_2020_Mathematikunterricht_im_internationalen_Vergleich_TALIS-Videostudie_aktualisiert.pdf#page=6
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Mathematikunterricht; Quadratische Gleichung; Videoaufzeichnung; Unterrichtsbeobachtung; Unterrichtsmaterial; Fragebogen; Test; Schüler; Lehrer; Forschungsprojekt; Forschungsdesign; Unterrichtserfolg; Stichprobe; Unterrichtsqualität; Klassenführung; Unterstützung; Individualisierender Unterricht; Kognitives Lernen; Aktivierung; Internationaler Vergleich; Deutschland
Abstract: Die TALIS-Videostudie Deutschland ist ein von der Leibniz-Gemeinschaft gefördertes Projekt (2017-2020). Es wurde federführend vom DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation gemeinsam mit Fachdidaktiker*innen vom IPN - Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik und von der Technischen Universität München begleitet. Mit der Durchführung der deutschen Erhebungen war das Hamburger Studienzentrum der International Association for the Evaluation of Educational Achievement (IEA) beauftragt. Die nationale Studie ist verbunden mit der internationalen TALIS-Video Study (2016-2020) der OECD. [...] Die internationale Studie wurde von einem Konsortium geleitet, dem ebenfalls das DIPF angehörte, zusamen mit den beiden US-amerikanischen Organisationen ETS und RAND Corporation. Das DIPF arbeitete an der theoretischen Konzeptualisierung von Unterrichtsqualität, die das Grundgerüst der Studie darstellt, der Auswahl des spezifischen Unterrichtsthemas, der Fragebogenentwicklung und der internationalen Auswertung und Berichtslegung. Ziel der Studie war es aus deutscher wie aus internationaler Perspektive, mehr darüber zu lernen, was erfolgreichen Mathematikunterricht ausmacht - erfolgreich aus der Perspektive der beteiligten Lehrkräfte und Schüler*innen, aus Sicht externer, geschulter Beobachter*innen und nach gemessenen Lernergebnissen wie Leistung und Fachinteresse.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Naumann, Alexander; Musow, Stephanie; Katstaller, Michaela
Title: Instructional sensitivity as a prerequisite for determining the effectiveness of interventions in educational research
In: Astleitner, Hermann (Hrsg.): Intervention research in educational practice: Alternative theoretical frameworks and application problems, Münster: Waxmann, 2020 , S. 149-170
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Unterricht; Intervention; Effektivität; Bildungsforschung; Messverfahren; Test; Veränderung; Zeit; Modellierung; Forschungsdesign; Psychometrie
Abstract: Student achievement has become a major criterion for evaluating the effectiveness of schooling and teaching. However, valid interpretation and use of test scores in educational contexts require more detailed information about the degree to which the applied test instruments are appropriate to evaluate the intended educational and interventional effects. Instructional sensitivity is the psychometric property of tests or single items to capture effects of classroom instruction. Although instructional sensitivity is a prerequisite for valid inferences on teaching effectiveness, sensitivity is rather assumed than verified in practice. The aim of this chapter is to improve the understanding of instructional sensitivity and its measurement in educational intervention research. Specifically, it first provides an overview of the theoretical framework and relevance of instructional sensitivity. Then, different approaches of measuring instructional sensitivity are outlined and procedures of implementing instructional sensitivity in educational intervention studies are introduced and contrasted with each other. Finally, the role of time spans is discussed and modelling change for short-time and long-time effects in pretest-posttest-follow-up designs is addressed. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Kenk, Martina
Title: Wissenschaftliche Vernetzung, Betreuung und Unterstützung in der Promotionsphase. Soziale Netzwerkanalysen zur Karriereentwicklung in einem Bildungsforschungsprogramm
Published: Frankfurt am Main: Goethe-Universität, 2019
URN: urn:nbn:de:hebis:30:3-512565
URL: http://publikationen.ub.uni-frankfurt.de/frontdoor/index/index/docId/51256
Publication Type: 1. Monographien (Autorenschaft); Monographie
Language: Deutsch
Keywords: Soziales Netzwerk; Analyse; Promotion; Doktorand; Unterstützung; Betreuung; Berufslaufbahn; Geschlecht; Befragung; Inhaltsanalyse; Mixed-Methods-Design; Wissenschaftsforschung; Bildungsforschung; Qualiative Forschung; Deutschland
Abstract: Die wissenschaftliche Vernetzung, Betreuung und Unterstützung in der Promotionsphase steht im Zentrum dieser Forschungsarbeit, für die eine soziale Netzwerkanalyse (SNA) zur Karriereentwicklung in einem Bildungsforschungsprogramm in Deutschland durchgeführt wurde. Als Ausgangsproblem wird die schwierige Situation der unsicheren beruflichen Perspektiven Promovierter aufgegriffen.
Die Arbeit beschäftigt sich mit der Frage, wie Promovierende sowohl eine hohe fachliche Qualifikation erreichen, die für eine wissenschaftliche Karriere erforderlich ist, als auch eine gute Vernetzung in der wissenschaftlichen Gemeinschaft aufbauen können, um sich Chancen für die nächsten Karriereschritte zu eröffnen. Aus der Perspektive der Promovierten werden Chancen und Risiken der Vernetzung behandelt, um Überlegungen zu förderlichen und hinderlichen Aspekten der Betreuung und Unterstützung anzustellen.
Die Ergebnisse dieser Forschungsarbeit zeigen auf, welche Bedeutung soziale Netzwerke in der Berufsbiografie haben können und wie wissenschaftliches und soziales Kapital für die Karriere genutzt werden kann. Dazu richtet sich die erziehungswissenschaftliche Perspektive auf Prozesse des Wissenserwerbs und gemeinschaftlicher Lernprozesse, die zur Qualifizierung dienen und unterschiedliche Modelle von Betreuung umfassen. Im Verlauf der Promotionsphase und der weiteren wissenschaftlichen Karriere beginnen die Promovierenden auf der Wissensgrundlage ihres Studiums als Neulinge ihre erste umfangreiche empirische Forschungsarbeit. Sie werden durch die Mitarbeit im Projekt und ihre Beteiligung an Aktivitäten an die Arbeitsweisen in der Wissenschaft herangeführt. Von einer solchen eher randständigen Position aus erwerben sie Wissen, lernen hinzu, tauschen sich mit fortgeschrittenen WissenschaftlerInnen aus und sammeln eigene Erfahrungen. Nach einiger Zeit weiterer Qualifizierung und größerer Sichtbarkeit in der wissenschaftlichen Gemeinschaft können sie Positionen näher am Zentrum ihres Forschungsgebiets einnehmen, die auf ihren Kenntnissen und ihrer zunehmenden fachlichen und methodischen Expertise beruhen.
Neue Erkenntnisse über Betreuungsmodelle sind hilfreich, denn die Betreuung orientiert sich mal stark an dem klassischen Lehrer-Schüler-Modell (Individualbetreuung) oder an einer gemeinsamen Betreuung in einer Forschungsgruppe (Gruppenbetreuung). Die Untersuchung der Bedeutung von sozialem Kapital und situiertem Lernen in der Qualifikationsphase dient dazu, die Vernetzung von Promovierten in ihrer späteren akademischen Karriere zu analysieren. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Dumont, Hanna; Klinge, Denise; Maaz, Kai
Title: The many (subtle) ways parents game the system. Mixed-method evidence on the transition into secondary-school tracks in Germany
In: Sociology of Education, 92 (2019) 2, S. 199-228
DOI: 10.1177/0038040719838223
URN: urn:nbn:de:0111-pedocs-177596
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-177596
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Primarbereich; Sekundarbereich; Übergang; Soziale Ungleichheit; Familie; Soziale Herkunft; Sozioökonomische Lage; Reproduktion; Sozialkapital; Kulturelles Kapital; Schulwahl; Schulsystem; Gymnasium; Integrierte Sekundarschule; Befragung; Schülerleistungstest; Empfehlung; Schulnoten; Bildungsaspiration; Regressionsanalyse; Pfadanalyse; Eltern; Narratives Interview; Dokumentarische Methode; Mixed-Methods-Design; Empirische Untersuchung; Berlin; Deutschland
Abstract: We analyze the subtle mechanisms at work in the interaction between families and schools that underlie social inequalities at the transition point from elementary school into secondary-school tracks in Berlin, Germany. We do so by combining quantitative data from a large-scale survey and assessment study (N = 3,935 students and their parents) with qualitative data from in-depth interviews with parents (N = 25) collected during the 2010-11, 2011-12, and 2012-13 school years. The quantitative analyses show that students from high-socioeconomic status (SES) families were more likely to enter the academic track than were students from low-SES families, even if they performed equally well on a standardized achievement test, had the same grades in school, and received the same track recommendation from their teachers. The qualitative analyses illustrate the many ways in which parents intervene during the transition process, with high-SES parents having particularly effective ways of getting what they want for their children. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens
-
-
Author(s): Wu, Qian; Debeer, Dries; Buchholz, Janine; Hartig, Johannes; Janssen, Rianne
Title: Predictors of individual performance changes related to item positions in PISA assessments
In: Large-scale Assessments in Education, (2019) , S. 7:5
DOI: 10.1186/s40536-019-0073-6
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-019-0073-6
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Leistungstest; Testaufgabe; Design; Wirkung; PISA <Programme for International Student Assessment>; Naturwissenschaftliche Kompetenz; Lesekompetenz; Mathematische Kompetenz; Schülerleistung; Fragebogen; Mehrebenenanalyse; Item-Response-Theory
Abstract (english): Background:
Item position effects have been a common concern in large-scale assessments as changing the order of items in booklets may have an undesired effect on test performance. If every test taker would be affected by the effect in the very same way, comparisons between groups of individuals would still be valid. However, research has shown that in addition to a general fixed effect of item positions, the extent of the effect varies considerably across individuals. These individual differences are referred to as persistence. Test takers with a high level of persistence are able to keep up their performance better throughout the test administration, whereas those with a lower level of persistence show a larger decline in their test performance.
Methods:
The present study applied a multilevel extended item response theory (IRT ) framework and used the data from the PISA 2006 science, 2009 reading, and 2012 mathematics assessments. The first objective of this study is to provide a systematic investigation of item position effects across the three PISA domains, partially replicating the previous studies on PISA 2006 and 2009. Second, this study aims to gain a better understanding of the nature of individual differences in position effects by relating them to student characteristics. Gender, socio-economic status, language spoken at home, and three motivational scales (enjoyment of doing the subject being assessed, effort thermometer, perseverance) were used as person covariates for persistence.
Results:
This study replicated and extended the results found in previous studies. An overall negative item cluster position effect and significant individual differences in this effect were found in all the countries in the three PISA domains. Furthermore, the most frequently observed effect of person covariates on persistence is gender, with girls keeping up their performance better than boys. Other predictors showed little or inconsistent effects on persistence.
Conclusions:
Our study demonstrated inter-individual differences as well as group differences in item position effects, which may threaten the comparability between persons and groups. The consequences and implications of item position effects and persistence for the interpretation of PISA results are discussed.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Title: Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
In: Education Inquiry, 10 (2019) 1, S. 34-55
DOI: 10.1080/20004508.2018.1518080
URL: https://www.tandfonline.com/doi/pdf/10.1080/20004508.2018.1518080?needAccess=true
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: PISA <Programme for International Student Assessment>; Schülerleistungstest; Design; Veränderung; Computerunterstütztes Verfahren; Lesetest; Antwort; Text; Unterschied; Information; Relevanz; Schuljahr 09; Empirische Untersuchung; Deutschland
Abstract (english): In 2015, the Programme for International Student Assessment (PISA) introduced multiple changes in its study design, the most extensive being the transition from paper- to computer-based assessment. We investigated the differences between German students' text responses to eight reading items from the paper-based study in 2012 to text responses to the same items from the computer-based study in 2015. Two response features - information quantity and relevance proportion - were extracted by natural language processing techniques because they are crucial indicators for the response process. Showcasing potential differential relationships, we additionally examined gender differences. Modelling effects of the round of assessment, gender, and response correctness on the response features, we analysed responses from 15-year-olds and ninth-graders in Germany. Results revealed differences in the text responses between the rounds of assessment in that students included more information overall in 2015, and the proportions of relevance varied substantially across items. As the study investigated the mode change in PISA's natural (not experimental) setting, the differences could mirror cohort trends or design changes. However, with the evidence reported, we conclude that the differences could indicate mode effects. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Scheffel, Maren; van Limbeek, Evelien; Joppe, Didi; van Hooijdonk, Judith; Kockelkoren, Chris; Schmitz, Marcel; Ebus, Peter; Sloep, Peter; Drachsler, Hendrik
Title: The means to a blend. A practical model for the redesign of face-to-face education to blended learning
In: Scheffel, Maren; Broisin, Julien; Pammer-Schindler, Viktoria; Ioannou, Andri; Schneider, Jan (Hrsg.): Transforming Learning with Meaningful Technologies: 14th European Conference on Technology Enhanced Learning, EC-TEL 2019, Proceedings, Cham: Springer, 2019 (Lecture Notes in Computer Science, 11722), S. 701-704
DOI: 10.1007/978-3-030-29736-7_70
URL: https://link.springer.com/chapter/10.1007%2F978-3-030-29736-7_70
Publication Type: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Blended Learning; E-Learning; Bildungsangebot; Lerntheorie; Lernplattform; Design; Modell; Tools
Abstract: Learning design models provide guidelines and guidance for educators and course designers in the production and delivery of educational products. It is seen as beneficial to base learning designs on general learning theories, but these must be operationalised into concrete learning design solutions. We therefore present one such educational design model: the Design Cycle for Education (DC4E). The model has primarily been created to support the shift from traditional face-to-face education to blended learning scenarios. The cycle describes eight steps that can be used iteratively in the (re)design of educational products and provides educators and course designers with a flexible but clearly structured design model that enables them to reinvent traditional course content for blended learning with appropriate learning design tools. (DIPF/Orig.)
DIPF-Departments: Informationszentrum Bildung
-
-
Author(s): Eickelmann, Birgit; Bos, Wilfried; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Vahrenhold, Jan
Title: Anlage, Forschungsdesign und Durchführung der Studie ICILS 2018
In: Eickelmann, Birgit; Bos, Wilfried; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Vahrenhold, Jan (Hrsg.): ICILS 2018 #Deutschland: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking, Münster: Waxmann, 2019 , S. 33-77
URN: urn:nbn:de:0111-pedocs-183203
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-183203
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Modellierung; Zielsetzung; Organisationsstruktur; Forschungsdesign; Theoretisches Modell; Datenerhebung; Durchführung; Schülerbefragung; Lehrer; Fragebogen; Stichprobe; Datenanalyse; Empirische Forschung; Hamburg; Deutschland; Schulleistung; Studie; Schuljahr 08; Computerkenntnisse; Informationskompetenz; Bildungsforschung; Modul; Informatik; Denken; Medieneinsatz; Mediennutzung; Digitale Medien; Datenverarbeitung; Problemlösen
Abstract: Das vorliegende Kapitel beschreibt die Anlage, das Forschungsdesign sowie die Durchführung der Studie ICILS 2018 und fokussiert dabei, im Gegensatz zum internationalen Berichtsband (Fraillon, Ainley, Schulz, Friedman et al., 2019), auf die Durchführung der Studie in Deutschland. Dazu werden zunächst die Zielsetzungen der Studie erläutert (Abschnitt 2) und darauf aufbauend die Organisationsstruktur von ICILS 2018 dargestellt (Abschnitt 3). Daran anschließend werden die internationalen Fragestellungen sowie die theoretische Verortung entlang des der Studie zugrundeliegenden Rahmenmodells vorgestellt (Abschnitt 4). Nach einer Einführung in die Entwicklung und die Inhalte der eingesetzten Erhebungsinstrumente (Abschnitt 5) wird die Durchführung der Studie samt Untersuchungspopulation und Stichprobenziehung (Abschnitt 6.1) beschrieben sowie eine Erörterung der Informationen zur Testdurchführung und Datenerhebung in Deutschland vorgenommen (Abschnitt 6.2). Daran anknüpfend (Abschnitt 7) wird das Vorgehen im Zuge der Aufbereitung und Analyse der erhobenen Daten fokussiert. Abschließend werden in Abschnitt 8 Informationen zur Darstellung der erzielten Ergebnisse ausgeführt, die alle Grundlagen für die Ergebnisdarstellung und -interpretation der Ergebniskapitel in diesem Band bereitstellen. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Hahnel, Carolin; Mahlow, Nina; Schoor, Cornelia; Cerdán, Raquel
Title: Promoting reading goals and strategy knowledge to improve university students' comprehension of multiple documents
Published: Berlin: Humboldt University; Johannes Gutenberg University, 2019 (Lautenbach, Corinna; Fischer, Jennifer; Zlatkin-Troitschanskaia, Olga; Pant, Hans Anand; Toepper, Miriam (Hrsg.): Student learning outcomes assessment in higher education: Ideas, approaches and concepts for research, transfer and implementation)
URL: https://www.kompetenzen-im-hochschulsektor.de/files/2019/07/Working-Paper_12_IJFRC_final.pdf
Publication Type: 5. Arbeits- und Diskussionspapiere; Arbeits- und Diskussionspapier (keine besondere Kategorie)
Language: Englisch
Keywords: Student; Universität; Hochschulbildung; Lesen; Metakognition; Verstehen; Textverständnis; Strategie; Leseverhalten; Forschungsdesign; Projekt
Abstract: The proposed project focuses on the comprehension of multiple documents in university students. Although strategies and skills are required to achieve a comprehensive understanding of multiple documents for studying successfully, many students struggle with important parts of this process. The proposed project seeks to investigate how interindividual differences in the representation of a task will affect students' comprehension, and examines the effectiveness of a short-term intervention on the students' performance and behavior when dealing with multiple documents. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Editor(s) Titz, Cora; Weber, Susanne; Ropeter, Anna; Geyer, Sabrina; Hasselhorn, Marcus
Title: Konzepte zur Sprach- und Schriftsprachförderung umsetzen und überprüfen
Published: Stuttgart: Kohlhammer, 2018 (Bildung durch Sprache und Schrift, 2)
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Schreibkompetenz; Lesekompetenz; Grundschule; Sekundarbereich; Selbstregulation; Projekt; Deutschland; Schriftsprache; Schreibenlernen; Förderung; Konzeption; Sprachförderung; Kindertagesstätte; Schule; Qualität; Pädagogische Diagnostik; Tool; Implementierung; Strategie; Evidenz; Evaluation; Selbstevaluation; Forschungsdesign; Methode; Wirkung; Lesen; Dialog; Diagnose
Abstract: Dieser Band behandelt die notwendigen Qualitätsstandards bei der Umsetzung von Konzepten zur Förderung von Sprache und Schriftsprache. Es geht darum zu überprüfen, ob ein Konzept angestrebte Ziele erreicht. Dabei wird auf Formen externer Überprüfung (Evaluation) von Konzepten ebenso eingegangen wie auf Möglichkeiten der Selbstevaluation. Beschrieben werden die formative Evaluation, die der schrittweisen Optimierung des Förderkonzeptes und seiner Umsetzung dient, und die summative Evaluation, die darauf abzielt, Aussagen über die prinzipielle Effektivität des umgesetzten Förderkonzepts zu treffen. Aspekte der Konzeptumsetzung und -überprüfung werden zunächst auf einer theoretischen Ebene erörtert, um diese dann anschließend anhand von Beispielen für jede Bildungsetappe exemplarisch zu konkretisieren. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung