-
-
Herausgeber*innen: Leutner, Detlev; Fleischer, Jens; Grünkorn, Juliane; Klieme, Eckhard
Titel: Competence assessment in education. Research, models and instruments
Erscheinungsvermerk: Cham: Springer, 2017 (Methodology of educational measurement and assessment)
DOI: 10.1007/978-3-319-50030-0
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Bildungsforschung; Empirische Forschung; Deutschland; Österreich; Schweiz; Luxemburg; Diagnostik; Lernmittel; Bild; Text; Erwachsenenbildung; Berufsausbildung; Physik; Entscheidung; Nachhaltige Entwicklung; Metakognition; Sekundarstufe I; Problemlösen; Schülerleistung; Technologiebasiertes Testen; Psychometrie; Adaptives Testen; Feedback; Kompetenz; Bewertung; Schüler; Kompetenzerwerb; Modellierung; Primarbereich; Geografie; Literatur; Naturwissenschaftliche Kompetenz; Selbstgesteuertes Lernen; Lehrer; Berufliche Kompetenz; Lehrerausbildung; Pädagogik; Professionalität; Fachwissen; Schulwahl; Empfehlung
Abstract (english): This book addresses challenges in the theoretically and empirically adequate assessment of competencies in educational settings. It presents the scientific projects of the priority program "Competence Models for Assessing Individual Learning Outcomes and Evaluating Educational Processes," which focused on competence assessment across disciplines in Germany.
The six-year program coordinated 30 research projects involving experts from the fields of psychology, educational science, and subject-specific didactics. The main reference point for all projects is the concept of "competencies," which are defined as "context-specific cognitive dispositions that are acquired and needed to successfully cope with certain situations or tasks in specific domains" (Koeppen et al., 2008, p. 62). The projects investigate different aspects of competence assessment: The primary focus lies on the development of cognitive models of competencies, complemented by the construction of psychometric models based on these theoretical models. In turn, the psychometric models constitute the basis for the construction of instruments for effectively measuring competencies.
The assessment of competencies plays a key role in optimizing educational processes and improving the effectiveness of educational systems. This book contributes to this challenging endeavor by meeting the need for more integrative, interdisciplinary research on the structure, levels, and development of competencies. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Herausgeber*innen: Schukajlow, Stanislaw; Rakoczy, Katrin; Pekrun, Reinhard
Titel: Emotions and motivation in mathematics education
Erscheinungsvermerk: Berlin: Springer, 2017 (ZDM Mathematics Education, 49, No. 3)
URL: https://link.springer.com/journal/11858/49/3/page/1
Dokumenttyp: 2. Herausgeberschaft; Zeitschriftensonderheft
Sprache: Englisch
Schlagwörter: Angst; Bildungsforschung; Emotion; Empirische Forschung; Forschungsstand; Freude; Interesse; Langeweile; Lernerfolg; Mathematikunterricht; Motivation; Problemlösen; Selbstkonzept; Selbstregulation; Selbstwirksamkeit
Abstract: Emotions and motivation are important prerequisites, mediators, and outcomes of learning and achievement. In this article, we first review major theoretical approaches and empirical findings in research on students' emotions and motivation in mathematics, including a discussion of how classroom instruction can support emotions and motivation. Based on this review, we encourage researchers from mathematics education and other disciplines of educational research to combine their efforts. Second, we provide an overview of the contributions in this special issue, most of which reflect such a combination of efforts by considering perspectives from both mathematics education and other fields of educational research. Finally, we consider the neglect of intervention studies and outline directions for future research. We identify intervention studies that target emotions and motivation as one promising but so far underrepresented line of research in mathematics education and review results from existing intervention studies. For future research, we suggest that researchers should implement fine-grained concepts, assessment instruments, theoretical hypotheses, and methods of analysis tailored to the specific features of the mathematical domain to adequately investigate students' emotions and motivation in this domain. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Martens, Thomas; Lüdtke, Oliver
Titel: Conditioning factors of test-taking engagement in PIAAC. An exploratory IRT modelling approach considering person and item characteristics
In: Large-scale Assessments in Education, 5 (2017) , S. 18
DOI: 10.1186/s40536-017-0051-9
URL: https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-017-0051-9
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Antwort; Einflussfaktor; Erwachsener; Item-Response-Theory; Kanada; Längsschnittuntersuchung; Leistungstest; Lesekompetenz; Mathematische Kompetenz; Messung; Motivation; PIAAC (Programme for the International Assessment of Adult Competencies); Problemlösen; Selbstkonzept; Technologiebasiertes Testen; Verhalten
Abstract: Background: A potential problem of low-stakes large-scale assessments such as the Programme for the International Assessment of Adult Competencies (PIAAC) is low test-taking engagement. The present study pursued two goals in order to better understand conditioning factors of test-taking disengagement: First, a model-based approach was used to investigate whether item indicators of disengagement constitute a continuous latent person variable by domain. Second, the effects of person and item characteristics were jointly tested using explanatory item response models. Methods: Analyses were based on the Canadian sample of Round 1 of the PIAAC, with N = 26,683 participants completing test items in the domains of literacy, numeracy, and problem solving. Binary item disengagement indicators were created by means of item response time thresholds. Results: The results showed that disengagement indicators define a latent dimension by domain. Disengagement increased with lower educational attainment, lower cognitive skills, and when the test language was not the participant's native language. Gender did not exert any effect on disengagement, while age had a positive effect for problem solving only. An item's location in the second of two assessment modules was positively related to disengagement, as was item difficulty. The latter effect was negatively moderated by cognitive skill, suggesting that poor test-takers are especially likely to disengage with more difficult items. Conclusions: The negative effect of cognitive skill, the positive effect of item difficulty, and their negative interaction effect support the assumption that disengagement is the outcome of individual expectations about success (informed disengagement). (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Naumann, Johannes; Goldhammer, Frank
Titel: Time-on-task effects in digital reading are non-linear and moderated by persons' skills and tasks' demands
In: Learning and Individual Differences, 53 (2017) , S. 1-16
DOI: 10.1016/j.lindif.2016.10.002
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Digitale Medien; Hypertext; Internationaler Vergleich; Kognitive Prozesse; Leistungsmessung; Lesekompetenz; Lesen; Leseverstehen; Modell; OECD-Länder; PISA <Programme for International Student Assessment>; Problemlösen; Schülerleistung; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion; Wirkung; Zeit
Abstract: Time-on-task effects on response accuracy in digital reading tasks were examined using PISA 2009 data (N = 34,062, 19 countries/economies). As a baseline, task responses were explained by time on task, tasks' easiness, and persons' digital reading skill (Model 1). Model 2 added a quadratic time-on-task effect, persons' comprehension skill and tasks' navigation demands as predictors. In each country, linear and quadratic time-on-task effects were moderated by person and task characteristics. Strongly positive linear time-on-task effects were found for persons being poor digital readers (Model 1) and poor comprehenders (Model 2), which decreased with increasing skill. Positive linear time-on-task effects were found for hard tasks (Model 1) and tasks high in navigation demands (Model 2). For easy tasks and tasks low in navigation demands, the time-on-task effects were negative, or close to zero, respectively. A negative quadratic component of the time-on-task effect was more pronounced for strong comprehenders, while the linear component was weaker. Correspondingly, for tasks high in navigation demands the negative quadratic component to the time-on-task effect was weaker, and the linear component was stronger. These results are in line with a dual-processing account of digital reading that distinguishes automatic reading components from resource-demanding regulation and navigation processes. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Bögeholz, Susanne; Eggert, Sabina; Ziese, Carolin; Hasselhorn, Marcus
Titel: Modeling and fostering decision-making competencies regarding challenging issues of sustainable development
Aus: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments, Cham: Springer, 2017 (Methodology of educational measurement and assessment), S. 263-284
DOI: 10.1007/978-3-319-50030-0_16
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Deutschland; Nachhaltige Entwicklung; Entscheidung; Kompetenz; Modellbildung; Problemlösen; Entscheidungstheorie; Messung; Test; Schüler; Gymnasium; Sekundarstufe I; Sekundarstufe II; Befragung; Fragebogenerhebung; Lehrer; Training; Pilotstudie
Abstract (english): A model of decision-making competence for secondary school students was developed and validated within the project "Decision-Making Competence Regarding Challenging Issues of Sustainable Development". The model rests on three pillars: Education for Sustainable Development, decision-making theory, and educational competence modeling. Three dimensions of decision-making competence were identified: (1) "Understanding values and norms" in the context of Sustainable Development (SD), (2) "Developing solutions", and (3) "Evaluating solutions" for SD problems. The two last-mentioned dimensions stem from decision-making theory, and were adapted to educational purposes. Related measurement instruments were developed according to Wilson's developmental cycle, using a between-item-multidimensionality approach. The test development procedures and results are described for the dimension "Developing solutions". Moreover, we started with an experimental validation of a theory of socioscientific decision making. More specifically, we used training-induced strategies to realize experimental variation to differentiate empirically between two decision-making dimensions and problem solving. The results of a pilot study addressing the validation of "Developing solutions" and "Evaluating solutions", vis-à-vis problem solving, are reported and discussed. We close with considerations of future research, to realign the boundaries of our research program. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko; Stelter, Annette; Tóth, Krisztina
Titel: Relating product data to process data from computer-based competency assessment
Aus: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments, Cham: Springer, 2017 (Methodology of educational measurement and assessment), S. 407-425
DOI: 10.1007/978-3-319-50030-0_24
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Technologiebasiertes Testen; Aufgabe; Zeit; Dauer; Erfolg; Problemlösen; PIAAC <Programme for the International Assessment of Adult Competencies>; Datenanalyse
Abstract (english): Competency measurement typically focuses on task outcomes. Taking process data into account (i.e., processing time and steps) can provide new insights into construct-related solution behavior, or confirm assumptions that govern task design. This chapter summarizes four studies to illustrate the potential of behavioral process data for explaining task success. It also shows that generic process measures such as time on task may have different relations to task success, depending on the features of the task and the test-taker. The first study addresses differential effects of time on task on success across tasks used in the OECD Programme for the International Assessment of Adult Competencies (PIAAC). The second study, also based on PIAAC data, investigates at a fine-grained level, how the time spent on automatable subtasks in problem-solving tasks relates to task success. The third study addresses how the number of steps taken during problem solving predicts success in PIAAC problem-solving tasks. In a fourth study, we explore whether successful test-takers can be clustered on the basis of various behavioral process indicators that reflect information problem solving. Finally, we address how to handle unstructured and large sets of process data, and briefly present a process data extraction tool. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation; Informationszentrum Bildung
-
-
Autor*innen: Leuders, Timo; Bruder, Regina; Kröhne, Ulf; Naccarella, Dominik; Nitsch, Renate; Henning-Kahmann, Jan; Kelava, Augustin; Wirtz, Markus
Titel: Development, validation and application of a competence model for mathematical problem solving by using and translating representations of functions
Aus: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments, Cham: Springer, 2017 (Methodology of educational measurement and assessment), S. 389-406
DOI: 10.1007/978-3-319-50030-0_23
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Adaptives Testen; Computerunterstütztes Verfahren; Mathematikunterricht; Problemlösen; Kompetenz; Modell; Mathematische Kompetenz; Psychometrie
Abstract: In mathematics education, the student's ability to translate between different representations of functions is regarded as a key competence for mastering situations that can be described by mathematical functions. Students are supposed to interpret common representations like numerical tables (N), function graphs (G), verbally or pictorially represented situations (S), and algebraic expressions (A). In a multi-step project (1) a theoretical competence model was constructed by identifying key processes and key dimensions and corresponding item pools, (2) different psychometric models assuming theory-based concurrent competence structures were tested empirically, and (3) finally, a computerized adaptive assessment tool was developed and applied in school practice. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Tóth, Krisztina; Rölke, Heiko; Goldhammer, Frank; Barkow, Ingo
Titel: Educational process mining. New possibilities for understanding students' problem-solving skills
Aus: Csapó, Benő;Funke, Joachim (Hrsg.): The nature of problem solving: Using research to inspire 21st century learning, Paris: OECD Publishing, 2017 , S. 193-209
DOI: 10.1787/9789264273955-14-en
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Computer; Problemlösen; Schüler; Kompetenz; Schülerleistung; Leistungsmessung; Technologiebasiertes Testen; Datenanalyse; Data Mining; Logdatei; Informationssystem; Datenbank; Visualisierung; Interaktion; Verhalten
Abstract: The assessment of problem-solving skills heavily relies on computer-based assessment (CBA). In CBA, all student interactions with the assessment system are automatically stored. Using the accumulated data, the individual test-taking processes can be reproduced at any time. Going one step further, recorded processes can even be used to extend the problem-solving assessment itself: the test-taking process-related data gives us the opportunity to 1) examine human-computer interactions via traces left in the log file; 2) map students' response processes to find distinguishable problem-solving strategies; and 3) discover relationships between students' activities and task performance. This chapter describes how to extract process-related information from event logs, how to use these data in problem-solving assessments and describes methods which help discover novel, useful information based on individual problem-solving behaviour. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation; Informationszentrum Bildung
-
-
Autor*innen: Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Titel: Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland
Erscheinungsvermerk: München: Technische Universität München; Zentrum für internationale Bildungsvergleichsstudien, 2017
DOI: 10.14459/2017md1401788
URL: https://mediatum.ub.tum.de/download/1401788/1401788.pdf
Dokumenttyp: 5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Sprache: Deutsch
Schlagwörter: Deutschland; Jugendlicher; Problemlösen; Kooperation; Kompetenz; Messung; Computerunterstütztes Verfahren; Test; Geschlechtsspezifischer Unterschied; Schulform; PISA <Programme for International Student Assessment>; Internationaler Vergleich
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Stelter, Annette
Titel: Validität der Konstruktinterpretation von Testwerten zur Erfassung des technologiebasierten Problemlösens von Erwachsenen im Programme for the International Assessment of Adult Competencies (PIAAC)
Erscheinungsvermerk: Frankfurt am Main: Goethe-Universität, 2016
URN: urn:nbn:de:hebis:30:3-406683
URL: http://publikationen.ub.uni-frankfurt.de/frontdoor/index/index/docId/40668
Dokumenttyp: 1. Monographien (Autorenschaft); Monographie
Sprache: Deutsch
Schlagwörter: Altersgruppe; Computernutzung; Datenanalyse; Deutschland; Empirische Untersuchung; Erwachsener; Formale Bildung; Hypothese; Informationsgesellschaft; Informations- und Kommunikationstechnologie; Informelles Lernen; Kompetenz; Lebenslanges Lernen; Lesekompetenz; Mathematische Kompetenz; Messung; PIAAC (Programme for the Assessment of Adult Competencies); Problemlösen; Test; Validität; Vergleich
Abstract: Die in den letzten Jahrzehnten erfolgten Entwicklungen im Bereich der Informations- und Kommunikationstechnologien (IKT) haben beinahe alle Teilbereiche der Gesellschaft erreicht (OECD, 2000) und so können Alltag, Beruf, aber auch soziale Interaktionen benannt werden (Autor, Levy, & Murnane, 2003). Das technologiebasierte Problemlösen stellt ein relevantes Kompetenzkonstrukt dar, wobei die empirische Validierung der Testwertinterpretation noch aussteht. [...] Ziel einer Konstruktvalidierung ist es theoretische Annahmen - sowie nomologische Netze - mit empirischen Belegen zu prüfen und somit Aussagen über die Gültigkeit der Testwertinterpretationen treffen zu können (vgl. Messick, 1995). Zu diesem Zweck wurden die folgenden fünf Leithypothesen aufgestellt: 1. Im technologiebasierten Problemlösen können Teilsequenzen durch Routinen im Umgang mit IKT bewältigt werden. Mit dem Ziel der Analyse von Lösungsprozessen wurden Prozessdaten aus dem Feldtest der PIAAC-Studie genutzt und automatisierbare Teilschritte (beispielsweise Schließen eines Popups) analysiert. [...] 2. Durch die Entstehungsgeschichte von IKT begründet, bestehen Differenzen im technologiebasierten Problemlösen. Entstehung moderner IKT legt eine Differenzierung von drei Kohorten nahe (orientiert an lernintensiven Phasen der Kindheit und Jugend): Erlebten die Entstehung und Verbreitung von Hardware (geboren 1946-1966); Begleiteten die Verbreitung von Computersoftware und dessen Nutzung (geboren 1966-1981), Nutzung und Gestaltung digitaler Inhalte des Internets (geboren 1981-1995). Erwartungsgemäß unterscheiden sich die Kohorten im technologiebasierten Problemlösen - genauer in der Nutzung von Routinen im Lösungsprozess und im erreichten Kompetenzniveau. [...] 3. Der Umgang mit IKT ist - begründet durch deren Entstehungsgeschichte - eher weniger Teil der formellen und schulischen Bildung. Technologiebasiertes Problemlösen wird weniger in formellen und schulischen Lerngelegenheiten erworben, als andere Kompetenzen wie beispielsweise mathematische und Lesekompetenzen. Folglich wurden für das technologiebasierte Problemlösen kleinere Differenzen zwischen hohen, mittleren oder niedrigen Bildungsabschlüssen erwartet und konnten empirisch anhand der PIAAC-Daten belegt werden. [...] 4. Technologiebasiertes Problemlösen ist ein eigenständiges Kompetenzkonstrukt, das Parallelen zu mathematischen und Lesekompetenzen aufweist. Mathematische und Lesekompetenzen stehen in einem Zusammenhang mit dem Umgang mit IKT und somit auch mit dem technologiebasierten Problemlösen. Die Leseanteile am technologiebasierten Problemlösen werden als größer eingeschätzt, als die der mathematischen Kompetenz und stärkere Effekte durch Lesekompetenz konnten empirisch nachgewiesen werden. Die Annahme der Eigenständigkeit des technologiebasierten Problemlösens wird im Weiteren dadurch gestützt, dass der alltägliche Umgang mit mathematischen und Leseinhalten weniger stark mit ihm assoziiert ist, als der Umgang mit IKT. Nomologische Netze zwischen technologiebasiertem Problemlösen und mathematischen sowie Lesekompetenzen konnten empirisch gestützt werden und die Annahme der Eigenständigkeit des Kompetenzkonstruktes bestärkt. 5. Die Nutzung von IKT - als Lerngelegenheit verstanden - und andere Lerngelegenheiten sowie Indikatoren erfolgreichen Lernens können zum technologiebasierten Problemlösen beitragen. Lebenslanges Lernen ist ein Teil der menschlichen Natur und in diesem Rahmen dienen verschiedenste formelle und informelle Lerngelegenheiten dem Erwerb von Wissen und Kompetenzen (Dohmen, 2001). So erreichen Personen im technologiebasierten Problemlösen ein höheres Kompetenzniveau, wenn sie regelmäßig privaten oder beruflichen Umgang mit IKT hatten. [...] Das technologiebasierte Problemlösen in der Operationalisierung der PIAAC-Studie lässt eine konstruktrepräsentative Testwertinterpretation zu und ermöglicht somit eine differenzierte Beschreibung von Kompetenzen im Umgang mit IKT. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation