-
-
Autor*innen: Ahmad, Atezaz; Kiesler, Natalie; Schiffner, Daniel; Schneider, Jan; Wollny, Sebastian
Titel: Caught in the lifelong learning maze. Helping People with Learning analytics and chatbots to find personal career paths
In: International Journal of Information and Education Technology, 13 (2023) 3, S. 423-429
DOI: 10.18178/ijiet.2023.13.3.1822
URL: http://www.ijiet.org/show-186-2416-1.html
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Analyse; Beratung; Chat; Deutschland; E-Learning; Erwachsenenbildung; Fragebogenerhebung; Indikator; Kurs; Learning Analytics; Lebenslanges Lernen; Lernplattform; Metadaten; Neue Technologien; Nutzer; Software; Sprachverarbeitung; Technologieunterstütztes Lernen; Textverarbeitung; Workshop
Abstract (english): Current lifelong learning platforms offer users a query option to select a wide variety of courses. However, finding a suitable course among the seemingly endless catalogs of options presented by the platforms is not straightforward. We argue that digital counseling can enhance this process. In this paper, we present a set of three formative studies where we explored the main aspects that can provide the counseling needed. The methods comprise an analysis of user profile characteristics and learning analytics indicators (e.g., learning progress/self-regulation) by means of an expert workshop, evaluating the feasibility of current technologies (e.g., natural language processing) for automatically assessing users' competencies, and a survey on the use of Chatbots as the interaction interface between the users and the lifelong learning portals. The analysis resulted in the extraction of basic requirements for digital counseling. We conclude the paper by presenting a system design derived from these studies. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Visser, Linda; Cartschau, Friederike; Goldammer, Ariane von; Brandenburg, Janin; Timmerman, Marieke; Hasselhorn, Marcus; Mähler, Claudia
Titel: Measurement invariance in relation to first language. An evaluation of German reading and spelling tests
In: Applied Measurement in Education, 36 (2023) 2, S. 115-131
DOI: 10.1080/08957347.2023.2201701
URL: https://www.tandfonline.com/doi/full/10.1080/08957347.2023.2201701
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Bewertung; deutsch; Deutsch als Zweitsprache; Deutschland; Faktorenanalyse; Grundschule; Lesen; Lesetest; Messung; Muttersprache; Rechtschreibtest; Rechtschreibung; Reliabilität; Sekundarstufe I; Testkonstruktion; Textverständnis; Varianzanalyse; Vergleich
Abstract (english): The growing number of children in primary schools in Germany who have German as their second language (L2) has raised questions about the fairness of performance assessment. Fair tests are a prerequisite for distinguishing between L2 learning delay and a specific learning disability. We evaluated five commonly-used reading and spelling tests for measurement invariance (MI) as a function of first language (German vs. other). Multi-group confirmatory factor analyses revealed strict MI for the Weingarten Basic Vocabulary Spelling Tests (WRTs) 3+ and 4+ and the Salzburger Reading (SLT) and Spelling (SRT) Tests, suggesting these instruments are suitable for assessing reading and spelling skills regardless of first language. The MI for A Reading Comprehension Test for First to Seventh Graders - 2nd Edition (ELFE II) was partly strict with unequal intercepts for the text subscale. We discuss the implications of this finding for assessing reading performance of children with L2. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Zesch, Torsten; Horbach, Andrea; Zehner, Fabian
Titel: To score or not to score. Factors influencing performance and feasibility of automatic content scoring of text responses
In: Educational Measurement: Issues and Practice, 42 (2023) 1, S. 44-58
DOI: 10.1111/emip.12544
URL: https://onlinelibrary.wiley.com/doi/10.1111/emip.12544
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Antwort; Automatisierung; Bewertung; Einflussfaktor; Inhalt; Leistung; Text; Tool; Verfahren
Abstract (english): In this article, we systematize the factors influencing performance and feasibility of automatic content scoring methods for short text responses. We argue that performance (i.e., how well an automatic system agrees with human judgments) mainly depends on the linguistic variance seen in the responses and that this variance is indirectly influenced by other factors such as target population or input modality. Extending previous work, we distinguish conceptual, realization, and nonconformity variance, which are differentially impacted by the various factors. While conceptual variance relates to different concepts embedded in the text responses, realization variance refers to their diverse manifestation through natural language. Nonconformity variance is added by aberrant response behavior. Furthermore, besides its performance, the feasibility of using an automatic scoring system depends on external factors, such as ethical or computational constraints, which influence whether a system with a given performance is accepted by stakeholders. Our work provides (i) a framework for assessment practitioners to decide a priori whether automatic content scoring can be successfully applied in a given setup as well as (ii) new empirical findings and the integration of empirical findings from the literature on factors that influence automatic systems' performance. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Autor*innen: Zink, Theresa; Hahnel, Carolin; Kroehne, Ulf; Deribo, Tobias; Mahlow, Nina; Artelt, Cordula; Goldhammer, Frank; Naumann, Johannes; Schoor, Cornelia
Titel: Fostering multiple document comprehension. Motivational factors and its relationship with the use of self-study materials
In: Zeitschrift für Erziehungswissenschaft, 26 (2023) 3, S. 727-750
DOI: 10.1007/s11618-023-01163-x
URL: https://link.springer.com/article/10.1007/s11618-023-01163-x
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Deutschland; Dokument; Empirische Untersuchung; Feedback; Fertigkeit; Fragebogen; Kompetenz; Korrelationsanalyse; Logdatei; Material; Motivation; Regressionsanalyse; Selbsteinschätzung; Selbststudium; Student; Test; Text; Universität; Verbesserung; Verstehen
Abstract: Multiple Document Comprehension (MDC) ist eine wichtige Kompetenz für Studierende, weshalb ihre Verbesserung vorteilhaft ist. Wir nehmen an, dass der wahrgenommene Wert der MDC-Kompetenz wichtig bei der Förderung von MDC ist, da er ein Prädiktor für Verhaltensentscheidungen sein kann, wie z. B. die Bearbeitung von Selbstlernmaterialien. Die Bearbeitung von Selbstlernmaterialien ist typisch für das Lernen an Universitäten, erfordert aber die Motivation, sich in einer Kompetenz wie MDC zu verbessern. Wir definieren die Motivation, sich in MDC zu verbessern, als die Erwartung, den Wert und die damit verbundenen Kosten, sich in MDC zu verbessern. Wir nehmen an, dass die Motivation, sich in MDC zu verbessern, sowohl die Bearbeitung der Selbstlernmaterialien beeinflusst als auch von dem wahrgenommenen Wert der MDC-Kompetenz abhängt. Deshalb wurde in dieser Studie untersucht, ob der wahrgenommene Wert der MDC-Kompetenz die Motivation, sich in MDC zu verbessern, vorhersagt und letztere die Bearbeitung von Selbstlernmaterialien begünstigt. Insgesamt nahmen N = 278 Studierende dreier deutscher Universitäten an einem MDC-Test teil und hatten danach die Möglichkeit, ihre MDC-Kompetenz mit Selbstlernmaterialien zu trainieren. Das Engagement bei der Bearbeitung der Selbstlernmaterialien wurde über die Bearbeitungszeit und die Anzahl der Seitenwechsel gemessen. Die Ergebnisse zeigten, dass der wahrgenommene Wert der MDC-Kompetenz die Motivation, sich in MDC zu verbessern, teilweise vorhersagte. Die weiteren Analysen zeigten im Wesentlichen keine signifikanten Effekte des wahrgenommenen Werts der MDC-Kompetenz und der Motivation, sich zu verbessern, auf das Engagement bei der Bearbeitung der Selbstlernmaterialien. Allerdings deuteten die ausgewerteten Log-Daten darauf hin, dass das Selbstlernmaterial nicht in dem erwarteten Umfang bearbeitet wurde. (DIPF/Orig.)
Abstract (english): Multiple document comprehension (MDC) is an essential skill for university students, making it beneficial to improve it. We assume that the value assigned to MDC is important to foster MDC since it can be a predictor for behavioral choices, such as working with self-study material. Using self-study material is typical for university learning, but it requires the motivation to improve a skill such as MDC. We define motivation to improve MDC in terms of expectancy, value, and cost to improve MDC. We expect that it is a driving force for working with self-study material on MDC, while it might also depend on the perceived value of MDC. Therefore, this study examined whether the perceived value of MDC predicts the motivation to improve MDC, which is also expected to predict the use of self-study material. A total of 278 students of different majors participated in a MDC assessment and received the opportunity to train their MDC skill with self-study material. The engagement in using the self-study material was measured by the total time and the number of page transitions on the self-study material. The results indicated that the perceived value of MDC partially predicted motivation to improve MDC. However, further analysis revealed mainly no significant effects of the perceived value of MDC and the motivation to improve MDC on the engagement in using the self-study material. However, the log data indicated that the engagement in using the self-study material was not as high as expected. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Autor*innen: Goldhammer, Frank; Hahnel, Carolin; Kröhne, Ulf; Frey, Andreas; Ludewig, Ulrich
Titel: Digitales Lesen und papierbasiertes Lesen im nationalen Vergleich
Aus: McElvany, Nele; Lorenz, Ramona; Frey, Andreas; Goldhammer, Frank; Schilcher, Anita; Stubbe, Andreas C. (Hrsg.): IGLU 2021: Lesekompetenz von Grundschulkindern im internationalen Vergleich und im Trend über 20 Jahre, Münster: Waxmann, 2023 , S. 89-109
URL: https://www.waxmann.com/index.php?eID=download&buchnr=4700
Dokumenttyp: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Bundesland; Deutschland; Digitale Medien; Grundschüler; Hypertext; IGLU <Internationale Grundschul-Lese-Untersuchung>; Leistungsmessung; Lesekompetenz; Leseverstehen; Printmedien; Schülerleistung; Schuljahr 04; Schwierigkeit; Testaufgabe; Testkonstruktion; Text; Veränderung; Vergleich; Wirkung
Abstract: Das vorliegende Kapitel untersucht für Deutschland anhand verschiedener Kriterien, ob die Aufgaben, die gleichermaßen in digitalPIRLS und paperPIRLS vorgegeben wurden, das Leseverständnis vergleichbar messen. An einem Teil der PIRLS-Schulen bearbeitete dazu neben der vierten Klasse mit digitalPIRLS-Testheften eine weitere vierte Klasse entsprechende PIRLS-Aufgaben in gedruckten Testheften. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Autor*innen: Dignath, Charlotte; Fink, Jonathan; Kunter, Mareike
Titel: Reading persuasive texts affects preservice teachers' beliefs about cultural diversity in the classroom
In: Journal of Teacher Education, 73 (2022) 2, S. 188-200
DOI: 10.1177/00224871211002460
URL: https://journals.sagepub.com/doi/10.1177/00224871211002460
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Lehramtsstudent; Lehramtsstudentin; Lehrerausbildung; Überzeugung; Vorwissen; Text; Lektüre; Beeinflussung; Einstellung <Psy>; Vielfalt; Experiment; Experimentell-empirische Methode; Deutschland
Abstract (english): Research has suggested that teachers' beliefs toward culturally diverse classrooms are affected during teacher education. Text reading, as one of the major learning activities in initial teacher education, is supposed to affect teachers' educational concepts and beliefs. We conducted two experiments to test the impact of reading a positively or negatively oriented persuasive text about diversity on preservice teachers' belief change. In Study 1 (N = 42), we found that belief change varied significantly as a function of the direction of the text, and that the reading of the texts led to a significantly stronger belief change if the text was in alignment with participants' prior beliefs. Study 2 (N = 57) revealed a middle-sized, but non-significant moderator effect for prior knowledge (p = .08, ƞp2 = .06), suggesting that participants with more prior knowledge were less likely to be persuaded by the text. The results provide new insights into factors that affect the development of preservice teachers' diversity beliefs.
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Autor*innen: Gombert, Sebastian
Titel: Methods and perspectives for the automated analytic assessment of free-text responses in formative scenarios
Aus: Jivet, Joana; Di Mitri, Daniele; Schneider, Jan; Papamitsiou, Zacharoula; Fominykh, Mikhail (Hrsg.): Proceedings of the Doctoral Consortium of the 17th European Conference on Technology Enhanced Learning co-located with the 17th European Conference on Technology Enhanced Learning (EC-TEL 2022), Toulouse, France, September 12, 2022, Aachen: RWTH, 2022 (CEUR Workshop Proceedings, 3292), S. 61-65
URL: https://ceur-ws.org/Vol-3292/DCECTEL2022_paper08.pdf
Dokumenttyp: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Antwort; Aufsatz; Automatisierung; Benotung; Bewertung; Spracherkennung; Test; Text
Abstract: Assessment is the process of testing learners' skills and knowledge. Free-text response items are well suited for the assessment of learners' active knowledge and writing skills. However, the automatic assessment of respective responses is not trivial and requires the application of natural language processing. Accordingly, the automatic assessment of free-text responses is a widely researched topic in educational natural language processing. Most past work targets holistic scoring, the process of assigning overall scores or grades to responses. This is problematic in formative scenarios because learners require feedback rather than summative scores in such scenarios. Such feedback ideally targets specific aspects of responses, and, accordingly, automated systems which only predict holistic scores cannot be used as a basis for providing the same. What is instead needed are systems which implement analytic scoring approaches. Analytic scoring targets specific aspects of responses and scores them according to corresponding criteria. This requires different systems than addressed by the broad research on automated holistic scoring. In my PhD work which is outlined by this paper, I want to explore approaches for implementing analytic scoring systems by means of state-of-the-art natural language processing. These systems are targeted at providing a basis for feedback generation. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Kämper-van den Boogaart, Michael; Reh, Sabine
Titel: Abiturprüfungspraxis und Abituraufsatz 1882 bis 1972
Aus: Hoffmann, Lars; Schröter, Pauline; Groß, Alexander; Schmid-Kühn, Svenja Mareike; Stanat, Petra (Hrsg.): Das unvergleichliche Abitur: Entwicklungen - Herausforderungen - Empirische Analysen, Bielefeld: wbv Media, 2022 , S. 181-211
URL: https://www.wbv.de/download/shop/download/0/_/0/0/listview/file/-direct%40I72494/area/openaccess.html
Dokumenttyp: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: 19. Jahrhundert; 20. Jahrhundert; Abiturprüfung; Abschlussprüfung; Aufsatz; Auslese; Baden; Bayern; Bewertung; Bildungsgeschichte; Deutschland-BRD; Deutschunterricht; Fachdidaktik; Fachwissen; Forschungsprojekt; Gymnasium; Normen; Preußen; Studierfähigkeit; Textproduktion; Universität; Württemberg
Abstract: Im Rahmen eines von der Leibniz-Gemeinschaft geförderten Forschungsprojekts zur Geschichte des deutschen Abituraufsatzes zwischen 1872 und 1972, dem ein umfangreiches Aufsatzkorpus zugrunde lag, wurden verschiedene Determinanten erfasst, die auf Praktiken der Aufgaben- und Texterstellung wie der Korrektur und Bewertung einwirkten. Dabei handelt es sich namentlich um rechtliche Vorgaben, um politische Erwartungen und didaktische Programme, die ihrerseits Verständnisse von Reife oder von Studierfähigkeit implizieren. Im vorliegenden Beitrag wird an Schlaglichtern aus der Geschichte dieser Prüfungsform deutlich, dass sich nicht von einem linearen Prozess sprechen lässt, sondern vielfach von Effekten, die aus einem Wechselspiel interdependenter Normierungsversuche und Diskurslagen resultieren. Im Ergebnis zeigen sich bei veränderten Vorzeichen frappierend anmutende Kontinuitäten, etwa in den Klagen über eine Überforderung der Kandidaten und Kandidatinnen oder der Frage, inwieweit fachliches und lernbares Wissen den Horizont des schriftlich Darzubietenden abstecken sollte. Zu vermuten ist mithin, dass nicht wenige der historischen Diskurskonstellationen die Beobachter:innen der gegenwärtigen Auseinandersetzungen über diesen Prüfungsteil vertraut anmuten werden. (DIPF/Orig.)
DIPF-Abteilung: Bibliothek für Bildungsgeschichtliche Forschung
-
-
Autor*innen: Scharf, Jan
Titel: Bildungswerte und Schulentfremdung. Schulische Kontexteffekte in Luxemburg und im Schweizer Kanton Bern
Erscheinungsvermerk: Weinheim: Beltz Juventa, 2021
DOI: 10.3262/978-3-7799-6343-1
URN: urn:nbn:de:0111-pedocs-210772
URL: https://www.pedocs.de/frontdoor.php?source_opus=21077
Dokumenttyp: 1. Monographien (Autorenschaft); Monographie
Sprache: Deutsch
Schlagwörter: Bildungsforschung; Bildungskontexte; Bildungssoziologie; Bildungsungleichheit; Erziehungswissenschaft; Klassenzusammensetzung; Luxemburg; Schulleistung; Schweiz; Sozialisation
Abstract: Welchen Beitrag die Konzepte Bildungswerte und Schulentfremdung zur soziologischen Bildungsforschung leisten können, wird in diesem Buch theoretisch und empirisch aufgezeigt. Mit quantitativen Daten aus Sekundarschulen in Luxemburg und im Schweizer Kanton Bern (Projekt SASAL) werden Bildungsungleichheiten nach sozialer Herkunft, Geschlecht und Migrationshintergrund analysiert. Spezifische Werthaltungen gegenüber Bildung beeinflussen die Entstehung von Entfremdung von Lehrerinnen und Lehrern und vom Lernen. Es werden Effekte von Schulform und Schulklasse für beide Länderkontexte herausgestellt. (DIPF/Verl.)
DIPF-Abteilung: Struktur und Steuerung des Bildungswesens
-
-
Autor*innen: Andersen, Nico; Zehner, Fabian
Titel: shinyReCoR: A shiny application for automatically coding text responses using R
In: Psych, 3 (2021) 3, S. 422-446
DOI: 10.3390/psych3030030
URL: https://www.mdpi.com/2624-8611/3/3/30
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Natürliche Sprache; Sprachverarbeitung; Text; Codierung; Computerprogramm; Methodologie
Abstract (english): In this paper, we introduce shinyReCoR: a new app that utilizes a cluster-based method for automatically coding open-ended text responses. Reliable coding of text responses from educational or psychological assessments requires substantial organizational and human effort. The coding of natural language in responses to tests depends on the texts' complexity, corresponding coding guides, and the guides' quality. Manual coding is thus not only expensive but also error-prone. With shinyReCoR, we provide a more efficient alternative. The use of natural language processing makes texts utilizable for statistical methods. shinyReCoR is a Shiny app deployed as an R-package that allows users with varying technical affinity to create automatic response classifiers through a graphical user interface based on annotated data. The present paper describes the underlying methodology, including machine learning, as well as peculiarities of the processing of language in the assessment context. The app guides users through the workflow with steps like text corpus compilation, semantic space building, preprocessing of the text data, and clustering. Users can adjust each step according to their needs. Finally, users are provided with an automatic response classifier, which can be evaluated and tested within the process. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen