-
-
Author(s): Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger; Hartig, Katja; Wenzel, S. Franziska C.
Title: Development and evaluation of a framework for the performance-based testing of ICT skills
In: Frontiers in Education, 6 (2021) , S. 668860
DOI: 10.3389/feduc.2021.668860
URL: https://www.frontiersin.org/articles/10.3389/feduc.2021.668860/full
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Informations- und Kommunikationstechnologie; Praktische Fertigkeit; Wissen; Problemlösen; Textverständnis; Bildverstehen; Bewertung; Modell; Item; Entwicklung; Testvalidität; Itemanalyse; Rasch-Modell; Implementation; Evaluation; Test; Testverhalten; Schüler; Sekundarstufe I; Baden-Württemberg; Rheinland-Pfalz; Deutschland
Abstract (english): This paper addresses the development of performance-based assessment items for ICT skills, skills in dealing with information and communication technologies, a construct which is rather broadly and only operationally defined. Item development followed a construct-driven approach to ensure that test scores could be interpreted as intended. Specifically, ICT-specific knowledge as well as problem-solving and the comprehension of text and graphics were defined as components of ICT skills and cognitive ICT tasks (i.e., accessing, managing, integrating, evaluating, creating). In order to capture the construct in a valid way, design principles for constructing the simulation environment and response format were formulated. To empirically evaluate the very heterogeneous items and detect malfunctioning items, item difficulties were analyzed and behavior-related indicators with item-specific thresholds were developed and applied. The 69 item's difficulty scores from the Rasch model fell within a comparable range for each cognitive task. Process indicators addressing time use and test-taker interactions were used to analyze whether most test-takers executed the intended processes, exhibited disengagement, or got lost among the items. Most items were capable of eliciting the intended behavior; for the few exceptions, conclusions for item revisions were drawn. The results affirm the utility of the proposed framework for developing and implementing performance-based items to assess ICT skills. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Author(s): Goldhammer, Frank; Kroehne, Ulf; Hahnel, Carolin; De Boeck, Paul
Title: Controlling speed in component skills of reading improves the explanation of reading comprehension
In: Journal of Educational Psychology, 113 (2021) 5, S. 861-878
DOI: 10.1037/edu0000655
URN: urn:nbn:de:0111-pedocs-237977
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-237977
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Lesekompetenz; Fertigkeit; Kognitive Prozesse; Leistung; Antwort; Zeit; Wort; Semantik; Text; Leseverstehen; PISA <Programme for International Student Assessment>; Schüler; Messverfahren; Test; Experimentelle Untersuchung; Empirische Untersuchung; Deutschland
Abstract: Efficiency in reading component skills is crucial for reading comprehension, as efficient subprocesses do not extensively consume limited cognitive resources, making them available for comprehension processes. Cognitive efficiency is typically measured with speeded tests of relatively easy items. Observed responses and response times indicate the latent variables of ability and speed. Interpreting only ability or speed as efficiency may be misleading because there is a within-person dependency between both variables (speed-ability tradeoff [SAT]). Therefore, the present study measures efficiency as ability conditional on speed by controlling speed experimentally with item-level time limits. The proposed timed ability measures of reading component skills are expected to have a clearer interpretation in terms of efficiency and to be better predictors for reading comprehension. To support this claim, this study investigates two component skills, visual word recognition and sentence-level semantic integration (sentence reading), to understand how differences in ability in a timed condition are related to differences in ability and speed in a traditional untimed condition. Moreover, untimed and timed reading component skill measures were used to explain reading comprehension. A German subsample from Programme for International Student Assessment (PISA) 2012 completed the reading component skills tasks with and without item-level time limits and PISA reading tasks. The results showed that timed ability is only moderately related to untimed ability. Furthermore, timed ability measures proved to be stronger predictors of sentence-level and text-level reading comprehension than the corresponding untimed ability and speed measures, although using untimed ability and speed jointly as predictors increased the amount of explained variance.
Abstract (english): Efficiency in reading component skills is crucial for reading comprehension, as efficient subprocesses do not extensively consume limited cognitive resources, making them available for comprehension processes. Cognitive efficiency is typically measured with speeded tests of relatively easy items. Observed responses and response times indicate the latent variables of ability and speed. Interpreting only ability or speed as efficiency may be misleading because there is a within-person dependency between both variables (speed-ability tradeoff [SAT]). Therefore, the present study measures efficiency as ability conditional on speed by controlling speed experimentally with item-level time limits. The proposed timed ability measures of reading component skills are expected to have a clearer interpretation in terms of efficiency and to be better predictors for reading comprehension. To support this claim, this study investigates two component skills, visual word recognition and sentence-level semantic integration (sentence reading), to understand how differences in ability in a timed condition are related to differences in ability and speed in a traditional untimed condition. Moreover, untimed and timed reading component skill measures were used to explain reading comprehension. A German subsample from Programme for International Student Assessment (PISA) 2012 completed the reading component skills tasks with and without item-level time limits and PISA reading tasks. The results showed that timed ability is only moderately related to untimed ability. Furthermore, timed ability measures proved to be stronger predictors of sentence-level and text-level reading comprehension than the corresponding untimed ability and speed measures, although using untimed ability and speed jointly as predictors increased the amount of explained variance.
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Author(s): Hartmann, Ulrike; Kindlinger, Marcus; Trempler, Kati
Title: Integrating information from multiple texts relates to pre-service teachers' epistemic products for reflective teaching practice.
In: Teaching and Teacher Education, 97 (2021) 1, S. 103205
DOI: 10.1016/j.tate.2020.103205
URL: https://www.sciencedirect.com/science/article/pii/S0742051X20313962?via%3Dihub
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Lehrerausbildung; Referendariat; Text; Quelle; Integration; Reflexion <Phil>; Referendar; Kompetenz; Unterrichtsvorbereitung; Experte; Bewertung; Qualitative Forschung; Inhaltsanalyse
Abstract (english): Integrating information from multiple texts is a core aspect of pre-service teachers' preparation for reflective teaching practice. This study connects research on multiple text use with teachers' epistemic reflexivity. Using qualitative content analysis, we investigate how information is integrated to explain real pedagogical situations in essays by 87 pre-service teachers. Competent text integration was related to a higher number of reflexive statements. These analyses are supplemented with an expert rating, showing that essays with competent text integration were rated higher on the quality of their conclusions for professional teaching practice than those without substantial text integration.
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Nagler, Telse; Zarić, Jelena; Kachisi, Fenke; Lindberg, Sven; Ehm, Jan-Henning
Title: Reading-impaired children improve through text-fading training. Analyses of comprehension, orthographic knowledge, and RAN
In: Annals of Dyslexia, 71 (2021) 3, S. 458-482
DOI: 10.1007/s11881-021-00229-x
URL: https://link.springer.com/article/10.1007/s11881-021-00229-x
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Leseschwäche; Leseschwaches Kind; Leseprozess; Intervention; Text; Manipulation; Leseverstehen; Rechtschreibung; Wissen; Prädiktor; Grundschüler; Schuljahr 03; Leseübung; Training; Test; Empirische Untersuchung; Deutschland
Abstract (english): Early intervention for children with reading impairments is crucial in order to achieve reading improvements and avoid school failure. One line of reading intervention research focuses on the experimental manipulation of reading rate through a text-fading training approach. Considering relevant reading-related predictors (i.e., orthographic knowledge and rapid automatized naming; RAN), we aim at evaluating the text-fading training's efficiency for a sample of German reading-impaired third graders (n = 120). The purpose of the present study was to examine (1) the predictive value of orthographic knowledge and RAN and their contribution of explained variance in comprehension performance during training, (2) text-fading training effects on reading rate and comprehension in a pre-post comparison, and (3) (lasting) text-fading training effects at word and sentence level in a pre-post-follow-up design. Results of structural models indicated RAN to be significantly related to comprehension performance for the experimental group, whereas no sufficient regression weight was found for orthographic knowledge. A reverse pattern was found for the self-paced group. No significant improvements regarding reading rate and comprehension were revealed for the experimental group after training. However, significant positive effects on word and sentence level at post-test time point indicate stronger reading improvements for the experimental compared to the control group. The retention of training gains was indicated at sentence-level reading 6 months after the training. Possible explanations for the presented positive training effects as well as the mixed results for reading rate, comprehension, and follow-up preservation are discussed.
DIPF-Departments: Bildung und Entwicklung
-
-
Author(s): Gombert, Sebastian
Title: Twin BERT contextualized sentence embedding space learning and gradient-boosted decision tree ensembles for scene segmentation in German literature
In: Zehe, Albin; Konle, Leonard; Dümpelmann, Lea; Guis, Evelyn; Guhr, Svenja; Hotho, Andreas; Jannidis, Fotis; Kaufmann, Lucas; Krug, Markus; Puppe, Frank; Reiter, Nils; Schreiber, Annekea (Hrsg.): Shared Task on Scene Segmentation @ KONVENS 2021 (STSS 2021): Proceedings of the Shared Task on Scene Segmentation, co-located with the 17th Conference on Natural Language Processing (KONVENS 2021), Düsseldorf, Germany, September 6th, 2021, Aachen: RWTH, 2021 (CEUR Workshop Proceedings, 3001), S. 42-48
URL: http://ceur-ws.org/Vol-3001/paper5.pdf
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Geisteswissenschaften; Digitalisierung; Text; Erzählung; Szene; Segmentierung; Künstliche Intelligenz; Computerlinguistik; Tagungsbeitrag
Abstract: Dieser Beitrag dokumentiert eine Einreichung für die Shared Task zur Szenensegmentierung, die im Rahmen der KONVENS 2021 durchgeführt wurde (Zehe et al., 2021b). Ziel dieser Gemeinschaftsaufgabe war es, Methoden zu finden, um narrative Texte in verschiedene Szenen zu segmentieren - Textabschnitte, in denen Ort, Zeit und Figurenkonstellation mehr oder weniger kohärent bleiben. Diese Aufgabe wird als Satzklassifikationsaufgabe formuliert, bei der Sätze am Rande der Szenen von Sätzen innerhalb der Szene unterschieden werden müssen. Der in dieser Arbeit vorgestellte Ansatz basiert auf zwei Schritten. Im ersten Schritt wird ein Twin-BERT-Trainingsaufbau verwendet, um einen Satzeinbettungsraum zu erlernen, in dem Sätze, die als Szenengrenzen fungieren, gut von Sätzen, die sich in der Szene befinden, unterschieden werden. Im zweiten Schritt werden die von diesem Modell generierten Satzeinbettungen als Merkmalsvektoren verwendet, um ein gradient-boosted Entscheidungsbaum-Ensemble zu füttern, das die endgültigen Vorhersagen durchführt. In der Rangliste der gemeinsamen Aufgaben belegte das System den zweiten Platz in Track 1 und den ersten Platz in Track 2.
(Übersetzt mit www.DeepL.com/Translator (kostenlose Version))
Abstract (english): This paper documents a submission to the shared task on scene segmentation hosted at KONVENS 2021 (Zehe et al., 2021b). The aim of this shared task was to find methods for segmenting narrative texts into different scenes-segments of text where location, time and the constellation of characters stay more or less coherent. This task is formulated as a sentence classification task where sentences bordering the scenes have to be distinguished from in-scene sentences. The approach presented in this paper is based on two steps. In the first one, a twin BERT training setup is used to learn a sentence embedding space in which sentences functioning as scene borders are well-separated from ones that are in-scene. In the second one, the sentence embeddings generated by this model are used as feature vectors to feed a gradient-boosted decision tree ensemble which conducts final predictions. In the shared task leaderboard, the system ranked second in track 1 and first in track 2. (DIPF/Orig.)
DIPF-Departments: Informationszentrum Bildung
-
-
Author(s): Heer, Jana; Sauerwein, Markus
Title: Schulentwicklung als Kooperationsprojekt zwischen Bildungsforschung und Schulpraxis am Beispiel von StEG-Tandem
In: Kielblock, Stephan; Arnoldt, Bettina; Fischer, Natalie; Gaiser, Johanna M.; Holtappels, Heinz-Günter (Hrsg.): Individuelle Förderung an Ganztagsschulen: Forschungsergebnisse der Studie zur Entwicklung von Ganztagsschulen (StEG), Weinheim: Beltz Juventa, 2021 , S. 135-157
URL: https://www.beltz.de/fachmedien/erziehungs_und_sozialwissenschaften/buecher/produkt_produktdetails/43636-individuelle_foerderung_an_ganztagsschulen.html
Publication Type: 4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Akteur; Audioaufzeichnung; Bildungsforschung; Deutschland; Evidenz; Implementation; Innovation; Intervention; Konzeption; Kooperation; Kooperatives Lernen; Praxis; Schule; Schulentwicklung; Textanalyse; Transfer; Wissenschaft
Abstract: Im vorliegenden Beitrag wird mittels Daten aus StEG-Tandem der Dialog zwischen Bildungsforschung und Schulpraxis in der Schulentwicklungsstudie nachgezeichnet. Anknüpfend an theoretische Modelle des Wissenschafts-Praxis-Transfers wird untersucht, wie Akteurinnen und Akteure der Schule sowie der Wissenschaft gemeinsam mit je einem Schulbegleiter Konzepte zur Implementation kooperativer Lernformen erarbeiten. Die Zusammenarbeit konturiert sich als sukzessiver Annäherungs- und Aushandlungsprozess, der durch unterschiedliche Fokusse gekennzeichnet ist und in schulspezifisch ausgearbeitete Konzepte zur Umsetzung von Peer Mentoring mündet. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen
-
-
Author(s): Kollmann, Stefanie
Title: Bild, Text, Metadaten. Digitale Rekontextualisierung von Bertuchs Bilderbuch für Kinder
In: Schmideler, Sebastian; Helm, Wiebke (Hrsg.): BildWissen - KinderBuch: Historische Sachliteratur für Kinder und Jugendliche und ihre digitale Analyse, Stuttgart: Metzler, 2021 (Studien zur Kinder- und Jugendliteratur und -medien, 5), S. 99-114
DOI: 10.1007/978-3-476-05758-7_7
URL: https://link.springer.com/chapter/10.1007/978-3-476-05758-7_7
Publication Type: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language: Deutsch
Keywords: Bild; Text; Metadaten; Digitalisierung; Bilderbuch; Kinderliteratur; Bilddatenbank; Online-Datenbank; Online-Katalog; Historische Bildquelle; Historische Bildungsforschung; Digitale Medien; Bürgerbeteiligung
Abstract: This article presents Interlinking Pictura, a special feature of the digital picture archive Pictura Paedagogica Online. Interlinking Pictura enables the researcher to work with specific pictures stored in Pictura Paedagogica Online in a virtual research environment. Bertuch's Bilderbuch für Kinder, an encyclopaedic publication from the early 19th century, was chosen as a pilot project. The plates and texts of the Bilderbuch are presented with metadata on an open platform based on Wiki technology. The public is invited to supplement the data with additional information. To this end, set tasks can be found, and individual research questions can also be worked on. (DIPF/Orig.)
DIPF-Departments: Bibliothek für Bildungsgeschichtliche Forschung
-
-
Author(s): Schoor, Cornelia; Hahnel, Carolin; Artelt, Cordula; Reimann, Daniel; Kroehne, Ulf; Goldhammer, Frank
Title: Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden
In: Diagnostica, 66 (2020) 2, S. 123-135
DOI: 10.1026/0012-1924/a000231
URN: urn:nbn:de:0111-pedocs-218434
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-218434
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Deutsch
Keywords: Testkonstruktion; Student; Messung; Textverständnis; Quelle; Inhalt; Dokument; Diagnostischer Test; Kompetenz; Datenerfassung; Datenanalyse; Modell; Skalierung; Validität
Abstract: Das Verständnis multipler Dokumente (Multiple Document Comprehension, MDC) wird als Fähigkeit verstanden, aus verschiedenen Informationsquellen eine integrierte Repräsentation eines inhaltlichen Gegenstandsbereichs zu konstruieren. Als solche ist sie sowohl für die erfolgreiche Bewältigung eines Studiums als auch für gesellschaftliche Partizipation eine wichtige Kompetenz. Bislang gibt es jedoch kein etabliertes Diagnostikum in diesem Bereich. Um diese Lücke zu schließen, wurde ein Test entwickelt, der vier zentrale kognitive Anforderungen von MDC abdeckt und auf Basis der Daten von 310 Studierenden sozial- und geisteswissenschaftlicher Fächer überprüft wurde. Die im MDC-Test gemessene Kompetenz erwies sich als eindimensional. Der MDC-Testwert wies theoriekonforme Zusammenhänge mit der Abiturnote, dem Studienabschnitt und der Leistung in einer Essay-Aufgabe auf. Insgesamt liefern die Ergebnisse empirische Belege dafür, dass der Testwert aus dem MDC-Test die fächerübergreifende Fähigkeit von Studierenden wiedergibt, multiple Dokumente zu verstehen. (DIPF/Orig.)
Abstract (english): Multiple document comprehension (MDC) is defined as the ability to construct an integrated representation based on different sources of information on a particular topic. It is an important competence for both the successful accomplishment of university studies and participation in societal discussions. Yet, there is no established assessment instrument for MDC. Therefore, we developed a test covering four theory-based cognitive requirements of MDC. Based on the data of 310 university students of social sciences and humanities, the MDC test proved to be a unidimensional measure. Furthermore, the test score was related to the final school exam grade, the study level (bachelor / master), and the performance in an essay task. The empirical results suggest that the score of the MDC test can be interpreted as the generic competence of university students to understand multiple documents. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Zehner, Fabian; Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Title: PISA reading. Mode effects unveiled in short text responses
In: Psychological Test and Assessment Modeling, 62 (2020) 1, S. 85-105
URN: urn:nbn:de:0111-pedocs-203542
URL: https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-1/05_Zehner.pdf
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: PISA <Programme for International Student Assessment>; Deutschland; Schülerleistung; Leistungstest; Computerunterstütztes Verfahren; Papier; Bleistift; Antwort; Text; Inhalt; Information; Quantität; Methodenwechsel; Effekt; Wirkungsforschung; Datenanalyse; Sekundäranalyse
Abstract (english): Educational largescale assessments risk their temporal comparability when shifting from paperto computerbased assessment. A recent study showed how text responses have altered alongside PISA's mode change, indicating mode effects. Uncertainty remained, however, because it compared students from 2012 and 2015. We aimed at reproducing the findings in an experimental setting, in which n = 836 students answered PISA reading questions on computer, paper, or both. Text response features for information quantity and relevance were extracted automatically. Results show a comprehensive recovery of findings. Students incorporated more information into their text responses on computer than on paper, with some items being more affected than others. Regarding information relevance, we found less mode effect variance across items than the original study. Hints for a relationship between mode effect and gender across items could be reproduced. The study demonstrates the stability of linguistic feature extraction from text responses. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation
-
-
Author(s): Zehner, Fabian; Andersen, Nico
Title: ReCo: Textantworten automatisch auswerten. Methodenworkshop
In: Zeitschrift für Soziologie der Erziehung und Sozialisation, 40 (2020) 3, S. 334-340
DOI: 10.25656/01:22115
URN: urn:nbn:de:0111-pedocs-221153
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-221153
Publication Type: 3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Language: Deutsch
Keywords: Software; Technologiebasiertes Testen; Antwort; Text; Testauswertung; Automatisierung; Datenanalyse; Konzeption; Methodik
Abstract: Mit dem vorliegenden Beitrag wird erstmalig der Prototyp einer R- sowie Java-basierten und frei verfügbaren Software veröffentlicht, die für die Verwendung mit deutschen Textantworten evaluiert wurde und aktuell für weitere Sprachen weiter entwickelt wird: ReCo (Automatic Text Response Coder; Zehner, Sälzer & Goldhammer, 2016). ReCo ist auf Kurztextantworten spezialisiert und adressiert Semantik, weshalb auch von Inhaltsscoring die Rede ist. Die hier vorgestellte Software enthält einen Demodatensatz, bei dem es wichtig ist, vorab anzumerken, dass dieser und die hier zitierten Beispielantworten lediglich eine sehr geringe Sprachvielfalt enthalten. Das liegt daran, dass dieser Datensatz auf empirischen Daten basiert und wegen deren Vertraulichkeit umfangreich manuell manipuliert wurde, was mit sprachlich komplexeren Items nicht möglich gewesen wäre. Die ReCo-Methodik selbst funktioniert hingegen auch bei komplexeren Antworten [...]. Dieser Beitrag skizziert kurz die ReCo-Methodik und stellt erstmals die Shiny-App vor, die automatisches Kodieren für eigene Daten flexibel anwendbar macht. Dafür wird skizziert, wie der aktuell verfügbare Prototyp installiert und auf einen Demodatensatz angewendet wird. Zuletzt gibt der Beitrag einen Ausblick, welche Funktionalitäten die App nach Verlassen der aktuellen Prototypenphase sowie in der langfristigen Entwicklung haben wird. Aktuelle Entwicklungen können auf der ReCo-Webseite verfolgt werden: www.reco.science (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation