Ergebnis der Suche in der DIPF Publikationendatenbank

Ihre Abfrage:

(Personen: "Bengs," und "Daniel")

Einsatz digitaler Medien im Unterricht Bengs, Daniel; Winter, Marc; Mendzheritskaya, Julia; Mordel, Julia; Horz, Holger; Wolter, Ilka; […] Verschiedenartige Dokumente | 2025 46111 Endnote: Autor*innen: Bengs, Daniel; Winter, Marc; Mendzheritskaya, Julia; Mordel, Julia; Horz, Holger; Wolter, Ilka; Onofrei, Monica; Hahnel, Carolin; Artelt, Cordula; Drachsler, Hendrik; Goldhammer, Frank
Titel: Einsatz digitaler Medien im Unterricht
Erscheinungsvermerk: Frankfurt am Main: Univ., 2025 (Einsatz digitaler Medien im Unterricht)
URL: https://moodle-connect.s.studiumdigitale.uni-frankfurt.de/moodle/course/view.php?id=40
Dokumenttyp: Arbeitspapiere; dokumentarische und Diskussionsbeiträge; Handreichung für die Praxis
Sprache: Deutsch
Abstract: Die Verwendung digitaler Medien im schulischen Kontext ist längst nicht mehr neu. Gleichzeitig gibt es immer wieder Unterrichtsaspekte, die noch nicht in vollem Umfang vom Einsatz digitaler Medien profitieren. Dabei ist bekannt, dass durch die Anwendung von digitalen Medien Schülerinnen und Schüler in ihren individuellen Lernprozessen unterstützt und motiviert werden können. Um dieses Potential völlig auszuschöpfen, müssen sie im Unterricht passend sowie zielgerichtet eingesetzt werden. Der Kurs stellt verschiedene Perspektiven zur Rolle digitaler Medien im Unterricht sowie aktuelle Erkenntnisse zu Potenzialen der Digitalisierung im schulischen Kontext vor mit dem Ziel, angehenden Lehrkräften das Handwerkszeug für einen reflektierten und kompetenten Umgang mit digitalen Medien im Unterricht zu vermitteln.
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

DiFA - Digitales Formatives Assessment (Evaluationsstudie) Feld- und Methodenbericht Bengs, Daniel; Biedermann, Daniel; Ciordas-Hertel, George; Eichmann, Beate; Hahnel, Carolin; […] Forschungsdaten/Instrumente | GESIS | 2025 46108 Endnote: Autor*innen: Bengs, Daniel; Biedermann, Daniel; Ciordas-Hertel, George; Eichmann, Beate; Hahnel, Carolin; Mendzheritskaya, Julia; Onofrei, Monica; Winter, Marc; Wolter, Ilka; Artelt, Cordula; Drachsler, Hendrik; Horz, Holger; Goldhammer, Frank
Titel: DiFA - Digitales Formatives Assessment (Evaluationsstudie) Feld- und Methodenbericht
Erscheinungsvermerk: Mannheim: GESIS, 2025
DOI: 10.4232/1.14466
URL: https://search.gesis.org/research_data/ZA8918
Dokumenttyp: Forschungsdaten; Instrumente; Dokumentarische Aufbereitung (inkl. Skalenhandb.)
Sprache: Deutsch
Abstract: Im Rahmen des Projekts Digitales Formatives Assessment (DiFA) wurde ein Online-Kurs entwickelt, der ein tracedatenbasiertes, individualisiertes Feedback zum Lernverhalten im Kurs beinhaltete. Der Kurs richtete sich an Lehramtsstudierende. Er thematisierte den Einsatz digitaler Medien im Unterricht und bestand aus fünf Lerneinheiten, die im Lauf eines Semesters bearbeitet wurden. Lernangebote innerhalb der Lerneinheiten umfassten multimediale Materialien (Texte, Videos) und Aktivitäten (Erstellung von Concept-Maps, Forendiskussion, Tests zur Selbstkontrolle). Während der Kursbearbeitung wurden detaillierte Logs der Interaktionen der Lernenden mit dem Kurs und den enthaltenen Lernaktivitäten aufgezeichnet, so dass neben Produktdaten auch feingranulare Logdaten zur Verfügung stehen, durch die Aufschlüsse auf das Nutzungsverhalten und Bearbeitungsprozesse möglich sind. Das Projekt umfasste zwei empirische Phasen: Während der Pilotstudie gaben die Teilnehmer Selbstauskünfte zu selbstreguliertem Lernen und Lernengagement und absolvierten einen Test zur Bewertung der Leistung bei der Verarbeitung multipler Dokumente. Zu den genannten Variablen wurde kein Feedback gegeben. Die standardisierten Messungen wurden als Zustandsmessungen (selbstreguliertes Lernen und Lernengagement) nach jeder der fünf Lerneinheiten des Kurses bzw. als Merkmalsmessungen (multiple Dokumentenverarbeitung) am Ende des Kurses durchgeführt. Eine Reihe von standardisierten Instrumenten wurde eingesetzt, um die interessierenden Kovariaten und Outcomes zu erfassen (soziodemografische Variablen, Selbstwirksamkeit im Unterricht, Selbsteinschätzungen zur Technologiekompetenz, multimediales Multitasking, Selbstwirksamkeiten, Persönlichkeitsmerkmale, Domänenwissen). Ziel der Pilotphase war es, die Daten für die in der Evaluationsstudie verwendeten tracedatenbasierten Verhaltensindikatoren und auf ihnen aufbauende Feedbackmodelle zu gewinnen. Die Pilotstudie beinhaltete kein experimentelles Design und keine Messung der Kovariate und Outcomes zum Prä-Zeitpunkt. In der zweiten empirischen Phase (Evaluationsstudie) wurde das Feedbacksystem in einem experimentellen Studiendesign evaluiert. Das Design umfasste einen Faktor (Feedback) und zwei Stufen (Experimentalgruppe: personalisiertes Feedback, Kontrollgruppe: nicht-personalisiertes Feedback) bei einfacher Randomisierung. Das Feedback wurde mittels eines Learning Analytics Dashboards am Ende jeder Lerneinheit angeboten und umfasste textuelle und grafische Rückmeldungen zum Lernverhalten in der zurückliegenden Lerneinheit sowie Vorschläge zur Verhaltensadaptation in der nachfolgenden Lerneinheit und wurde flankiert von Möglichkeiten zur Bewertung der Nützlichkeit und Verständlichkeit des Feedbacks und zum Verfassen von Selbstreflexionstexten. Sowohl vor Beginn der Bearbeitung der Lerneinheit (Prä-Zeitpunkt) als auch nach Abschluss der fünf Lerneinheiten erfolgte eine Messung von Outcome-Variablen, so dass eine Veränderungsmessung erfolgen kann. In der Version 1.0.0 stehen nur die Forschungsdaten der DiFA Evaluationsstudie (Befragungsdaten und Scores) ohne Log-Daten zur Nachnutzung zur Verfügung.
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

DiFA - Digitales Formatives Assessment (Evaluationsstudie) Bengs, Daniel; Biedermann, Daniel; Ciordas-Hertel, George; Eichmann, Beate; Hahnel, Carolin; […] Forschungsdaten/Instrumente | GESIS | 2025 46107 Endnote: Autor*innen: Bengs, Daniel; Biedermann, Daniel; Ciordas-Hertel, George; Eichmann, Beate; Hahnel, Carolin; Mendzheritskaya, Julia; Onofrei, Monica; Winter, Marc; Wolter, Ilka; Drachsler, Hendrik; Horz, Holger; Goldhammer, Frank
Titel: DiFA - Digitales Formatives Assessment (Evaluationsstudie)
Erscheinungsvermerk: Mannheim: GESIS, 2025
DOI: 10.4232/1.14466
URL: https://search.gesis.org/research_data/ZA8918
Dokumenttyp: Forschungsdaten; Instrumente; Datenkollektion/Dataset
Sprache: Deutsch
Abstract: Im Rahmen des Projekts Digitales Formatives Assessment (DiFA) wurde ein Online-Kurs entwickelt, der ein tracedatenbasiertes, individualisiertes Feedback zum Lernverhalten im Kurs beinhaltete. Der Kurs richtete sich an Lehramtsstudierende. Er thematisierte den Einsatz digitaler Medien im Unterricht und bestand aus fünf Lerneinheiten, die im Lauf eines Semesters bearbeitet wurden. Lernangebote innerhalb der Lerneinheiten umfassten multimediale Materialien (Texte, Videos) und Aktivitäten (Erstellung von Concept-Maps, Forendiskussion, Tests zur Selbstkontrolle). Während der Kursbearbeitung wurden detaillierte Logs der Interaktionen der Lernenden mit dem Kurs und den enthaltenen Lernaktivitäten aufgezeichnet, so dass neben Produktdaten auch feingranulare Logdaten zur Verfügung stehen, durch die Aufschlüsse auf das Nutzungsverhalten und Bearbeitungsprozesse möglich sind. Das Projekt umfasste zwei empirische Phasen: Während der Pilotstudie gaben die Teilnehmer Selbstauskünfte zu selbstreguliertem Lernen und Lernengagement und absolvierten einen Test zur Bewertung der Leistung bei der Verarbeitung multipler Dokumente. Zu den genannten Variablen wurde kein Feedback gegeben. Die standardisierten Messungen wurden als Zustandsmessungen (selbstreguliertes Lernen und Lernengagement) nach jeder der fünf Lerneinheiten des Kurses bzw. als Merkmalsmessungen (multiple Dokumentenverarbeitung) am Ende des Kurses durchgeführt. Eine Reihe von standardisierten Instrumenten wurde eingesetzt, um die interessierenden Kovariaten und Outcomes zu erfassen (soziodemografische Variablen, Selbstwirksamkeit im Unterricht, Selbsteinschätzungen zur Technologiekompetenz, multimediales Multitasking, Selbstwirksamkeiten, Persönlichkeitsmerkmale, Domänenwissen). Ziel der Pilotphase war es, die Daten für die in der Evaluationsstudie verwendeten tracedatenbasierten Verhaltensindikatoren und auf ihnen aufbauende Feedbackmodelle zu gewinnen. Die Pilotstudie beinhaltete kein experimentelles Design und keine Messung der Kovariate und Outcomes zum Prä-Zeitpunkt. In der zweiten empirischen Phase (Evaluationsstudie) wurde das Feedbacksystem in einem experimentellen Studiendesign evaluiert. Das Design umfasste einen Faktor (Feedback) und zwei Stufen (Experimentalgruppe: personalisiertes Feedback, Kontrollgruppe: nicht-personalisiertes Feedback) bei einfacher Randomisierung. Das Feedback wurde mittels eines Learning Analytics Dashboards am Ende jeder Lerneinheit angeboten und umfasste textuelle und grafische Rückmeldungen zum Lernverhalten in der zurückliegenden Lerneinheit sowie Vorschläge zur Verhaltensadaptation in der nachfolgenden Lerneinheit und wurde flankiert von Möglichkeiten zur Bewertung der Nützlichkeit und Verständlichkeit des Feedbacks und zum Verfassen von Selbstreflexionstexten. Sowohl vor Beginn der Bearbeitung der Lerneinheit (Prä-Zeitpunkt) als auch nach Abschluss der fünf Lerneinheiten erfolgte eine Messung von Outcome-Variablen, so dass eine Veränderungsmessung erfolgen kann. In der Version 1.0.0 stehen nur die Forschungsdaten der DiFA Evaluationsstudie (Befragungsdaten und Scores) ohne Log-Daten zur Nachnutzung zur Verfügung.
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

Joint item response models for manual and automatic scores on open-ended test items Bengs, Daniel; Brefeld, Ulf; Kroehne, Ulf; Zehner, Fabian Zeitschriftenbeitrag | In: Psychometrika | 2025 46475 Endnote: Autor*innen: Bengs, Daniel; Brefeld, Ulf; Kroehne, Ulf; Zehner, Fabian
Titel: Joint item response models for manual and automatic scores on open-ended test items
In: Psychometrika, (2025) , S. online first
DOI: 10.1017/psy.2025.10018
URL: https://doi.org/10.1017/psy.2025.10018
Dokumenttyp: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Sprache: Englisch
Abstract (english): Test items using open-ended response formats can increase an instrument's construct validity. However, traditionally, their application in educational testing requires human coders to score the responses. Manual scoring not only increases operational costs but also prohibits the use of evidence from open-ended items to inform routing decisions in adaptive designs. Using machine learning and natural language processing, automatic scoring provides classifiers that can instantly assign scores to text responses. Although optimized for agreement with manual scores, automatic scoring is not perfectly accurate and introduces an additional source of error into the response process, leading to a misspecification of the measurement model used with the manual score. We propose two joint models for manual and automatic scores of automatically scored open-ended items. Our models extend a given model from Item Response Theory for the manual scores by a component for the automatic scores, accounting for classification errors. The models were evaluated using data from the Programme for International Student Assessment (2012) and simulated data, demonstrating their capacity to mitigate the impact of classification errors on ability estimation compared to a baseline that disregards classification errors. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

From reflection to action. A controlled field study on how learners interpret and respond to […] Giorgashvili, Tornike; Jivet, Ioana; Artelt, Cordula; Biedermann, Daniel; Bengs, Daniel; […] Zeitschriftenbeitrag | In: Journal of Computer Assisted Learning | 2025 46433 Endnote: Autor*innen: Giorgashvili, Tornike; Jivet, Ioana; Artelt, Cordula; Biedermann, Daniel; Bengs, Daniel; Goldhammer, Frank; Hahnel, Carolin; Mendzheritskaya, Julia; Mordel, Julia; Onofrei, Monica; Winter, Marc; Wolter, Ilka; Horz, Holger; Drachsler, Hendrik
Titel: From reflection to action. A controlled field study on how learners interpret and respond to feedback in learning analytics dashboards
In: Journal of Computer Assisted Learning, 41 (2025) 4, S. e70073
DOI: 10.1111/jcal.70073
URL: https://onlinelibrary.wiley.com/doi/10.1111/jcal.70073
Dokumenttyp: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Sprache: Englisch
Abstract: Background: Learning analytics dashboards (LAD) have been developed as feedback tools to help students self‐regulate their learning (SRL) by using the large amounts of data generated by online learning platforms. Despite extensive research on LAD design, there remains a gap in understanding how learners make sense of information visualised on LADs and how they self‐reflect using these tools. Objectives: We address this gap through an experimental study where a LAD delivered personalised SRL feedback based on interactions and progress to a treatment group, and minimal feedback based on the average scores of the lecture to a control group. Methods: After receiving feedback, students were asked to write down how they planned to adjust their study habits. These reflection texts are the target of this study. Three human coders analysed 1251 self‐reflection texts from 417 students at three different times, using a coding system that categorised learning strategies, metacognitive strategies and learning materials. Results and Conclusions: Our results show that learners who received personalised feedback intend to focus on different aspects of their learning in comparison to the learners who received minimal feedback and that the content of the LAD influences how students formulate their self‐reflection texts. Furthermore, the extent to which students incorporated suggested behavioural changes into their reflections was predicted by state measures like perceived helpfulness of the feedback. Our findings outline areas where support is needed to improve learners' sense‐making of feedback on LADs and self‐reflection. (DIPF/Orig.)
Abstract: Hintergrund: Learning Analytics Dashboards (LAD) wurden als Feedback-Tools entwickelt, um Lernende bei der Selbstregulierung ihres Lernens (SRL) zu unterstützen, indem sie die von Online-Lernplattformen generierten großen Datenmengen nutzen. Trotz umfangreicher Forschungsarbeiten zur Gestaltung von LADs gibt es nach wie vor eine Lücke im Verständnis der Art und Weise, wie Lernende die auf LADs visualisierten Informationen nutzen und wie sie mit Hilfe dieser Tools selbstreflektieren. Zielsetzung: Wir schließen diese Lücke durch eine experimentelle Studie, in der ein LAD einer Behandlungsgruppe personalisiertes SRL-Feedback auf der Grundlage von Interaktionen und Fortschritten und einer Kontrollgruppe minimales Feedback auf der Grundlage der Durchschnittsnoten der Vorlesung lieferte. Methoden: Nach Erhalt des Feedbacks wurden die Studierenden gebeten, aufzuschreiben, wie sie ihre Lerngewohnheiten anpassen wollten. Diese Reflexionstexte sind das Ziel dieser Studie. Drei menschliche Codierer analysierten 1251 Selbstreflexionstexte von 417 Studierenden zu drei verschiedenen Zeitpunkten und verwendeten dabei ein Codierungssystem, das Lernstrategien, metakognitive Strategien und Lernmaterialien kategorisierte. Ergebnisse und Schlussfolgerungen: Unsere Ergebnisse zeigen, dass Lernende, die personalisiertes Feedback erhalten haben, beabsichtigen, sich auf andere Aspekte ihres Lernens zu konzentrieren als Lernende, die nur minimales Feedback erhalten haben, und dass der Inhalt des LAD einen Einfluss darauf hat, wie Studierende ihre Selbstreflexionstexte formulieren. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

Exploring learners' self-reflection and intended actions after consulting learning analytics […] Giorgashvili, Tornike; Jivet, Ioana; Artelt, Cordula; Biedermann, Daniel; Bengs, Daniel; […] Sammelbandbeitrag | Aus: Ferreira Mello, Rafael; Rummel, Nico; Jivet, Ioana; Pishtari, GPishtari; Ruipérez Valiente, Jóse A. (Hrsg.): Technology enhanced learning for inclusive and equitable quality education: 19th European Conference on Technology Enhanced Learning, EC-TEL 2024, Krems, Austria, September 16-20, 2024, proceedings, part I | Cham: Springer | 2024 45496 Endnote: Autor*innen: Giorgashvili, Tornike; Jivet, Ioana; Artelt, Cordula; Biedermann, Daniel; Bengs, Daniel; Goldhammer, Frank; Hahnel, Carolin; Mendzheritskaya, Julia; Mordel, Julia Onofrei Monica; Winter, Marc; Wolter, Ilka; Horz, Holger; Drachsler, Hendrik
Titel: Exploring learners' self-reflection and intended actions after consulting learning analytics dashboards in an authentic learning setting
Aus: Ferreira Mello, Rafael; Rummel, Nico; Jivet, Ioana; Pishtari, GPishtari; Ruipérez Valiente, Jóse A. (Hrsg.): Technology enhanced learning for inclusive and equitable quality education: 19th European Conference on Technology Enhanced Learning, EC-TEL 2024, Krems, Austria, September 16-20, 2024, proceedings, part I, Cham: Springer, 2024 (Lecture Notes in Computer Science, 15159), S. 135-151
DOI: 10.1007/978-3-031-72315-5_10
URL: https://link.springer.com/chapter/10.1007/978-3-031-72315-5_10
Dokumenttyp: Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Abstract: Learning Analytics Dashboards (LAD) have been developed as feedback tools to help students self-regulate their learning (SRL), using the large amounts of data generated by online learning platforms. Despite extensive research on LAD design, there remains a gap in understanding how learners make sense of information visualised on LADs and how they self-reflect using these tools. We address this gap through an experimental study where a LAD delivered personalised SRL feedback based on interactions and progress to a treatment group, and minimal feedback based on the average scores of the class to a control group. Following the feedback, students were asked to state in writing how they would change their study behaviour. Using a coding scheme covering learning strategies, metacognitive strategies and learning materials, three human coders coded 1,251 self-reflection texts submitted by 417 students at three time points. Our results show that learners who received personalised feedback intend to focus on different aspects of their learning in comparison to the learners who received minimal feedback and that the content of the dashboard influences how students formulate their self-reflection texts. Based on our findings, we outline areas where support is needed to improve learners' sense-making of feedback on LADs and self-reflection in the long term. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

Behavioral trace data in an online learning environment as indicators of learning engagement in […] Winter, Marc; Mordel, Julia; Mendzheritskaya, Julia; Biedermann, Daniel; […] Zeitschriftenbeitrag | In: Frontiers in Psychology | 2024 45694 Endnote: Autor*innen: Winter, Marc; Mordel, Julia; Mendzheritskaya, Julia; Biedermann, Daniel; Ciordas-Hertel, George-Petru; Hahnel, Carolin; Bengs, Daniel; Wolter, Ilka; Goldhammer, Frank; Drachsler, Hendrik; Artelt, Cordula; Horz, Holger
Titel: Behavioral trace data in an online learning environment as indicators of learning engagement in university students
In: Frontiers in Psychology, 15 (2024) , S. 1396881
DOI: 10.3389/fpsyg.2024.1396881
URL: https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2024.1396881/full
Dokumenttyp: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Sprache: Englisch
Abstract: Learning in asynchronous online settings (AOSs) is challenging for university students. However, the construct of learning engagement (LE) represents a possible lever to identify and reduce challenges while learning online, especially, in AOSs. Learning analytics provides a fruitful framework to analyze students' learning processes and LE via trace data. The study, therefore, addresses the questions of whether LE can be modeled with the sub-dimensions of effort, attention, and content interest and by which trace data, derived from behavior within an AOS, these facets of LE are represented in self-reports. Participants were 764 university students attending an AOS. The results of best-subset regression analysis show that a model combining multiple indicators can account for a proportion of the variance in students' LE (highly significant R2 between 0.04 and 0.13). The identified set of indicators is stable over time supporting the transferability to similar learning contexts. The results of this study can contribute to both research on learning processes in AOSs in higher education and the application of learning analytics in university teaching (e.g., modeling automated feedback). (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung; Lehr und Lernqualität in Bildungseinrichtungen

Simultaneous constrained adaptive item selection for group-based testing Bengs, Daniel; Kröhne, Ulf; Brefeld, Ulf Zeitschriftenbeitrag | In: Journal of Educational Measurement | 2021 40702 Endnote: Autor*innen: Bengs, Daniel; Kröhne, Ulf; Brefeld, Ulf
Titel: Simultaneous constrained adaptive item selection for group-based testing
In: Journal of Educational Measurement, 58 (2021) 2, S. 236-261
DOI: 10.1111/jedm.12285
URL: https://onlinelibrary.wiley.com/doi/abs/10.1111/jedm.12285
Dokumenttyp: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Sprache: Englisch
Schlagwörter: Adaptives Testen; Aufgabe; Auswahl; Computerunterstütztes Verfahren; Empirische Untersuchung; Gruppe; Leistungsmessung; Modell; Simulation; Technologiebasiertes Testen; Test
Abstract (english): By tailoring test forms to the test‐taker's proficiency, Computerized Adaptive Testing (CAT) enables substantial increases in testing efficiency over fixed forms testing. When used for formative assessment, the alignment of task difficulty with proficiency increases the chance that teachers can derive useful feedback from assessment data. The application of CAT to formative assessment in the classroom, however, is hindered by the large number of different items used for the whole class; the required familiarization with a large number of test items puts a significant burden on teachers. An improved CAT procedure for group‐based testing is presented, which uses simultaneous automated test assembly to impose a limit on the number of items used per group. The proposed linear model for simultaneous adaptive item selection allows for full adaptivity and the accommodation of constraints on test content. The effectiveness of the group‐based CAT is demonstrated with real‐world items in a simulated adaptive test of 3,000 groups of test‐takers, under different assumptions on group composition. Results show that the group‐based CAT maintained the efficiency of CAT, while a reduction in the number of used items by one half to two‐thirds was achieved, depending on the within‐group variance of proficiencies.
DIPF-Abteilung: Bildungsqualität und Evaluation

Applying psychometric modeling to aid feature engineering in predictive log-data analytics. The […] Zehner, Fabian; Eichmann, Beate; Deribo, Tobias; Harrison, Scott; Bengs, Daniel; Andersen, Nico; […] Zeitschriftenbeitrag | In: Journal of Educational Data Mining | 2021 41457 Endnote: Autor*innen: Zehner, Fabian; Eichmann, Beate; Deribo, Tobias; Harrison, Scott; Bengs, Daniel; Andersen, Nico; Hahnel, Carolin
Titel: Applying psychometric modeling to aid feature engineering in predictive log-data analytics. The NAEP EDM Competition
In: Journal of Educational Data Mining, 13 (2021) 2, S. 80-107
DOI: 10.5281/zenodo.5275316
URN: urn:nbn:de:0111-dipfdocs-250034
URL: https://nbn-resolving.org/urn:nbn:de:0111-dipfdocs-250034
Dokumenttyp: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Sprache: Englisch
Schlagwörter: Psychometrie; Modellierung; Protokoll; Datenanalyse; Testverhalten; Cluster
Abstract (english): The NAEP EDM Competition required participants to predict efficient test-taking behavior based on log data. This paper describes our top-down approach for engineering features by means of psychometric modeling, aiming at machine learning for the predictive classification task. For feature engineering, we employed, among others, the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. Furthermore, instead of using the provided binary target label, we distinguished inefficient test takers who were going too fast and those who were going too slow for training a multi-label classifier. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to the competition leaderboard, our approach makes two important contributions. First, we show how classifiers that contain features engineered through literature-derived domain knowledge can provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the models. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label's validity needs to be questioned. Beyond competition-related findings, we furthermore report a state sequence analysis for demonstrating the viability of the employed tools. The latter yielded four different test-taking types that described distinctive differences between test takers, providing relevant implications for assessment practice. (DIPF/Orig.)
DIPF-Abteilung: Lehr und Lernqualität in Bildungseinrichtungen

The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for […] Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; […] Sammelbandbeitrag | Aus: Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020) | Worcester; MA: International Educational Data Mining Society | 2020 40325 Endnote: Autor*innen: Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; Hahnel, Carolin
Titel: The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for predictions based on log data
Aus: Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020), Worcester; MA: International Educational Data Mining Society, 2020 , S. 302-312
URL: https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_118.pdf
Dokumenttyp: Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Logdatei; Psychometrie; Theorie; Technologische Entwicklung; Wettbewerb; Prognose; Test; Erfolg
Abstract: The 2nd Annual WPI-UMASS-UPENN EDM Data Minng Challenge required contestants to predict efficient test-taking based on log data. In this paper, we describe our theory-driven and psychometric modeling approach. For feature engineering, we employed the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. For training a multi-label classifier, we distinguished inefficient test takers who were going too fast and those who were going too slow, instead of using the provided binary target label. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to competition leaderboard, our approach makes two important contributions. First, we show how explainable classifiers could provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the estimation. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label's validity needs to be questioned. The paper concludes with tools that are helpful for substantively meaningful log data mining. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation