Menü Überspringen
Contact
Deutsch
English
Not track
Data Protection
Search
Log in
DIPF News
Research
Infrastructures
Institute
Zurück
Contact
Deutsch
English
Not track
Data Protection
Search
Home
>
Research
>
Publications
>
Publications Data Base
Search results in the DIPF database of publications
Your query:
(Personen: "Zehner," und "Fabian")
Advanced Search
Search term
Only Open Access
Search
Unselect matches
Select all matches
Export
24
items matching your search terms.
Show all details
ReCo: Textantworten automatisch auswerten. Methodenworkshop
Zehner, Fabian; Andersen, Nico
Journal Article
| In: Zeitschrift für Soziologie der Erziehung und Sozialisation | 2020
40196 Endnote
Author(s):
Zehner, Fabian; Andersen, Nico
Title:
ReCo: Textantworten automatisch auswerten. Methodenworkshop
In:
Zeitschrift für Soziologie der Erziehung und Sozialisation, 40 (2020) 3, S. 334-340
DOI:
10.25656/01:22115
URN:
urn:nbn:de:0111-pedocs-221153
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-221153
Publication Type:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Language:
Deutsch
Keywords:
Software; Technologiebasiertes Testen; Antwort; Text; Testauswertung; Automatisierung; Datenanalyse; Konzeption; Methodik
Abstract:
Mit dem vorliegenden Beitrag wird erstmalig der Prototyp einer R- sowie Java-basierten und frei verfügbaren Software veröffentlicht, die für die Verwendung mit deutschen Textantworten evaluiert wurde und aktuell für weitere Sprachen weiter entwickelt wird: ReCo (Automatic Text Response Coder; Zehner, Sälzer & Goldhammer, 2016). ReCo ist auf Kurztextantworten spezialisiert und adressiert Semantik, weshalb auch von Inhaltsscoring die Rede ist. Die hier vorgestellte Software enthält einen Demodatensatz, bei dem es wichtig ist, vorab anzumerken, dass dieser und die hier zitierten Beispielantworten lediglich eine sehr geringe Sprachvielfalt enthalten. Das liegt daran, dass dieser Datensatz auf empirischen Daten basiert und wegen deren Vertraulichkeit umfangreich manuell manipuliert wurde, was mit sprachlich komplexeren Items nicht möglich gewesen wäre. Die ReCo-Methodik selbst funktioniert hingegen auch bei komplexeren Antworten [...]. Dieser Beitrag skizziert kurz die ReCo-Methodik und stellt erstmals die Shiny-App vor, die automatisches Kodieren für eigene Daten flexibel anwendbar macht. Dafür wird skizziert, wie der aktuell verfügbare Prototyp installiert und auf einen Demodatensatz angewendet wird. Zuletzt gibt der Beitrag einen Ausblick, welche Funktionalitäten die App nach Verlassen der aktuellen Prototypenphase sowie in der langfristigen Entwicklung haben wird. Aktuelle Entwicklungen können auf der ReCo-Webseite verfolgt werden: www.reco.science (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for […]
Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; […]
Book Chapter
| Aus: Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020) | Worcester; MA: International Educational Data Mining Society | 2020
40325 Endnote
Author(s):
Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; Hahnel, Carolin
Title:
The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for predictions based on log data
In:
Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020), Worcester; MA: International Educational Data Mining Society, 2020 , S. 302-312
URL:
https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_118.pdf
Publication Type:
4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language:
Englisch
Keywords:
Logdatei; Psychometrie; Theorie; Technologische Entwicklung; Wettbewerb; Prognose; Test; Erfolg
Abstract:
The 2nd Annual WPI-UMASS-UPENN EDM Data Minng Challenge required contestants to predict efficient test-taking based on log data. In this paper, we describe our theory-driven and psychometric modeling approach. For feature engineering, we employed the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. For training a multi-label classifier, we distinguished inefficient test takers who were going too fast and those who were going too slow, instead of using the provided binary target label. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to competition leaderboard, our approach makes two important contributions. First, we show how explainable classifiers could provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the estimation. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label's validity needs to be questioned. The paper concludes with tools that are helpful for substantively meaningful log data mining. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Journal Article
| In: Education Inquiry | 2019
38711 Endnote
Author(s):
Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Title:
Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
In:
Education Inquiry, 10 (2019) 1, S. 34-55
DOI:
10.1080/20004508.2018.1518080
URL:
https://www.tandfonline.com/doi/pdf/10.1080/20004508.2018.1518080?needAccess=true
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language:
Englisch
Keywords:
PISA <Programme for International Student Assessment>; Schülerleistungstest; Design; Veränderung; Computerunterstütztes Verfahren; Lesetest; Antwort; Text; Unterschied; Information; Relevanz; Schuljahr 09; Empirische Untersuchung; Deutschland
Abstract (english):
In 2015, the Programme for International Student Assessment (PISA) introduced multiple changes in its study design, the most extensive being the transition from paper- to computer-based assessment. We investigated the differences between German students' text responses to eight reading items from the paper-based study in 2012 to text responses to the same items from the computer-based study in 2015. Two response features - information quantity and relevance proportion - were extracted by natural language processing techniques because they are crucial indicators for the response process. Showcasing potential differential relationships, we additionally examined gender differences. Modelling effects of the round of assessment, gender, and response correctness on the response features, we analysed responses from 15-year-olds and ninth-graders in Germany. Results revealed differences in the text responses between the rounds of assessment in that students included more information overall in 2015, and the proportions of relevance varied substantially across items. As the study investigated the mode change in PISA's natural (not experimental) setting, the differences could mirror cohort trends or design changes. However, with the evidence reported, we conclude that the differences could indicate mode effects. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Journal Article
| In: Zeitschrift für Erziehungswissenschaft | 2019
39123 Endnote
Author(s):
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Title:
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
In:
Zeitschrift für Erziehungswissenschaft, 22 (2019) 3, S. 617-646
DOI:
10.1007/s11618-019-00874-4
URN:
urn:nbn:de:0111-pedocs-176046
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-176046
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Schülerleistungstest; Fragebogen; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Deutschland; OECD-Länder; Schüler; Problemlösen; Kooperation; Kompetenz; Schuljahr; Schulform; Computerunterstütztes Verfahren; Simulation; Technologiebasiertes Testen; Messverfahren; Qualität; Psychometrie; Item-Response-Theory; Skalierung
Abstract:
Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch. (DIPF/Orig.)
Abstract (english):
Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD's top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Künstliche Intelligenz. Ihr Potenzial und der Mythos des Lehrkraft-Bots
Zehner, Fabian
Journal Article
| In: Schulmanagement-Handbuch | 2019
39057 Endnote
Author(s):
Zehner, Fabian
Title:
Künstliche Intelligenz. Ihr Potenzial und der Mythos des Lehrkraft-Bots
In:
Schulmanagement-Handbuch, (2019) 169, S. 6-30
URN:
urn:nbn:de:0111-pedocs-175610
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-175610
Publication Type:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Language:
Deutsch
Keywords:
Künstliche Intelligenz; Begriff; Computer; Spracherkennung; Data Mining; Codierung; Technologie; Innovation; Unterricht; Lernen; Unterstützung; Testauswertung; E-Learning; Bildungsforschung
Abstract:
[In diesem] Kapitel legt der Autor dar, was Künstliche Intelligenz ausmacht, in welchen Bereichen wir bereits mit Künstlicher Intelligenz konfrontiert sind und wie sie schon heute in unseren Alltag integriert sind. Darauffolgend wird erläutert, wie Künstliche Intelligenz im Bildungsbereich gewinnbringend eingesetzt werden kann. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Künstliche Intelligenz in der Bildung. Ihr Potenzial und der Mythos des Lehrkraftroboters
Zehner, Fabian
Journal Article
| In: Schulmanagement | 2019
39117 Endnote
Author(s):
Zehner, Fabian
Title:
Künstliche Intelligenz in der Bildung. Ihr Potenzial und der Mythos des Lehrkraftroboters
In:
Schulmanagement, 50 (2019) 2, S. 8-12
URN:
urn:nbn:de:0111-pedocs-175625
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-175625
Publication Type:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Language:
Deutsch
Keywords:
Datenanalyse; Anwendungsbeispiel; Künstliche Intelligenz; Bildung; Begriff; Definition; Computer; Daten; Roboter; Computerunterstütztes Lernen; Lernumgebung; Anpassung; Computerprogramm; Medieneinsatz; Einflussfaktor; Lernprozess; Fernunterricht; Kooperatives Lernen; Leistungsbeurteilung; Automatisierung
Abstract:
Was kann künstliche Intelligenz wirklich? Und wie können wir sie als gewinnbringend im Bildungssektor einsetzen? Sollten wir Angst davor haben, dass der Klassenlehrer unserer Enkelkinder in wenigen Jahrzehnten eduBot heißen könnte? dieser Beitrag beleuchtet anhand verschiedener Anwendungsbeispiele, welches Potenzial tatsächlich hinter künstlicher Intelligenz streckt. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Journal Article
| In: Large-scale Assessments in Education | 2018
38503 Endnote
Author(s):
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Title:
Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
In:
Large-scale Assessments in Education, 6 (2018) 6:7
DOI:
10.1186/s40536-018-0060-3
URL:
https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-018-0060-3
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Schüler; Lesefertigkeit; Geschlechtsspezifischer Unterschied; Lesetest; Antwort; Analyse; Kognitive Prozesse; PISA <Programme for International Student Assessment>; Sekundäranalyse; Deutschland
Abstract (english):
Background: The gender gap in reading literacy is repeatedly found in large-scale assessments. This study compared girls' and boys' text responses in a reading test applying natural language processing. For this, a theoretical framework was compiled that allows mapping of response features to the preceding cognitive components such as micro- and macropropositions from the situation model. Methods: In total, n = 33,604 responses from the German sample of the Programme for International Student Assessment (PISA) 2012 reading test have been analyzed for characterizing the genders' typical cognitive approaches. The analyses mainly explored the gender gap by contrasting groups of responses typical for either gender. These gender-specific responses characterize the typical responding of the genders to PISA reading questions. Results: Responses typical for girls contained three to five more proposition entities from the situation model, irrespective of the response correctness. They integrated more relevant propositions and constituted better fits to the question focus. That means, in answering questions which ask for explicit information from the stimulus text, the typical girl responses appropriately encompassed more micropropositions, and typical boy responses tended to include more macropropositions-vice versa for questions requesting implicit information. Conclusion: It appears that typical boy responses to PISA reading questions are characterized by struggling with retrieving and integrating propositions from the situation model. The typical girl liberally juggles these to formulate the responses. The results demonstrate that text responses are a neglected but informative source for educational large-scale assessments made accessible through natural language processing.
DIPF-Departments:
Bildungsqualität und Evaluation
What to make of and how to interpret process data
Goldhammer, Frank; Zehner, Fabian
Journal Article
| In: Measurement: Interdisciplinary Research and Perspectives | 2017
38066 Endnote
Author(s):
Goldhammer, Frank; Zehner, Fabian
Title:
What to make of and how to interpret process data
In:
Measurement: Interdisciplinary Research and Perspectives, 15 (2017) 3/4, S. 128-132
DOI:
10.1080/15366367.2017.1411651
URN:
urn:nbn:de:0111-dipfdocs-192082
URL:
http://www.dipfdocs.de/volltexte/2020/19208/pdf/Measurement_2017_3-4_Goldhammer_Zehner_What_to_make_of_and_how_to_interpret_process_data_A.pdf
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Technologiebasiertes Testen; Kognitive Kompetenz; Testdurchführung; Kognitive Prozesse; Datenanalyse; Indikator; Interpretation; Validität
Abstract (english):
Maddox (2017) argues that respondents' talk and gesture during an assessment inform researchers how a response product has evolved. Indeed, how a task is performed represents key information for psychological and educational assessment. [...] Recently, process data has increasingly gained attention in cognitive ability testing given the digitalization of measurement and the possibility of exploiting log file data. [...] As shown by Maddox for large-scale assessments, even talk and gesture can be regarded as useful process data. In this case, the process data is not only video-recorded but also observed by the interviewer in situ; the interviewer interactively uses it to influence the test-taking process and to reduce construct-irrelevant variance. Thus, like product data (e.g., scores), process data is used to draw inferences. We argue in the following that the interpretation and use of process data and derived indicators require validation, just as product data do (Kane, 2013). This theoretical background, including some examples about log file data, sets the ground for our comments on Maddox's use of "talk and gesture as process data." (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Working Papers
| 2017
37966 Endnote
Author(s):
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Title:
Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland
Published:
München: Technische Universität München; Zentrum für internationale Bildungsvergleichsstudien, 2017
DOI:
10.14459/2017md1401788
URL:
https://mediatum.ub.tum.de/download/1401788/1401788.pdf
Publication Type:
5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Language:
Deutsch
Keywords:
Deutschland; Jugendlicher; Problemlösen; Kooperation; Kompetenz; Messung; Computerunterstütztes Verfahren; Test; Geschlechtsspezifischer Unterschied; Schulform; PISA <Programme for International Student Assessment>; Internationaler Vergleich
DIPF-Departments:
Bildungsqualität und Evaluation
Automatic processing of text responses in large-scale assessments
Zehner, Fabian
Monograph
| München: mediaTUM | 2016
36670 Endnote
Author(s):
Zehner, Fabian
Title:
Automatic processing of text responses in large-scale assessments
Published:
München: mediaTUM, 2016
URN:
urn:nbn:de:bvb:91-diss-20160803-1296326-1-7
URL:
http://mediatum.ub.tum.de/1077988?show_id=1296326
Publication Type:
1. Monographien (Autorenschaft); Monographie
Language:
Englisch
Keywords:
Automatisierung; Codierung; Computer; Geschlechtsspezifischer Unterschied; Mensch; Software; Vergleich; Vergleichsuntersuchung
Abstract:
Beim automatischen Kodieren von Kurztextantworten kategorisiert ein Computer Antworten. In dieser Arbeit wurde eine Software entwickelt, die (i) Textantworten in semantisch homogene Typen gruppiert, (ii) diese Typen kodiert, und (iii) Merkmale extrahiert. Die Ergebnisse zeigen eine annehmbare bis exzellente Übereinstimmung zur menschlichen Kodierung (76-98 %) bei 41.990 Antworten. Zwei weitere Studien zeigen, wie die Software den Erhebungsprozess und inhaltliche Forschung weiterbringen kann. (DIPF/Orig.)
Abstract (english):
{Abstract_englisch}
DIPF-Departments:
Bildungsqualität und Evaluation
Unselect matches
Select all matches
Export
<
1
2
3
>
Show all
(24)