Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Personen: "Zehner," und "Fabian")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
24
Inhalte gefunden
Alle Details anzeigen
ReCo: Textantworten automatisch auswerten. Methodenworkshop
Zehner, Fabian; Andersen, Nico
Zeitschriftenbeitrag
| In: Zeitschrift für Soziologie der Erziehung und Sozialisation | 2020
40196 Endnote
Autor*innen:
Zehner, Fabian; Andersen, Nico
Titel:
ReCo: Textantworten automatisch auswerten. Methodenworkshop
In:
Zeitschrift für Soziologie der Erziehung und Sozialisation, 40 (2020) 3, S. 334-340
DOI:
10.25656/01:22115
URN:
urn:nbn:de:0111-pedocs-221153
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-221153
Dokumenttyp:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache:
Deutsch
Schlagwörter:
Software; Technologiebasiertes Testen; Antwort; Text; Testauswertung; Automatisierung; Datenanalyse; Konzeption; Methodik
Abstract:
Mit dem vorliegenden Beitrag wird erstmalig der Prototyp einer R- sowie Java-basierten und frei verfügbaren Software veröffentlicht, die für die Verwendung mit deutschen Textantworten evaluiert wurde und aktuell für weitere Sprachen weiter entwickelt wird: ReCo (Automatic Text Response Coder; Zehner, Sälzer & Goldhammer, 2016). ReCo ist auf Kurztextantworten spezialisiert und adressiert Semantik, weshalb auch von Inhaltsscoring die Rede ist. Die hier vorgestellte Software enthält einen Demodatensatz, bei dem es wichtig ist, vorab anzumerken, dass dieser und die hier zitierten Beispielantworten lediglich eine sehr geringe Sprachvielfalt enthalten. Das liegt daran, dass dieser Datensatz auf empirischen Daten basiert und wegen deren Vertraulichkeit umfangreich manuell manipuliert wurde, was mit sprachlich komplexeren Items nicht möglich gewesen wäre. Die ReCo-Methodik selbst funktioniert hingegen auch bei komplexeren Antworten [...]. Dieser Beitrag skizziert kurz die ReCo-Methodik und stellt erstmals die Shiny-App vor, die automatisches Kodieren für eigene Daten flexibel anwendbar macht. Dafür wird skizziert, wie der aktuell verfügbare Prototyp installiert und auf einen Demodatensatz angewendet wird. Zuletzt gibt der Beitrag einen Ausblick, welche Funktionalitäten die App nach Verlassen der aktuellen Prototypenphase sowie in der langfristigen Entwicklung haben wird. Aktuelle Entwicklungen können auf der ReCo-Webseite verfolgt werden: www.reco.science (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for […]
Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; […]
Sammelbandbeitrag
| Aus: Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020) | Worcester; MA: International Educational Data Mining Society | 2020
40325 Endnote
Autor*innen:
Zehner, Fabian; Harrison, Scott; Eichmann, Beate; Deribo, Tobias; Bengs, Daniel; Andersen, Nico; Hahnel, Carolin
Titel:
The NAEP EDM competition. On the value of theory-driven psychometrics and machine learning for predictions based on log data
Aus:
Rafferty, Anna N.; Whitehill, Jacob; Romero, Cristobal; Cavalli-Sforza, Violetta (Hrsg.): Proceedings of the 13th International Conference on Educational Data Mining (EDM 2020), Worcester; MA: International Educational Data Mining Society, 2020 , S. 302-312
URL:
https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_118.pdf
Dokumenttyp:
4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache:
Englisch
Schlagwörter:
Logdatei; Psychometrie; Theorie; Technologische Entwicklung; Wettbewerb; Prognose; Test; Erfolg
Abstract:
The 2nd Annual WPI-UMASS-UPENN EDM Data Minng Challenge required contestants to predict efficient test-taking based on log data. In this paper, we describe our theory-driven and psychometric modeling approach. For feature engineering, we employed the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. For training a multi-label classifier, we distinguished inefficient test takers who were going too fast and those who were going too slow, instead of using the provided binary target label. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to competition leaderboard, our approach makes two important contributions. First, we show how explainable classifiers could provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the estimation. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label's validity needs to be questioned. The paper concludes with tools that are helpful for substantively meaningful log data mining. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Zeitschriftenbeitrag
| In: Education Inquiry | 2019
38711 Endnote
Autor*innen:
Zehner, Fabian; Goldhammer, Frank; Lubaway, Emily; Sälzer, Christine
Titel:
Unattended consequences. How text responses alter alongside PISA's mode change from 2012 to 2015
In:
Education Inquiry, 10 (2019) 1, S. 34-55
DOI:
10.1080/20004508.2018.1518080
URL:
https://www.tandfonline.com/doi/pdf/10.1080/20004508.2018.1518080?needAccess=true
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
PISA <Programme for International Student Assessment>; Schülerleistungstest; Design; Veränderung; Computerunterstütztes Verfahren; Lesetest; Antwort; Text; Unterschied; Information; Relevanz; Schuljahr 09; Empirische Untersuchung; Deutschland
Abstract (english):
In 2015, the Programme for International Student Assessment (PISA) introduced multiple changes in its study design, the most extensive being the transition from paper- to computer-based assessment. We investigated the differences between German students' text responses to eight reading items from the paper-based study in 2012 to text responses to the same items from the computer-based study in 2015. Two response features - information quantity and relevance proportion - were extracted by natural language processing techniques because they are crucial indicators for the response process. Showcasing potential differential relationships, we additionally examined gender differences. Modelling effects of the round of assessment, gender, and response correctness on the response features, we analysed responses from 15-year-olds and ninth-graders in Germany. Results revealed differences in the text responses between the rounds of assessment in that students included more information overall in 2015, and the proportions of relevance varied substantially across items. As the study investigated the mode change in PISA's natural (not experimental) setting, the differences could mirror cohort trends or design changes. However, with the evidence reported, we conclude that the differences could indicate mode effects. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Zeitschriftenbeitrag
| In: Zeitschrift für Erziehungswissenschaft | 2019
39123 Endnote
Autor*innen:
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Titel:
Kollaboratives Problemlösen in PISA 2015. Deutschland im Fokus
In:
Zeitschrift für Erziehungswissenschaft, 22 (2019) 3, S. 617-646
DOI:
10.1007/s11618-019-00874-4
URN:
urn:nbn:de:0111-pedocs-176046
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-176046
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Schülerleistungstest; Fragebogen; PISA <Programme for International Student Assessment>; Internationaler Vergleich; Deutschland; OECD-Länder; Schüler; Problemlösen; Kooperation; Kompetenz; Schuljahr; Schulform; Computerunterstütztes Verfahren; Simulation; Technologiebasiertes Testen; Messverfahren; Qualität; Psychometrie; Item-Response-Theory; Skalierung
Abstract:
Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch. (DIPF/Orig.)
Abstract (english):
Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD's top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Künstliche Intelligenz. Ihr Potenzial und der Mythos des Lehrkraft-Bots
Zehner, Fabian
Zeitschriftenbeitrag
| In: Schulmanagement-Handbuch | 2019
39057 Endnote
Autor*innen:
Zehner, Fabian
Titel:
Künstliche Intelligenz. Ihr Potenzial und der Mythos des Lehrkraft-Bots
In:
Schulmanagement-Handbuch, (2019) 169, S. 6-30
URN:
urn:nbn:de:0111-pedocs-175610
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-175610
Dokumenttyp:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache:
Deutsch
Schlagwörter:
Künstliche Intelligenz; Begriff; Computer; Spracherkennung; Data Mining; Codierung; Technologie; Innovation; Unterricht; Lernen; Unterstützung; Testauswertung; E-Learning; Bildungsforschung
Abstract:
[In diesem] Kapitel legt der Autor dar, was Künstliche Intelligenz ausmacht, in welchen Bereichen wir bereits mit Künstlicher Intelligenz konfrontiert sind und wie sie schon heute in unseren Alltag integriert sind. Darauffolgend wird erläutert, wie Künstliche Intelligenz im Bildungsbereich gewinnbringend eingesetzt werden kann. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Künstliche Intelligenz in der Bildung. Ihr Potenzial und der Mythos des Lehrkraftroboters
Zehner, Fabian
Zeitschriftenbeitrag
| In: Schulmanagement | 2019
39117 Endnote
Autor*innen:
Zehner, Fabian
Titel:
Künstliche Intelligenz in der Bildung. Ihr Potenzial und der Mythos des Lehrkraftroboters
In:
Schulmanagement, 50 (2019) 2, S. 8-12
URN:
urn:nbn:de:0111-pedocs-175625
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-175625
Dokumenttyp:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache:
Deutsch
Schlagwörter:
Datenanalyse; Anwendungsbeispiel; Künstliche Intelligenz; Bildung; Begriff; Definition; Computer; Daten; Roboter; Computerunterstütztes Lernen; Lernumgebung; Anpassung; Computerprogramm; Medieneinsatz; Einflussfaktor; Lernprozess; Fernunterricht; Kooperatives Lernen; Leistungsbeurteilung; Automatisierung
Abstract:
Was kann künstliche Intelligenz wirklich? Und wie können wir sie als gewinnbringend im Bildungssektor einsetzen? Sollten wir Angst davor haben, dass der Klassenlehrer unserer Enkelkinder in wenigen Jahrzehnten eduBot heißen könnte? dieser Beitrag beleuchtet anhand verschiedener Anwendungsbeispiele, welches Potenzial tatsächlich hinter künstlicher Intelligenz streckt. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Zeitschriftenbeitrag
| In: Large-scale Assessments in Education | 2018
38503 Endnote
Autor*innen:
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Titel:
Automatically analyzing text responses for exploring gender‑specific cognitions in PISA reading
In:
Large-scale Assessments in Education, 6 (2018) 6:7
DOI:
10.1186/s40536-018-0060-3
URL:
https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-018-0060-3
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Schüler; Lesefertigkeit; Geschlechtsspezifischer Unterschied; Lesetest; Antwort; Analyse; Kognitive Prozesse; PISA <Programme for International Student Assessment>; Sekundäranalyse; Deutschland
Abstract (english):
Background: The gender gap in reading literacy is repeatedly found in large-scale assessments. This study compared girls' and boys' text responses in a reading test applying natural language processing. For this, a theoretical framework was compiled that allows mapping of response features to the preceding cognitive components such as micro- and macropropositions from the situation model. Methods: In total, n = 33,604 responses from the German sample of the Programme for International Student Assessment (PISA) 2012 reading test have been analyzed for characterizing the genders' typical cognitive approaches. The analyses mainly explored the gender gap by contrasting groups of responses typical for either gender. These gender-specific responses characterize the typical responding of the genders to PISA reading questions. Results: Responses typical for girls contained three to five more proposition entities from the situation model, irrespective of the response correctness. They integrated more relevant propositions and constituted better fits to the question focus. That means, in answering questions which ask for explicit information from the stimulus text, the typical girl responses appropriately encompassed more micropropositions, and typical boy responses tended to include more macropropositions-vice versa for questions requesting implicit information. Conclusion: It appears that typical boy responses to PISA reading questions are characterized by struggling with retrieving and integrating propositions from the situation model. The typical girl liberally juggles these to formulate the responses. The results demonstrate that text responses are a neglected but informative source for educational large-scale assessments made accessible through natural language processing.
DIPF-Abteilung:
Bildungsqualität und Evaluation
What to make of and how to interpret process data
Goldhammer, Frank; Zehner, Fabian
Zeitschriftenbeitrag
| In: Measurement: Interdisciplinary Research and Perspectives | 2017
38066 Endnote
Autor*innen:
Goldhammer, Frank; Zehner, Fabian
Titel:
What to make of and how to interpret process data
In:
Measurement: Interdisciplinary Research and Perspectives, 15 (2017) 3/4, S. 128-132
DOI:
10.1080/15366367.2017.1411651
URN:
urn:nbn:de:0111-dipfdocs-192082
URL:
http://www.dipfdocs.de/volltexte/2020/19208/pdf/Measurement_2017_3-4_Goldhammer_Zehner_What_to_make_of_and_how_to_interpret_process_data_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Technologiebasiertes Testen; Kognitive Kompetenz; Testdurchführung; Kognitive Prozesse; Datenanalyse; Indikator; Interpretation; Validität
Abstract (english):
Maddox (2017) argues that respondents' talk and gesture during an assessment inform researchers how a response product has evolved. Indeed, how a task is performed represents key information for psychological and educational assessment. [...] Recently, process data has increasingly gained attention in cognitive ability testing given the digitalization of measurement and the possibility of exploiting log file data. [...] As shown by Maddox for large-scale assessments, even talk and gesture can be regarded as useful process data. In this case, the process data is not only video-recorded but also observed by the interviewer in situ; the interviewer interactively uses it to influence the test-taking process and to reduce construct-irrelevant variance. Thus, like product data (e.g., scores), process data is used to draw inferences. We argue in the following that the interpretation and use of process data and derived indicators require validation, just as product data do (Kane, 2013). This theoretical background, including some examples about log file data, sets the ground for our comments on Maddox's use of "talk and gesture as process data." (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Verschiedenartige Dokumente
| 2017
37966 Endnote
Autor*innen:
Zehner, Fabian; Weis, Mirjam; Vogel, Freydis; Leutner, Detlev; Reiss, Kristina
Titel:
Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland
Erscheinungsvermerk:
München: Technische Universität München; Zentrum für internationale Bildungsvergleichsstudien, 2017
DOI:
10.14459/2017md1401788
URL:
https://mediatum.ub.tum.de/download/1401788/1401788.pdf
Dokumenttyp:
5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Sprache:
Deutsch
Schlagwörter:
Deutschland; Jugendlicher; Problemlösen; Kooperation; Kompetenz; Messung; Computerunterstütztes Verfahren; Test; Geschlechtsspezifischer Unterschied; Schulform; PISA <Programme for International Student Assessment>; Internationaler Vergleich
DIPF-Abteilung:
Bildungsqualität und Evaluation
Automatic processing of text responses in large-scale assessments
Zehner, Fabian
Monographie
| München: mediaTUM | 2016
36670 Endnote
Autor*innen:
Zehner, Fabian
Titel:
Automatic processing of text responses in large-scale assessments
Erscheinungsvermerk:
München: mediaTUM, 2016
URN:
urn:nbn:de:bvb:91-diss-20160803-1296326-1-7
URL:
http://mediatum.ub.tum.de/1077988?show_id=1296326
Dokumenttyp:
1. Monographien (Autorenschaft); Monographie
Sprache:
Englisch
Schlagwörter:
Automatisierung; Codierung; Computer; Geschlechtsspezifischer Unterschied; Mensch; Software; Vergleich; Vergleichsuntersuchung
Abstract:
Beim automatischen Kodieren von Kurztextantworten kategorisiert ein Computer Antworten. In dieser Arbeit wurde eine Software entwickelt, die (i) Textantworten in semantisch homogene Typen gruppiert, (ii) diese Typen kodiert, und (iii) Merkmale extrahiert. Die Ergebnisse zeigen eine annehmbare bis exzellente Übereinstimmung zur menschlichen Kodierung (76-98 %) bei 41.990 Antworten. Zwei weitere Studien zeigen, wie die Software den Erhebungsprozess und inhaltliche Forschung weiterbringen kann. (DIPF/Orig.)
Abstract (english):
{Abstract_englisch}
DIPF-Abteilung:
Bildungsqualität und Evaluation
Markierungen aufheben
Alle Treffer markieren
Export
<
1
2
(aktuell)
3
>
Alle anzeigen
(24)