Menü Überspringen
Contact
Deutsch
English
Not track
Data Protection
Search
Log in
DIPF News
Research
Infrastructures
Institute
Zurück
Contact
Deutsch
English
Not track
Data Protection
Search
Home
>
Research
>
Publications
>
Publications Data Base
Search results in the DIPF database of publications
Your query:
(Personen: "Goldhammer," und "Frank")
Advanced Search
Search term
Only Open Access
Search
Unselect matches
Select all matches
Export
133
items matching your search terms.
Show all details
Automatic coding of short text responses via clustering in educational assessment
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Journal Article
| In: Educational and Psychological Measurement | 2016
35473 Endnote
Author(s):
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Title:
Automatic coding of short text responses via clustering in educational assessment
In:
Educational and Psychological Measurement, 76 (2016) 2, S. 280-303
DOI:
10.1177/0013164415590022
URN:
urn:nbn:de:0111-pedocs-149795
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-149795
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Antwort; Automatisierung; Codierung; Computerlinguistik; Leistungstest; Methode; PISA <Programme for International Student Assessment>; Software; Technologiebasiertes Testen; Testkonstruktion
Abstract:
Automatic coding of short text responses opens new doors in assessment. We implemented and integrated baseline methods of natural language processing and statistical modelling by means of software components that are available under open licenses. The accuracy of automatic text coding is demonstrated by using data collected in the Programme for International Student Assessment (PISA) 2012 in Germany. Free text responses of 10 items with Formula responses in total were analyzed. We further examined the effect of different methods, parameter values, and sample sizes on performance of the implemented system. The system reached fair to good up to excellent agreement with human codings Formula Especially items that are solved by naming specific semantic concepts appeared properly coded. The system performed equally well with Formula and somewhat poorer but still acceptable down to Formula Based on our findings, we discuss potential innovations for assessment that are enabled by automatic coding of short text responses. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Kompetenzmessung in PISA 2015
Heine, Jörg-Henrik; Mang, Julia; Borchert, Lars; Gomolka, Jens; Kröhne, Ulf; Goldhammer, Frank; […]
Book Chapter
| Aus: Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2015: Eine Studie zwischen Kontinuität und Innovation | Münster: Waxmann | 2016
36758 Endnote
Author(s):
Heine, Jörg-Henrik; Mang, Julia; Borchert, Lars; Gomolka, Jens; Kröhne, Ulf; Goldhammer, Frank; Sälzer, Christine
Title:
Kompetenzmessung in PISA 2015
In:
Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2015: Eine Studie zwischen Kontinuität und Innovation, Münster: Waxmann, 2016 , S. 383-430
URL:
https://www.pedocs.de/volltexte/2017/14020/pdf/PISA_2015_eine_Studie_zwischen_Kontinuitaet_und_Innovation.pdf#page=384
Publication Type:
4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Aufgabe; Computerunterstütztes Verfahren; Datenanalyse; Datenerfassung; Design; Interpretation; Kompetenz; Konzeption; Messung; Methode; Modell; PISA <Programme for International Student Assessment>; Psychometrie; Schwierigkeit; Stichprobe; Testauswertung
Abstract:
PISA 2015 setzt bei der Auswahl der Stichprobe von Jugendlichen sowohl im nationalen als auch im internationalen Kontext auf die bewährten Verfahren vorheriger Runden. Auch die Prinzipien der Erstellung von Aufgaben sind im Wesentlichen gleich geblieben. Insbesondere in methodischer Hinsicht gibt es im Rahmen der Studie allerdings verschiedene Neuerungen, die bei der Interpretation der Ergebnisse zu beachten sind. Konkret gibt es Änderungen in Bezug auf den Modus der Erhebung der Daten, die Ziehung der Stichprobe, die Aufbereitung des Testmaterials zur Kompetenzmessung und die statistische Auswertung der Daten anhand eines psychometrischen Modells. Bei der quasi-längsschnittlichen Interpretation der Ergebnisse vor dem Hintergrund vergangener PISA-Runden müssen diese Aspekte entsprechend bedacht werden. Zwei neue Aspekte, die hervorgehoben werden sollten, sind der Einsatz des Computers bei der Bearbeitung von Testaufgaben und die Anwendung des 2-Parameter-Logistischen-Modells (2-PL-Modell) bei der Skalierung und Auswertung der Daten. Mit der Einführung der computerbasierten Datenerhebung ist eine veränderte Zusammenstellung des Testmaterials verbunden. Zur Bestimmung der Schwierigkeit der PISA-Aufgaben (Itemkalibrierung) wurde bei der aktuellen Runde mit der sogenannten Concurrent Item Calibration ein gegenüber früherer Runden anderes Verfahren eingesetzt. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Data-driven analyses of electronic text books
Boubekki, Ahcène; Kröhne, Ulf; Schreiber, Waltraud; Goldhammer, Frank; Brefeld, Ulf
Book Chapter
| Aus: Michaelis, Stefan;Piatkowski, Nico;Stolpe, Marco (Hrsg.): Solving large scale learning tasks: Challenges and algorithms; Essays dedicated to Katharina Morik on the occasion of her 60th birthday | Cham: Springer | 2016
37075 Endnote
Author(s):
Boubekki, Ahcène; Kröhne, Ulf; Schreiber, Waltraud; Goldhammer, Frank; Brefeld, Ulf
Title:
Data-driven analyses of electronic text books
In:
Michaelis, Stefan;Piatkowski, Nico;Stolpe, Marco (Hrsg.): Solving large scale learning tasks: Challenges and algorithms; Essays dedicated to Katharina Morik on the occasion of her 60th birthday, Cham: Springer, 2016 (Lecture notes in computer science, 9580), S. 362-376
DOI:
10.1007/978-3-319-41706-6_20
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Englisch
Abstract:
We present data-driven log file analyses of an electronic text book for history called the mBook to support teachers in preparing lessons for their students. We represent user sessions as contextualised Markov processes of user sessions and propose a probabilistic clustering using expectation maximisation to detect groups of similar (i) sessions and (ii) users. We compare our approach to a standard K-means clustering and report on findings that may have a direct impact on preparing and revising lessons. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation; Informationszentrum Bildung
ICT engagement in learning environments
Goldhammer, Frank; Gniewosz, Gabriela; Zylka, Johannes
Book Chapter
| Aus: Kuger,Susanne;Klieme,Eckhard;Jude,Nina;Kaplan,David (Hrsg.): Assessing contexts of learning: An international perspective | Cham: Springer | 2016
36716 Endnote
Author(s):
Goldhammer, Frank; Gniewosz, Gabriela; Zylka, Johannes
Title:
ICT engagement in learning environments
In:
Kuger,Susanne;Klieme,Eckhard;Jude,Nina;Kaplan,David (Hrsg.): Assessing contexts of learning: An international perspective, Cham: Springer, 2016 (Methodology of educational measurement and assessment), S. 331-351
DOI:
10.1007/978-3-319-45357-6_13
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Englisch
Keywords:
Digitalisierung; Informationsgesellschaft; Informationstechnologie; Lernen; Lernumgebung; Computerunterstütztes Lernen; Informationstechnologische Bildung; Informationskompetenz; Selbstbestimmung; Motivation; Verhalten; Kognition; Interesse; Kompetenz; Autonomie; Soziale Interaktion; Wahrnehmung
Abstract:
Learning throughout the life span relies more and more on using information and communication technology (ICT) to acquire new knowledge and skills in both formal and informal learning environments. Thus, learning to use ICT and using ICT to learn have become major premises for successful participation in educational, professional, social, cultural, and civic life. To keep pace with the rapid development of ICT, people need to be able to update their ICT knowledge and skills continuously. A major conditioning personal characteristic that affects the development and adaptation of ICT skills in a self-regulated way is considered to be ICT engagement. This chapter descibes the conceptual origins of this multifaceted construct. At the behavioral level it represents the use of ICT in various contexts, such as at home or school. Most importantly, from a cognitive-motivational perspective it covers the factors that foster the self-determined and self-regulated use of ICT, such as interest in ICT, ICT self-concept, perceived autonomy in ICT use, and social relatedness in using ICT. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Book Chapter
| Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016
36590 Endnote
Author(s):
Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Title:
Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
In:
Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 48-62
URL:
https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=50
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Bildungsstandards; Kompetenz; Konzeption; Lernen; Naturwissenschaftlicher Unterricht; PISA <Programme for International Student Assessment>; Problemlösen; Projekt; Schüler; Schülerleistung; Schülerleistungstest; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion
Abstract:
In den letzten beiden Dekaden wurde eine Reihe von Large-Scale-Assessments (LSA) auf internationaler Ebene initiiert. Zentrale Aufgabe solcher LSA ist das Bildungsmonitoring - untersucht wird also, ob und inwieweit politisch gesetzte Bildungsziele erreicht werden konnten bzw. in welchen zentralen Kompetenzbereichen besondere Stärken oder Schwächen zu beobachten sind. Konzipiert als groß angelegte Befragungen und Testungen von Schülerinnen und Schülern, geben LSA empirisch fundiertes Feedback zu Bildungssystemen auf nationaler und - zum Teil - internationaler Ebene. Dabei hatten und haben LSA einen großen Einfluss auf die Bildungspolitik und Bildungsforschung. Da LSA vornehmlich bildungspolitisch ausgerichtet sind, sind zusätzliche begleitende Forschungsanstrengungen nötig, um die gesammelten Daten für die Bildungsforschung tiefer gehend zu erschließen - Forschungsanstrengungen wie die des LSA004-Projektes zum komplexen Problemlösen im Kontext von LSA. Im Weiteren geben wir einen kombinierten und breiteren Überblick über Befunde zum komplexen Problemlösen aus der PISA-Studie und aus dem LSA004-Projekt. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Computergestützte, adaptive und verhaltensnahe Erfassung informations- und […]
Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; […]
Book Chapter
| Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016
36592 Endnote
Author(s):
Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; Goldhammer, Frank; Naumann, Johannes; Forz, Holger
Title:
Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikations-technologiebezogener Fertigkeiten (ICT-Skills) (CavE-ICT)
In:
Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 161-180
URL:
https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=163
Publication Type:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Adaptives Testen; Computerunterstütztes Verfahren; Deutschland; Entwicklung; Fertigkeit; Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Messung; Projekt; Testkonstruktion
Abstract:
2011 startete das Bundesministerium für Bildung und Forschung (BMBF) die Initiative zur Förderung von Forschungsvorhaben in Ankopplung an Large-Scale-Assessments (LSA). Large-Scale-Assessments werden als wichtige Instrumente des Bildungsmonitorings angesehen (z.B. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland [KMK], 2006). Mit der Ausschreibung der Förderinitiative werden Forschungsaktivitäten unterstützt, die neben Fragestellungen zur Kompetenzdiagnostik Testkonzeption und Methoden ständig zu verbessern suchen, weitere Domänen, Kompetenzen und Bedienungsfelder erschließen und in angemessener Weise modellieren wollen. Das Projekt "Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikationstechnologiebezogener Fertigkeiten (ICT-Skills)" (CavE-ICT) war in der genannten Initiative angesiedelt. Es widmete sich der Entwicklung eines computergestützten Testverfahrens zur simulationsbasierten Erfassung von informations- und kommunikationstechnologiebezogenen Fertigkeiten. Im vorliegenden Beitrag werden die zentralen Ergebnisse der Testentwicklung dargelegt. Der Einsatz des entwickelten Testinstruments kann im Kontext von Large-Scale-Assessments, aber auch zur Individualdiagnostik erfolgen. Der Test ist zudem potenziell adaptiv einsetzbar und beruht auf einer soliden theoretischen Basis. CavE-ICT war ein Kooperationsprojekt zwischen der Goethe-Universität Frankfurt am Main, dem Deutschen Institut für Internationale Pädagogische Forschung in Frankfurt am Main und der Friedrich-Schiller-Universität Jena. Die übergeordnete "Vision" des Projekts bestand in der Entwicklung eines computerbasierten, verhaltensnahen sowie adaptiven Instruments zur Messung von ICT-Skills, das bei künftigen (internationalen) Large-Scale-Assessments, wie etwa PISA, dem nationalen Bildungspanel (NEPS; Artelt, Weinert & Carstensen, 2013) oder der International Computer and Information Literacy Study (ICILS; Bos et al., 2014), Verwendung finden kann. Die Struktur des [...] Beitrags orientiert sich am Projektablauf. Zunächst wird die theoretische Rahmenkonzeption vorgestellt (Kapitel 2), auf deren Basis der computerisierte Test entwickelt wurde. Anschließend wird der Prozess der Itementwicklung skizziert (Kapitel 3) und schließlich die Erprobung der entwickelten Items im Rahmen der Kalibrierungsstudie dargestellt (Kapitel 4). Abschließend wird ein kurzes Fazit gezogen und ein Ausblick gegeben (Kapitel 5). (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Test-taking engagement in PIAAC
Goldhammer, Frank; Martens, Thomas; Christoph, Gabriela; Lüdtke, Oliver
Working Papers
| 2016
36259 Endnote
Author(s):
Goldhammer, Frank; Martens, Thomas; Christoph, Gabriela; Lüdtke, Oliver
Title:
Test-taking engagement in PIAAC
Published:
Paris: OECD, 2016
DOI:
10.1787/5jlzfl6fhxs2-en
URL:
http://www.oecd-ilibrary.org/education/test-taking-engagement-in-piaac_5jlzfl6fhxs2-en
Publication Type:
5. Arbeits- und Diskussionspapiere; Arbeits- und Diskussionspapier (keine besondere Kategorie)
Language:
Englisch
Keywords:
Antwort; Frage; Internationaler Vergleich; PIAAC <Programme for the International Assessment of Adult Competencies>; Test; Thema; Verhalten; Zeit
Abstract (english):
In this study, we investigated how empirical indicators of test-taking engagement can be defined, empirically validated, and used to describe group differences in the context of the Programme of International Assessment of Adult Competences (PIAAC). The approach was to distinguish between disengaged and engaged response behavior by means of response time thresholds. Constant thresholds of 3000 ms and 5000 ms were considered, as well as item-specific thresholds based on the visual inspection of (bimodal) response time distributions (VI method) and the proportion correct conditional on response time (P+>0% method). Overall, the validity checks comparing the proportion correct of engaged and disengaged response behavior by domain and by item showed that the P+>0% method performed slightly better than the VI method and the methods assuming constant thresholds. The results for Literacy and Numeracy by module revealed that there was an increase from Module 1 to Module 2 in the proportion of disengaged responses, suggesting a drop in test-taking engagement. The investigation of country differences in test-taking engagement by domain using the P+>0% method showed that the proportion of responses classified as disengaged was quite low. For Literacy, the proportion was well below 5% for the majority of countries; in Numeracy, the proportion was even smaller than 1% for almost all countries; while for Problem solving, the proportion of disengaged responses was more than 5% but usually well below 10%. There were significant differences in test-taking engagement between countries; the obtained effect sizes were small to medium. Population differences in test-taking engagement were highly correlated between the three domains, suggesting that test-taking engagement can be conceived as a consistent characteristic. Furthermore, there was a clear negative association between test-taking disengagement and proficiency in Literacy, Numeracy and Problem solving, respectively. Finally, subgroup differences for gender, age, educational attainment, and language proved to be insignificant or very small. Results suggest that males tend to be more disengaged, that disengagement increases with age in Problem solving, with lower educational attainment and when the test language is not the same as a testee's native language. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Adolescents' computer performance. The role of self-concept and motivational aspects
Christoph, Gabriela; Goldhammer, Frank; Zylka, Johannes; Hartig, Johannes
Journal Article
| In: Computers & Education | 2015
34959 Endnote
Author(s):
Christoph, Gabriela; Goldhammer, Frank; Zylka, Johannes; Hartig, Johannes
Title:
Adolescents' computer performance. The role of self-concept and motivational aspects
In:
Computers & Education, 81 (2015) , S. 1-12
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Baden-Württemberg; Computer; Datenanalyse; Deutschland; Geschlecht; Informations- und Kommunikationstechnologie; Interesse; Jugendlicher; Kompetenz; Leistung; Motivation; Psychometrie; Sekundarbereich; Selbstkonzept; Soziales Handeln; Strukturgleichungsmodell; Wissen
Abstract:
This study focuses on the correlational structure between adolescents' computer self-concept and different computer-related performance outcomes, following expectancy-value theory (e.g. Wigfield & Eccles, 2000). More specifically, computer interest and ICT-related social engagement were considered as mediators by which the link of computer self-concept and basic computer skills as well as theoretical computer knowledge should be established. Extending this research, the role of gender was additionally examined, testing the extent to which the proposed structural patterns are similar or dissimilar. Based on a sample of 445 German secondary school boys and girls, we applied latent mediation as well as group-based analysis. Results showed that computer self-concept plays a significant role in regard to ICT-related motivational characteristics and computer performance outcomes. As to basic computer skills, the self-concept to performance relation was mediated by computer interest but not by ICT-related social engagement. Regarding the computer self-concept to theoretical computer knowledge relation, only ICT-related social engagement (not computer interest) emerged as a significant mediator. Exploring the role of gender, a gender-specific rather than a gender-invariant model seems better applicable. Thus, mean-level differences as well as differences in the underlying correlational structure could be asserted. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Measuring ability, speed, or both? Challenges, psychometric solutions, and what can be gained from […]
Goldhammer, Frank
Journal Article
| In: Measurement: Interdisciplinary Research and Perspectives | 2015
35894 Endnote
Author(s):
Goldhammer, Frank
Title:
Measuring ability, speed, or both? Challenges, psychometric solutions, and what can be gained from experimental control
In:
Measurement: Interdisciplinary Research and Perspectives, 13 (2015) 3/4, S. 133-164
DOI:
10.1080/15366367.2015.1100020
URN:
urn:nbn:de:0111-dipfdocs-192142
URL:
http://www.dipfdocs.de/volltexte/2020/19214/pdf/Measurement_2015_3-4_Goldhammer_Measuring_ability_speed_or_both_A.pdf
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Antwort; Experiment; Fähigkeit; Kontrolle; Messung; Psychometrie; Test; Zeit
Abstract:
The main challenge of ability tests relates to the difficulty of items, whereas speed tests demand that test takers complete very easy items quickly. This article proposes a conceptual framework to represent how performance depends on both between-person differences in speed and ability and the speed-ability compromise within persons. Related measurement challenges and psychometric models that have been proposed to deal with the challenges are discussed. It is argued that addressing individual differences in the speed-ability trade-off requires the control of item response times. In this way, response behavior can be captured exclusively with the response variable remedying problems in traditional measurement approaches. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
More is not always better. The relation between item response and item response time in Raven's […]
Goldhammer, Frank; Naumann, Johannes; Greiff, Samuel
Journal Article
| In: Journal of Intelligence | 2015
35388 Endnote
Author(s):
Goldhammer, Frank; Naumann, Johannes; Greiff, Samuel
Title:
More is not always better. The relation between item response and item response time in Raven's matrices
In:
Journal of Intelligence, 3 (2015) 41, S. 21-40
DOI:
10.3390/jintelligence3010021
URN:
urn:nbn:de:0111-dipfdocs-154359
URL:
http://www.dipfdocs.de/volltexte/2020/15435/pdf/J_Intell_2015_1_Goldhammer_Naumann_Greiff_More_is_not_always_better_A.pdf
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch; Deutsch
Keywords:
Antwort; Datenanalyse; Denken; Einflussfaktor; Fehler; Matrizentest; Schwierigkeit; Wirkung; Zeit
Abstract:
The role of response time in completing an item can have very different interpretations. Responding more slowly could be positively related to success as the item is answered more carefully. However, the association may be negative if working faster indicates higher ability. The objective of this study was to clarify the validity of each assumption for reasoning items considering the mode of processing. A total of 230 persons completed a computerized version of Raven's Advanced Progressive Matrices test. Results revealed that response time overall had a negative effect. However, this effect was moderated by items and persons. For easy items and able persons the effect was strongly negative, for difficult items and less able persons it was less negative or even positive. The number of rules involved in a matrix problem proved to explain item difficulty significantly. Most importantly, a positive interaction effect between the number of rules and item response time indicated that the response time effect became less negative with an increasing number of rules. Moreover, exploratory analyses suggested that the error type influenced the response time effect. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Unselect matches
Select all matches
Export
<
1
...
9
10
11
...
14
>
Show all
(133)