Menü Überspringen
Contact
Deutsch
English
Not track
Data Protection
Search
Log in
DIPF News
Research
Infrastructures
Institute
Zurück
Contact
Deutsch
English
Not track
Data Protection
Search
Home
>
Research
>
Publications
>
Publications Data Base
Search results in the DIPF database of publications
Your query:
(Personen: "Goldhammer," und "Frank")
Advanced Search
Search term
Only Open Access
Search
Unselect matches
Select all matches
Export
133
items matching your search terms.
Show all details
Moving beyond cognitive elements of ICT literacy. First evidence on the structure of ICT engagement
Zylka, Johannes; Christoph, Gabriela; Kröhne, Ulf; Hartig, Johannes; Goldhammer, Frank
Journal Article
| In: Computers in Human Behavior | 2015
35600 Endnote
Author(s):
Zylka, Johannes; Christoph, Gabriela; Kröhne, Ulf; Hartig, Johannes; Goldhammer, Frank
Title:
Moving beyond cognitive elements of ICT literacy. First evidence on the structure of ICT engagement
In:
Computers in Human Behavior, 53 (2015) , S. 149-160
DOI:
10.1016/j.chb.2015.07.008
URN:
urn:nbn:de:0111-pedocs-179844
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-179844
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Befragung; Deutschland; Digitale Medien; Empirische Untersuchung; Faktorenanalyse; Informations- und Kommunikationstechnologie; Interesse; Jugendlicher; Medienkompetenz; Mediennutzung; Medienverhalten; Metakognition; Motivation; Selbstkonzept; Soziale Interaktion
Abstract:
The use of Information and Communication Technology (ICT) is of immense importance in today's digital knowledge society. As a basis for private and vocational participation in society, ICT literacy has been widely discussed in recent decades. Although motivational and metacognitive facets play an important role in developing ICT literacy and competence, studies assessing media, computer or ICT literacy often fail to present a comprehensive concept on these motivational and metacognitive facets. This article addresses this issue by integrating them into the concept of ICT engagement. Its theoretically deduced dimensions of ICT-related interest, self-concept related to the use of ICT, and social exposure to ICT were analyzed in an explorative study assessing N = 445 students aged between 14 and 17 years in the German federal state of Baden-Wuerttemberg. The obtained dimensional structure included the assumed factors, and suggested to distinguish a positive and a negative self-concept on using ICT as well as to separate interest in computers and interest in mobile devices factor. The ICT engagement dimensions were related to individual differences in behavioral, cognitive and emotional ICT constructs as expected. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Toward data-driven analyses of electronic text books
Boubekki, Ahcène; Kröhne, Ulf; Goldhammer, Frank; Schreiber, Waltraut; Brefeld, Ulf
Book Chapter
| Aus: Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.; Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A.; Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain | Madrid: International Educational Data Mining Society | 2015
35624 Endnote
Author(s):
Boubekki, Ahcène; Kröhne, Ulf; Goldhammer, Frank; Schreiber, Waltraut; Brefeld, Ulf
Title:
Toward data-driven analyses of electronic text books
In:
Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.; Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A.; Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain, Madrid: International Educational Data Mining Society, 2015 , S. 592-593
URL:
http://www.educationaldatamining.org/EDM2015/proceedings/poster592-593.pdf
Publication Type:
4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language:
Englisch
Keywords:
Analyse; Belgien; Elektronisches Buch; Empirische Untersuchung; Geschichtsunterricht; Logdatei; Nutzerverhalten; Nutzung; Schulbuch; Typologie
Abstract (english):
We present data-driven log file analyses of an electronic text book for history, called the mBook, to support teachers in preparing lessons for their students. We represent user sessions as contextualised Markov processes of user sessions and propose a probabilistic clustering using expectation maximisation to detect groups of similar (i) sessions and (ii) users. (DIPF/Orig.)
DIPF-Departments:
Informationszentrum Bildung
Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten
Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko
Book Chapter
| Aus: Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung | Frankfurt am Main: Lang | 2015
35596 Endnote
Author(s):
Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko
Title:
Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten
In:
Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung, Frankfurt am Main: Lang, 2015 , S. 111-132
URL:
http://www.peterlang.com/index.cfm?event=cmp.ccc.seitenstruktur.detailseiten&seitentyp=produkt&pk=83370&concordeid=265709
Publication Type:
4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language:
Deutsch
Keywords:
Antwort; Aufgabe; Automatisierung; Datenanalyse; Kognitive Kompetenz; Kompetenzerwerb; Leistung; PIAAC <Programme for the International Assessment of Adult Competencies>; Regressionsanalyse; Technologiebasiertes Testen; Teilnehmer; Test; Testdurchführung; Wissen; Zeit
Abstract:
Prozessbezogene Verhaltensdaten aus computerbasierten Large Scale Assessments bieten neue Möglichkeiten zur Beschreibung des Bearbeitungsprozesses von Testteilnehmern. Dazu gehört auch die Anwendung von prozeduralem Wissen bei der Aufgabenbearbeitung. Prozedurales Wissen ist Wissen darüber, wie Tätigkeiten ausgeführt werden. Dabei nimmt mit zunehmender Expertise der Automatisierungsgrad prozeduralen Wissens zu, was anspruchsvollere kognitive Leistungen ermöglicht. Testteilnehmer brauchen zum Lösen komplexer Probleme unter anderem prozedurales Wissen und werden sich dabei im Grad der Automatisierung dieses Wissens unterscheiden. In dieser Studie wird ein Indikator für Automatisierung anhand aggregierter Testteilnehmerinteraktionen aus Protokolldaten extrahiert. Hierfür werden Daten aus dem computerbasierten Teil des 'Programme for the International Assessment of Adult Competencies' (PIAAC) genutzt. Basierend auf theoretischen Annahmen zum Kompetenzerwerb werden basale Teilaufgaben identifiziert, für die der individuelle Grad an Automatisierungen durch zeitbasierte Indikatoren erfasst wird. Anschließend werden logistische Regressionen berechnet, um die Beziehung dieser Indikatoren zur Wahrscheinlichkeit, mit der eine Aufgabe gelöst wird, zu ermitteln. Die Ergebnisse zeigen erwartungsgemäß einen negativen Zusammenhang zwischen der Lösungswahrscheinlichkeit einer Problemlöseaufgabe und der Geschwindigkeit bei der Bearbeitung basaler Teilaufgaben.
Abstract (english):
In educational research there are new ways of answering research questions through the use of behavioral process data. Behavioral process data gives detailed insight into the problem solving behavior of each test taker, including the activation of procedural knowledge. Procedural knowledge means knowing how to solve a task. With a higher degree of experience this kind of knowledge will become more automated and allows persons to successfully engage in more demanding cognitive tasks. Problem Solving requires this automation in procedural knowledge and test takers will differ in their degree of automation. This study shows how the degree of automation is related to success in problem solving tasks. To this end, we use data from the 'Programme for the International Assessment of Adult Competencies' (PIAAC). We first identify routine steps in PIAAC problem solving tasks that can be accomplished by activation of automated procedural knowledge. We measure the degree of automation through the time subjects need to take these routine steps. Logistic regression models are used to calculate the relation between the time taken and the probability of success on the task. First results show that indeed probability of success is highest, when subjects need only little time to take routine steps, presumably due to a high degree of automation.
DIPF-Departments:
Bildungsqualität und Evaluation; Informationszentrum Bildung
Using and improving coding guides for and by automatic coding of PISA short text responses
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Book Chapter
| Aus: IEEE ICDM Workshop (Hrsg.): Proceedings of the IEEE ICDM Workshop on Data Mining for Educational Assessment and Feedback (ASSESS 2015) | Atlantic City; NJ: Institute of Electrical and Electronics Engineers | 2015
35884 Endnote
Author(s):
Zehner, Fabian; Goldhammer, Frank; Sälzer, Christine
Title:
Using and improving coding guides for and by automatic coding of PISA short text responses
In:
IEEE ICDM Workshop (Hrsg.): Proceedings of the IEEE ICDM Workshop on Data Mining for Educational Assessment and Feedback (ASSESS 2015), Atlantic City; NJ: Institute of Electrical and Electronics Engineers, 2015 , S. 1-8
URL:
http://www.aspiringminds.com/assess/2015/papers/PID3896317.pdf
Publication Type:
4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language:
Englisch
Keywords:
Antwort; Codierung; PISA <Programme for International Student Assessment>; Regel <Richtlinie>; Text
Abstract (english):
We propose and empirically evaluate a theoretical framework of how to use coding guides for automatic coding (scoring) and how, in turn, automatic coding can enhance the use of coding guides. We adopted a recently described baseline approach to automatically classify responses. Well-established coding guides from PISA, comprising reference responses, and its German sample from 2012 were used for evaluation. Ten items with 41,990 responses at total were analyzed. Results showed that (1) responses close to the cluster centroid constitute prototypes, (2) automatic coding can improve coding guides, while (3) the proposed procedure leads to unreliable accuracy for small numbers of clusters but promising agreement to human coding for higher numbers. Further analyses are still to be done to find the optimal balance of the implied coding effort and model accuracy. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und […]
Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; […]
Working Papers
| 2015
36844 Endnote
Author(s):
Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger
Title:
Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fähigkeiten (ICT-Skills) in PISA. Projekt CavE - ICT - PISA; Schlussbericht
Published:
Frankfurt am Main: Universitätsbibliothek; Technische Informationsbibliothek, 2015
DOI:
10.2314/GBV:838771823
URL:
http://edok01.tib.uni-hannover.de/edoks/e01fb15/838771823.pdf
Publication Type:
5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Language:
Deutsch
Keywords:
Adaptives Testen; Computerunterstütztes Verfahren; Fähigkeit; Forschungsprojekt; Informations- und Kommunikationstechnologie; Messverfahren; PISA <Programme for International Student Assessment>; Projektbericht; Skalierung; Testkonstruktion; Validität
Abstract:
Mit dem Projektvorhaben CavE-ICT-PISA sollten Konstrukte und Erhebungsverfahren im Kontext der internationalen PISA Option ICT Familiarity Questionnaire weiterentwickelt werden. Ziel dabei war es zunächst eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills zu schaffen und darauf aufbauend eine verhaltensbasierten und computerisierten ICT-Test zu entwickeln und zu erproben. In diesem Sinne wurde zunächst ein theoretisches Framework erstellt, das auf Basis einer Synthese bestehender Frameworks dazu verwendet wurde Testitems zu entwickeln. Es wurden 70 funktionsfähige Items in einem umfangreichen Qualitätssicherungsprozess entwickelt, computerisiert und verhaltensbasiert in Simulationsumgebungen implementiert. Die entwickelten Items können mit einem Werkzeug in verschiedene Sprachen übersetzt werden und sind damit auch international einsetzbar. Die Testadministration erfolgte, unter Nutzung von USB-Sticks, an insgesamt 33 Schulen, deren IT-Ausstattung zuvor hinsichtlich spezifischer Leistungsanforderungen geprüft wurde. Die Stichprobe besteht aus 983 15jährigen Schülerinnen und Schülern. Auf Basis der Kalibrierungsergebnisse der ICT-Items wurden 64 Aufgaben für den endgültigen ICT-Test selektiert, welcher eine Reliabilität von .80 erreicht. Bei der Berechnung der Kompetenzverteilung wurden zudem latente Zusammenhänge mit Variablen wie Alter, Geschlecht oder Computernutzung, berücksichtigt. Eine verkürzte Version des ICT-Tests, wie auch ein adaptiver Testalgorithmus wurden unter Nutzung von Monte-Carlo-Simulationsstudien erprobt. Insgesamt kann festgehalten werden, dass im Rahmen von CavE-ICT-PISA innerhalb eines kurzen Zeitrahmens ein Testinstrument auf höchstem internationalem Standard konstruiert und zum Einsatz gebracht wurde. Der entstandene ICT-Test könnte auch als Kurzversion oder adaptiv, beispielsweise in computerbasierten Messungen als Kontrollvariable zum Einsatz kommen. (DIPF/Orig.)
Abstract (english):
Goal of the project CavE-ICT-PISA was to develop constructs and assessment instruments in the context of PISA further, based on the optional ICT Familiarity Questionnaire. The first partial goal aimed to corroborate the construct ICT-Skills more theoretically and to develop a behavior-related and computer-based test. With this in mind a theoretical framework concept was prepared based on a synthesis of existing frameworks including several feedback loops for optimization and implemented fully functional in simulation environment. The items can be translated in other languages, thus the test is international applicable. The test was delivered on USB flash drives at 33 German schools, after the schools were selected regarding their readiness of soft- and hardware. The sample consists of 983 15 year old students. Based on the study results, 64 items were selected for the final item pool, which has a reliability of .80. For the ability distribution, latent relations to variables like age, sex and computer experience were modeled. A shorter version of the test as well as an adaptive test algorithm was developed using Monte-Carlo-simulations. Thus, the goal of the project to develop and apply an assessment instrument in line with international standards was met. The developed test can be used as a short version or adaptive test für instance to control in computer-based assessments for ICT-skills. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
ICILS 2013. Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern in der 8. […]
Bos, Wilfried; Eickelmann, Birgit; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; […] (Hrsg.)
Compilation Book
| Münster: Waxmann | 2014
35042 Endnote
Editor(s)
Bos, Wilfried; Eickelmann, Birgit; Gerick, Julia; Goldhammer, Frank; Schaumburg, Heike; Schwippert, Knut; Senkbeil, Martin; Schulz-Zander, Renate; Wendt, Heike
Title:
ICILS 2013. Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern in der 8. Jahrgangsstufe im internationalen Vergleich
Published:
Münster: Waxmann, 2014
URL:
http://www.waxmann.com/fileadmin/media/zusatztexte/ICILS_2013_Berichtsband.pdf
Publication Type:
2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Computernutzung; Computerunterstütztes Lernen; Deutschland; Geschlechtsspezifischer Unterschied; Informationskompetenz; International Association for the Evaluation of Educational Achievement; Internationaler Vergleich; Jugendlicher; Junge; Kompetenzerwerb; Leistungsmessung; Lernbedingungen; Mädchen; Medienkompetenz; Mediennutzung; Migrationshintergrund; Schule; Schüler; Schülerleistung; Schülerleistungstest; Schuljahr 08; Soziale Herkunft
Abstract:
Mit diesem Band werden die Ergebnisse der internationalen Schulleistungsstudie ICILS 2013 (International Computer and Information Literacy Study) vorgelegt. ICILS 2013 wurde weltweit in 20 Bildungssystemen durchgeführt und von der IEA (International Association for the Evaluation of Educational Achievement) koordiniert. Die Studie ICILS 2013 bildet einen Meilenstein in der empirischen Schul- und Bildungsforschung, da sie den höchst relevanten Bereich der computer- und informationsbezogenen Kompetenzen von Schülerinnen und Schülern aufgreift. Der Umgang mit neuen Technologien, vor allem zur Informationsgewinnung, gehört in diesem Zusammenhang zu den zentralen Kulturtechniken im 21. Jahrhundert. Damit ergänzt ICILS 2013 den Kanon der Schulleistungsstudien und trägt dem Wandel zur Informations- und Wissensgesellschaft Rechnung. Neben der wichtigen Frage, wie Schülerinnen und Schüler der Jahrgangsstufe 8 in Deutschland hinsichtlich ihrer computer- und informationsbezogenen Kompetenzen im internationalen Vergleich abschneiden, werden in diesem Buch detailliert schulische Rahmenbedingungen des Erwerbs dieser Kompetenzen aus verschiedenen Perspektiven (Schulleitung, Lehrpersonen, IT-Koordinatorin/-Koordinator) dargestellt, sowie Prozessfaktoren der schulischen Mediennutzung beleuchtet. Zudem werden die Kompetenzen der Schülerinnen und Schüler differenziert nach den in der aktuellen Bildungsdiskussion in Deutschland zentralen Merkmalen Geschlecht, soziale Herkunft und Migration betrachtet. Der Band wendet sich an eine breite Leserschaft, die an der Entwicklung von Schule und Unterricht sowie an der Weiterentwicklung des deutschen Bildungssystems interessiert ist. (DIPF/Verlag)
DIPF-Departments:
Bildungsqualität und Evaluation
Controlling individuals' time spent on task in speeded performance measures. Experimental time […]
Goldhammer, Frank; Kröhne, Ulf
Journal Article
| In: Applied Psychological Measurement | 2014
34278 Endnote
Author(s):
Goldhammer, Frank; Kröhne, Ulf
Title:
Controlling individuals' time spent on task in speeded performance measures. Experimental time limits, posterior time limits, and response time modeling
In:
Applied Psychological Measurement, 38 (2014) 4, S. 255-267
DOI:
10.1177/0146621613517164
URN:
urn:nbn:de:0111-pedocs-127839
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-127839
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Adaptives Testen; Deutschland; Empirische Untersuchung; Item-Response-Theory; Leistungsdruck; Leistungsmessung; Modell; Reliabilität; Schüler; Schülerleistung; Schuljahr 12; Technologiebasiertes Testen; Testaufgabe; Validität; Zeit
Abstract:
The speed-ability trade-off becomes a measurement problem if there is between-subject variation in the speed-ability compromise, as this may affect the comparability of ability estimates. To control individual speed differences, the response-signal (RS) paradigm was applied requiring an immediate response as soon as an acoustic signal is presented. A figural discrimination task and a word recognition task were completed both in an untimed condition allowing individual differences in time spent on task and in several timed conditions where the time available for item completion was limited using the RS paradigm. Thus, speed was manipulated by varying the available time between stimulus-onset and RS. A total of N = 205 high school students participated in the study. Results showed that across timed conditions with decreasing time on task, the ability level and ability variance decreased substantially. Ability correlations between timed conditions were high, whereas correlations between untimed and timed conditions were low. This finding suggested that ability differences being inconsistent to those found in the timed condition are due to individual differences in time on task in the untimed condition. To eliminate these differences, two ways were considered. First, untimed responses were recoded using two-tailed posterior time limits. As expected, correlations between timed and untimed conditions were increased. Second, the log-transformed item response times were included in the item response model, which led to even higher correlations between timed and untimed conditions. Validity and generalizability of the proposed testing procedure are discussed.
DIPF-Departments:
Bildungsqualität und Evaluation
Diagnostik von ICT-Literacy. Multiple-Choice- vs. simulationsbasierte Aufgaben
Goldhammer, Frank; Kröhne, Ulf; Keßel, Yvonne; Senkbeil, Martin; Ihme, Jan Marten
Journal Article
| In: Diagnostica | 2014
34277 Endnote
Author(s):
Goldhammer, Frank; Kröhne, Ulf; Keßel, Yvonne; Senkbeil, Martin; Ihme, Jan Marten
Title:
Diagnostik von ICT-Literacy. Multiple-Choice- vs. simulationsbasierte Aufgaben
In:
Diagnostica, 60 (2014) 1, S. 10-21
DOI:
10.1026/0012-1924/a000113
URN:
urn:nbn:de:0111-pedocs-146050
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-146050
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Aufgabe; Deutschland; Diagnostik; Informationskompetenz; Informations- und Kommunikationstechnologie; Kompetenz; Multiple-Choice-Verfahren; Psychometrie; Schuljahr 09; Simulation; Test
Abstract:
ICT-Literacy legt eine performanzbasierte Erfassung nahe, also mithilfe von Testaufgaben, die interaktive (simulierte) Computerumgebungen präsentieren und eine Reaktion mittels Maus und/oder Tastatur erfordern. Dennoch kommen häufig Verfahren wie Selbstbeurteilungen oder papierbasierte Leistungstests zum Einsatz. Ziel der vorliegenden Studie war es, die psychometrischen Eigenschaften simulationsbasierter (SIM) Aufgaben mit den Eigenschaften inhaltlich paralleler Multiple-Choice (MC)-Aufgaben zu vergleichen, bei denen Screenshots als Stimulus verwendet werden. Die MC-Aufgaben, die im Rahmen der National Educational Panel Study (NEPS) entwickelt wurden, erfassen die Fähigkeit, digitale Informationen auszuwählen und abzurufen sowie grundlegende Operationen durchzuführen (Access). In einem Zufallsgruppendesign bearbeiteten 405 Jugendliche der Klassenstufe 9 die computerbasierten Access-Testitems entweder als MC-Aufgabe oder als SIM-Aufgabe sowie den simulationsbasierten Basic Computer Skills (BCS)-Test. Die Ergebnisse zeigen, dass sich die meisten MC-Aufgaben und SIM-Aufgaben hinsichtlich Schwierigkeit und Ladung unterscheiden. Übereinstimmende konvergente Validität wird durch vergleichbar hohe Korrelationen der beiden Testformen mit BCS angezeigt.
Abstract (english):
ICT literacy suggests a performance-based assessment by means of tasks presenting interactive (simulated) computer environments and requiring responses by means of mouse and/or keyboard. However, assessment procedures like self-ratings or paper-based performance measures are still commonly used. The present study compares the psychometric properties of simulation-based (SIM) tasks with parallel multiple-choice (MC) tasks that make use of screenshots of software applications. The MC tasks, developed for the National Educational Panel Study (NEPS), reflect the skill to select and retrieve digital information and to perform basic operations (access). In a random groups design, 405 grade 9 students completed the computer-based access items as MC tasks or as SIM tasks as well as the simulation-based Basic Computer Skills (BCS) test. Results show that the majority of MC tasks and SIM tasks differ in difficulty and loading. Consistent convergent validity is indicated by comparably high correlations of the two test forms with BCS.
DIPF-Departments:
Bildungsqualität und Evaluation
The time on task effect in reading and problem solving is moderated by task difficulty and skill. […]
Goldhammer, Frank; Naumann, Johannes; Stelter, Annette; Tóth, Krisztina; Rölke, Heiko; […]
Journal Article
| In: Journal of Educational Psychology | 2014
34293 Endnote
Author(s):
Goldhammer, Frank; Naumann, Johannes; Stelter, Annette; Tóth, Krisztina; Rölke, Heiko; Klieme, Eckhard
Title:
The time on task effect in reading and problem solving is moderated by task difficulty and skill. Insights from a computer-based large-scale assessment
In:
Journal of Educational Psychology, 106 (2014) 3, S. 608-626
DOI:
10.1037/a0034716
URN:
urn:nbn:de:0111-pedocs-179679
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-179679
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Deutschland; Empirische Untersuchung; Erwachsener; Interview; Kognitive Prozesse; Leistungstest; Lesekompetenz; Problemlösen; Schwierigkeit; Technologiebasiertes Testen; Testaufgabe; Wirkung; Zeit
Abstract:
Computer-based assessment can provide new insights into behavioral processes of task completion that cannot be uncovered by paper-based instruments. Time presents a major characteristic of the task completion process. Psychologically, time on task has 2 different interpretations, suggesting opposing associations with task outcome: Spending more time may be positively related to the outcome as the task is completed more carefully. However, the relation may be negative if working more fluently, and thus faster, reflects higher skill level. Using a dual processing theory framework, the present study argues that the validity of each assumption is dependent on the relative degree of controlled versus routine cognitive processing required by a task, as well as a person's acquired skill. A total of 1,020 persons ages 16 to 65 years participated in the German field test of the Programme for the International Assessment of Adult Competencies. Test takers completed computer-based reading and problem solving tasks. As revealed by linear mixed models, in problem solving, which required controlled processing, the time on task effect was positive and increased with task difficulty. In reading tasks, which required more routine processing, the time on task effect was negative and the more negative, the easier a task was. In problem solving, the positive time on task effect decreased with increasing skill level. In reading, the negative time on task effect increased with increasing skill level. These heterogeneous effects suggest that time on task has no uniform interpretation but is a function of task difficulty and individual skill.
DIPF-Departments:
Bildungsqualität und Evaluation; Informationszentrum Bildung
Constrained multidimensional adaptive testing without intermixing items from different dimensions
Kröhne, Ulf; Goldhammer, Frank; Partchev, Ivailo
Journal Article
| In: Psychological Test and Assessment Modeling | 2014
35165 Endnote
Author(s):
Kröhne, Ulf; Goldhammer, Frank; Partchev, Ivailo
Title:
Constrained multidimensional adaptive testing without intermixing items from different dimensions
In:
Psychological Test and Assessment Modeling, 56 (2014) 4, S. 348-367
URL:
http://www.psychologie-aktuell.com/fileadmin/download/ptam/4-2014_20141222/03_kroehne.pdf
Publication Type:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language:
Englisch
Keywords:
Adaptives Testen; Algorithmus; Effizienz; Item-Response-Theory; Messung; Psychometrie; Reliabilität; Simulation; Test
Abstract:
Multidimensional adaptive testing (MAT) can improve the efficiency of measuring traits that are known to be highly correlated. Content balancing techniques can ensure that tests fulfill requirements with respect to content areas, such as the number of items from various dimensions (target rates). However, content balancing does not restrict the order in which items are selected from dimensions. If multiple dimensions are measured with MAT, intermixing items from different dimensions might invalidate properties of those items, which are known from calibration studies without mixed item content. To avoid this, the known correlations between traits can be used to increase efficiency of the ability estimation only without intermixing items from different dimensions. In this simulation study, MAT allowing items to be intermixed between dimensions is compared to Constrained MAT (CMAT) that does not allow intermixing items between dimensions for items with between-item multidimensionality. As expected, MAT achieved the greatest reliability for equal target rates; however, CMAT with items administered in a pre-specified order dimension by dimension was not disadvantageous for unequal target rates. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Unselect matches
Select all matches
Export
<
1
...
10
11
12
...
14
>
Show all
(133)