Search results in the DIPF database of publications

Your query:

(Personen: "Rölke," und "Heiko")

Mobiles Assessment. Überblick und Möglichkeiten Rölke, Heiko Book Chapter | Aus: de Witt, Claudia; Gloerfeld, C. (Hrsg.): Handbuch Mobile Learning | Wiesbaden: Springer VS | 2018 38775 Endnote: Author(s): Rölke, Heiko
Title: Mobiles Assessment. Überblick und Möglichkeiten
In: de Witt, Claudia; Gloerfeld, C. (Hrsg.): Handbuch Mobile Learning, Wiesbaden: Springer VS, 2018 , S. 565-583
DOI: 10.1007/978-3-658-19123-8_28
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Abstract: Lernen und Assessment werden als komplementäre Vorgänge beiderseits von neuen Perspektiven der zunehmenden Mobilisierung digitaler Endgeräte begünstigt. Daher sind zahlreiche Möglichkeiten des mobilen Lernens direkt auf Assessmentsituationen übertragbar. Die Besonderheiten des Assessments erlauben jedoch eine unterschiedliche Schwerpunktsetzung bzw. einen anderen Blickwinkel. Mobile Technologien können eingesetzt werden, um sowohl die Reliabilität als auch, und insbesondere die Validität eines Assessments zu überprüfen und ggf. zu verbessern. Dies wird praktisch vor allem dadurch erreicht, dass das Assessment losgelöst von festgelegten Orten und Zeitpunkten stattfinden kann. Auch der umgekehrte Fall ist denkbar: Probandinnen oder Probanden bewegen sich in Raum und Zeit, und erst beim Erreichen festgelegter Bereiche findet das Assessment statt. Komplementiert werden diese Möglichkeiten durch die umfangreiche Sensorik, die mobile Technologie üblicherweise mit sich bringt. Die größten Chancen ergeben sich dabei aus der Alltagsintegration des Assessments, dem sogenannten "ubiquitous Assessment". Eine Probandin oder ein Proband wird nur in geringem Maße in eine Prüfungssituation versetzt, wenn das Assessment auf Alltagsgeräten wie einem Smartphone ausgeführt und die eigentliche Prüfungsdurchführung angepasst wird an den normalen Alltagsablauf. Dies kann stark dazu beitragen, die Validität eines Assessments zu erhöhen und ermöglicht erst die Erhebung alltagsbezogener Konstrukte. Als Steigerungsform der Alltagsintegration stellt sich ein latentes Assessment dar, bei dem das Assessment ohne direkte Prüfungsinteraktion erfolgt. Beispiele dafür sind Fitness-Armbänder, Laufstrecken-Transponder bei größeren Laufveranstaltungen oder Kraftfahrzeug-Überwachungssysteme zur Erkennung riskanten Fahrverhaltens. Diese Beispiele illustrieren die Einbindung von "Big Data"-Verfahren für Assessmentzwecke, also die Nutzung großer Datenmengen zur Ableitung von Kennwerten und zur Klassifikation. Die Alltagsintegration der Assessmenttechnologie und die zunehmende Verfügbarkeit von Datenauswertungsverfahren bringen neben den angedeuteten Chancen aber auch Risiken mit sich. Dies betrifft insbesondere den Datenschutz, wenn eine Probandin oder ein Proband nicht mehr selbst entscheiden kann, ob und wann er oder sie sich einer "Prüfungssituation" stellt - oder nicht. Big Data-Verfahren gepaart mit Mobiltechnologie und Sensorik können zu einer Entmündigung führen, die offen diskutiert werden muss. (DIPF/Orig.)
DIPF-Departments: Informationszentrum Bildung

Limits and potentials of grasping user interaction in controlled and open world environments. […] Böhm, Peter; Schindler, Christoph; Rölke, Heiko; Rittberger, Marc Book Chapter | Aus: Gäde, Maria; Trkulja, Violeta; Petras, Vivien (Hrsg.): Everything changes, everything stays the same? Understanding information spaces: Proceedings of the 15th International Symposium of Information Science (ISI 2017), Berlin, Germany, 13th - 15th March 2017 | Glückstadt: Hülsbusch | 2017 37207 Endnote: Author(s): Böhm, Peter; Schindler, Christoph; Rölke, Heiko; Rittberger, Marc
Title: Limits and potentials of grasping user interaction in controlled and open world environments. Contrasting PIAAC large-scale-assessment usage data with web analytics
In: Gäde, Maria; Trkulja, Violeta; Petras, Vivien (Hrsg.): Everything changes, everything stays the same? Understanding information spaces: Proceedings of the 15th International Symposium of Information Science (ISI 2017), Berlin, Germany, 13th - 15th March 2017, Glückstadt: Hülsbusch, 2017 (Schriften zur Informationswissenschaft, 70), S. 374-376
URL: http://isi2017.ib.hu-berlin.de/ISI_17_ONLINE_FINAL.pdf
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Bildungsforschung; Forschungsprojekt; Forschungsdesign; Daten; Datenanalyse; PIAAC <Programme for the International Assessment of Adult Competencies>; Bildungsserver; Datenbank; Website; Vergleich; Fallstudie
DIPF-Departments: Informationszentrum Bildung

Relating product data to process data from computer-based competency assessment Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko; Stelter, Annette; Tóth, Krisztina Book Chapter | Aus: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments | Cham: Springer | 2017 36902 Endnote: Author(s): Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko; Stelter, Annette; Tóth, Krisztina
Title: Relating product data to process data from computer-based competency assessment
In: Leutner, Detlev;Fleischer, Jens;Grünkorn, Juliane;Klieme, Eckhard (Hrsg.): Competence assessment in education: Research, models and instruments, Cham: Springer, 2017 (Methodology of educational measurement and assessment), S. 407-425
DOI: 10.1007/978-3-319-50030-0_24
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Technologiebasiertes Testen; Aufgabe; Zeit; Dauer; Erfolg; Problemlösen; PIAAC <Programme for the International Assessment of Adult Competencies>; Datenanalyse
Abstract (english): Competency measurement typically focuses on task outcomes. Taking process data into account (i.e., processing time and steps) can provide new insights into construct-related solution behavior, or confirm assumptions that govern task design. This chapter summarizes four studies to illustrate the potential of behavioral process data for explaining task success. It also shows that generic process measures such as time on task may have different relations to task success, depending on the features of the task and the test-taker. The first study addresses differential effects of time on task on success across tasks used in the OECD Programme for the International Assessment of Adult Competencies (PIAAC). The second study, also based on PIAAC data, investigates at a fine-grained level, how the time spent on automatable subtasks in problem-solving tasks relates to task success. The third study addresses how the number of steps taken during problem solving predicts success in PIAAC problem-solving tasks. In a fourth study, we explore whether successful test-takers can be clustered on the basis of various behavioral process indicators that reflect information problem solving. Finally, we address how to handle unstructured and large sets of process data, and briefly present a process data extraction tool. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation; Informationszentrum Bildung

Educational process mining. New possibilities for understanding students' problem-solving skills Tóth, Krisztina; Rölke, Heiko; Goldhammer, Frank; Barkow, Ingo Book Chapter | Aus: Csapó, Benő;Funke, Joachim (Hrsg.): The nature of problem solving: Using research to inspire 21st century learning | Paris: OECD Publishing | 2017 37734 Endnote: Author(s): Tóth, Krisztina; Rölke, Heiko; Goldhammer, Frank; Barkow, Ingo
Title: Educational process mining. New possibilities for understanding students' problem-solving skills
In: Csapó, Benő;Funke, Joachim (Hrsg.): The nature of problem solving: Using research to inspire 21st century learning, Paris: OECD Publishing, 2017 , S. 193-209
DOI: 10.1787/9789264273955-14-en
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Computer; Problemlösen; Schüler; Kompetenz; Schülerleistung; Leistungsmessung; Technologiebasiertes Testen; Datenanalyse; Data Mining; Logdatei; Informationssystem; Datenbank; Visualisierung; Interaktion; Verhalten
Abstract: The assessment of problem-solving skills heavily relies on computer-based assessment (CBA). In CBA, all student interactions with the assessment system are automatically stored. Using the accumulated data, the individual test-taking processes can be reproduced at any time. Going one step further, recorded processes can even be used to extend the problem-solving assessment itself: the test-taking process-related data gives us the opportunity to 1) examine human-computer interactions via traces left in the log file; 2) map students' response processes to find distinguishable problem-solving strategies; and 3) discover relationships between students' activities and task performance. This chapter describes how to extract process-related information from event logs, how to use these data in problem-solving assessments and describes methods which help discover novel, useful information based on individual problem-solving behaviour. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation; Informationszentrum Bildung

Petri Nets and Software Engineering 2015. Proceedings of the International Workshop on Petri Nets […] Moldt, Daniel; Rölke, Heiko; Störrle, Harald (Hrsg.) Compilation Book | Aachen: RWTH | 2015 35557 Endnote: Editor(s) Moldt, Daniel; Rölke, Heiko; Störrle, Harald
Title: Petri Nets and Software Engineering 2015. Proceedings of the International Workshop on Petri Nets and Software Engineering (PNSE'15)
Published: Aachen: RWTH, 2015 (CEUR Workshop Proceedings, 1372)
URN: urn:nbn:de:0074-137
URL: http://ceur-ws.org/Vol-1372/
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Entwicklung; Modell; Software; Workshop
Abstract (english): For the successful realisation of complex systems of interacting and reactive software and hardware components the use of a precise language at different stages of the development process is of crucial importance. Petri nets are becoming increasingly popular in this area, as they provide a uniform language supporting the tasks of modelling, validation, and verification. Their popularity is due to the fact that Petri nets capture fundamental aspects of causality, concurrency and choice in a natural and mathematically precise way without compromising readability. The use of Petri Nets (P/T-Nets, Coloured Petri Nets and extensions) in the formal process of software engineering, covering modelling, validation, and verification, will be presented as well as their application and tools supporting the disciplines mentioned above. (DIPF/Autor)
DIPF-Departments: Informationszentrum Bildung

Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko Book Chapter | Aus: Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung | Frankfurt am Main: Lang | 2015 35596 Endnote: Author(s): Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko
Title: Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten
In: Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung, Frankfurt am Main: Lang, 2015 , S. 111-132
URL: http://www.peterlang.com/index.cfm?event=cmp.ccc.seitenstruktur.detailseiten&seitentyp=produkt&pk=83370&concordeid=265709
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Deutsch
Keywords: Antwort; Aufgabe; Automatisierung; Datenanalyse; Kognitive Kompetenz; Kompetenzerwerb; Leistung; PIAAC <Programme for the International Assessment of Adult Competencies>; Regressionsanalyse; Technologiebasiertes Testen; Teilnehmer; Test; Testdurchführung; Wissen; Zeit
Abstract: Prozessbezogene Verhaltensdaten aus computerbasierten Large Scale Assessments bieten neue Möglichkeiten zur Beschreibung des Bearbeitungsprozesses von Testteilnehmern. Dazu gehört auch die Anwendung von prozeduralem Wissen bei der Aufgabenbearbeitung. Prozedurales Wissen ist Wissen darüber, wie Tätigkeiten ausgeführt werden. Dabei nimmt mit zunehmender Expertise der Automatisierungsgrad prozeduralen Wissens zu, was anspruchsvollere kognitive Leistungen ermöglicht. Testteilnehmer brauchen zum Lösen komplexer Probleme unter anderem prozedurales Wissen und werden sich dabei im Grad der Automatisierung dieses Wissens unterscheiden. In dieser Studie wird ein Indikator für Automatisierung anhand aggregierter Testteilnehmerinteraktionen aus Protokolldaten extrahiert. Hierfür werden Daten aus dem computerbasierten Teil des 'Programme for the International Assessment of Adult Competencies' (PIAAC) genutzt. Basierend auf theoretischen Annahmen zum Kompetenzerwerb werden basale Teilaufgaben identifiziert, für die der individuelle Grad an Automatisierungen durch zeitbasierte Indikatoren erfasst wird. Anschließend werden logistische Regressionen berechnet, um die Beziehung dieser Indikatoren zur Wahrscheinlichkeit, mit der eine Aufgabe gelöst wird, zu ermitteln. Die Ergebnisse zeigen erwartungsgemäß einen negativen Zusammenhang zwischen der Lösungswahrscheinlichkeit einer Problemlöseaufgabe und der Geschwindigkeit bei der Bearbeitung basaler Teilaufgaben.
Abstract (english): In educational research there are new ways of answering research questions through the use of behavioral process data. Behavioral process data gives detailed insight into the problem solving behavior of each test taker, including the activation of procedural knowledge. Procedural knowledge means knowing how to solve a task. With a higher degree of experience this kind of knowledge will become more automated and allows persons to successfully engage in more demanding cognitive tasks. Problem Solving requires this automation in procedural knowledge and test takers will differ in their degree of automation. This study shows how the degree of automation is related to success in problem solving tasks. To this end, we use data from the 'Programme for the International Assessment of Adult Competencies' (PIAAC). We first identify routine steps in PIAAC problem solving tasks that can be accomplished by activation of automated procedural knowledge. We measure the degree of automation through the time subjects need to take these routine steps. Logistic regression models are used to calculate the relation between the time taken and the probability of success on the task. First results show that indeed probability of success is highest, when subjects need only little time to take routine steps, presumably due to a high degree of automation.
DIPF-Departments: Bildungsqualität und Evaluation; Informationszentrum Bildung

Petri Nets and Software Engineering 2014. Proceedings of the International Workshop on Petri Nets […] Moldt, Daniel; Rölke, Heiko (Hrsg.) Compilation Book | Hamburg: CEUR Workshop Proceedings | 2014 34661 Endnote: Editor(s) Moldt, Daniel; Rölke, Heiko
Title: Petri Nets and Software Engineering 2014. Proceedings of the International Workshop on Petri Nets and Software Engineering (PNSE 2014)
Published: Hamburg: CEUR Workshop Proceedings, 2014
URN: urn:nbn:de:0074-1160-3
URL: http://ceur-ws.org/Vol-1160/
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Computer; Design; Informatik; Konferenz; Netzwerk; Software; System
Abstract: These are the proceedings of the International Workshop on Petri Nets and Software Engineering (PNSE'14) in Tunis, Tunisia, June 23-24, 2014. It is aco-locatedeventof Petri Nets 2014, the35th international conference on Applications and Theory of Petri Nets and Concurrency and ACSD 2014, the 14th International Conference on Application of Concurrency to System Design.

The time on task effect in reading and problem solving is moderated by task difficulty and skill. […] Goldhammer, Frank; Naumann, Johannes; Stelter, Annette; Tóth, Krisztina; Rölke, Heiko; […] Journal Article | In: Journal of Educational Psychology | 2014 34293 Endnote: Author(s): Goldhammer, Frank; Naumann, Johannes; Stelter, Annette; Tóth, Krisztina; Rölke, Heiko; Klieme, Eckhard
Title: The time on task effect in reading and problem solving is moderated by task difficulty and skill. Insights from a computer-based large-scale assessment
In: Journal of Educational Psychology, 106 (2014) 3, S. 608-626
DOI: 10.1037/a0034716
URN: urn:nbn:de:0111-pedocs-179679
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-179679
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Deutschland; Empirische Untersuchung; Erwachsener; Interview; Kognitive Prozesse; Leistungstest; Lesekompetenz; Problemlösen; Schwierigkeit; Technologiebasiertes Testen; Testaufgabe; Wirkung; Zeit
Abstract: Computer-based assessment can provide new insights into behavioral processes of task completion that cannot be uncovered by paper-based instruments. Time presents a major characteristic of the task completion process. Psychologically, time on task has 2 different interpretations, suggesting opposing associations with task outcome: Spending more time may be positively related to the outcome as the task is completed more carefully. However, the relation may be negative if working more fluently, and thus faster, reflects higher skill level. Using a dual processing theory framework, the present study argues that the validity of each assumption is dependent on the relative degree of controlled versus routine cognitive processing required by a task, as well as a person's acquired skill. A total of 1,020 persons ages 16 to 65 years participated in the German field test of the Programme for the International Assessment of Adult Competencies. Test takers completed computer-based reading and problem solving tasks. As revealed by linear mixed models, in problem solving, which required controlled processing, the time on task effect was positive and increased with task difficulty. In reading tasks, which required more routine processing, the time on task effect was negative and the more negative, the easier a task was. In problem solving, the positive time on task effect decreased with increasing skill level. In reading, the negative time on task effect increased with increasing skill level. These heterogeneous effects suggest that time on task has no uniform interpretation but is a function of task difficulty and individual skill.
DIPF-Departments: Bildungsqualität und Evaluation; Informationszentrum Bildung

Erfolgreiches Problemlösen in technologiereichen Umgebungen. Wechselwirkungen zwischen […] Naumann, Johannes; Goldhammer, Frank; Rölke, Heiko; Stelter, Annette Journal Article | In: Zeitschrift für Pädagogische Psychologie | 2014 34960 Endnote: Author(s): Naumann, Johannes; Goldhammer, Frank; Rölke, Heiko; Stelter, Annette
Title: Erfolgreiches Problemlösen in technologiereichen Umgebungen. Wechselwirkungen zwischen Interaktionsschritten und Aufgabenanforderungen
In: Zeitschrift für Pädagogische Psychologie, 28 (2014) 4, S. 193-203
DOI: 10.1024/1010-0652/a000134
URN: urn:nbn:de:0111-pedocs-148308
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-148308
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Deutsch
Keywords: Deutschland; Empirische Untersuchung; Erfolg; Erwachsener; Interaktion; Kanada; Kompetenz; Messung; PIAAC <Programme for the International Assessment of Adult Competencies>; Problemlösen; Prognose; Technologiebasiertes Testen; Testaufgabe; Training
Abstract: Wir zeigen anhand von Feldtestdaten des "Programme for the International Assessment of Adult Competencies" (PIAAC) in Deutschland (N = 661) und Kanada (N = 411), dass sich der Erfolg beim Lösen Technologiebasierter Probleme aus der Anzahl der Interaktionen mit dem System vorhersagen lässt. Dabei war der Zusammenhang umgekehrt U-förmig. Optimale Lösungsraten resultierten bei einer überdurchschnittlichen Anzahl von Interaktionen. Weiterhin wurde der Zusammenhang durch Merkmale der Aufgabe moderiert. Es resultierte vor allem bei Aufgaben, die eine hohe Zahl von Navigationsschritten erfordern, ein stark positiver Zusammenhang. Entgegen den Erwartungen resultierte bei wohl definierten Aufgaben ein höherer Zusammenhang zwischen der Anzahl von Interaktionen und der Lösungsrate als bei schwach definierten Aufgaben. Die Ergebnisse aus der deutschen und kanadischen Stichprobe waren parallel. (DIPF/Orig.)
Abstract (english): Using Field Trial data from the Programme for the International Assessment of Adult Competencies (PIAAC) from the German (N = 661) and Canadian (N = 411) Field Trials, we show that success in technology-based problem solving is predicted by the number of actions taken during problem solving. The association was reversely U-shaped. The probability of succeeding on a problem-solving task was highest at an above-average number of actions. The association between actions taken and problem solving was further moderated by task characteristics. Especially in tasks involving long navigation sequences a strong positive association between the number of actions and task success was obtained. Against expectations, the association of actions and probability of task success was higher in well-defined than in ill-defined tasks. Results for the German and the Canadian samples ran parallel. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation; Informationszentrum Bildung

Discovering students' complex problem solving strategies in educational assessment Tóth, Krisztina; Rölke, Heiko; Greiff, Samuel; Wüstenberg, Sascha Book Chapter | Aus: Stamper, J.;Pardos, Z.;Mavrikis, M.;McLaren, B.M. (Hrsg.): Proceedings of the 7th International Conference on Educational Data Mining | London: CEUR Workshop Proceedings | 2014 34662 Endnote: Author(s): Tóth, Krisztina; Rölke, Heiko; Greiff, Samuel; Wüstenberg, Sascha
Title: Discovering students' complex problem solving strategies in educational assessment
In: Stamper, J.;Pardos, Z.;Mavrikis, M.;McLaren, B.M. (Hrsg.): Proceedings of the 7th International Conference on Educational Data Mining, London: CEUR Workshop Proceedings, 2014 , S. 225-228
URL: http://educationaldatamining.org/EDM2014/uploads/procs2014/short%20papers/225_EDM-2014-Short.pdf
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Deutschland; Empirische Untersuchung; Leistungsmessung; Leistungstest; Problemlösen; Schüler; Schülerleistung; Sekundarstufe II; Strategie; Strukturgleichungsmodell; Technologiebasiertes Testen; Verhalten
Abstract: A huge amount of log data accumulates automatically during computer-based educational assessments that can be analyzed for diagnostic or educational purposes using data mining techniques. In this paper, we describe our work of mining students' complex problem solving interactions when tackling previously unknown and dynamically changing situations. Based on log data analyses, we discovered several problem solving strategies and examined relationships of these strategies and test outcomes. We applied clustering algorithms to discriminate between students with different levels of proficiency in problem solving. We identified four groups of students: two cluster represent successful problem solvers who differ in their level of efficiency, one group of inefficient students might need further practice to be able to solve these kinds of tasks, and finally we found a mixed-strategy group of students. Students in this last group were dynamically developing their problem solving strategy and in parallel, the ratio of correct responses increased from task to task during assessment. In sum, our findings help to advance research on cognitive processes; we support educational researchers in better understanding complex problem solving behavior and identify levels of problem solving proficiency. (DIPF/Org.)
DIPF-Departments: Informationszentrum Bildung