Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Schlagwörter: "Computerunterstütztes Verfahren")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
109
Inhalte gefunden
Alle Details anzeigen
Interpretieren im Kontext virtueller Forschungsumgebungen - zu den Potentialen und Grenzen einer […]
Kminek, Helge; Meier, Michael; Schindler, Christoph; Hocker, Julian; Veja, Cornelia
Zeitschriftenbeitrag
| In: Zeitschrift für qualitative Forschung | 2020
40949 Endnote
Autor*innen:
Kminek, Helge; Meier, Michael; Schindler, Christoph; Hocker, Julian; Veja, Cornelia
Titel:
Interpretieren im Kontext virtueller Forschungsumgebungen - zu den Potentialen und Grenzen einer virtuellen Forschungsumgebung und ihres Einsatzes in der akademischen Lehre
In:
Zeitschrift für qualitative Forschung, 21 (2020) 2, S. 185-198
DOI:
10.3224/zqf.v21i2.03
URL:
https://www.budrich-journals.de/index.php/zqf/article/view/36570
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Deutsch
Schlagwörter:
Hermeneutik; Objektivität; Methode; Forschungsprozess; Digitalisierung; Computerunterstütztes Verfahren; Datenanalyse; Interpretation; Tool; Softwaretechnologie; Erziehungswissenschaft; Hochschullehre; Methodologie; Kasuistik
Abstract:
In dem Beitrag wird eine für die Methode der Objektiven Hermeneutik entwickelte virtuelle Forschungsumgebung vorgestellt. Mit Blick auf die Forschungsbefunde zum Einsatz von Objektiver Hermeneutik in der akademischen Lehre werden Voraussetzungen und Potentiale für die Einsatzmöglichkeiten einer virtuellen Forschungsumgebung diskutiert. Dies erfolgt unter anderem am Beispiel eines Lehrforschungsseminars, dessen erste Ergebnisse die These stützen, dass die hier vorgestellte virtuelle Forschungsumgebung eine sinnvolle Ergänzung der universitären Methodenlehre darstellen kann. (DIPF/Orig.)
Abstract (english):
The article presents the virtual research environment developed for the method of Objective Hermeneutics. With regard to the research findings on the use of objective hermeneutics in academic teaching, the requirements and potential for the possible uses of a virtual research environment are discussed. The discussion is based, among other things, on the example of a teaching research seminar, the initial results of which support the thesis that the virtual research environment presented here can be a useful supplement to university methodology, especially for Objective Hermeneutics. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Ambulatory assessment for physical activity research. State of the science, best practices and […]
Reichert, Markus; Giurgiu, Giurgiu; Koch, Elena; Wieland, Lena M.; Lautenbach, Sven; […]
Zeitschriftenbeitrag
| In: Psychology of Sport and Exercise | 2020
40289 Endnote
Autor*innen:
Reichert, Markus; Giurgiu, Giurgiu; Koch, Elena; Wieland, Lena M.; Lautenbach, Sven; Neubauer, Andreas B.; Haaren-Mack, Birte von; Schilling, Renè; Timm, Irina; Notthoff, Nanna; Marzi, Isabel; Hill, Holger; Brüßler, Sarah; Eckert, Tobias; Fiedler, Janis; Burchartz, Alexander; Anedda, Bastian; Wunsch, Kathrin; Gerber, Markus; Jekauc, Darko; Woll, Alexander; Dunton, Genevieve F.; Kanning, Martina; Nigg, Claudio R.; Ebner-Priemer, Ulrich; Liao, Yue
Titel:
Ambulatory assessment for physical activity research. State of the science, best practices and future directions
In:
Psychology of Sport and Exercise, 50 (2020) , S. 101742
DOI:
10.1016/j.psychsport.2020.101742
URN:
urn:nbn:de:0111-dipfdocs-228896
URL:
https://www.pedocs.de/volltexte/2022/22889/pdf/Neubauer_2020_Ambulatory_Assessment_for_Physical_Activity_Research_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Computerunterstütztes Verfahren; Selbstbeurteilung; Körper <Biol>; Aktivität; Lebensnähe; Lebenswirklichkeit; Alltagssituation; Technologie; Digitalisierung; Datenerhebungstechnik; Tagebuch; Methode; Verfolgung; Best-Practice-Modell; Zukunftsorientierung; Forschungsstand
Abstract:
Technological and digital progress benefits physical activity (PA) research. Here we compiled expert knowledge on how Ambulatory Assessment (AA) is utilized to advance PA research, i.e., we present results of the 2nd International CAPA Workshop 2019 "Physical Activity Assessment - State of the Science, Best Practices, Future Directions" where invited researchers with experience in PA assessment, evaluation, technology and application participated. First, we provide readers with the state of the AA science, then we give best practice recommendations on how to measure PA via AA and shed light on methodological frontiers, and we furthermore discuss future directions. AA encompasses a class of methods that allows the study of PA and its behavioral, biological and physiological correlates as they unfold in everyday life. AA includes monitoring of movement (e.g., via accelerometry), physiological function (e.g., via mobile electrocardiogram), contextual information (e.g., via geolocation-tracking), and ecological momentary assessment (EMA; e.g., electronic diaries) to capture self-reported information. The strengths of AA are data assessment that near real-time, which minimizes retrospective biases in real-world settings, consequentially enabling ecological valid findings. Importantly, AA enables multiple assessments across time within subjects resulting in intensive longitudinal data (ILD), which allows unraveling within-person determinants of PA in everyday life. In this paper, we show how AA methods such as triggered e-diaries and geolocation-tracking can be used to measure PA and its correlates, and furthermore how these findings may translate into real-life interventions. In sum, AA provides numerous possibilities for PA research, especially the opportunity to tackle within-subject antecedents, concomitants, and consequences of PA as they unfold in everyday life. In-depth insights on determinants of PA could help us design and deliver impactful interventions in real-world contexts, thus enabling us to solve critical health issues in the 21st century such as insufficient PA and high levels of sedentary behavior. (DIPF/Orig.)
DIPF-Abteilung:
Bildung und Entwicklung
Comorbidities between specific learning disorders and psychopathology in elementary school children […]
Visser, Linda; Kalmar, Julia; Linkersdörfer, Janosch; Görgen, Ruth; Rothe, Josefine; […]
Zeitschriftenbeitrag
| In: Frontiers in Psychiatry | 2020
39954 Endnote
Autor*innen:
Visser, Linda; Kalmar, Julia; Linkersdörfer, Janosch; Görgen, Ruth; Rothe, Josefine; Hasselhorn, Marcus; Schulte-Körne, Gerd
Titel:
Comorbidities between specific learning disorders and psychopathology in elementary school children in Germany
In:
Frontiers in Psychiatry, (2020) , S. 11:292
DOI:
10.3389/fpsyt.2020.00292
URN:
urn:nbn:de:0111-pedocs-229558
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-229558
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Aufmerksamkeits-Defizit-Hyperaktivitäts-Störung; Depression; Angststörung; Verhaltensstörung; Lese-Rechtschreib-Schwäche; Rechenschwäche; Lernschwäche; Sekundärkrankheit; Psychopathologie; Empirische Untersuchung; Schüler; Grundschule; Schuljahr 03; Schuljahr 04; Test; Computerunterstütztes Verfahren; Eltern; Befragung; Fragebogenerhebung; D-Hesssen; D-Bayern; Deutschland
Abstract (english):
Children with reading and/or spelling disorders have increased rates of behavioral and emotional problems and combinations of these. Some studies also find increased rates of attention-deficit-/hyperactivity disorder (ADHD), conduct disorder, anxiety disorder, and depression. However, the comorbidities of e.g. arithmetic disorders with ADHD, anxiety, and depression have been addressed only rarely. The current study explored the probability of children with specific learning disorders (SLD) in reading, spelling, and/or arithmetic to also have anxiety, depression, ADHD, and/or conduct disorder. The sample consisted of 3014 German children from grades 3 and 4 (mean age 9;9 years) who completed tests assessing reading, spelling as well as arithmetic achievement and intelligence via a web-based application. Psychopathology was assessed using questionnaires filled in by the parents. In children with a SLD we found high rates of anxiety (21%), depression (28%), ADHD (28%), and conduct disorder (22%). Children with SLD in multiple learning domains had a higher risk for psychopathology and had a broader spectrum of psychopathology than children with an isolated SLD. The results highlight the importance of screening for and diagnosing psychiatric comorbidities in children with SLD.
DIPF-Abteilung:
Bildung und Entwicklung
PISA reading. Mode effects unveiled in short text responses
Zehner, Fabian; Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Psychological Test and Assessment Modeling | 2020
39911 Endnote
Autor*innen:
Zehner, Fabian; Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Titel:
PISA reading. Mode effects unveiled in short text responses
In:
Psychological Test and Assessment Modeling, 62 (2020) 1, S. 85-105
URN:
urn:nbn:de:0111-pedocs-203542
URL:
https://www.psychologie-aktuell.com/fileadmin/Redaktion/Journale/ptam-2020-1/05_Zehner.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
PISA <Programme for International Student Assessment>; Deutschland; Schülerleistung; Leistungstest; Computerunterstütztes Verfahren; Papier; Bleistift; Antwort; Text; Inhalt; Information; Quantität; Methodenwechsel; Effekt; Wirkungsforschung; Datenanalyse; Sekundäranalyse
Abstract (english):
Educational largescale assessments risk their temporal comparability when shifting from paperto computerbased assessment. A recent study showed how text responses have altered alongside PISA's mode change, indicating mode effects. Uncertainty remained, however, because it compared students from 2012 and 2015. We aimed at reproducing the findings in an experimental setting, in which n = 836 students answered PISA reading questions on computer, paper, or both. Text response features for information quantity and relevance were extracted automatically. Results show a comprehensive recovery of findings. Students incorporated more information into their text responses on computer than on paper, with some items being more affected than others. Regarding information relevance, we found less mode effect variance across items than the original study. Hints for a relationship between mode effect and gender across items could be reproduced. The study demonstrates the stability of linguistic feature extraction from text responses. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Leistungsveränderungen in TIMSS zwischen 2015 und 2019. Die Rolle des Testmediums und des […]
Robitzsch, Alexander; Lüdtke, Oliver; Schwippert, Knut; Goldhammer, Frank; Kroehne, Ulf; […]
Sammelbandbeitrag
| Aus: Schwippert, Knut; Kasper, Daniel; Köller, Olaf; McElvany, Nele; Selter, Christoph; Steffensky, Mirjam; Wendt, Heike (Hrsg.): TIMSS 2019: Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich | Münster: Waxmann | 2020
40879 Endnote
Autor*innen:
Robitzsch, Alexander; Lüdtke, Oliver; Schwippert, Knut; Goldhammer, Frank; Kroehne, Ulf; Köller, Olaf
Titel:
Leistungsveränderungen in TIMSS zwischen 2015 und 2019. Die Rolle des Testmediums und des methodischen Vorgehens bei der Trendschätzung
Aus:
Schwippert, Knut; Kasper, Daniel; Köller, Olaf; McElvany, Nele; Selter, Christoph; Steffensky, Mirjam; Wendt, Heike (Hrsg.): TIMSS 2019: Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich, Münster: Waxmann, 2020 , S. 169-183
URL:
https://www.waxmann.com/index.php?eID=download&buchnr=4319#%5B%7B%22num%22%3A1756%2C%22gen%22%3A0%7D%2C%7B%22name%22%3A%22Fit%22%7D%5D
Dokumenttyp:
4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Mathematik; Naturwissenschaften; Schülerleistung; Test; Modus; Medien; Papier; Computerunterstütztes Verfahren; Leistung; Veränderung; Trend; Abschätzung <Math>; Item; Effekt; Messung; Schuljahr 04; Datenanalyse; Deutschland
Abstract:
Die Trends in International Mathematics and Science Study (TIMSS) 2019 hat wie auch das Programme for International Student Assessment (PISA) den Erhebungsmodus gewechselt (Reiss, Weis, Klieme & Köller, 2019): An die Stelle von Papier-Testheften, die mit Stiften durch die Schülerinnen und Schüler bearbeitet werden (Paper-based-Assessment - PBA), ist die Testung mithilfe von Computern getreten (Computer-based-Assessment - CBA). Der Wechsel des Testmediums ist für Trendschätzungen in internationalen Schulleistungsstudien voraussetzungsreich, zeigt doch eine Vielzahl von Studien (Kroehne, Buerger, Hahnel & Goldhammer, 2019; Robitzsch, Lüdtke, Goldhammer, Kroehne & Köller, 2020), dass sich Testitems in ihren Eigenschaften (Schwierigkeit und Diskrimination) verändern können, wenn das Testmedium gewechselt wird. So konnten Robitzsch et al. (2017) für die PISA-2015-Erhebung in Deutschland zeigen, dass Items, die am Computer gelöst wurden, im Mittel schwieriger waren als bei der Bearbeitung im analogen Testheft. Goldhammer et al. (2019) haben diese Effekte auch für PISA 2018 belegen können. Als Folge zeigte sich in Sekundäranalysen der PISA-Datensätze, dass bei einer nationalen Schätzung und Berücksichtigung dieses Moduseffekts (die Veränderung der Itemeigenschaften bei Übertragung von Papier auf den Computer) Schülerinnen und Schüler in Deutschland höhere Kompetenzstände aufwiesen, als von der OECD offiziell publiziert. In TIMSS 2019 hat die internationale Studienleitung ein Testdesign umgesetzt, das es für die internationalen Datensätze, aber auch für den nationalen deutschen Datensatz erlaubt, Moduseffekte zu schätzen und damit auch zu untersuchen, in welchem Ausmaß für die Trendschätzungen in Mathematik und den Naturwissenschaften der Effekt des Testmediums berücksichtigt werden sollte. In diesem Kapitel wird der Frage nach potenziellen Moduseffekten mit vertiefenden Analysen nachgegangen. Jenseits der Aufdeckung dieser Effekte wird auch untersucht, ob die Art der gewählten Trendschätzung (originaler vs. marginaler Trend; Carstensen, Prenzel & Baumert, 2009; Gebhardt & Adams, 2007) Effekte auf die Interpretation der Veränderungen der Leistungen in Deutschland hat. Originale Trendschätzungen basieren auf den Itemparametern, die in der internationalen TIMSS-Gesamtstichprobe ermittelt wurden, marginale Trendschätzungen beschränken sich auf Itemparameter, die in der nationalen (deutschen) Stichprobe geschätzt wurden.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Analysing log file data from PIAAC
Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf
Sammelbandbeitrag
| Aus: Maehler, Débora B.; Rammstedt, Beatrice (Hrsg.): Large-scale cognitive assessment: Analyzing PIAAC data | Cham: Springer | 2020
40529 Endnote
Autor*innen:
Goldhammer, Frank; Hahnel, Carolin; Kroehne, Ulf
Titel:
Analysing log file data from PIAAC
Aus:
Maehler, Débora B.; Rammstedt, Beatrice (Hrsg.): Large-scale cognitive assessment: Analyzing PIAAC data, Cham: Springer, 2020 (Methodology of Educational Measurement and Assessment), S. 239-269
DOI:
10.1007/978-3-030-47515-4_10
URL:
https://link.springer.com/chapter/10.1007/978-3-030-47515-4_10
Dokumenttyp:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
PIAAC (Programme for the International Assessment of Adult Competencies); Technologiebasiertes Testen; Computerunterstütztes Verfahren; Logdatei; Datenanalyse; Software; Tools; Nutzung; Forschung; Zugang; Dokumentation
Abstract:
The OECD Programme for the International Assessment of Adult Competencies (PIAAC) was the first computer-based large-scale assessment to provide anonymised log file data from the cognitive assessment together with extensive online documentation and a data analysis support tool. The goal of the chapter is to familiarise researchers with how to access, understand, and analyse PIAAC log file data for their research purposes. After providing some conceptual background on the multiple uses of log file data and how to infer states of information processing from log file data, previous research using PIAAC log file data is reviewed. Then, the accessibility, structure, and documentation of the PIAAC log file data are described in detail, as well as how to use the PIAAC LogDataAnalyzer to extract predefined process indicators and how to create new process indicators based on the raw log data export.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Computerbasiertes Assessment
Goldhammer, Frank; Kröhne, Ulf
Sammelbandbeitrag
| Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020
40530 Endnote
Autor*innen:
Goldhammer, Frank; Kröhne, Ulf
Titel:
Computerbasiertes Assessment
Aus:
Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 119-141
DOI:
10.1007/978-3-662-61532-4_6
URL:
https://link.springer.com/chapter/10.1007/978-3-662-61532-4_6
Dokumenttyp:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Datenanalyse; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Testverfahren; Psychologische Forschung; Sozialwissenschaften; Definition; Beispiel; Konzeption; Antwort; Datenerfassung; Interaktion; Bewertung; Testkonstruktion; Evidenz; Software; Fragebogen; Messverfahren
Abstract:
Das Kapitel gibt einen Überblick, wie mit Hilfe von Computern im weiteren Sinne Tests und Fragebogen realisiert und dabei die Möglichkeiten von klassischen Papier-und-Bleistift-Verfahren erweitert bzw. deutlich überschritten werden können. Dies betrifft beispielsweise die Entwicklung computerbasierter Items mit innovativen Antwortformaten und multimedialen Stimuli sowie die automatische Bewertung des gezeigten Antwortverhaltens. Des Weiteren ermöglicht der Computer eine flexiblere Testzusammenstellung, d. h., Items können automatisch unter Berücksichtigung inhaltlicher und statistischer Kriterien sequenziert werden. Das Kapitel behandelt außerdem die Frage, wie durch Logfiledaten das Analysepotential gesteigert und durch die automatische und zeitnahe Rückmeldung von Testdaten beispielsweise das Lernen unterstützt werden kann. Das Kapitel schließt mit Hinweisen auf einschlägige und frei zugängliche Softwarelösungen für Assessmentzwecke. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Validating test score interpretations using time information
Engelhardt, Lena; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Frontiers in Psychology | 2019
39162 Endnote
Autor*innen:
Engelhardt, Lena; Goldhammer, Frank
Titel:
Validating test score interpretations using time information
In:
Frontiers in Psychology, (2019) , S. 10:1131
DOI:
10.3389/fpsyg.2019.01131
URN:
urn:nbn:de:0111-dipfdocs-174371
URL:
http://www.dipfdocs.de/volltexte/2020/17437/pdf/fpsyg-2019_may_Engelhardt_Goldhammer_Validating_test_score_interpretations_using_time_information_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Strukturgleichungsmodell; Empirische Untersuchung; Deutschland; Test; Validität; Computerunterstütztes Verfahren; Aufgabe; Antwort; Zeit; Fertigkeit; Kognitive Prozesse; Kognitive Kompetenz; Lesekompetenz; Denken; Leistungstest; PIAAC <Programme for the International Assessment of Adult Competencies>; Datenanalyse
Abstract (english):
A validity approach is proposed that uses processing times to collect validity evidence for the construct interpretation of test scores. The rationale of the approach is based on current research of processing times and on classical validity approaches, providing validity evidence based on relationships with other variables. Within the new approach, convergent validity evidence is obtained if a component skill, that is expected to underlie the task solution process in the target construct, positively moderates the relationship between effective speed and effective ability in the corresponding target construct. Discriminant validity evidence is provided if a component skill, that is not expected to underlie the task solution process in the target construct, does indeed not moderate the speed-ability relation in this target construct. Using data from a study that follows up the German PIAAC sample, this approach was applied to reading competence, assessed with PIAAC literacy items, and to quantitative reasoning, assessed with Number Series. As expected from theory, the effect of speed on ability in the target construct was only moderated by the respective underlying component skill, that is, word meaning activation skill as an underlying component skill of reading competence, and perceptual speed as an underlying component skill of reasoning. Accordingly, no positive interactions were found for the component skill that should not underlie the task solution process, that is, word meaning activation for reasoning and perceptual speed for reading. Furthermore, the study shows the suitability of the proposed validation approach. The use of time information in association with task results brings construct validation closer to the actual response process than widely used correlations of test scores. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based […]
Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Educational Measurement | 2019
39814 Endnote
Autor*innen:
Kroehne, Ulf; Buerger, Sarah; Hahnel, Carolin; Goldhammer, Frank
Titel:
Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments
In:
Educational Measurement, 38 (2019) 3, S. 97-111
DOI:
10.1111/emip.12280
URL:
https://onlinelibrary.wiley.com/doi/abs/10.1111/emip.12280
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Einflussfaktor; Schülerleistung; Frage; Antwort; Interaktion; Unterschied; Vergleich; Item-Response-Theory; Deutschland; PISA <Programme for International Student Assessment>; Leseverstehen; Messverfahren; Testkonstruktion; Korrelation; Äquivalenz; Papier-Bleistift-Test; Computerunterstütztes Verfahren; Technologiebasiertes Testen; Leistungsmessung; Testverfahren; Testdurchführung
Abstract:
For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
Abstract (english):
For many years, reading comprehension in the Programme for International Student Assessment (PISA) was measured via paper‐based assessment (PBA). In the 2015 cycle, computer‐based assessment (CBA) was introduced, raising the question of whether central equivalence criteria required for a valid interpretation of the results are fulfilled. As an extension of the PISA 2012 main study in Germany, a random subsample of two intact PISA reading clusters, either computerized or paper‐based, was assessed using a random group design with an additional within‐subject variation. The results are in line with the hypothesis of construct equivalence. That is, the latent cross‐mode correlation of PISA reading comprehension was not significantly different from the expected correlation between the two clusters. Significant mode effects on item difficulties were observed for a small number of items only. Interindividual differences found in mode effects were negatively correlated with reading comprehension, but were not predicted by basic computer skills or gender. Further differences between modes were found with respect to the number of missing values.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Invariance of the response processes between gender and modes in an assessment of reading
Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Frontiers in Applied Mathematics and Statistics | 2019
39231 Endnote
Autor*innen:
Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank
Titel:
Invariance of the response processes between gender and modes in an assessment of reading
In:
Frontiers in Applied Mathematics and Statistics, (2019) , S. 5:2
DOI:
10.3389/fams.2019.00002
URL:
https://www.frontiersin.org/articles/10.3389/fams.2019.00002/full
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Lesefertigkeit; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Papier-Bleistift-Test; Antwort; Zeit; Messung; Item-Response-Theory; Modell; Geschlechtsspezifischer Unterschied; Logdatei; Datenanalyse; Empirische Untersuchung; Deutschland
Abstract:
In this paper, we developed a method to extract item-level response times from log data that are available in computer-based assessments (CBA) and paper-based assessments (PBA) with digital pens. Based on response times that were extracted using only time differences between responses, we used the bivariate generalized linear IRT model framework (B-GLIRT, [1]) to investigate response times as indicators for response processes. A parameterization that includes an interaction between the latent speed factor and the latent ability factor in the cross-relation function was found to fit the data best in CBA and PBA. Data were collected with a within-subject design in a national add-on study to PISA 2012 administering two clusters of PISA 2009 reading units. After investigating the invariance of the measurement models for ability and speed between boys and girls, we found the expected gender effect in reading ability to coincide with a gender effect in speed in CBA. Taking this result as indication for the validity of the time measures extracted from time differences between responses, we analyzed the PBA data and found the same gender effects for ability and speed. Analyzing PBA and CBA data together we identified the ability mode effect as the latent difference between reading measured in CBA and PBA. Similar to the gender effect the mode effect in ability was observed together with a difference in the latent speed between modes. However, while the relationship between speed and ability is identical for boys and girls we found hints for mode differences in the estimated parameters of the cross-relation function used in the B-GLIRT model. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Markierungen aufheben
Alle Treffer markieren
Export
<
1
2
(aktuell)
3
...
11
>
Alle anzeigen
(109)