Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Schlagwörter: "Technologiebasiertes Testen")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
70
Inhalte gefunden
Alle Details anzeigen
PISA 2015. Eine Studie zwischen Kontinuität und Innovation
Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.)
Sammelband
| Münster: Waxmann | 2016
36828 Endnote
Herausgeber*innen:
Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf
Titel:
PISA 2015. Eine Studie zwischen Kontinuität und Innovation
Erscheinungsvermerk:
Münster: Waxmann, 2016
URL:
https://www.waxmann.com/fileadmin/media/zusatztexte/3555Volltext.pdf
Dokumenttyp:
2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Deutschland; Einstellung <Psy>; Eltern; Empirische Untersuchung; Entdeckendes Lernen; Forschendes Lernen; Fragebogen; Freude; Geschlechtsspezifischer Unterschied; Interesse; Internationale Organisation; Internationaler Vergleich; Jugendlicher; Kompetenzerwerb; Konzeption; Leistungsmessung; Lernbedingungen; Lernumgebung; Lesekompetenz; Mathematische Kompetenz; Migrationshintergrund; Motivation; Naturwissenschaftliche Kompetenz; Naturwissenschaftlicher Unterricht; OECD-Länder; Organisation; PISA <Programme for International Student Assessment>; Qualität; Querschnittuntersuchung; Reliabilität; Schulentwicklung; Schülerleistung; Schülerleistungstest; Schulform; Schulklima; Sekundarbereich; Selbstwirksamkeit; Skalierung; Soziale Herkunft; Stichprobe; Technologiebasiertes Testen; Teilnehmer; Testaufgabe; Testauswertung; Testdurchführung; Testkonstruktion; Testmethodik; Überzeugung; Validität; Veränderung; Wahrnehmung
Abstract:
Alle drei Jahre testet PISA den Stand der Grundbildung fünfzehnjähriger Jugendlicher in den Bereichen Naturwissenschaften, Mathematik und Lesen und untersucht so Stärken und Schwächen von Bildungssystemen im Vergleich der OECD-Staaten. Zentral ist dabei die Frage, inwieweit es den teilnehmenden Staaten gelingt, die Schülerinnen und Schüler während der Schulpflicht auf ihre weiteren Bildungs- und Berufswege vorzubereiten. Der nationale Berichtsband stellt die Ergebnisse aus PISA 2015 vor, die von den Schülerinnen und Schülern in Deutschland erreicht wurden, und setzt sie in Relation zu den Ergebnissen in anderen OECD-Staaten. Der Schwerpunkt der Erhebungen und Auswertungen liegt dabei auf den Naturwissenschaften. PISA 2015 bildet als sechste Erhebungsrunde des Programme for International Student Assessment der OECD zugleich den Abschluss des zweiten Zyklus der Studie und den Beginn der computerbasierten Testung. Unter Beibehaltung wesentlicher Standards der Datenerhebung und -auswertung wurden in PISA 2015 mit dem Erhebungsmodus am Computer, einem differenzierteren Skalierungsmodell und einem erweiterten Testdesign mehrere Neuerungen eingeführt. Sie tragen Veränderungen in der Lern- und Lebenswelt Rechnung und werden die Aussagekraft der PISA-Studien auf lange Sicht verbessern. Mit Blick auf diese Balance zwischen Kontinuität und Innovation werden die Befunde aus PISA 2015 in diesem Band eingeordnet und diskutiert. (DIPF/Verlag)
DIPF-Abteilung:
Bildungsqualität und Evaluation
The transition to computer-based testing in large-scale assessments. Investigating (partial) […]
Bürger, Sarah; Kröhne, Ulf; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Psychological Test and Assessment Modeling | 2016
36754 Endnote
Autor*innen:
Bürger, Sarah; Kröhne, Ulf; Goldhammer, Frank
Titel:
The transition to computer-based testing in large-scale assessments. Investigating (partial) measurement invariance between modes
In:
Psychological Test and Assessment Modeling, 4 (2016) 58, S. 597-616
URL:
http://www.psychologie-aktuell.com/fileadmin/download/ptam/4-2016_20161219/03_Buerger.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache:
Englisch
Schlagwörter:
Äquivalenz; Computerunterstütztes Verfahren; Experiment; Item-Response-Theory; Messung; Schülerleistungstest; Technologiebasiertes Testen; Testverfahren; Wirkung
Abstract (english):
This paper provides an overview and recommendations on how to conduct a mode effect study in large-scale assessments by addressing criteria of equivalence between paper-based and computerbased tests. These criteria are selected according to the intended use of test scores and test score interpretations. A mode effect study can be implemented using experimental designs. The major benefit of combining experimental design considerations with the IRT methodology of mode effects is the possibility to investigate partial measurement invariance. This allows test scores from different modes to be used interchangeably and means of latent variables or mean differences and correlations to be compared on the population level even if some items differ in difficulty between modes. For this purpose, a multiple-group IRT model approach for analyzing mode effects on the test and item levels is presented. Instances where partial measurement invariance suffices to combine item parameters into one metric are reviewed in this paper. Furthermore, relevant study design requirements and potential sources of mode effects are discussed. Finally, an extension of the modelling approach to explain mode effects by means of item properties such as response format is presented. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Competencies in geriatric nursing. Empirical evidence from a computer-based large-scale assessment […]
Kaspar, Roman; Döring, Ottmar; Wittmann, Eveline; Hartig, Johannes; Weyland, Ulrike; […]
Zeitschriftenbeitrag
| In: Vocations and Learning | 2016
36440 Endnote
Autor*innen:
Kaspar, Roman; Döring, Ottmar; Wittmann, Eveline; Hartig, Johannes; Weyland, Ulrike; Nauerth, Annette; Möllers, Michaela; Rechenbach, Simone; Simon, Julia; Worofka, Iberé
Titel:
Competencies in geriatric nursing. Empirical evidence from a computer-based large-scale assessment calibration study
In:
Vocations and Learning, 9 (2016) 2, S. 185-206
DOI:
10.1007/s12186-015-9147-y
URL:
http://link.springer.com/article/10.1007/s12186-015-9147-y
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Altenpflege; Berufsausbildung; Berufsschule; Computerunterstütztes Verfahren; Deutschland; Item-Response-Theory; Kompetenz; Messverfahren; Technologiebasiertes Testen; Test
Abstract (english):
Valid and reliable standardized assessment of nursing competencies is needed to monitor the quality of vocational education and training (VET) in nursing and evaluate learning outcomes for care work trainees with increasingly heterogeneous learning backgrounds. To date, however, the modeling of professional competencies has not yet evolved into procedures that would meet large-scale assessment (LSA) standards in VET. To empirically test a proposed structural model for client-directed nursing competence and to estimate psychometric properties of a newly developed video- and computer-based test (CBT) to inform subsequent LSA in nursing VET, 402 final-year nursing students from 24 German schools responded to a 77 item CBT. Multi-dimensional IRT modeling was employed to test the subdomain structure and estimate students' competencies in geriatric nursing. The standardized CBT measures nursing students' client-directed care competence with acceptable precision (WLE= 0.76) and does so across the whole range of observed proficiency levels. Structural validity was supported by substantive contributions of test items from all proposed process-oriented subdomains, practice field scenarios, as well as items with and without reference to emotional demands. However, it was not possible to empirically separate the diagnostic, practical or communicative subdomains, probably reflecting parallel, recursive and hierarchical care processes in complex care situations. On average, students in our sample attained 45 % of the maximum test score so it is a demanding assessment of nursing competence. An extensively piloted, valid and reliable CBT is suggested to assess nursing students' client-directed care competencies at the end of the third year of the VET program. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Automatic coding of short text responses via clustering in educational assessment
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Zeitschriftenbeitrag
| In: Educational and Psychological Measurement | 2016
35473 Endnote
Autor*innen:
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Titel:
Automatic coding of short text responses via clustering in educational assessment
In:
Educational and Psychological Measurement, 76 (2016) 2, S. 280-303
DOI:
10.1177/0013164415590022
URN:
urn:nbn:de:0111-pedocs-149795
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-149795
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Antwort; Automatisierung; Codierung; Computerlinguistik; Leistungstest; Methode; PISA <Programme for International Student Assessment>; Software; Technologiebasiertes Testen; Testkonstruktion
Abstract:
Automatic coding of short text responses opens new doors in assessment. We implemented and integrated baseline methods of natural language processing and statistical modelling by means of software components that are available under open licenses. The accuracy of automatic text coding is demonstrated by using data collected in the Programme for International Student Assessment (PISA) 2012 in Germany. Free text responses of 10 items with Formula responses in total were analyzed. We further examined the effect of different methods, parameter values, and sample sizes on performance of the implemented system. The system reached fair to good up to excellent agreement with human codings Formula Especially items that are solved by naming specific semantic concepts appeared properly coded. The system performed equally well with Formula and somewhat poorer but still acceptable down to Formula Based on our findings, we discuss potential innovations for assessment that are enabled by automatic coding of short text responses. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Lesekompetenz in PISA 2015. Ergebnisse, Veränderungen und Perspektiven
Weis, Mirjam; Zehner, Fabian; Sälzer, Christine; Strohmaier, Anselm; Artelt, Cordula; […]
Sammelbandbeitrag
| Aus: Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2015: Eine Studie zwischen Kontinuität und Innovation | Münster: Waxmann | 2016
36672 Endnote
Autor*innen:
Weis, Mirjam; Zehner, Fabian; Sälzer, Christine; Strohmaier, Anselm; Artelt, Cordula; Pfost, Maximilian
Titel:
Lesekompetenz in PISA 2015. Ergebnisse, Veränderungen und Perspektiven
Aus:
Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2015: Eine Studie zwischen Kontinuität und Innovation, Münster: Waxmann, 2016 , S. 249-283
URL:
https://www.pedocs.de/volltexte/2017/14020/pdf/PISA_2015_eine_Studie_zwischen_Kontinuitaet_und_Innovation.pdf#page=250
Dokumenttyp:
4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Berufsneigung; Deutschland; Eltern; Familie; Fragebogen; Geschlechtsspezifischer Unterschied; Internationaler Vergleich; Kompetenzerwerb; Lernumgebung; Lesekompetenz; Mathematische Kompetenz; Messverfahren; Migrationshintergrund; Motivation; Naturwissenschaftliche Kompetenz; Naturwissenschaftlicher Unterricht; PISA <Programme for International Student Assessment>; Schülerleistung; Schülerleistungstest; Schulform; Schulklima; Selbsteinschätzung; Skalierung; Soziale Herkunft; Stichprobe; Technologiebasiertes Testen; Unterstützung
Abstract:
Die Ergebnisse der PISA-Studie 2015 zeigen, dass die Lesekompetenz der Jugendlichen in Deutschland signifikant höher ist als die durchschnittliche Lesekompetenz der Jugendlichen aller OECD-Staaten. Insgesamt befindet sich Deutschland im Vergleich mit den anderen OECD-Staaten im oberen Drittel der Rangreihenfolge. Die Gruppe der besonders leistungsstarken Schülerinnen und Schüler ist in Deutschland signifikant größer als im Durchschnitt der OECD-Staaten. Die Gruppe der sehr leistungsschwachen Schülerinnen und Schüler ist hingegen signifikant kleiner als im Durchschnitt der OECD-Staaten. Vertiefende Analysen zeigen eine höhere Lesekompetenz bei Schülerinnen und Schülern am Gymnasium als bei den Fünfzehnjährigen an nicht gymnasialen Schularten. Zudem verfügen Mädchen in Deutschland über eine höhere Lesekompetenz als Jungen, wobei sich dieser Geschlechterunterschied im Vergleich zu früheren Erhebungsrunden deutlich verringert hat. Zuletzt wurde die Lesekompetenz in der PISA-Studie 2009 als Hauptdomäne erhoben. Zu diesem Zeitpunkt lag die Lesekompetenz der Schülerinnen und Schüler in Deutschland noch im Durchschnitt der OECD-Staaten. Seitdem ist die Lesekompetenz in Deutschland deutlich gestiegen. Es sind vor allem die Jungen, die 2015 im Vergleich zur Erhebung im Jahr 2009 eine höhere Lesekompetenz zeigen. Außerdem ist die Gruppe der besonders leistungsstarken Schülerinnen und Schüler in Deutschland seit 2009 signifikant gewachsen. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Sammelbandbeitrag
| Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016
36590 Endnote
Autor*innen:
Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Titel:
Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
Aus:
Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 48-62
URL:
https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=50
Dokumenttyp:
4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Bildungsstandards; Kompetenz; Konzeption; Lernen; Naturwissenschaftlicher Unterricht; PISA <Programme for International Student Assessment>; Problemlösen; Projekt; Schüler; Schülerleistung; Schülerleistungstest; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion
Abstract:
In den letzten beiden Dekaden wurde eine Reihe von Large-Scale-Assessments (LSA) auf internationaler Ebene initiiert. Zentrale Aufgabe solcher LSA ist das Bildungsmonitoring - untersucht wird also, ob und inwieweit politisch gesetzte Bildungsziele erreicht werden konnten bzw. in welchen zentralen Kompetenzbereichen besondere Stärken oder Schwächen zu beobachten sind. Konzipiert als groß angelegte Befragungen und Testungen von Schülerinnen und Schülern, geben LSA empirisch fundiertes Feedback zu Bildungssystemen auf nationaler und - zum Teil - internationaler Ebene. Dabei hatten und haben LSA einen großen Einfluss auf die Bildungspolitik und Bildungsforschung. Da LSA vornehmlich bildungspolitisch ausgerichtet sind, sind zusätzliche begleitende Forschungsanstrengungen nötig, um die gesammelten Daten für die Bildungsforschung tiefer gehend zu erschließen - Forschungsanstrengungen wie die des LSA004-Projektes zum komplexen Problemlösen im Kontext von LSA. Im Weiteren geben wir einen kombinierten und breiteren Überblick über Befunde zum komplexen Problemlösen aus der PISA-Studie und aus dem LSA004-Projekt. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
The eras and trends of automatic short answer grading
Burrows, Steven; Gurevych, Iryna; Stein, Benno
Zeitschriftenbeitrag
| In: International Journal of Artificial Intelligence in Education | 2015
34978 Endnote
Autor*innen:
Burrows, Steven; Gurevych, Iryna; Stein, Benno
Titel:
The eras and trends of automatic short answer grading
In:
International Journal of Artificial Intelligence in Education, 25 (2015) 1, S. 60-117
DOI:
10.1007/s40593-014-0026-8
URL:
http://link.springer.com/article/10.1007/s40593-014-0026-8
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Automatisierung; Computerlinguistik; Computerunterstütztes Verfahren; Frage; Leistungsbeurteilung; Methode; Notengebung; Technologiebasiertes Testen; Testaufgabe
Abstract:
Automatic short answer grading (ASAG) is the task of assessing short natural language responses to objective questions using computational methods. The active research in this field has increased enormously of late with over 80 papers fitting a definition of ASAG. However, the past efforts have generally been ad-hoc and non-comparable until recently, hence the need for a unified view of the whole field. The goal of this paper is to address this aim with a comprehensive review of ASAG research and systems according to history and components. Our historical analysis identifies 35 ASAG systems within 5 temporal themes that mark advancement in methodology or evaluation. In contrast, our component analysis reviews 6 common dimensions from preprocessing to effectiveness. A key conclusion is that an era of evaluation is the newest trend in ASAG research, which is paving the way for the consolidation of the field. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten
Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko
Sammelbandbeitrag
| Aus: Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung | Frankfurt am Main: Lang | 2015
35596 Endnote
Autor*innen:
Stelter, Annette; Goldhammer, Frank; Naumann, Johannes; Rölke, Heiko
Titel:
Die Automatisierung prozeduralen Wissens. Eine Analyse basierend auf Prozessdaten
Aus:
Stiller, Jurik; Laschke, Christin (Hrsg.): Berlin-Brandenburger Beiträge zur Bildungsforschung 2015: Herausforderungen, Befunde und Perspektiven interdisziplinärer Bildungsforschung, Frankfurt am Main: Lang, 2015 , S. 111-132
URL:
http://www.peterlang.com/index.cfm?event=cmp.ccc.seitenstruktur.detailseiten&seitentyp=produkt&pk=83370&concordeid=265709
Dokumenttyp:
4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Sprache:
Deutsch
Schlagwörter:
Antwort; Aufgabe; Automatisierung; Datenanalyse; Kognitive Kompetenz; Kompetenzerwerb; Leistung; PIAAC <Programme for the International Assessment of Adult Competencies>; Regressionsanalyse; Technologiebasiertes Testen; Teilnehmer; Test; Testdurchführung; Wissen; Zeit
Abstract:
Prozessbezogene Verhaltensdaten aus computerbasierten Large Scale Assessments bieten neue Möglichkeiten zur Beschreibung des Bearbeitungsprozesses von Testteilnehmern. Dazu gehört auch die Anwendung von prozeduralem Wissen bei der Aufgabenbearbeitung. Prozedurales Wissen ist Wissen darüber, wie Tätigkeiten ausgeführt werden. Dabei nimmt mit zunehmender Expertise der Automatisierungsgrad prozeduralen Wissens zu, was anspruchsvollere kognitive Leistungen ermöglicht. Testteilnehmer brauchen zum Lösen komplexer Probleme unter anderem prozedurales Wissen und werden sich dabei im Grad der Automatisierung dieses Wissens unterscheiden. In dieser Studie wird ein Indikator für Automatisierung anhand aggregierter Testteilnehmerinteraktionen aus Protokolldaten extrahiert. Hierfür werden Daten aus dem computerbasierten Teil des 'Programme for the International Assessment of Adult Competencies' (PIAAC) genutzt. Basierend auf theoretischen Annahmen zum Kompetenzerwerb werden basale Teilaufgaben identifiziert, für die der individuelle Grad an Automatisierungen durch zeitbasierte Indikatoren erfasst wird. Anschließend werden logistische Regressionen berechnet, um die Beziehung dieser Indikatoren zur Wahrscheinlichkeit, mit der eine Aufgabe gelöst wird, zu ermitteln. Die Ergebnisse zeigen erwartungsgemäß einen negativen Zusammenhang zwischen der Lösungswahrscheinlichkeit einer Problemlöseaufgabe und der Geschwindigkeit bei der Bearbeitung basaler Teilaufgaben.
Abstract (english):
In educational research there are new ways of answering research questions through the use of behavioral process data. Behavioral process data gives detailed insight into the problem solving behavior of each test taker, including the activation of procedural knowledge. Procedural knowledge means knowing how to solve a task. With a higher degree of experience this kind of knowledge will become more automated and allows persons to successfully engage in more demanding cognitive tasks. Problem Solving requires this automation in procedural knowledge and test takers will differ in their degree of automation. This study shows how the degree of automation is related to success in problem solving tasks. To this end, we use data from the 'Programme for the International Assessment of Adult Competencies' (PIAAC). We first identify routine steps in PIAAC problem solving tasks that can be accomplished by activation of automated procedural knowledge. We measure the degree of automation through the time subjects need to take these routine steps. Logistic regression models are used to calculate the relation between the time taken and the probability of success on the task. First results show that indeed probability of success is highest, when subjects need only little time to take routine steps, presumably due to a high degree of automation.
DIPF-Abteilung:
Bildungsqualität und Evaluation; Informationszentrum Bildung
PIAAC Germany 2012. Technical report
Zabal, Anouk; Martin, Silke; Massing, Natascha; Ackermann, Daniela; Helmschrott, Susanne; […]
Monographie
| Münster: Waxmann | 2014
34754 Endnote
Autor*innen:
Zabal, Anouk; Martin, Silke; Massing, Natascha; Ackermann, Daniela; Helmschrott, Susanne; Barkow, Ingo; Rammstedt, Beatrice
Titel:
PIAAC Germany 2012. Technical report
Erscheinungsvermerk:
Münster: Waxmann, 2014
URL:
http://www.gesis.org/fileadmin/piaac/Downloadbereich/TechnicalReport-ebook.pdf
Dokumenttyp:
1. Monographien (Autorenschaft); Monographie
Sprache:
Englisch
Schlagwörter:
Bericht; Daten; Deutschland; Erhebungsinstrument; Erwachsener; Forschungsdesign; Fragebogen; Interview; Kognitive Kompetenz; Leistungsmessung; Leistungstest; Lesekompetenz; Mathematische Kompetenz; PIAAC <Programme for the International Assessment of Adult Competencies>; Problemlösen; Qualität; Technologiebasiertes Testen; Testdurchführung; Testkonstruktion
Abstract:
The Programme for the International Assessment of Adult Competencies (PIAAC) is a large-scale initiative of the Organization for Economic Cooperation and Development (OECD) that aims at assessing key adult competencies considered important for individual and societal success. This technical report describes how the PIAAC survey was conducted in Germany. It provides information on the PIAAC instruments: the background questionnaire and the cognitive assessment. Furthermore, it describes sampling, fieldwork, weighting, and nonresponse bias analyses. The report concludes with an overview of the data management processes and data products as well as a brief evaluation of the overall data quality. (DIPF/Verlag)
DIPF-Abteilung:
Informationszentrum Bildung
Controlling individuals' time spent on task in speeded performance measures. Experimental time […]
Goldhammer, Frank; Kröhne, Ulf
Zeitschriftenbeitrag
| In: Applied Psychological Measurement | 2014
34278 Endnote
Autor*innen:
Goldhammer, Frank; Kröhne, Ulf
Titel:
Controlling individuals' time spent on task in speeded performance measures. Experimental time limits, posterior time limits, and response time modeling
In:
Applied Psychological Measurement, 38 (2014) 4, S. 255-267
DOI:
10.1177/0146621613517164
URN:
urn:nbn:de:0111-pedocs-127839
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-127839
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Adaptives Testen; Deutschland; Empirische Untersuchung; Item-Response-Theory; Leistungsdruck; Leistungsmessung; Modell; Reliabilität; Schüler; Schülerleistung; Schuljahr 12; Technologiebasiertes Testen; Testaufgabe; Validität; Zeit
Abstract:
The speed-ability trade-off becomes a measurement problem if there is between-subject variation in the speed-ability compromise, as this may affect the comparability of ability estimates. To control individual speed differences, the response-signal (RS) paradigm was applied requiring an immediate response as soon as an acoustic signal is presented. A figural discrimination task and a word recognition task were completed both in an untimed condition allowing individual differences in time spent on task and in several timed conditions where the time available for item completion was limited using the RS paradigm. Thus, speed was manipulated by varying the available time between stimulus-onset and RS. A total of N = 205 high school students participated in the study. Results showed that across timed conditions with decreasing time on task, the ability level and ability variance decreased substantially. Ability correlations between timed conditions were high, whereas correlations between untimed and timed conditions were low. This finding suggested that ability differences being inconsistent to those found in the timed condition are due to individual differences in time on task in the untimed condition. To eliminate these differences, two ways were considered. First, untimed responses were recoded using two-tailed posterior time limits. As expected, correlations between timed and untimed conditions were increased. Second, the log-transformed item response times were included in the item response model, which led to even higher correlations between timed and untimed conditions. Validity and generalizability of the proposed testing procedure are discussed.
DIPF-Abteilung:
Bildungsqualität und Evaluation
Markierungen aufheben
Alle Treffer markieren
Export
<
1
...
3
4
(aktuell)
5
...
7
>
Alle anzeigen
(70)