Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Testkonstruktion")

Computerbasiertes Assessment Goldhammer, Frank; Kröhne, Ulf Book Chapter | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020 40530 Endnote: Author(s): Goldhammer, Frank; Kröhne, Ulf
Title: Computerbasiertes Assessment
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 119-141
DOI: 10.1007/978-3-662-61532-4_6
URL: https://link.springer.com/chapter/10.1007/978-3-662-61532-4_6
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Datenanalyse; Technologiebasiertes Testen; Computerunterstütztes Verfahren; Testverfahren; Psychologische Forschung; Sozialwissenschaften; Definition; Beispiel; Konzeption; Antwort; Datenerfassung; Interaktion; Bewertung; Testkonstruktion; Evidenz; Software; Fragebogen; Messverfahren
Abstract: Das Kapitel gibt einen Überblick, wie mit Hilfe von Computern im weiteren Sinne Tests und Fragebogen realisiert und dabei die Möglichkeiten von klassischen Papier-und-Bleistift-Verfahren erweitert bzw. deutlich überschritten werden können. Dies betrifft beispielsweise die Entwicklung computerbasierter Items mit innovativen Antwortformaten und multimedialen Stimuli sowie die automatische Bewertung des gezeigten Antwortverhaltens. Des Weiteren ermöglicht der Computer eine flexiblere Testzusammenstellung, d. h., Items können automatisch unter Berücksichtigung inhaltlicher und statistischer Kriterien sequenziert werden. Das Kapitel behandelt außerdem die Frage, wie durch Logfiledaten das Analysepotential gesteigert und durch die automatische und zeitnahe Rückmeldung von Testdaten beispielsweise das Lernen unterstützt werden kann. Das Kapitel schließt mit Hinweisen auf einschlägige und frei zugängliche Softwarelösungen für Assessmentzwecke. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Validität von Testwertinterpretationen Hartig, Johannes; Frey, Andreas; Jude, Nina Book Chapter | Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion | Berlin: Springer | 2020 40526 Endnote: Author(s): Hartig, Johannes; Frey, Andreas; Jude, Nina
Title: Validität von Testwertinterpretationen
In: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Berlin: Springer, 2020 , S. 529-545
DOI: 10.1007/978-3-662-61532-4_21
URL: https://link.springer.com/chapter/10.1007%2F978-3-662-61532-4_21
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Test; Wert; Testauswertung; Interpretation; Validität; Qualität; Datenanalyse; Testkonstruktion; Testtheorie; Argumentation; Methode
Abstract: Das Gütekriterium der Validität ist ein zentrales Qualitätskriterium. Es ist den Gütekriterien Objektivität und Reliabilität übergeordnet. Validität bezieht sich darauf, inwieweit Interpretationen von Testwerten und beabsichtigte Verwendungen von Tests gerechtfertigt sind. Das Verständnis von Validität hat sich in den letzten Jahrzehnten deutlich weiterentwickelt. Während sich im vergangenen Jahrhundert zunächst eine wenig praktikable Vielzahl "verschiedener Validitäten" herausgebildet hatte, wird Validität inzwischen als einheitliches Qualitätskriterium betrachtet, das Informationen aus verschiedenen Quellen integriert. Zudem wurde Validität früher als Eigenschaft eines Tests betrachtet, heute bezieht sie sich auf die Interpretation von Testwerten. Ein Test kann demnach nicht als solcher valide sein, vielmehr erfordert jede intendierte Testwertinterpretation eine separate Validierung. Im Kontext aktueller internationaler Forschung wird die Validierung von Testwertinterpretationen im Rahmen des sog. "argumentationsbasierten Ansatzes" beschrieben. Dabei muss zunächst die zu validierende Testwertinterpretation präzise formuliert werden. Dann werden empirische überprüfbare Grundannahmen der Testwertinterpretationen identifiziert. Hierauf wird empirische Evidenz gesammelt, anhand derer die Grundannahmen widerlegt oder vorläufig gestützt werden können. Wichtige Evidenzquellen sind die Testinhalte, die bei der Testbeantwortung ablaufenden kognitiven Prozesse, die interne Struktur der Testdaten und die Beziehungen der Testwerte zu anderen Variablen. Bei der abschließenden zusammenfassenden Bewertung wird eine Testwertinterpretation dann als valide betrachtet, wenn keine der zugrunde liegenden Annahmen widerlegt werden konnte. Die argumentationsbasierte Validierung gleicht theoriegeleiteter und hypothesenbasierter Forschung und erfolgt spezifisch für jede intendierte Testwertinterpretation. Der Abschluss eines Validierungsprozesses hat einen vorläufigen Charakter, da zukünftige Befunde eine Testwertinterpretation hinsichtlich einer oder mehrerer Grundannahmen widerlegen und damit infrage stellen können. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Assessment im Kontext von Mehrsprachigkeit Köhler, Carmen; Hartig, Johannes Book Chapter | Aus: Gogolin, Ingrid; Hansen, Antje; McMonagle, Sarah; Rauch, Dominique (Hrsg.): Handbuch Mehrsprachigkeit und Bildung | Heidelberg: Springer | 2020 40645 Endnote: Author(s): Köhler, Carmen; Hartig, Johannes
Title: Assessment im Kontext von Mehrsprachigkeit
In: Gogolin, Ingrid; Hansen, Antje; McMonagle, Sarah; Rauch, Dominique (Hrsg.): Handbuch Mehrsprachigkeit und Bildung, Heidelberg: Springer, 2020 , S. 303-308
DOI: 10.1007/978-3-658-20285-9_44
URL: https://link.springer.com/chapter/10.1007/978-3-658-20285-9_44
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Chancengleichheit; Mehrsprachigkeit; Wirkung; Leistungstest; Testaufgabe; Problemlösen; Individuelle Förderung; Schüler; Benachteiligung; Testkonstruktion; Qualität; Unterstützung
Abstract: In diesem Kapitel sollen die Auswirkungen von Mehrsprachigkeit bei standardisiert durchgeführten Leistungserfassungen mithilfe von Testaufgaben betrachtet werden, wie sie beispielsweise in der Individualdiagnostik, z. B. zur Klärung eines individuellen Förderbedarfs, oder bei Bildungsstudien wie PISA (Programme for International Student Assessment) zum Einsatz kommen. Im Folgenden nicht behandelt werden Tests zur Diagnose von Sprachentwicklungsstörungen, bei denen die Mehrsprachigkeit von Kindern auch eine spezielle Berücksichtigung findet (Wagner 2015). (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Forschungsinstrumente im Kontext institutioneller (schrift-)sprachlicher Bildung Mackowiak, Katja; Beckerle, Christine; Gentrup, Sarah; Titz, Cora (Hrsg.) Compilation Book | Bad Heilbrunn: Klinkhardt | 2020 40628 Endnote: Editor(s) Mackowiak, Katja; Beckerle, Christine; Gentrup, Sarah; Titz, Cora
Title: Forschungsinstrumente im Kontext institutioneller (schrift-)sprachlicher Bildung
Published: Bad Heilbrunn: Klinkhardt, 2020
DOI: doi.org/1035468/5801
URN: urn:nbn:de:0111-pedocs-201399
URL: https://www.pedocs.de/frontdoor.php?source_opus=20139
Publication Type: Sammelbände; Werkeditionen (Herausgeberschaft); Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Aktivierung; Anwendung; Auswertung; Baden-Württemberg; Bayern; Beobachtung; Beobachtungsmethode; Berufliche Kompetenz; Bewertung; Bildungsforschung; Bildungspraxis; Datenerfassung; Deutschland; Deutschunterricht; Diagnostik; Dokumentation; Empirische Forschung; Erhebungsinstrument; Erzieher; Erzieherin; Fachdidaktik; Fachsprache; Fachunterricht; Fachwissen; Feed-back; Förderdiagnostik; Förderung; Forschung; Forschungsmethode; Fragebogen; Grundschule; Handlungskompetenz; Instrument; Interview; Kind; Kindergarten; Kindergartenalltag; Kindergartenpädagogik; Kindertagesstätte; Kompetenz; Kompetenzmessung; Korrektur; Längsschnittuntersuchung; Lehramtsstudent; Lehrer; Lehrer-Schüler-Interaktion; Leitfadeninterview; Leseförderung; Lesekompetenz; Mathematikunterricht; Messinstrument; Methode; Nordrhein-Westfalen; Pädagogische Fachkraft; Pädagogisches Handeln; Primarbereich; Profession; Professionalisierung; Protokoll; Psychometrie; Qualitative Forschung; Quantitative Forschung; Reflexion <Phil>; Sachsen-Anhalt; Schriftsprache; Schule; Schüler; Schülermitarbeit; Sekundarstufe I; Software; Sprachbildung; Sprachdiagnostik; Spracherwerb; Sprachförderung; Sprachgebrauch; Sprachkompetenz; Sprachpraktische Übung; Sprachstandsforschung; Test; Testkonstruktion; Testvalidität; Testverfahren; Transfer; Unterricht; Videoanalyse; Videoaufzeichnung; Vignette <Methode>; Wissen; Wissenstest
Abstract: Das Buch stellt sieben Verfahren vor, die unterschiedliche Facetten (schrift-)sprachlicher Bildung erfassen. Die Verfahren fokussieren unterschiedlcihe Aspekte der Sprachbildung sowie Sprach- und Leseförderung in Kindertageseinrichtungen und Schulen und adressieren unterschiedliche Zielgruppen (pädagogische Fachkräfte, Lehrkräfte, Kinder). Die Instrumente wurden im Rahmen der Initiative "Bildung durch Sprache und Schrift" (BiSS) entwickelt und primär für Forschungszwecke, jedoch auch in der Aus- und Weiterbildung von pädagogischen Fach- und Lehrkräften einsetzbar. Ein online-Anhang stellt die Instrumente sowie alle notwendigen Materialien zur Verfügung.
DIPF-Departments: Bildung und Entwicklung

Foreign language learning in older age does not improve memory or intelligence. Evidence from a […] Berggren, Rasmus; Nilsson, Jonna; Brehmer, Yvonne; Schmiedek, Florian; Lövdén, Martin Journal Article | In: Psychology and Aging | 2020 39899 Endnote: Author(s): Berggren, Rasmus; Nilsson, Jonna; Brehmer, Yvonne; Schmiedek, Florian; Lövdén, Martin
Title: Foreign language learning in older age does not improve memory or intelligence. Evidence from a randomized controlled study
In: Psychology and Aging, 35 (2020) 2, S. 212-219
DOI: 10.1037/pag0000439
URL: https://psycnet.apa.org/doiLanding?doi=10.1037%2Fpag0000439
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Alter Mensch; Fremdsprache; Lernen; Wirkung; Kognitive Kompetenz; Intelligenz; Arbeitsgedächtnis; Wortschatz; Assoziation; Leistungstest; Testkonstruktion; Strukturgleichungsmodell:Schweden
Abstract: Foreign language learning in older age has been proposed as a promising avenue for combatting age-related cognitive decline. We tested this hypothesis in a randomized controlled study in a sample of 160 healthy older participants (aged 65-75 years) who were randomized to 11 weeks of either language learning or relaxation training. Participants in the language learning condition obtained some basic knowledge in the new language (Italian), but between-groups differences in improvements on latent factors of verbal intelligence, spatial intelligence, working memory, item memory, or associative memory were negligible. We argue that this is not due to either poor measurement, low course intensity, or low statistical power, but that basic studies in foreign languages in older age are likely to have no or trivially small effects on cognitive abilities. We place this in the context of the cognitive training and engagement literature and conclude that while foreign language learning may expand the behavioral repertoire, it does little to improve cognitive processing abilities.
DIPF-Departments: Bildung und Entwicklung

A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes Journal Article | In: Journal of Educational and Behavioral Statistics | 2020 40510 Endnote: Author(s): Köhler, Carmen; Robitzsch, Alexander; Hartig, Johannes
Title: A bias corrected RMSD item fit statistic. An evaluation and comparison to alternatives
In: Journal of Educational and Behavioral Statistics, 45 (2020) 3, S. 251-273
DOI: 10.3102/1076998619890566
URL: https://journals.sagepub.com/doi/10.3102/1076998619890566
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Item-Response-Theory; Testkonstruktion; Modell; Frage; Antwort; Messverfahren; Statistische Methode; Evaluation; Vergleich; Bildungsforschung; Empirische Forschung
Abstract: Testing whether items fit the assumptions of an item response theory model is an important step in evaluating a test. In the literature, numerous item fit statistics exist, many of which show severe limitations. The current study investigates the root mean squared deviation (RMSD) item fit statistic, which is used for evaluating item fit in various large-scale assessment studies. The three research questions of this study are (1) whether the empirical RMSD is an unbiased estimator of the population RMSD; (2) if this is not the case, whether this bias can be corrected; and (3) whether the test statistic provides an adequate significance test to detect misfitting items. Using simulation studies, it was found that the empirical RMSD is not an unbiased estimator of the population RMSD, and nonparametric bootstrapping falls short of entirely eliminating this bias. Using parametric bootstrapping, however, the RMSD can be used as a test statistic that outperforms the other approaches - infit and outfit, S1 X2 with respect to both Type I error rate and power. The empirical application showed that parametric bootstrapping of the RMSD results in rather conservative item fit decisions, which suggests more lenient cut-off criteria. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Rapid guessing rates across administration mode and test setting Kröhne, Ulf; Deribo, Tobias; Goldhammer, Frank Journal Article | In: Psychological Test and Assessment Modeling | 2020 40317 Endnote: Author(s): Kröhne, Ulf; Deribo, Tobias; Goldhammer, Frank
Title: Rapid guessing rates across administration mode and test setting
In: Psychological Test and Assessment Modeling, 62 (2020) 2, S. 144-177
DOI: 10.25656/01:23630
URN: urn:nbn:de:0111-pedocs-236307
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-236307
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Test; Bewertung; Innovation; Validität; Technologiebasiertes Testen; Design; Testkonstruktion; Testverfahren; Wirkung; Verhalten; Logdatei; Experiment; Student; Vergleichsuntersuchung
Abstract (english): Rapid guessing can threaten measurement invariance and the validity of large-scale assessments, which are often conducted under low-stakes conditions. Comparing measures collected under different administration modes or in different test settings necessitates that rapid guessing rates also be comparable. Response time thresholds can be used to identify rapid guessing behavior. Using data from an experiment embedded in an assessment of university students as part of the National Educational Panel Study (NEPS), we show that rapid guessing rates can differ across modes. Specifically, rapid guessing rates are found to be higher for un-proctored individual online assessment. It is also shown that rapid guessing rates differ across different groups of students and are related to properties of the test design. No relationship between dropout behavior and rapid guessing rates was found. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von […] Schoor, Cornelia; Hahnel, Carolin; Artelt, Cordula; Reimann, Daniel; Kroehne, Ulf; Goldhammer, Frank Journal Article | In: Diagnostica | 2020 40128 Endnote: Author(s): Schoor, Cornelia; Hahnel, Carolin; Artelt, Cordula; Reimann, Daniel; Kroehne, Ulf; Goldhammer, Frank
Title: Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden
In: Diagnostica, 66 (2020) 2, S. 123-135
DOI: 10.1026/0012-1924/a000231
URN: urn:nbn:de:0111-pedocs-218434
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-218434
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Deutsch
Keywords: Testkonstruktion; Student; Messung; Textverständnis; Quelle; Inhalt; Dokument; Diagnostischer Test; Kompetenz; Datenerfassung; Datenanalyse; Modell; Skalierung; Validität
Abstract: Das Verständnis multipler Dokumente (Multiple Document Comprehension, MDC) wird als Fähigkeit verstanden, aus verschiedenen Informationsquellen eine integrierte Repräsentation eines inhaltlichen Gegenstandsbereichs zu konstruieren. Als solche ist sie sowohl für die erfolgreiche Bewältigung eines Studiums als auch für gesellschaftliche Partizipation eine wichtige Kompetenz. Bislang gibt es jedoch kein etabliertes Diagnostikum in diesem Bereich. Um diese Lücke zu schließen, wurde ein Test entwickelt, der vier zentrale kognitive Anforderungen von MDC abdeckt und auf Basis der Daten von 310 Studierenden sozial- und geisteswissenschaftlicher Fächer überprüft wurde. Die im MDC-Test gemessene Kompetenz erwies sich als eindimensional. Der MDC-Testwert wies theoriekonforme Zusammenhänge mit der Abiturnote, dem Studienabschnitt und der Leistung in einer Essay-Aufgabe auf. Insgesamt liefern die Ergebnisse empirische Belege dafür, dass der Testwert aus dem MDC-Test die fächerübergreifende Fähigkeit von Studierenden wiedergibt, multiple Dokumente zu verstehen. (DIPF/Orig.)
Abstract (english): Multiple document comprehension (MDC) is defined as the ability to construct an integrated representation based on different sources of information on a particular topic. It is an important competence for both the successful accomplishment of university studies and participation in societal discussions. Yet, there is no established assessment instrument for MDC. Therefore, we developed a test covering four theory-based cognitive requirements of MDC. Based on the data of 310 university students of social sciences and humanities, the MDC test proved to be a unidimensional measure. Furthermore, the test score was related to the final school exam grade, the study level (bachelor / master), and the performance in an essay task. The empirical results suggest that the score of the MDC test can be interpreted as the generic competence of university students to understand multiple documents. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Kompetenzdiagnostik Frey, Andreas; Hartig, Johannes Book Chapter | Aus: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik | Münster: Waxmann | 2019 38881 Endnote: Author(s): Frey, Andreas; Hartig, Johannes
Title: Kompetenzdiagnostik
In: Harring, Marius; Rohlfs, Carsten; Gläser-Zikuda, Michaela (Hrsg.): Handbuch Schulpädagogik, Münster: Waxmann, 2019 , S. 849-858
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Kompetenz; Diagnostik; Schülerleistung; Leistungsmessung; Kognitive Kompetenz; Schülerleistungstest; Testkonstruktion; Datenerfassung; Testauswertung; Interpretation; Qualität; Bewertung; Testdurchführung; Planung
Abstract: Mit dem vorliegenden Beitrag wird das Feld der Kompetenzdiagnostik zusammenfassend dargestellt. Konkret wird dabei beschrieben, (a) was unter Kompetenzdiagnostik zu verstehen ist und welche Ziele mit ihr verfolgt werden, (b) wie Kompetenztests entwickelt und (c) wie sie angewendet werden. Das Kapitel schließt mit einem zusammenfassenden Fazit und einem Ausblick auf künftige Entwicklungsmöglichkeiten. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; […] Book Chapter | Aus: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich | Münster: Waxmann | 2019 39806 Endnote: Author(s): Goldhammer, Frank; Harrison, Scott; Bürger, Sarah; Kroehne, Ulf; Lüdtke, Oliver; Robitzsch, Alexander; Köller, Olaf; Heine, Jörg-Henrik; Mang, Julia
Title: Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer
In: Reiss, Kristina; Weis, Mirjam; Klieme, Eckhard; Köller, Olaf (Hrsg.): PISA 2018: Grundbildung im internationalen Vergleich, Münster: Waxmann, 2019 , S. 163-186
URL: https://www.pisa.tum.de/fileadmin/w00bgi/www/Berichtsbaende_und_Zusammenfassungungen/PISA_2018_Berichtsband_online_29.11.pdf#page=163
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: PISA <Programme for International Student Assessment>; Papier-Bleistift-Test; Technologiebasiertes Testen; Veränderung; Methode; Wirkung; Computerunterstütztes Verfahren; Testaufgabe; Antwort; Schwierigkeit; Lesen; Mathematik; Naturwissenschaften; Testkonstruktion; Testdurchführung; Korrelation; Vergleich; Deutschland
Abstract: In PISA 2015 wurde der Erhebungsmodus von Papier zu Computer umgestellt. Eine nationale Ergänzungsstudie im Rahmen von PISA 2018 hatte entsprechend das Ziel, vertiefende Analysen zu möglichen Unterschieden papierbasierter und computerbasierter Messungen durchzuführen. Im Fokus standen die Vergleichbarkeit des gemessenen Konstrukts und der einzelnen Aufgaben (Items), beispielsweise hinsichtlich ihrer Schwierigkeit. Darüber hinaus wurden die Auswirkungen des Moduswechsels auf die Vergleichbarkeit mit den Ergebnissen früherer PISA-Erhebungen in Deutschland untersucht. Als empirische Basis wurden Daten aus dem PISA-2015-Feldtest genutzt sowie Daten, die im Rahmen der nationalen PISA-Haupterhebung 2018 an einem zweiten Testtag mit papierbasierten Testheften aus PISA 2009 zusätzlich erhoben wurden. Erste Ergebnisse der Ergänzungsstudie liefern Belege für die Konstruktäquivalenz zwischen papier- und computerbasierten Messungen. Zudem weisen die Daten der Ergänzungsstudie darauf hin, dass die computerbasierten Items im Mittel etwas schwieriger sind als die papierbasierten Items. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem (originalem) und nationalem (marginalem) Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den originalen Trend. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation