Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Testkonstruktion")

Practical significance of item misfit in educational assessments Köhler, Carmen; Hartig, Johannes Journal Article | In: Applied Psychological Measurement | 2017 37161 Endnote: Author(s): Köhler, Carmen; Hartig, Johannes
Title: Practical significance of item misfit in educational assessments
In: Applied Psychological Measurement, 41 (2017) 5, S. 388-400
DOI: 10.1177/0146621617692978
URN: urn:nbn:de:0111-pedocs-156084
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-156084
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Item-Response-Theory; Korrelation; Leistungsmessung; Rasch-Modell; Schülerleistung; Schülerleistungstest; Testkonstruktion; Testtheorie; Validität
Abstract: Testing item fit is an important step when calibrating and analyzing item response theory (IRT)-based tests, as model fit is a necessary prerequisite for drawing valid inferences from estimated parameters. In the literature, numerous item fit statistics exist, sometimes resulting in contradictory conclusions regarding which items should be excluded from the test. Recently, researchers argue to shift the focus from statistical item fit analyses to evaluating practical consequences of item misfit. This article introduces a method to quantify potential bias of relationship estimates (e.g., correlation coefficients) due to misfitting items. The potential deviation informs about whether item misfit is practically significant for outcomes of substantial analyses. The method is demonstrated using data from an educational test. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Incremental validity of multidimensional proficiency scores from diagnostic classification models: […] Kunina-Habenicht, Olga; Rupp, André A.; Wilhelm, Oliver Journal Article | In: International Journal of Testing | 2017 37179 Endnote: Author(s): Kunina-Habenicht, Olga; Rupp, André A.; Wilhelm, Oliver
Title: Incremental validity of multidimensional proficiency scores from diagnostic classification models: An illustration for elementary school mathematics
In: International Journal of Testing, 17 (2017) 4, S. 277-301
DOI: 10.1080/15305058.2017.1291517
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Arithmetik; Diagnostik; Empirische Untersuchung; Item-Response-Theory; Leistungsmessung; Mathematische Kompetenz; Modell; Regressionsanalyse; Reliabilität; Schülerleistung; Schülerleistungstest; Schuljahr 04; Testkonstruktion; Validität
Abstract (english): Diagnostic classification models (DCMs) hold great potential for applications in summative and formative assessment by providing discrete multivariate proficiency scores that yield statistically-driven classifications of students. Using data from a newly developed diagnostic arithmetic assessment that was administered to 2,032 fourth-grade students in Germany, we evaluated whether the multidimensional proficiency scores from the best-fitting DCM have an added value, over and above the unidimensional proficiency score from a simpler unidimensional IRT model, in explaning variance in external (a) school grades in mathematics and (b) unidimensional proficiency scores from a standards-based large-scale assessment of mathematics. Results revealed high classification reliabilities as well as interpretable parameter estimates for items and students for the best-fitting DCM. However, while DCM scores were moderatly correlated with both external criteria, only a negligible incremental validity of the multivariate attribute scores was found. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Absolute and relative measures of instructional sensitivity Naumann, Alexander; Hartig, Johannes; Hochweber, Jan Journal Article | In: Journal of Educational and Behavioral Statistics | 2017 37374 Endnote: Author(s): Naumann, Alexander; Hartig, Johannes; Hochweber, Jan
Title: Absolute and relative measures of instructional sensitivity
In: Journal of Educational and Behavioral Statistics, 42 (2017) 6, S. 678-705
DOI: 10.3102/1076998617703649
URN: urn:nbn:de:0111-pedocs-156029
URL: http://www.dipfdocs.de/volltexte/2018/15602/pdf/1076998617703649_A.pdf
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Bewertung; DESI <Deutsch-Englisch-Schülerleistungen-International>; Deutschland; Englischunterricht; Item-Response-Theory; Leistungsmessung; Messverfahren; Schüler; Schülerleistung; Schuljahr 09; Sprachkompetenz; Test; Testkonstruktion; Testtheorie; Unterricht; Wirkung
Abstract: Valid inferences on teaching drawn from students' test scores require that tests are sensitive to the instruction students received in class. Accordingly, measures of the test items' instructional sensitivity provide empirical support for validity claims about inferences on instruction. In the present study, we first introduce the concepts of absolute and relative measures of instructional sensitivity. Absolute measures summarize a single item's total capacity of capturing effects of instruction, which is independent of the test's sensitivity. In contrast, relative measures summarize a single item's capacity of capturing effects of instruction relative to test sensitivity. Then, we propose a longitudinal multilevel item response theory model that allows estimating both types of measures depending on the identification constraints. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Time-on-task effects in digital reading are non-linear and moderated by persons' skills and tasks' […] Naumann, Johannes; Goldhammer, Frank Journal Article | In: Learning and Individual Differences | 2017 36715 Endnote: Author(s): Naumann, Johannes; Goldhammer, Frank
Title: Time-on-task effects in digital reading are non-linear and moderated by persons' skills and tasks' demands
In: Learning and Individual Differences, 53 (2017) , S. 1-16
DOI: 10.1016/j.lindif.2016.10.002
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Digitale Medien; Hypertext; Internationaler Vergleich; Kognitive Prozesse; Leistungsmessung; Lesekompetenz; Lesen; Leseverstehen; Modell; OECD-Länder; PISA <Programme for International Student Assessment>; Problemlösen; Schülerleistung; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion; Wirkung; Zeit
Abstract: Time-on-task effects on response accuracy in digital reading tasks were examined using PISA 2009 data (N = 34,062, 19 countries/economies). As a baseline, task responses were explained by time on task, tasks' easiness, and persons' digital reading skill (Model 1). Model 2 added a quadratic time-on-task effect, persons' comprehension skill and tasks' navigation demands as predictors. In each country, linear and quadratic time-on-task effects were moderated by person and task characteristics. Strongly positive linear time-on-task effects were found for persons being poor digital readers (Model 1) and poor comprehenders (Model 2), which decreased with increasing skill. Positive linear time-on-task effects were found for hard tasks (Model 1) and tasks high in navigation demands (Model 2). For easy tasks and tasks low in navigation demands, the time-on-task effects were negative, or close to zero, respectively. A negative quadratic component of the time-on-task effect was more pronounced for strong comprehenders, while the linear component was weaker. Correspondingly, for tasks high in navigation demands the negative quadratic component to the time-on-task effect was weaker, and the linear component was stronger. These results are in line with a dual-processing account of digital reading that distinguishes automatic reading components from resource-demanding regulation and navigation processes. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel Book Chapter | Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016 36590 Endnote: Author(s): Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Title: Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
In: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 48-62
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=50
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Bildungsstandards; Kompetenz; Konzeption; Lernen; Naturwissenschaftlicher Unterricht; PISA <Programme for International Student Assessment>; Problemlösen; Projekt; Schüler; Schülerleistung; Schülerleistungstest; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion
Abstract: In den letzten beiden Dekaden wurde eine Reihe von Large-Scale-Assessments (LSA) auf internationaler Ebene initiiert. Zentrale Aufgabe solcher LSA ist das Bildungsmonitoring - untersucht wird also, ob und inwieweit politisch gesetzte Bildungsziele erreicht werden konnten bzw. in welchen zentralen Kompetenzbereichen besondere Stärken oder Schwächen zu beobachten sind. Konzipiert als groß angelegte Befragungen und Testungen von Schülerinnen und Schülern, geben LSA empirisch fundiertes Feedback zu Bildungssystemen auf nationaler und - zum Teil - internationaler Ebene. Dabei hatten und haben LSA einen großen Einfluss auf die Bildungspolitik und Bildungsforschung. Da LSA vornehmlich bildungspolitisch ausgerichtet sind, sind zusätzliche begleitende Forschungsanstrengungen nötig, um die gesammelten Daten für die Bildungsforschung tiefer gehend zu erschließen - Forschungsanstrengungen wie die des LSA004-Projektes zum komplexen Problemlösen im Kontext von LSA. Im Weiteren geben wir einen kombinierten und breiteren Überblick über Befunde zum komplexen Problemlösen aus der PISA-Studie und aus dem LSA004-Projekt. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

The history and current status of testing across cultures and countries Poortinga, Ype H.; Klieme, Eckhard Book Chapter | Aus: Leong, Frederick T. L.;Bartram, Dave;Cheung, Fanny M.;Geisinger, Kurt F.;Iliescu, Dragos (Hrsg.): The ITC international handbook of testing and assessment | New York; NY: Oxford University Press | 2016 36618 Endnote: Author(s): Poortinga, Ype H.; Klieme, Eckhard
Title: The history and current status of testing across cultures and countries
In: Leong, Frederick T. L.;Bartram, Dave;Cheung, Fanny M.;Geisinger, Kurt F.;Iliescu, Dragos (Hrsg.): The ITC international handbook of testing and assessment, New York; NY: Oxford University Press, 2016 , S. 14-28
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Bildungsforschung; Empirische Forschung; Geschichte <Histor>; Internationaler Vergleich; Konzeption; Kulturdifferenz; Leistungsmessung; Leistungstest; Psychometrie; Qualität; Schülerleistung; Testkonstruktion; Testverfahren; Vergleichende Bildungsforschung
Abstract: There are a few hundred countries and many more culturally distinct groups identified by cultural anthropologists (Human Relations Area Files; Murdock et al., 2008). In many of these groups, psychometric instruments have been applied for at least half a century. There are hundreds of psychological tests and scales, of which dozens are widely used. The permutation of peoples, tests and historical time defines the global success of the testing enterprise. It also defines the scope of this chapter, making clear that our treatment of the topic can only be scant. We will focus on a few general themes, leaving aside, for the most part, specific countries or cultures and specific tests. In the first section we look at the early use of tests cross-culturally and the growing awareness that test scores are not likely to have the same meaning across cultures. In the second section we address the resulting issues of inequivalence or imcomparability and the methods of analysis that were devised to deal with these issues. The third section covers more recent history, in our view characterized by concern about inequivalence, but also by a pragmatic approach to the use of tests with test takers who differ in the language they speak and in cultural background. The chapter ends with a section in which we address some inherent difficulties in international test use and point to important achievements over the period of almost a century. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Computergestützte, adaptive und verhaltensnahe Erfassung informations- und […] Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; […] Book Chapter | Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016 36592 Endnote: Author(s): Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; Goldhammer, Frank; Naumann, Johannes; Forz, Holger
Title: Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikations-technologiebezogener Fertigkeiten (ICT-Skills) (CavE-ICT)
In: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 161-180
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=163
Publication Type: Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Adaptives Testen; Computerunterstütztes Verfahren; Deutschland; Entwicklung; Fertigkeit; Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Messung; Projekt; Testkonstruktion
Abstract: 2011 startete das Bundesministerium für Bildung und Forschung (BMBF) die Initiative zur Förderung von Forschungsvorhaben in Ankopplung an Large-Scale-Assessments (LSA). Large-Scale-Assessments werden als wichtige Instrumente des Bildungsmonitorings angesehen (z.B. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland [KMK], 2006). Mit der Ausschreibung der Förderinitiative werden Forschungsaktivitäten unterstützt, die neben Fragestellungen zur Kompetenzdiagnostik Testkonzeption und Methoden ständig zu verbessern suchen, weitere Domänen, Kompetenzen und Bedienungsfelder erschließen und in angemessener Weise modellieren wollen. Das Projekt "Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikationstechnologiebezogener Fertigkeiten (ICT-Skills)" (CavE-ICT) war in der genannten Initiative angesiedelt. Es widmete sich der Entwicklung eines computergestützten Testverfahrens zur simulationsbasierten Erfassung von informations- und kommunikationstechnologiebezogenen Fertigkeiten. Im vorliegenden Beitrag werden die zentralen Ergebnisse der Testentwicklung dargelegt. Der Einsatz des entwickelten Testinstruments kann im Kontext von Large-Scale-Assessments, aber auch zur Individualdiagnostik erfolgen. Der Test ist zudem potenziell adaptiv einsetzbar und beruht auf einer soliden theoretischen Basis. CavE-ICT war ein Kooperationsprojekt zwischen der Goethe-Universität Frankfurt am Main, dem Deutschen Institut für Internationale Pädagogische Forschung in Frankfurt am Main und der Friedrich-Schiller-Universität Jena. Die übergeordnete "Vision" des Projekts bestand in der Entwicklung eines computerbasierten, verhaltensnahen sowie adaptiven Instruments zur Messung von ICT-Skills, das bei künftigen (internationalen) Large-Scale-Assessments, wie etwa PISA, dem nationalen Bildungspanel (NEPS; Artelt, Weinert & Carstensen, 2013) oder der International Computer and Information Literacy Study (ICILS; Bos et al., 2014), Verwendung finden kann. Die Struktur des [...] Beitrags orientiert sich am Projektablauf. Zunächst wird die theoretische Rahmenkonzeption vorgestellt (Kapitel 2), auf deren Basis der computerisierte Test entwickelt wurde. Anschließend wird der Prozess der Itementwicklung skizziert (Kapitel 3) und schließlich die Erprobung der entwickelten Items im Rahmen der Kalibrierungsstudie dargestellt (Kapitel 4). Abschließend wird ein kurzes Fazit gezogen und ein Ausblick gegeben (Kapitel 5). (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

PISA 2015. Eine Studie zwischen Kontinuität und Innovation Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf (Hrsg.) Compilation Book | Münster: Waxmann | 2016 36828 Endnote: Editor(s) Reiss, Kristina; Sälzer, Christine; Schiepe-Tiska, Anja; Klieme, Eckhard; Köller, Olaf
Title: PISA 2015. Eine Studie zwischen Kontinuität und Innovation
Published: Münster: Waxmann, 2016
URL: https://www.waxmann.com/fileadmin/media/zusatztexte/3555Volltext.pdf
Publication Type: Sammelbände; Werkeditionen (Herausgeberschaft); Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Deutschland; Einstellung <Psy>; Eltern; Empirische Untersuchung; Entdeckendes Lernen; Forschendes Lernen; Fragebogen; Freude; Geschlechtsspezifischer Unterschied; Interesse; Internationale Organisation; Internationaler Vergleich; Jugendlicher; Kompetenzerwerb; Konzeption; Leistungsmessung; Lernbedingungen; Lernumgebung; Lesekompetenz; Mathematische Kompetenz; Migrationshintergrund; Motivation; Naturwissenschaftliche Kompetenz; Naturwissenschaftlicher Unterricht; OECD-Länder; Organisation; PISA <Programme for International Student Assessment>; Qualität; Querschnittuntersuchung; Reliabilität; Schulentwicklung; Schülerleistung; Schülerleistungstest; Schulform; Schulklima; Sekundarbereich; Selbstwirksamkeit; Skalierung; Soziale Herkunft; Stichprobe; Technologiebasiertes Testen; Teilnehmer; Testaufgabe; Testauswertung; Testdurchführung; Testkonstruktion; Testmethodik; Überzeugung; Validität; Veränderung; Wahrnehmung
Abstract: Alle drei Jahre testet PISA den Stand der Grundbildung fünfzehnjähriger Jugendlicher in den Bereichen Naturwissenschaften, Mathematik und Lesen und untersucht so Stärken und Schwächen von Bildungssystemen im Vergleich der OECD-Staaten. Zentral ist dabei die Frage, inwieweit es den teilnehmenden Staaten gelingt, die Schülerinnen und Schüler während der Schulpflicht auf ihre weiteren Bildungs- und Berufswege vorzubereiten. Der nationale Berichtsband stellt die Ergebnisse aus PISA 2015 vor, die von den Schülerinnen und Schülern in Deutschland erreicht wurden, und setzt sie in Relation zu den Ergebnissen in anderen OECD-Staaten. Der Schwerpunkt der Erhebungen und Auswertungen liegt dabei auf den Naturwissenschaften. PISA 2015 bildet als sechste Erhebungsrunde des Programme for International Student Assessment der OECD zugleich den Abschluss des zweiten Zyklus der Studie und den Beginn der computerbasierten Testung. Unter Beibehaltung wesentlicher Standards der Datenerhebung und -auswertung wurden in PISA 2015 mit dem Erhebungsmodus am Computer, einem differenzierteren Skalierungsmodell und einem erweiterten Testdesign mehrere Neuerungen eingeführt. Sie tragen Veränderungen in der Lern- und Lebenswelt Rechnung und werden die Aussagekraft der PISA-Studien auf lange Sicht verbessern. Mit Blick auf diese Balance zwischen Kontinuität und Innovation werden die Befunde aus PISA 2015 in diesem Band eingeordnet und diskutiert. (DIPF/Verlag)
DIPF-Departments: Bildungsqualität und Evaluation

Overidentification of learning disorders among language-minority students. Implications for the […] Brandenburg, Janin; Fischbach, Anne; Labuhn, Andju Sara; Rietz, Chantal Sabrina; Schmid, Johanna; […] Journal Article | In: Journal for Educational Research Online | 2016 36124 Endnote: Author(s): Brandenburg, Janin; Fischbach, Anne; Labuhn, Andju Sara; Rietz, Chantal Sabrina; Schmid, Johanna; Hasselhorn, Marcus
Title: Overidentification of learning disorders among language-minority students. Implications for the standardization of school achievement tests
In: Journal for Educational Research Online, 8 (2016) 1, S. 42-65
URN: urn:nbn:de:0111-pedocs-120293
URL: http://www.j-e-r-o.com/index.php/jero/article/view/621
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Deutsch; Deutsch als Zweitsprache; Deutschland; Diagnose; Empirische Untersuchung; Grundschule; Intelligenzmessung; Leistungsbeurteilung; Leistungsmessung; Lernstörung; Lesekompetenz; Migrationshintergrund; Muttersprache; Schülerleistung; Schuljahr 03; Standard; Test; Testkonstruktion
Abstract: Die Prävalenzstudie untersucht bei Kindern, die Deutsch als Muttersprache (DaM) bzw. als Zweitsprache (DaZ) sprechen, die Häufigkeit von Lernstörungen nach ICD-10 (WHO, 1992). Die meisten deutschen Schulleistungstests, die zur Lernstörungsdiagnose herangezogen werden, stellen keine gesonderten Normen für Kinder mit DaZ bereit. Es ist anzunehmen, dass dies zu einer Überidentifikation von Lernstörungen bei Kindern mit DaZ führt, da die besondere Spracherwerbssituation dieser Kinder nicht berücksichtigt wird. Dennoch ist bislang wenig über das Ausmaß dieses Effektes bekannt. Die vorliegende Studie vergleicht daher die Lernstörungsprävalenz zwischen Drittklässlern mit DaM (n = 566) bzw. mit DaZ (n = 478) wenn gemeinsame versus getrennte Schulleistungsnormen zur Leistungsbeurteilung herangezogen werden. Die Studie erbrachte drei wesentliche Ergebnisse: (1) Wie erwartet kam es bei Verwendung gemeinsamer Schulleistungsnormen zu einer deutlichen Erhöhung der Lernstörungsprävalenz bei Kindern mit DaZ. Die Wahrscheinlichkeit einer Lernstörungsdiagnose belief sich für diese Teilstichprobe auf 25-30 % und war damit annähernd doppelt so groß wie bei Kindern mit DaM, für die sich eine Gesamtprävalenz von 14-18 % ergab. (2) Die Gruppenunterschiede variierten dabei in Abhängigkeit des Lernstörungstypus: Während keine signifikant unterschiedlichen Prävalenzraten für die isolierte Rechenstörung (F81.2) nachweisbar waren, zeigten sich für die verbalen Lernstörungstypen (d. h. Lese-Rechtschreibstörung [F81.0], isolierte Rechtschreibstörung [F81.1] und kombinierte Störung schulischer Fertigkeiten [F81.3]) signifikant erhöhte Prävalenzraten für Kinder mit DaZ. (3) Werden hingegen getrennte Schulleistungsnormen zur Lernstörungsdiagnose herangezogen um für die besondere Spracherwerbssituation von Kindern mit DaZ zu kontrollieren, nähern sich die Prävalenzraten beider Gruppen wie erwartet auf ein vergleichbares Niveau an. Es wird diskutiert, welche Herausforderungen sich bei der Lernstörungsdiagnostik von Kindern mit DaZ ergeben. (DIPF/Orig.)
Abstract (english): This German prevalence study examined disproportionate representation of language-minority students among children identified with learning disorder (LD) according to ICD-10 (WHO, 1992). Most German school achievement tests used in LD diagnostics do not provide separate norms for language-minority students, and thus do not take these children's second language status into account when evaluating their academic performance. Although this is likely to result in an LD overidentification of language-minority students, little is known about the magnitude of this effect. Therefore, we compared the estimation of LD prevalence between native German speaking students (n = 566) and language-minority students (n = 478) when pooled versus group-specific achievement norms were used for LD classification. Three important findings emerged from our study: Firstly, and as expected, significant disproportionality effects occurred under pooled norms. Specifically, the likelihood of being diagnosed with LD amounted to 14-18 % among native German speakers and nearly doubled to 25-30 % among language-minority students. Secondly, disproportionality varied as a function of LD subtype: Whereas no disproportionate representation was revealed for arithmetic LD (F81.2), overidentification of language-minority students was found for verbal LD subtypes (namely, reading disorder [F81.0], spelling disorder [F81.1], and mixed disorder of scholastic skills [F81.3]). Thirdly, disproportionality effects were absent when group-specific norms were used for LD classification that controlled for second-language issues. Challenges that have to be met when testing language-minority students for LD are discussed. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung

Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills Harsch, Claudia; Hartig, Johannes Journal Article | In: Language Testing | 2016 35732 Endnote: Author(s): Harsch, Claudia; Hartig, Johannes
Title: Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills
In: Language Testing, 33 (2016) 4, S. 555-575
DOI: 10.1177/0265532215594642
URN: urn:nbn:de:0111-pedocs-125709
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-125709
Publication Type: Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language: Englisch
Keywords: Deutschland; Einstufung; Hörverstehen; Leseverstehen; Methode; Prognostischer Test; Regressionsanalyse; Reliabilität; Schüler; Sekundarbereich; Sprachtest; Strukturgleichungsmodell; Test; Testkonstruktion; Testverfahren; Validität
Abstract (english): Placement and screening tests serve important functions, not only with regard to placing learners at appropriate levels of language courses but also with a view to maximizing the effectiveness of administering test batteries. We examined two widely reported formats suitable for these purposes, the discrete decontextualized Yes/No vocabulary test and the embedded contextualized C-test format, in order to determine which format can explain more variance in measures of listening and reading comprehension. Our data stem from a large-scale assessment with over 3000 students in the German secondary educational context; the four measures relevant to our study were administered to a subsample of 559 students. Using regression analysis on observed scores and SEM on a latent level, we found that the C-test outperforms the Yes/No format in both methodological approaches. The contextualized nature of the C-test seems to be able to explain large amounts of variance in measures of receptive language skills. The C-test, being a reliable, economical and robust measure, appears to be an ideal candidate for placement and screening purposes. In a side-line of our study, we also explored different scoring approaches for the Yes-No format. We found that using the hit rate and the false-alarm rate as two separate indicators yielded the most reliable results. These indicators can be interpreted as measures for vocabulary breadth and as guessing factors respectively, and they allow controlling for guessing. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation