Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Testkonstruktion")

Overidentification of learning disorders among language-minority students. Implications for the […] Brandenburg, Janin; Fischbach, Anne; Labuhn, Andju Sara; Rietz, Chantal Sabrina; Schmid, Johanna; […] Journal Article | In: Journal for Educational Research Online | 2016 36124 Endnote: Author(s): Brandenburg, Janin; Fischbach, Anne; Labuhn, Andju Sara; Rietz, Chantal Sabrina; Schmid, Johanna; Hasselhorn, Marcus
Title: Overidentification of learning disorders among language-minority students. Implications for the standardization of school achievement tests
In: Journal for Educational Research Online, 8 (2016) 1, S. 42-65
URN: urn:nbn:de:0111-pedocs-120293
URL: http://www.j-e-r-o.com/index.php/jero/article/view/621
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Language: Englisch
Keywords: Deutsch; Deutsch als Zweitsprache; Deutschland; Diagnose; Empirische Untersuchung; Grundschule; Intelligenzmessung; Leistungsbeurteilung; Leistungsmessung; Lernstörung; Lesekompetenz; Migrationshintergrund; Muttersprache; Schülerleistung; Schuljahr 03; Standard; Test; Testkonstruktion
Abstract: Die Prävalenzstudie untersucht bei Kindern, die Deutsch als Muttersprache (DaM) bzw. als Zweitsprache (DaZ) sprechen, die Häufigkeit von Lernstörungen nach ICD-10 (WHO, 1992). Die meisten deutschen Schulleistungstests, die zur Lernstörungsdiagnose herangezogen werden, stellen keine gesonderten Normen für Kinder mit DaZ bereit. Es ist anzunehmen, dass dies zu einer Überidentifikation von Lernstörungen bei Kindern mit DaZ führt, da die besondere Spracherwerbssituation dieser Kinder nicht berücksichtigt wird. Dennoch ist bislang wenig über das Ausmaß dieses Effektes bekannt. Die vorliegende Studie vergleicht daher die Lernstörungsprävalenz zwischen Drittklässlern mit DaM (n = 566) bzw. mit DaZ (n = 478) wenn gemeinsame versus getrennte Schulleistungsnormen zur Leistungsbeurteilung herangezogen werden. Die Studie erbrachte drei wesentliche Ergebnisse: (1) Wie erwartet kam es bei Verwendung gemeinsamer Schulleistungsnormen zu einer deutlichen Erhöhung der Lernstörungsprävalenz bei Kindern mit DaZ. Die Wahrscheinlichkeit einer Lernstörungsdiagnose belief sich für diese Teilstichprobe auf 25-30 % und war damit annähernd doppelt so groß wie bei Kindern mit DaM, für die sich eine Gesamtprävalenz von 14-18 % ergab. (2) Die Gruppenunterschiede variierten dabei in Abhängigkeit des Lernstörungstypus: Während keine signifikant unterschiedlichen Prävalenzraten für die isolierte Rechenstörung (F81.2) nachweisbar waren, zeigten sich für die verbalen Lernstörungstypen (d. h. Lese-Rechtschreibstörung [F81.0], isolierte Rechtschreibstörung [F81.1] und kombinierte Störung schulischer Fertigkeiten [F81.3]) signifikant erhöhte Prävalenzraten für Kinder mit DaZ. (3) Werden hingegen getrennte Schulleistungsnormen zur Lernstörungsdiagnose herangezogen um für die besondere Spracherwerbssituation von Kindern mit DaZ zu kontrollieren, nähern sich die Prävalenzraten beider Gruppen wie erwartet auf ein vergleichbares Niveau an. Es wird diskutiert, welche Herausforderungen sich bei der Lernstörungsdiagnostik von Kindern mit DaZ ergeben. (DIPF/Orig.)
Abstract (english): This German prevalence study examined disproportionate representation of language-minority students among children identified with learning disorder (LD) according to ICD-10 (WHO, 1992). Most German school achievement tests used in LD diagnostics do not provide separate norms for language-minority students, and thus do not take these children's second language status into account when evaluating their academic performance. Although this is likely to result in an LD overidentification of language-minority students, little is known about the magnitude of this effect. Therefore, we compared the estimation of LD prevalence between native German speaking students (n = 566) and language-minority students (n = 478) when pooled versus group-specific achievement norms were used for LD classification. Three important findings emerged from our study: Firstly, and as expected, significant disproportionality effects occurred under pooled norms. Specifically, the likelihood of being diagnosed with LD amounted to 14-18 % among native German speakers and nearly doubled to 25-30 % among language-minority students. Secondly, disproportionality varied as a function of LD subtype: Whereas no disproportionate representation was revealed for arithmetic LD (F81.2), overidentification of language-minority students was found for verbal LD subtypes (namely, reading disorder [F81.0], spelling disorder [F81.1], and mixed disorder of scholastic skills [F81.3]). Thirdly, disproportionality effects were absent when group-specific norms were used for LD classification that controlled for second-language issues. Challenges that have to be met when testing language-minority students for LD are discussed. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung

Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills Harsch, Claudia; Hartig, Johannes Journal Article | In: Language Testing | 2016 35732 Endnote: Author(s): Harsch, Claudia; Hartig, Johannes
Title: Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills
In: Language Testing, 33 (2016) 4, S. 555-575
DOI: 10.1177/0265532215594642
URN: urn:nbn:de:0111-pedocs-125709
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-125709
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Deutschland; Einstufung; Hörverstehen; Leseverstehen; Methode; Prognostischer Test; Regressionsanalyse; Reliabilität; Schüler; Sekundarbereich; Sprachtest; Strukturgleichungsmodell; Test; Testkonstruktion; Testverfahren; Validität
Abstract (english): Placement and screening tests serve important functions, not only with regard to placing learners at appropriate levels of language courses but also with a view to maximizing the effectiveness of administering test batteries. We examined two widely reported formats suitable for these purposes, the discrete decontextualized Yes/No vocabulary test and the embedded contextualized C-test format, in order to determine which format can explain more variance in measures of listening and reading comprehension. Our data stem from a large-scale assessment with over 3000 students in the German secondary educational context; the four measures relevant to our study were administered to a subsample of 559 students. Using regression analysis on observed scores and SEM on a latent level, we found that the C-test outperforms the Yes/No format in both methodological approaches. The contextualized nature of the C-test seems to be able to explain large amounts of variance in measures of receptive language skills. The C-test, being a reliable, economical and robust measure, appears to be an ideal candidate for placement and screening purposes. In a side-line of our study, we also explored different scoring approaches for the Yes-No format. We found that using the hit rate and the false-alarm rate as two separate indicators yielded the most reliable results. These indicators can be interpreted as measures for vocabulary breadth and as guessing factors respectively, and they allow controlling for guessing. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Emotional competencies in geriatric nursing. Empirical evidence from a computer based large scale […] Kaspar, Roman; Hartig, Johannes Journal Article | In: Advances in Health Sciences Education | 2016 35733 Endnote: Author(s): Kaspar, Roman; Hartig, Johannes
Title: Emotional competencies in geriatric nursing. Empirical evidence from a computer based large scale assessment calibration study
In: Advances in Health Sciences Education, 21 (2016) 1, S. 105-109
DOI: 10.1007/s10459-015-9616-y
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Berufsanforderung; Berufsausbildung; Bewertung; Computerunterstütztes Verfahren; Deutschland; Emotionale Kompetenz; Empathie; Geriatrie; Item-Response-Theory; Krankenpflege; Krankenpflegeberuf; Professionalität; Test; Testkonstruktion
Abstract (english): The care of older people was described as involving substantial emotion-related affordances. Scholars in vocational training and nursing disagree whether emotion-related skills could be conceptualized and assessed as a professional competence. Studies on emotion work and empathy regularly neglect the multidimensionality of these phenomena and their relation to the care process, and are rarely conclusive with respect to nursing behavior in practice. To test the status of emotion-related skills as a facet of client-directed geriatric nursing competence, 402 final-year nursing students from 24 German schools responded to a 62-item computer-based test. 14 items were developed to represent emotion-related affordances. Multi-dimensional IRT modeling was employed to assess a potential subdomain structure. Emotion-related test items did not form a separate subdomain, and were found to be discriminating across the whole competence continuum. Tasks concerning emotion work and empathy are reliable indicators for various levels of client-directed nursing competence. Claims for a distinct emotion-related competence in geriatric nursing, however, appear excessive with a process-oriented perspective. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Automatic coding of short text responses via clustering in educational assessment Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank Journal Article | In: Educational and Psychological Measurement | 2016 35473 Endnote: Author(s): Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Title: Automatic coding of short text responses via clustering in educational assessment
In: Educational and Psychological Measurement, 76 (2016) 2, S. 280-303
DOI: 10.1177/0013164415590022
URN: urn:nbn:de:0111-pedocs-149795
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-149795
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Antwort; Automatisierung; Codierung; Computerlinguistik; Leistungstest; Methode; PISA <Programme for International Student Assessment>; Software; Technologiebasiertes Testen; Testkonstruktion
Abstract: Automatic coding of short text responses opens new doors in assessment. We implemented and integrated baseline methods of natural language processing and statistical modelling by means of software components that are available under open licenses. The accuracy of automatic text coding is demonstrated by using data collected in the Programme for International Student Assessment (PISA) 2012 in Germany. Free text responses of 10 items with Formula responses in total were analyzed. We further examined the effect of different methods, parameter values, and sample sizes on performance of the implemented system. The system reached fair to good up to excellent agreement with human codings Formula Especially items that are solved by naming specific semantic concepts appeared properly coded. The system performed equally well with Formula and somewhat poorer but still acceptable down to Formula Based on our findings, we discuss potential innovations for assessment that are enabled by automatic coding of short text responses. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel Book Chapter | Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016 36590 Endnote: Author(s): Niepel, Christoph; Rudolph, Julia; Goldhammer, Frank; Greiff, Samuel
Title: Die Rolle transversaler Kompetenzen für schulisches Lernen. Das Beispiel des komplexen Problemlösens
In: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 48-62
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=50
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Bildungsstandards; Kompetenz; Konzeption; Lernen; Naturwissenschaftlicher Unterricht; PISA <Programme for International Student Assessment>; Problemlösen; Projekt; Schüler; Schülerleistung; Schülerleistungstest; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion
Abstract: In den letzten beiden Dekaden wurde eine Reihe von Large-Scale-Assessments (LSA) auf internationaler Ebene initiiert. Zentrale Aufgabe solcher LSA ist das Bildungsmonitoring - untersucht wird also, ob und inwieweit politisch gesetzte Bildungsziele erreicht werden konnten bzw. in welchen zentralen Kompetenzbereichen besondere Stärken oder Schwächen zu beobachten sind. Konzipiert als groß angelegte Befragungen und Testungen von Schülerinnen und Schülern, geben LSA empirisch fundiertes Feedback zu Bildungssystemen auf nationaler und - zum Teil - internationaler Ebene. Dabei hatten und haben LSA einen großen Einfluss auf die Bildungspolitik und Bildungsforschung. Da LSA vornehmlich bildungspolitisch ausgerichtet sind, sind zusätzliche begleitende Forschungsanstrengungen nötig, um die gesammelten Daten für die Bildungsforschung tiefer gehend zu erschließen - Forschungsanstrengungen wie die des LSA004-Projektes zum komplexen Problemlösen im Kontext von LSA. Im Weiteren geben wir einen kombinierten und breiteren Überblick über Befunde zum komplexen Problemlösen aus der PISA-Studie und aus dem LSA004-Projekt. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

The history and current status of testing across cultures and countries Poortinga, Ype H.; Klieme, Eckhard Book Chapter | Aus: Leong, Frederick T. L.;Bartram, Dave;Cheung, Fanny M.;Geisinger, Kurt F.;Iliescu, Dragos (Hrsg.): The ITC international handbook of testing and assessment | New York; NY: Oxford University Press | 2016 36618 Endnote: Author(s): Poortinga, Ype H.; Klieme, Eckhard
Title: The history and current status of testing across cultures and countries
In: Leong, Frederick T. L.;Bartram, Dave;Cheung, Fanny M.;Geisinger, Kurt F.;Iliescu, Dragos (Hrsg.): The ITC international handbook of testing and assessment, New York; NY: Oxford University Press, 2016 , S. 14-28
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Englisch
Keywords: Bildungsforschung; Empirische Forschung; Geschichte <Histor>; Internationaler Vergleich; Konzeption; Kulturdifferenz; Leistungsmessung; Leistungstest; Psychometrie; Qualität; Schülerleistung; Testkonstruktion; Testverfahren; Vergleichende Bildungsforschung
Abstract: There are a few hundred countries and many more culturally distinct groups identified by cultural anthropologists (Human Relations Area Files; Murdock et al., 2008). In many of these groups, psychometric instruments have been applied for at least half a century. There are hundreds of psychological tests and scales, of which dozens are widely used. The permutation of peoples, tests and historical time defines the global success of the testing enterprise. It also defines the scope of this chapter, making clear that our treatment of the topic can only be scant. We will focus on a few general themes, leaving aside, for the most part, specific countries or cultures and specific tests. In the first section we look at the early use of tests cross-culturally and the growing awareness that test scores are not likely to have the same meaning across cultures. In the second section we address the resulting issues of inequivalence or imcomparability and the methods of analysis that were devised to deal with these issues. The third section covers more recent history, in our view characterized by concern about inequivalence, but also by a pragmatic approach to the use of tests with test takers who differ in the language they speak and in cultural background. The chapter ends with a section in which we address some inherent difficulties in international test use and point to important achievements over the period of almost a century. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Computergestützte, adaptive und verhaltensnahe Erfassung informations- und […] Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; […] Book Chapter | Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016 36592 Endnote: Author(s): Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; Goldhammer, Frank; Naumann, Johannes; Forz, Holger
Title: Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikations-technologiebezogener Fertigkeiten (ICT-Skills) (CavE-ICT)
In: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 161-180
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=163
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Adaptives Testen; Computerunterstütztes Verfahren; Deutschland; Entwicklung; Fertigkeit; Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Messung; Projekt; Testkonstruktion
Abstract: 2011 startete das Bundesministerium für Bildung und Forschung (BMBF) die Initiative zur Förderung von Forschungsvorhaben in Ankopplung an Large-Scale-Assessments (LSA). Large-Scale-Assessments werden als wichtige Instrumente des Bildungsmonitorings angesehen (z.B. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland [KMK], 2006). Mit der Ausschreibung der Förderinitiative werden Forschungsaktivitäten unterstützt, die neben Fragestellungen zur Kompetenzdiagnostik Testkonzeption und Methoden ständig zu verbessern suchen, weitere Domänen, Kompetenzen und Bedienungsfelder erschließen und in angemessener Weise modellieren wollen. Das Projekt "Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikationstechnologiebezogener Fertigkeiten (ICT-Skills)" (CavE-ICT) war in der genannten Initiative angesiedelt. Es widmete sich der Entwicklung eines computergestützten Testverfahrens zur simulationsbasierten Erfassung von informations- und kommunikationstechnologiebezogenen Fertigkeiten. Im vorliegenden Beitrag werden die zentralen Ergebnisse der Testentwicklung dargelegt. Der Einsatz des entwickelten Testinstruments kann im Kontext von Large-Scale-Assessments, aber auch zur Individualdiagnostik erfolgen. Der Test ist zudem potenziell adaptiv einsetzbar und beruht auf einer soliden theoretischen Basis. CavE-ICT war ein Kooperationsprojekt zwischen der Goethe-Universität Frankfurt am Main, dem Deutschen Institut für Internationale Pädagogische Forschung in Frankfurt am Main und der Friedrich-Schiller-Universität Jena. Die übergeordnete "Vision" des Projekts bestand in der Entwicklung eines computerbasierten, verhaltensnahen sowie adaptiven Instruments zur Messung von ICT-Skills, das bei künftigen (internationalen) Large-Scale-Assessments, wie etwa PISA, dem nationalen Bildungspanel (NEPS; Artelt, Weinert & Carstensen, 2013) oder der International Computer and Information Literacy Study (ICILS; Bos et al., 2014), Verwendung finden kann. Die Struktur des [...] Beitrags orientiert sich am Projektablauf. Zunächst wird die theoretische Rahmenkonzeption vorgestellt (Kapitel 2), auf deren Basis der computerisierte Test entwickelt wurde. Anschließend wird der Prozess der Itementwicklung skizziert (Kapitel 3) und schließlich die Erprobung der entwickelten Items im Rahmen der Kalibrierungsstudie dargestellt (Kapitel 4). Abschließend wird ein kurzes Fazit gezogen und ein Ausblick gegeben (Kapitel 5). (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Diagnostik im Vorschulalter Esser, Günter; Hasselhorn, Marcus; Schneider, Wolfgang (Hrsg.) Compilation Book | Göttingen: Hogrefe | 2015 35324 Endnote: Editor(s) Esser, Günter; Hasselhorn, Marcus; Schneider, Wolfgang
Title: Diagnostik im Vorschulalter
Published: Göttingen: Hogrefe, 2015 (Tests und Trends. N. F., 13)
Publication Type: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Deutschland; Diagnostik; Eltern; Empirische Forschung; Entwicklungsstörung; Erzählen; Forschungsstand; Fragebogen; Frühe Kindheit; Grundschulalter; Grundschule; Intelligenzmessung; Intelligenztest; Kind; Kindergarten; Lesekompetenz; Lesetest; Mathematische Kompetenz; Motorische Entwicklung; Qualität; Rechnen; Reliabilität; Schreibenlernen; Sprachentwicklung; Sprachstandsforschung; Testkonstruktion; Testtheorie; Testverfahren; Validität; Vorschulalter; Wortschatz
Abstract: Eine erfolgreiche Förderung beginnt stets mit einer gründlichen Diagnostik. Bereits für das Vorschulalter liegen zahlreiche Verfahren vor, die dazu geeignet sind, Entwicklungsauffälligkeiten zu identifizieren, und damit ermöglichen, schulischen Anpassungs- und Lernproblemen frühzeitig entgegenzuwirken. Der Fokus dieses Bandes liegt auf Tests, die Vorläuferfertigkeiten schulischer Leistungen abbilden, und es werden unterschiedliche Ansätze der Erfassung schriftsprachlicher und numerischer Fähigkeiten dargestellt. Darüber hinaus werden jedoch auch übergeordnete Ansätze wie die Messung der nonverbalen Intelligenz behandelt und Verfahren zur Erfassung spezifischer Leistungsbereiche wie Sprach- und motorische Entwicklung vorgestellt. (DIPF/Orig.)
DIPF-Departments: Bildung und Entwicklung

Generalising IRT to discriminate between examinees Boubekki, Ahcène; Brefeld, Ulf; Delacroix, Thomas Book Chapter | Aus: Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.;Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A. ;Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the 8th International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain | Madrid: International Educational Data Mining Society | 2015 35623 Endnote: Author(s): Boubekki, Ahcène; Brefeld, Ulf; Delacroix, Thomas
Title: Generalising IRT to discriminate between examinees
In: Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.;Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A. ;Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the 8th International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain, Madrid: International Educational Data Mining Society, 2015 , S. 604-606
URL: http://www.educationaldatamining.org/EDM2015/proceedings/edm2015_proceedings.pdf
Publication Type: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Language: Englisch
Keywords: Item-Response-Theory; Leistungstest; PISA <Programme for International Student Assessment>; Rasch-Modell; Testauswertung; Testkonstruktion
Abstract: We present a generalisation of the IRT framework that allows to discriminate between examinees. Our model therefore introduces examinee parameters that can be optimised with Expectation Maximisation-like algorithms. We provide empirical results on PISA data showing that our approach leads to a more appropriate grouping of PISA countries than by test scores and socio-economic indicators. (DIPF/Orig.)
DIPF-Departments: Informationszentrum Bildung

Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und […] Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; […] Working Papers | 2015 36844 Endnote: Author(s): Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger
Title: Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fähigkeiten (ICT-Skills) in PISA. Projekt CavE - ICT - PISA; Schlussbericht
Published: Frankfurt am Main: Universitätsbibliothek; Technische Informationsbibliothek, 2015
DOI: 10.2314/GBV:838771823
URL: http://edok01.tib.uni-hannover.de/edoks/e01fb15/838771823.pdf
Publication Type: 5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Language: Deutsch
Keywords: Adaptives Testen; Computerunterstütztes Verfahren; Fähigkeit; Forschungsprojekt; Informations- und Kommunikationstechnologie; Messverfahren; PISA <Programme for International Student Assessment>; Projektbericht; Skalierung; Testkonstruktion; Validität
Abstract: Mit dem Projektvorhaben CavE-ICT-PISA sollten Konstrukte und Erhebungsverfahren im Kontext der internationalen PISA Option ICT Familiarity Questionnaire weiterentwickelt werden. Ziel dabei war es zunächst eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills zu schaffen und darauf aufbauend eine verhaltensbasierten und computerisierten ICT-Test zu entwickeln und zu erproben. In diesem Sinne wurde zunächst ein theoretisches Framework erstellt, das auf Basis einer Synthese bestehender Frameworks dazu verwendet wurde Testitems zu entwickeln. Es wurden 70 funktionsfähige Items in einem umfangreichen Qualitätssicherungsprozess entwickelt, computerisiert und verhaltensbasiert in Simulationsumgebungen implementiert. Die entwickelten Items können mit einem Werkzeug in verschiedene Sprachen übersetzt werden und sind damit auch international einsetzbar. Die Testadministration erfolgte, unter Nutzung von USB-Sticks, an insgesamt 33 Schulen, deren IT-Ausstattung zuvor hinsichtlich spezifischer Leistungsanforderungen geprüft wurde. Die Stichprobe besteht aus 983 15jährigen Schülerinnen und Schülern. Auf Basis der Kalibrierungsergebnisse der ICT-Items wurden 64 Aufgaben für den endgültigen ICT-Test selektiert, welcher eine Reliabilität von .80 erreicht. Bei der Berechnung der Kompetenzverteilung wurden zudem latente Zusammenhänge mit Variablen wie Alter, Geschlecht oder Computernutzung, berücksichtigt. Eine verkürzte Version des ICT-Tests, wie auch ein adaptiver Testalgorithmus wurden unter Nutzung von Monte-Carlo-Simulationsstudien erprobt. Insgesamt kann festgehalten werden, dass im Rahmen von CavE-ICT-PISA innerhalb eines kurzen Zeitrahmens ein Testinstrument auf höchstem internationalem Standard konstruiert und zum Einsatz gebracht wurde. Der entstandene ICT-Test könnte auch als Kurzversion oder adaptiv, beispielsweise in computerbasierten Messungen als Kontrollvariable zum Einsatz kommen. (DIPF/Orig.)
Abstract (english): Goal of the project CavE-ICT-PISA was to develop constructs and assessment instruments in the context of PISA further, based on the optional ICT Familiarity Questionnaire. The first partial goal aimed to corroborate the construct ICT-Skills more theoretically and to develop a behavior-related and computer-based test. With this in mind a theoretical framework concept was prepared based on a synthesis of existing frameworks including several feedback loops for optimization and implemented fully functional in simulation environment. The items can be translated in other languages, thus the test is international applicable. The test was delivered on USB flash drives at 33 German schools, after the schools were selected regarding their readiness of soft- and hardware. The sample consists of 983 15 year old students. Based on the study results, 64 items were selected for the final item pool, which has a reliability of .80. For the ability distribution, latent relations to variables like age, sex and computer experience were modeled. A shorter version of the test as well as an adaptive test algorithm was developed using Monte-Carlo-simulations. Thus, the goal of the project to develop and apply an assessment instrument in line with international standards was met. The developed test can be used as a short version or adaptive test für instance to control in computer-based assessments for ICT-skills. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation