Menü Überspringen
Contact
Deutsch
English
Not track
Data Protection
Search
Log in
DIPF News
Research
Infrastructures
Knowledge Transfer
Institute
Zurück
Contact
Deutsch
English
Not track
Data Protection
Search
Home
>
Research
>
Publications
>
Publications Data Base
Search results in the DIPF database of publications
Your query:
(Schlagwörter: "Testkonstruktion")
Advanced Search
Search term
Only Open Access
Search
Unselect matches
Select all matches
Export
79
items matching your search terms.
Show all details
Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills
Harsch, Claudia; Hartig, Johannes
Journal Article
| In: Language Testing | 2016
35732 Endnote
Author(s):
Harsch, Claudia; Hartig, Johannes
Title:
Comparing C-tests and Yes/No vocabulary size tests as predictors of receptive language skills
In:
Language Testing, 33 (2016) 4, S. 555-575
DOI:
10.1177/0265532215594642
URN:
urn:nbn:de:0111-pedocs-125709
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-125709
Publication Type:
Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language:
Englisch
Keywords:
Deutschland; Einstufung; Hörverstehen; Leseverstehen; Methode; Prognostischer Test; Regressionsanalyse; Reliabilität; Schüler; Sekundarbereich; Sprachtest; Strukturgleichungsmodell; Test; Testkonstruktion; Testverfahren; Validität
Abstract (english):
Placement and screening tests serve important functions, not only with regard to placing learners at appropriate levels of language courses but also with a view to maximizing the effectiveness of administering test batteries. We examined two widely reported formats suitable for these purposes, the discrete decontextualized Yes/No vocabulary test and the embedded contextualized C-test format, in order to determine which format can explain more variance in measures of listening and reading comprehension. Our data stem from a large-scale assessment with over 3000 students in the German secondary educational context; the four measures relevant to our study were administered to a subsample of 559 students. Using regression analysis on observed scores and SEM on a latent level, we found that the C-test outperforms the Yes/No format in both methodological approaches. The contextualized nature of the C-test seems to be able to explain large amounts of variance in measures of receptive language skills. The C-test, being a reliable, economical and robust measure, appears to be an ideal candidate for placement and screening purposes. In a side-line of our study, we also explored different scoring approaches for the Yes-No format. We found that using the hit rate and the false-alarm rate as two separate indicators yielded the most reliable results. These indicators can be interpreted as measures for vocabulary breadth and as guessing factors respectively, and they allow controlling for guessing. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Emotional competencies in geriatric nursing. Empirical evidence from a computer based large scale […]
Kaspar, Roman; Hartig, Johannes
Journal Article
| In: Advances in Health Sciences Education | 2016
35733 Endnote
Author(s):
Kaspar, Roman; Hartig, Johannes
Title:
Emotional competencies in geriatric nursing. Empirical evidence from a computer based large scale assessment calibration study
In:
Advances in Health Sciences Education, 21 (2016) 1, S. 105-109
DOI:
10.1007/s10459-015-9616-y
Publication Type:
Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language:
Englisch
Keywords:
Berufsanforderung; Berufsausbildung; Bewertung; Computerunterstütztes Verfahren; Deutschland; Emotionale Kompetenz; Empathie; Geriatrie; Item-Response-Theory; Krankenpflege; Krankenpflegeberuf; Professionalität; Test; Testkonstruktion
Abstract (english):
The care of older people was described as involving substantial emotion-related affordances. Scholars in vocational training and nursing disagree whether emotion-related skills could be conceptualized and assessed as a professional competence. Studies on emotion work and empathy regularly neglect the multidimensionality of these phenomena and their relation to the care process, and are rarely conclusive with respect to nursing behavior in practice. To test the status of emotion-related skills as a facet of client-directed geriatric nursing competence, 402 final-year nursing students from 24 German schools responded to a 62-item computer-based test. 14 items were developed to represent emotion-related affordances. Multi-dimensional IRT modeling was employed to assess a potential subdomain structure. Emotion-related test items did not form a separate subdomain, and were found to be discriminating across the whole competence continuum. Tasks concerning emotion work and empathy are reliable indicators for various levels of client-directed nursing competence. Claims for a distinct emotion-related competence in geriatric nursing, however, appear excessive with a process-oriented perspective. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Automatic coding of short text responses via clustering in educational assessment
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Journal Article
| In: Educational and Psychological Measurement | 2016
35473 Endnote
Author(s):
Zehner, Fabian; Sälzer, Christine; Goldhammer, Frank
Title:
Automatic coding of short text responses via clustering in educational assessment
In:
Educational and Psychological Measurement, 76 (2016) 2, S. 280-303
DOI:
10.1177/0013164415590022
URN:
urn:nbn:de:0111-pedocs-149795
URL:
https://nbn-resolving.org/urn:nbn:de:0111-pedocs-149795
Publication Type:
Zeitschriftenbeiträge; Zeitschriftenbeiträge
Language:
Englisch
Keywords:
Antwort; Automatisierung; Codierung; Computerlinguistik; Leistungstest; Methode; PISA <Programme for International Student Assessment>; Software; Technologiebasiertes Testen; Testkonstruktion
Abstract:
Automatic coding of short text responses opens new doors in assessment. We implemented and integrated baseline methods of natural language processing and statistical modelling by means of software components that are available under open licenses. The accuracy of automatic text coding is demonstrated by using data collected in the Programme for International Student Assessment (PISA) 2012 in Germany. Free text responses of 10 items with Formula responses in total were analyzed. We further examined the effect of different methods, parameter values, and sample sizes on performance of the implemented system. The system reached fair to good up to excellent agreement with human codings Formula Especially items that are solved by naming specific semantic concepts appeared properly coded. The system performed equally well with Formula and somewhat poorer but still acceptable down to Formula Based on our findings, we discuss potential innovations for assessment that are enabled by automatic coding of short text responses. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und […]
Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; […]
Working Papers
| 2015
36844 Endnote
Author(s):
Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger
Title:
Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fähigkeiten (ICT-Skills) in PISA. Projekt CavE - ICT - PISA; Schlussbericht
Published:
Frankfurt am Main: Universitätsbibliothek; Technische Informationsbibliothek, 2015
DOI:
10.2314/GBV:838771823
URL:
http://edok01.tib.uni-hannover.de/edoks/e01fb15/838771823.pdf
Publication Type:
Arbeitspapiere; dokumentarische und Diskussionsbeiträge; Forschungsbericht/Projektberichte/Schulrückmeldungen
Language:
Deutsch
Keywords:
Adaptives Testen; Computerunterstütztes Verfahren; Fähigkeit; Forschungsprojekt; Informations- und Kommunikationstechnologie; Messverfahren; PISA <Programme for International Student Assessment>; Projektbericht; Skalierung; Testkonstruktion; Validität
Abstract:
Mit dem Projektvorhaben CavE-ICT-PISA sollten Konstrukte und Erhebungsverfahren im Kontext der internationalen PISA Option ICT Familiarity Questionnaire weiterentwickelt werden. Ziel dabei war es zunächst eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills zu schaffen und darauf aufbauend eine verhaltensbasierten und computerisierten ICT-Test zu entwickeln und zu erproben. In diesem Sinne wurde zunächst ein theoretisches Framework erstellt, das auf Basis einer Synthese bestehender Frameworks dazu verwendet wurde Testitems zu entwickeln. Es wurden 70 funktionsfähige Items in einem umfangreichen Qualitätssicherungsprozess entwickelt, computerisiert und verhaltensbasiert in Simulationsumgebungen implementiert. Die entwickelten Items können mit einem Werkzeug in verschiedene Sprachen übersetzt werden und sind damit auch international einsetzbar. Die Testadministration erfolgte, unter Nutzung von USB-Sticks, an insgesamt 33 Schulen, deren IT-Ausstattung zuvor hinsichtlich spezifischer Leistungsanforderungen geprüft wurde. Die Stichprobe besteht aus 983 15jährigen Schülerinnen und Schülern. Auf Basis der Kalibrierungsergebnisse der ICT-Items wurden 64 Aufgaben für den endgültigen ICT-Test selektiert, welcher eine Reliabilität von .80 erreicht. Bei der Berechnung der Kompetenzverteilung wurden zudem latente Zusammenhänge mit Variablen wie Alter, Geschlecht oder Computernutzung, berücksichtigt. Eine verkürzte Version des ICT-Tests, wie auch ein adaptiver Testalgorithmus wurden unter Nutzung von Monte-Carlo-Simulationsstudien erprobt. Insgesamt kann festgehalten werden, dass im Rahmen von CavE-ICT-PISA innerhalb eines kurzen Zeitrahmens ein Testinstrument auf höchstem internationalem Standard konstruiert und zum Einsatz gebracht wurde. Der entstandene ICT-Test könnte auch als Kurzversion oder adaptiv, beispielsweise in computerbasierten Messungen als Kontrollvariable zum Einsatz kommen. (DIPF/Orig.)
Abstract (english):
Goal of the project CavE-ICT-PISA was to develop constructs and assessment instruments in the context of PISA further, based on the optional ICT Familiarity Questionnaire. The first partial goal aimed to corroborate the construct ICT-Skills more theoretically and to develop a behavior-related and computer-based test. With this in mind a theoretical framework concept was prepared based on a synthesis of existing frameworks including several feedback loops for optimization and implemented fully functional in simulation environment. The items can be translated in other languages, thus the test is international applicable. The test was delivered on USB flash drives at 33 German schools, after the schools were selected regarding their readiness of soft- and hardware. The sample consists of 983 15 year old students. Based on the study results, 64 items were selected for the final item pool, which has a reliability of .80. For the ability distribution, latent relations to variables like age, sex and computer experience were modeled. A shorter version of the test as well as an adaptive test algorithm was developed using Monte-Carlo-simulations. Thus, the goal of the project to develop and apply an assessment instrument in line with international standards was met. The developed test can be used as a short version or adaptive test für instance to control in computer-based assessments for ICT-skills. (DIPF/Orig.)
DIPF-Departments:
Bildungsqualität und Evaluation
Generalising IRT to discriminate between examinees
Boubekki, Ahcène; Brefeld, Ulf; Delacroix, Thomas
Book Chapter
| Aus: Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.;Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A. ;Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the 8th International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain | Madrid: International Educational Data Mining Society | 2015
35623 Endnote
Author(s):
Boubekki, Ahcène; Brefeld, Ulf; Delacroix, Thomas
Title:
Generalising IRT to discriminate between examinees
In:
Santos, O. C.; Boticario, J. G.; Romero, C.; Pechenizkiy, M.; Merceron, A.; Mitros, P.;Luna, J. M.; Mihaescu, C.; Moreno, P.; Hershkovitz, A. ;Ventura, S.; Desmarais, M. (Hrsg.): Proceedings of the 8th International Conference on Educational Data Mining (EMD 2015) 26-29 June Madrid, Spain, Madrid: International Educational Data Mining Society, 2015 , S. 604-606
URL:
http://www.educationaldatamining.org/EDM2015/proceedings/edm2015_proceedings.pdf
Publication Type:
Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Language:
Englisch
Keywords:
Item-Response-Theory; Leistungstest; PISA <Programme for International Student Assessment>; Rasch-Modell; Testauswertung; Testkonstruktion
Abstract:
We present a generalisation of the IRT framework that allows to discriminate between examinees. Our model therefore introduces examinee parameters that can be optimised with Expectation Maximisation-like algorithms. We provide empirical results on PISA data showing that our approach leads to a more appropriate grouping of PISA countries than by test scores and socio-economic indicators. (DIPF/Orig.)
DIPF-Departments:
Informationszentrum Bildung
Diagnostik im Vorschulalter
Esser, Günter; Hasselhorn, Marcus; Schneider, Wolfgang (Hrsg.)
Compilation Book
| Göttingen: Hogrefe | 2015
35324 Endnote
Editor(s)
Esser, Günter; Hasselhorn, Marcus; Schneider, Wolfgang
Title:
Diagnostik im Vorschulalter
Published:
Göttingen: Hogrefe, 2015 (Tests und Trends. N. F., 13)
Publication Type:
Sammelbände; Werkeditionen (Herausgeberschaft); Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Deutschland; Diagnostik; Eltern; Empirische Forschung; Entwicklungsstörung; Erzählen; Forschungsstand; Fragebogen; Frühe Kindheit; Grundschulalter; Grundschule; Intelligenzmessung; Intelligenztest; Kind; Kindergarten; Lesekompetenz; Lesetest; Mathematische Kompetenz; Motorische Entwicklung; Qualität; Rechnen; Reliabilität; Schreibenlernen; Sprachentwicklung; Sprachstandsforschung; Testkonstruktion; Testtheorie; Testverfahren; Validität; Vorschulalter; Wortschatz
Abstract:
Eine erfolgreiche Förderung beginnt stets mit einer gründlichen Diagnostik. Bereits für das Vorschulalter liegen zahlreiche Verfahren vor, die dazu geeignet sind, Entwicklungsauffälligkeiten zu identifizieren, und damit ermöglichen, schulischen Anpassungs- und Lernproblemen frühzeitig entgegenzuwirken. Der Fokus dieses Bandes liegt auf Tests, die Vorläuferfertigkeiten schulischer Leistungen abbilden, und es werden unterschiedliche Ansätze der Erfassung schriftsprachlicher und numerischer Fähigkeiten dargestellt. Darüber hinaus werden jedoch auch übergeordnete Ansätze wie die Messung der nonverbalen Intelligenz behandelt und Verfahren zur Erfassung spezifischer Leistungsbereiche wie Sprach- und motorische Entwicklung vorgestellt. (DIPF/Orig.)
DIPF-Departments:
Bildung und Entwicklung
PISA 2015 Draft Questionnaire Framework
Klieme, Eckhard; Kuger, Susanne
Working Papers
| 2014
34334 Endnote
Author(s):
Klieme, Eckhard; Kuger, Susanne
Title:
PISA 2015 Draft Questionnaire Framework
Published:
Paris: OECD, 2014
URL:
http://www.oecd.org/pisa/pisaproducts/PISA-2015-draft-questionnaire-framework.pdf
Publication Type:
Arbeitspapiere; dokumentarische und Diskussionsbeiträge; weitere Arbeits- und Diskussionspapiere
Language:
Englisch
Keywords:
Bildungslebenslauf; Einstellung <Psy>; Fachwissen; Forschungsdesign; Lehrerausbildung; Leistungsmessung; Lernen; Lernverhalten; Migrationshintergrund; Motivation; Naturwissenschaftliche Kompetenz; PISA <Programme for International Student Assessment>; Problemlösen; Qualität; Schüler; Schülerleistung; Schülerleistungstest; Schulpolitik; Steuerung; Testkonstruktion; Unterricht
Abstract:
The present framework intends to explain the goals and the rationale for choosing appropriate questionnaire content, guiding both the questionnaire development and the forthcoming reports. The document is organized into two main parts: (1) defining the core content of the PISA questionnaires, and (2) elaborating a modular structure for broader coverage of policy issues. The first part of this document links the current Framework to the overarching (cross-cycle) structure of PISA context assessment set out in the PISA 2012 Framework (OECD 2013, p. 168 ff.). The constructs that need to be covered for monitoring trends in education are revisited, with reference to the general background of Educational Effectiveness Research. Measures which have been used previously for initial reporting, for international indicators (published in "Education at a Glance"), and for secondary analyses are reviewed, culminating in an outline of core content that should be assessed in all cycles, for all participants. The second and larger part of this document explores the full breadth of policy issues to be covered, structured by 19 modules, and explains how the most important modules - i.e. those judged as high priority modules by the PISA Governing Board - have been implemented in the Field Trial for PISA 2015. Here, detailed references to current research are provided.
DIPF-Departments:
Bildungsqualität und Evaluation
Das Konstrukt der computer- und informationsbezogenen Kompetenzen in ICILS 2013
Senkbeil, Martin; Goldhammer, Frank; Bos, Wilfried; Eickelmann, Birgit; Schwippert, Knut; […]
Book Chapter
| Aus: Bos, Wilfried;Eickelmann, Birgit;Gerick, Julia;Goldhammer, Frank;Schaumburg, Heike;Schwippert, Knut;Senkbeil, Martin;Schulz-Zander, Renate;Wendt, Heike (Hrsg.): ICILS 2013: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern in der 8. Jahrgangsstufe im internationalen Vergleich | Münster: Waxmann | 2014
35044 Endnote
Author(s):
Senkbeil, Martin; Goldhammer, Frank; Bos, Wilfried; Eickelmann, Birgit; Schwippert, Knut; Gerick, Julia
Title:
Das Konstrukt der computer- und informationsbezogenen Kompetenzen in ICILS 2013
In:
Bos, Wilfried;Eickelmann, Birgit;Gerick, Julia;Goldhammer, Frank;Schaumburg, Heike;Schwippert, Knut;Senkbeil, Martin;Schulz-Zander, Renate;Wendt, Heike (Hrsg.): ICILS 2013: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern in der 8. Jahrgangsstufe im internationalen Vergleich, Münster: Waxmann, 2014 , S. 83-112
Publication Type:
Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Computer; Deutschland; Forschungsstand; Informationskompetenz; Informations- und Kommunikationstechnologie; Internet; Kompetenz; Konzeption; Leistungsmessung; Medienkompetenz; Mediennutzung; Modell; Panel; PISA <Programme for International Student Assessment>; Schüler; Schülerleistung; Schülerleistungstest; Schuljahr 08; Technologiebasiertes Testen; Testaufgabe; Testkonstruktion; Vergleich
Abstract:
Im Folgenden wird zunächst auf das Konstrukt der computer- und informationsbezogenen Kompetenzen, wie es im Rahmen von ICILS 2013 angelegt ist, eingegangen. Dazu werden die theoretischen Grundlagen dargelegt und nachfolgend die Erfassung des Konstrukts beschrieben (Abschnitt 2). Anschließend wird das im Rahmen von ICILS 2013 empirisch geprüfte Kompetenzstufenmodell erläutert. Die fünf Kompetenzstufen computer- und informationsbezogener Kompetenzen werden durch Beispielitems aus dem in ICILS 2013 eingesetzten Schülertest veranschaulicht (Abschnitt 3.2). Um das Konstrukt der computer- und informationsbezogenen Kompetenzen im Kontext aktueller Forschung zu Konzepten der ICT-Literacy zu verorten und um Gemeinsamkeiten und Unterschiede herauszuarbeiten, wird im letzten Teil [...] auf affine Konstrukte eingegangen, die aktuell in internationalen und nationalen Studien entwickelt und eingesetzt werden (Abschnitt 4). (DIPF/Orig.)
PIAAC Germany 2012. Technical report
Zabal, Anouk; Martin, Silke; Massing, Natascha; Ackermann, Daniela; Helmschrott, Susanne; […]
Monograph
| Münster: Waxmann | 2014
34754 Endnote
Author(s):
Zabal, Anouk; Martin, Silke; Massing, Natascha; Ackermann, Daniela; Helmschrott, Susanne; Barkow, Ingo; Rammstedt, Beatrice
Title:
PIAAC Germany 2012. Technical report
Published:
Münster: Waxmann, 2014
URL:
http://www.gesis.org/fileadmin/piaac/Downloadbereich/TechnicalReport-ebook.pdf
Publication Type:
Monographien (Autorenschaft); Monographie
Language:
Englisch
Keywords:
Bericht; Daten; Deutschland; Erhebungsinstrument; Erwachsener; Forschungsdesign; Fragebogen; Interview; Kognitive Kompetenz; Leistungsmessung; Leistungstest; Lesekompetenz; Mathematische Kompetenz; PIAAC <Programme for the International Assessment of Adult Competencies>; Problemlösen; Qualität; Technologiebasiertes Testen; Testdurchführung; Testkonstruktion
Abstract:
The Programme for the International Assessment of Adult Competencies (PIAAC) is a large-scale initiative of the Organization for Economic Cooperation and Development (OECD) that aims at assessing key adult competencies considered important for individual and societal success. This technical report describes how the PIAAC survey was conducted in Germany. It provides information on the PIAAC instruments: the background questionnaire and the cognitive assessment. Furthermore, it describes sampling, fieldwork, weighting, and nonresponse bias analyses. The report concludes with an overview of the data management processes and data products as well as a brief evaluation of the overall data quality. (DIPF/Verlag)
DIPF-Departments:
Informationszentrum Bildung
Lernverlaufsdiagnostik
Hasselhorn, Marcus; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.)
Compilation Book
| Göttingen: Hogrefe | 2014
34387 Endnote
Editor(s)
Hasselhorn, Marcus; Schneider, Wolfgang; Trautwein, Ulrich
Title:
Lernverlaufsdiagnostik
Published:
Göttingen: Hogrefe, 2014 (Tests und Trends. N.F., 12)
Publication Type:
Sammelbände; Werkeditionen (Herausgeberschaft); Sammelband (keine besondere Kategorie)
Language:
Deutsch
Keywords:
Bildungsmonitoring; Computerunterstütztes Verfahren; Deutschland; Empirische Untersuchung; Englischunterricht; Erhebungsinstrument; Evaluation; Fähigkeit; Feedback; Grundschule; Indikator; Inklusion; Kind; Kindergarten; Leistungsbeurteilung; Lerndiagnostik; Lernstandserhebung; Lernstörung; Lesekompetenz; Lesen; Mathematikunterricht; Mathematische Kompetenz; Messverfahren; Migrationshintergrund; Modell; Pädagogische Diagnostik; Pädagogische Psychologie; Prävention; Qualität; Reliabilität; Schülerleistung; Schuljahr 01; Schuljahr 02; Schuljahr 04; Sekundarbereich; Testauswertung; Testkonstruktion; Validität; Wirkung
Abstract:
Der vorliegende Band gibt einen Überblick über die Geschichte, Herausforderungen und neueren Entwicklungen der Lernverlaufsdiagnostik und illustriert damit das Potenzial dieses Ansatzes für unterschiedliche schulische Inhaltsbereiche und unterschiedliche Altersgruppen. Zudem stellt er in bewährter Manier eine Auswahl der besten vorliegenden oder sich in Vorbereitung befindlichen Testverfahren vor. Der Band schließt damit eine Lücke in einem für Wissenschaft und Praxis hoch relevanten Arbeitsbereich.
DIPF-Departments:
Bildung und Entwicklung
Unselect matches
Select all matches
Export
<
1
...
4
5
6
...
8
>
Show all
(79)