Search results in the DIPF database of publications

Your query:

(Schlagwörter: "Informations- und Kommunikationstechnologie")

Changes in the speed-ability relation through different treatments of rapid guessing Deribo, Tobias; Goldhammer, Frank; Kröhne, Ulf Journal Article | In: Educational and Psychological Measurement | 2023 42903 Endnote: Author(s): Deribo, Tobias; Goldhammer, Frank; Kröhne, Ulf
Title: Changes in the speed-ability relation through different treatments of rapid guessing
In: Educational and Psychological Measurement, 83 (2023) 3, S. 473-494
DOI: 10.1177/00131644221109490
URL: https://journals.sagepub.com/doi/10.1177/00131644221109490
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Antwort; Deutschland; Empirische Untersuchung; Fertigkeit; Informations- und Kommunikationstechnologie; Item-Response-Theory; Leistungstest; Modell; Panel; Psychometrie; Reliabilität; Student; Test; Validität; Verhalten; Zeit
Abstract (english): As researchers in the social sciences, we are often interested in studying not directly observable constructs through assessments and questionnaires. But even in a well-designed and well-implemented study, rapid-guessing behavior may occur. Under rapid-guessing behavior, a task is skimmed shortly but not read and engaged with in-depth. Hence, a response given under rapid-guessing behavior does bias constructs and relations of interest. Bias also appears reasonable for latent speed estimates obtained under rapid-guessing behavior, as well as the identified relation between speed and ability. This bias seems especially problematic considering that the relation between speed and ability has been shown to be able to improve precision in ability estimation. For this reason, we investigate if and how responses and response times obtained under rapid-guessing behavior affect the identified speed-ability relation and the precision of ability estimates in a joint model of speed and ability. Therefore, the study presents an empirical application that highlights a specific methodological problem resulting from rapid-guessing behavior. Here, we could show that different (non-)treatments of rapid guessing can lead to different conclusions about the underlying speed-ability relation. Furthermore, different rapid-guessing treatments led to wildly different conclusions about gains in precision through joint modeling. The results show the importance of taking rapid guessing into account when the psychometric use of response times is of interest. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Development and evaluation of a framework for the performance-based testing of ICT skills Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger; Hartig, Katja; […] Journal Article | In: Frontiers in Education | 2021 41203 Endnote: Author(s): Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger; Hartig, Katja; Wenzel, S. Franziska C.
Title: Development and evaluation of a framework for the performance-based testing of ICT skills
In: Frontiers in Education, 6 (2021) , S. 668860
DOI: 10.3389/feduc.2021.668860
URL: https://www.frontiersin.org/articles/10.3389/feduc.2021.668860/full
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Informations- und Kommunikationstechnologie; Praktische Fertigkeit; Wissen; Problemlösen; Textverständnis; Bildverstehen; Bewertung; Modell; Item; Entwicklung; Testvalidität; Itemanalyse; Rasch-Modell; Implementation; Evaluation; Test; Testverhalten; Schüler; Sekundarstufe I; Baden-Württemberg; Rheinland-Pfalz; Deutschland
Abstract (english): This paper addresses the development of performance-based assessment items for ICT skills, skills in dealing with information and communication technologies, a construct which is rather broadly and only operationally defined. Item development followed a construct-driven approach to ensure that test scores could be interpreted as intended. Specifically, ICT-specific knowledge as well as problem-solving and the comprehension of text and graphics were defined as components of ICT skills and cognitive ICT tasks (i.e., accessing, managing, integrating, evaluating, creating). In order to capture the construct in a valid way, design principles for constructing the simulation environment and response format were formulated. To empirically evaluate the very heterogeneous items and detect malfunctioning items, item difficulties were analyzed and behavior-related indicators with item-specific thresholds were developed and applied. The 69 item's difficulty scores from the Rasch model fell within a comparable range for each cognitive task. Process indicators addressing time use and test-taker interactions were used to analyze whether most test-takers executed the intended processes, exhibited disengagement, or got lost among the items. Most items were capable of eliciting the intended behavior; for the few exceptions, conclusions for item revisions were drawn. The results affirm the utility of the proposed framework for developing and implementing performance-based items to assess ICT skills. (DIPF/Orig.)
DIPF-Departments: Lehr und Lernqualität in Bildungseinrichtungen

Convergent evidence for validity of a performance-based ICT skills test Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Wenzel, S. Franziska C.; […] Journal Article | In: European Journal of Psychological Assessment | 2020 39137 Endnote: Author(s): Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Wenzel, S. Franziska C.; Hartig, Katja; Horz, Holger
Title: Convergent evidence for validity of a performance-based ICT skills test
In: European Journal of Psychological Assessment, 36 (2020) 2, S. 269-279
DOI: 10.1027/1015-5759/a000507
URN: urn:nbn:de:0111-pedocs-218426
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-218426
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Problemlösen; Kompetenz; Fertigkeit; Schüler; Sekundarstufe I; Test; Testaufgabe; Validität; Evidenz; Deutschland
Abstract (english): The goal of this study was to investigate sources of evidence of convergent validity supporting the construct interpretation of scores on a simulation-based ICT skills test. The construct definition understands ICT skills as reliant on ICT-specific knowledge as well as comprehension and problem-solving skills. On the basis of this, a validity argument comprising three claims was formulated and tested. (1) In line with the classical nomothetic span approach, all three predictor variables explained task success positively across all ICT skills items. As ICT tasks can vary in the extent to which they require construct-related knowledge and skills and in the way related items are designed and implemented, the effects of construct-related predictor variables were expected to vary across items. (2) A task-based analysis approach revealed that the item-level effects of the three predictor variables were in line with the targeted construct interpretation for most items. (3) Finally, item characteristics could significantly explain the random effect of problem-solving skills, but not comprehension skills. Taken together, the obtained results generally support the validity of the construct interpretation.
DIPF-Departments: Bildungsqualität und Evaluation

ICT engagement. A new construct and its assessment in PISA 2015 Kunina-Habenicht, Olga; Goldhammer, Frank Journal Article | In: Large-scale Assessments in Education | 2020 40318 Endnote: Author(s): Kunina-Habenicht, Olga; Goldhammer, Frank
Title: ICT engagement. A new construct and its assessment in PISA 2015
In: Large-scale Assessments in Education, (2020) , S. 8:6
DOI: 10.1186/s40536-020-00084-z
URN: urn:nbn:de:0111-pedocs-232754
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-232754
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Informations- und Kommunikationstechnologie; Kompetenz; Interesse; Nutzung; Selbstständigkeit; Soziale Interaktion; PISA <Programme for International Student Assessment>; Datenanalyse; Variable; Beziehung; Strukturgleichungsmodell; Schweiz; Deutschland
Abstract (english): As a relevant cognitive-motivational aspect of ICT literacy, a new construct ICT Engagement is theoretically based on self-determination theory and involves the factors ICT interest, Perceived ICT competence, Perceived autonomy related to ICT use, and ICT as a topic in social interaction. In this manuscript, we present different sources of validity supporting the construct interpretation of test scores in the ICT Engagement scale, which was used in PISA 2015. Specifically, we investigated the internal structure by dimensional analyses and investigated the relation of ICT Engagement aspects to other variables. The analyses are based on public data from PISA 2015 main study from Switzerland (n = 5860) and Germany (n = 6504). First, we could confirm the four-dimensional structure of ICT Engagement for the Swiss sample using a structural equation modelling approach. Second, ICT Engagement scales explained the highest amount of variance in ICT Use for Entertainment, followed by Practical use. Third, we found significantly lower values for girls in all ICT Engagement scales except ICT Interest. Fourth, we found a small negative correlation between the scores in the subscale "ICT as a topic in social interaction" and reading performance in PISA 2015. We could replicate most results for the German sample. Overall, the obtained results support the construct interpretation of the four ICT Engagement subscales. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Understanding innovative pedagogies. Key themes to analyse new approaches to teaching and learning Peterson, Amelia; Dumont, Hanna; Lafuente, Marc; Law, Nancy Working Papers | 2018 38585 Endnote: Author(s): Peterson, Amelia; Dumont, Hanna; Lafuente, Marc; Law, Nancy
Title: Understanding innovative pedagogies. Key themes to analyse new approaches to teaching and learning
Published: Paris: OECD Publishing, 2018
DOI: 10.1787/19939019
URL: https://www.oecd-ilibrary.org/education/understanding-innovative-pedagogies_9f843a6e-en
Publication Type: 5. Arbeits- und Diskussionspapiere; Arbeits- und Diskussionspapier (keine besondere Kategorie)
Language: Englisch
Keywords: Pädagogik; Innovation; Reform; Schule; Unterricht; Adaptiver Unterricht; Erziehungsziel; Veränderung; Netzwerk; Beispiel; Lernziel; Kompetenz; Mathematikunterricht; Fremdsprachenunterricht; Soziale Kompetenz; Informations- und Kommunikationstechnologie; Multimedia; Computerunterstütztes Lernen; Bildungssystem; Umsetzung
Abstract: Pedagogy is at the heart of teaching and learning. Preparing young people to meet new contemporary challenges means to review and update the pedagogies teachers use. However, despite the increased reporting of teachers and schools that are innovating, schools remain largely seen as very resistant places for innovation. To address the importance and challenges of implementing new pedagogies, this paper brings together leading experts to reflect on key areas of pedagogy. In particular, each chapter addresses a pedagogical dimension that together offers a conceptual framework for action. This framework moves beyond a fragmented focus on specific innovations. In doing so, it helps explain how innovative pedagogies may be developed, applied and scaled. Amelia Peterson's first contribution shows how fundamental purpose is to pedagogy, while Hanna Dumont's section explores adaptive teaching as a cross-cutting concept over a range of different pedagogical approaches. Then the paper moves to discuss the importance of understanding pedagogies as combinations, which Amelia Peterson defines as two layers: one combining discrete teaching practices and another that combines approaches to meet long-term educational goals. Marc Lafuente looks first at content domains (mathematics, non-native languages, and socio-emotional learning) and how they relate to pedagogies. He then contributes to the thinking on "new learners" and technology, as important context influencing pedagogical choices and implementation. The final section by Nancy Law is focused on change, through the particular prism of technology-enhanced pedagogical innovations. Her analysis moves towards a theory of change that takes account of the need for alignment at the different levels of the educational system. (DIPF/Orig.)
DIPF-Departments: Struktur und Steuerung des Bildungswesens

Validität der Konstruktinterpretation von Testwerten zur Erfassung des technologiebasierten […] Stelter, Annette Monograph | Frankfurt am Main: Goethe-Universität | 2016 36376 Endnote: Author(s): Stelter, Annette
Title: Validität der Konstruktinterpretation von Testwerten zur Erfassung des technologiebasierten Problemlösens von Erwachsenen im Programme for the International Assessment of Adult Competencies (PIAAC)
Published: Frankfurt am Main: Goethe-Universität, 2016
URN: urn:nbn:de:hebis:30:3-406683
URL: http://publikationen.ub.uni-frankfurt.de/frontdoor/index/index/docId/40668
Publication Type: 1. Monographien (Autorenschaft); Monographie
Language: Deutsch
Keywords: Altersgruppe; Computernutzung; Datenanalyse; Deutschland; Empirische Untersuchung; Erwachsener; Formale Bildung; Hypothese; Informationsgesellschaft; Informations- und Kommunikationstechnologie; Informelles Lernen; Kompetenz; Lebenslanges Lernen; Lesekompetenz; Mathematische Kompetenz; Messung; PIAAC (Programme for the Assessment of Adult Competencies); Problemlösen; Test; Validität; Vergleich
Abstract: Die in den letzten Jahrzehnten erfolgten Entwicklungen im Bereich der Informations- und Kommunikationstechnologien (IKT) haben beinahe alle Teilbereiche der Gesellschaft erreicht (OECD, 2000) und so können Alltag, Beruf, aber auch soziale Interaktionen benannt werden (Autor, Levy, & Murnane, 2003). Das technologiebasierte Problemlösen stellt ein relevantes Kompetenzkonstrukt dar, wobei die empirische Validierung der Testwertinterpretation noch aussteht. [...] Ziel einer Konstruktvalidierung ist es theoretische Annahmen - sowie nomologische Netze - mit empirischen Belegen zu prüfen und somit Aussagen über die Gültigkeit der Testwertinterpretationen treffen zu können (vgl. Messick, 1995). Zu diesem Zweck wurden die folgenden fünf Leithypothesen aufgestellt: 1. Im technologiebasierten Problemlösen können Teilsequenzen durch Routinen im Umgang mit IKT bewältigt werden. Mit dem Ziel der Analyse von Lösungsprozessen wurden Prozessdaten aus dem Feldtest der PIAAC-Studie genutzt und automatisierbare Teilschritte (beispielsweise Schließen eines Popups) analysiert. [...] 2. Durch die Entstehungsgeschichte von IKT begründet, bestehen Differenzen im technologiebasierten Problemlösen. Entstehung moderner IKT legt eine Differenzierung von drei Kohorten nahe (orientiert an lernintensiven Phasen der Kindheit und Jugend): Erlebten die Entstehung und Verbreitung von Hardware (geboren 1946-1966); Begleiteten die Verbreitung von Computersoftware und dessen Nutzung (geboren 1966-1981), Nutzung und Gestaltung digitaler Inhalte des Internets (geboren 1981-1995). Erwartungsgemäß unterscheiden sich die Kohorten im technologiebasierten Problemlösen - genauer in der Nutzung von Routinen im Lösungsprozess und im erreichten Kompetenzniveau. [...] 3. Der Umgang mit IKT ist - begründet durch deren Entstehungsgeschichte - eher weniger Teil der formellen und schulischen Bildung. Technologiebasiertes Problemlösen wird weniger in formellen und schulischen Lerngelegenheiten erworben, als andere Kompetenzen wie beispielsweise mathematische und Lesekompetenzen. Folglich wurden für das technologiebasierte Problemlösen kleinere Differenzen zwischen hohen, mittleren oder niedrigen Bildungsabschlüssen erwartet und konnten empirisch anhand der PIAAC-Daten belegt werden. [...] 4. Technologiebasiertes Problemlösen ist ein eigenständiges Kompetenzkonstrukt, das Parallelen zu mathematischen und Lesekompetenzen aufweist. Mathematische und Lesekompetenzen stehen in einem Zusammenhang mit dem Umgang mit IKT und somit auch mit dem technologiebasierten Problemlösen. Die Leseanteile am technologiebasierten Problemlösen werden als größer eingeschätzt, als die der mathematischen Kompetenz und stärkere Effekte durch Lesekompetenz konnten empirisch nachgewiesen werden. Die Annahme der Eigenständigkeit des technologiebasierten Problemlösens wird im Weiteren dadurch gestützt, dass der alltägliche Umgang mit mathematischen und Leseinhalten weniger stark mit ihm assoziiert ist, als der Umgang mit IKT. Nomologische Netze zwischen technologiebasiertem Problemlösen und mathematischen sowie Lesekompetenzen konnten empirisch gestützt werden und die Annahme der Eigenständigkeit des Kompetenzkonstruktes bestärkt. 5. Die Nutzung von IKT - als Lerngelegenheit verstanden - und andere Lerngelegenheiten sowie Indikatoren erfolgreichen Lernens können zum technologiebasierten Problemlösen beitragen. Lebenslanges Lernen ist ein Teil der menschlichen Natur und in diesem Rahmen dienen verschiedenste formelle und informelle Lerngelegenheiten dem Erwerb von Wissen und Kompetenzen (Dohmen, 2001). So erreichen Personen im technologiebasierten Problemlösen ein höheres Kompetenzniveau, wenn sie regelmäßig privaten oder beruflichen Umgang mit IKT hatten. [...] Das technologiebasierte Problemlösen in der Operationalisierung der PIAAC-Studie lässt eine konstruktrepräsentative Testwertinterpretation zu und ermöglicht somit eine differenzierte Beschreibung von Kompetenzen im Umgang mit IKT. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Computergestützte, adaptive und verhaltensnahe Erfassung informations- und […] Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; […] Book Chapter | Aus: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments | Berlin: Bundesministerium für Bildung und Forschung | 2016 36592 Endnote: Author(s): Wenzel, S. Franziska C.; Engelhardt, Lena; Hartig, Katja; Kuchta, Kathrin; Frey, Andreas; Goldhammer, Frank; Naumann, Johannes; Forz, Holger
Title: Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikations-technologiebezogener Fertigkeiten (ICT-Skills) (CavE-ICT)
In: Bundesministerium für Bildung und Forschung (Hrsg.): Forschungsvorhaben in Ankopplung an Large-Scale-Assessments, Berlin: Bundesministerium für Bildung und Forschung, 2016 (Bildungsforschung, 44), S. 161-180
URL: https://www.bmbf.de/pub/Bildungsforschung_Band_44.pdf#page=163
Publication Type: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Language: Deutsch
Keywords: Adaptives Testen; Computerunterstütztes Verfahren; Deutschland; Entwicklung; Fertigkeit; Informationstechnologische Bildung; Informations- und Kommunikationstechnologie; Messung; Projekt; Testkonstruktion
Abstract: 2011 startete das Bundesministerium für Bildung und Forschung (BMBF) die Initiative zur Förderung von Forschungsvorhaben in Ankopplung an Large-Scale-Assessments (LSA). Large-Scale-Assessments werden als wichtige Instrumente des Bildungsmonitorings angesehen (z.B. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland [KMK], 2006). Mit der Ausschreibung der Förderinitiative werden Forschungsaktivitäten unterstützt, die neben Fragestellungen zur Kompetenzdiagnostik Testkonzeption und Methoden ständig zu verbessern suchen, weitere Domänen, Kompetenzen und Bedienungsfelder erschließen und in angemessener Weise modellieren wollen. Das Projekt "Computergestützte, adaptive und verhaltensnahe Erfassung informations- und kommunikationstechnologiebezogener Fertigkeiten (ICT-Skills)" (CavE-ICT) war in der genannten Initiative angesiedelt. Es widmete sich der Entwicklung eines computergestützten Testverfahrens zur simulationsbasierten Erfassung von informations- und kommunikationstechnologiebezogenen Fertigkeiten. Im vorliegenden Beitrag werden die zentralen Ergebnisse der Testentwicklung dargelegt. Der Einsatz des entwickelten Testinstruments kann im Kontext von Large-Scale-Assessments, aber auch zur Individualdiagnostik erfolgen. Der Test ist zudem potenziell adaptiv einsetzbar und beruht auf einer soliden theoretischen Basis. CavE-ICT war ein Kooperationsprojekt zwischen der Goethe-Universität Frankfurt am Main, dem Deutschen Institut für Internationale Pädagogische Forschung in Frankfurt am Main und der Friedrich-Schiller-Universität Jena. Die übergeordnete "Vision" des Projekts bestand in der Entwicklung eines computerbasierten, verhaltensnahen sowie adaptiven Instruments zur Messung von ICT-Skills, das bei künftigen (internationalen) Large-Scale-Assessments, wie etwa PISA, dem nationalen Bildungspanel (NEPS; Artelt, Weinert & Carstensen, 2013) oder der International Computer and Information Literacy Study (ICILS; Bos et al., 2014), Verwendung finden kann. Die Struktur des [...] Beitrags orientiert sich am Projektablauf. Zunächst wird die theoretische Rahmenkonzeption vorgestellt (Kapitel 2), auf deren Basis der computerisierte Test entwickelt wurde. Anschließend wird der Prozess der Itementwicklung skizziert (Kapitel 3) und schließlich die Erprobung der entwickelten Items im Rahmen der Kalibrierungsstudie dargestellt (Kapitel 4). Abschließend wird ein kurzes Fazit gezogen und ein Ausblick gegeben (Kapitel 5). (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Adolescents' computer performance. The role of self-concept and motivational aspects Christoph, Gabriela; Goldhammer, Frank; Zylka, Johannes; Hartig, Johannes Journal Article | In: Computers & Education | 2015 34959 Endnote: Author(s): Christoph, Gabriela; Goldhammer, Frank; Zylka, Johannes; Hartig, Johannes
Title: Adolescents' computer performance. The role of self-concept and motivational aspects
In: Computers & Education, 81 (2015) , S. 1-12
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Baden-Württemberg; Computer; Datenanalyse; Deutschland; Geschlecht; Informations- und Kommunikationstechnologie; Interesse; Jugendlicher; Kompetenz; Leistung; Motivation; Psychometrie; Sekundarbereich; Selbstkonzept; Soziales Handeln; Strukturgleichungsmodell; Wissen
Abstract: This study focuses on the correlational structure between adolescents' computer self-concept and different computer-related performance outcomes, following expectancy-value theory (e.g. Wigfield & Eccles, 2000). More specifically, computer interest and ICT-related social engagement were considered as mediators by which the link of computer self-concept and basic computer skills as well as theoretical computer knowledge should be established. Extending this research, the role of gender was additionally examined, testing the extent to which the proposed structural patterns are similar or dissimilar. Based on a sample of 445 German secondary school boys and girls, we applied latent mediation as well as group-based analysis. Results showed that computer self-concept plays a significant role in regard to ICT-related motivational characteristics and computer performance outcomes. As to basic computer skills, the self-concept to performance relation was mediated by computer interest but not by ICT-related social engagement. Regarding the computer self-concept to theoretical computer knowledge relation, only ICT-related social engagement (not computer interest) emerged as a significant mediator. Exploring the role of gender, a gender-specific rather than a gender-invariant model seems better applicable. Thus, mean-level differences as well as differences in the underlying correlational structure could be asserted. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Moving beyond cognitive elements of ICT literacy. First evidence on the structure of ICT engagement Zylka, Johannes; Christoph, Gabriela; Kröhne, Ulf; Hartig, Johannes; Goldhammer, Frank Journal Article | In: Computers in Human Behavior | 2015 35600 Endnote: Author(s): Zylka, Johannes; Christoph, Gabriela; Kröhne, Ulf; Hartig, Johannes; Goldhammer, Frank
Title: Moving beyond cognitive elements of ICT literacy. First evidence on the structure of ICT engagement
In: Computers in Human Behavior, 53 (2015) , S. 149-160
DOI: 10.1016/j.chb.2015.07.008
URN: urn:nbn:de:0111-pedocs-179844
URL: http://nbn-resolving.org/urn:nbn:de:0111-pedocs-179844
Publication Type: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Language: Englisch
Keywords: Befragung; Deutschland; Digitale Medien; Empirische Untersuchung; Faktorenanalyse; Informations- und Kommunikationstechnologie; Interesse; Jugendlicher; Medienkompetenz; Mediennutzung; Medienverhalten; Metakognition; Motivation; Selbstkonzept; Soziale Interaktion
Abstract: The use of Information and Communication Technology (ICT) is of immense importance in today's digital knowledge society. As a basis for private and vocational participation in society, ICT literacy has been widely discussed in recent decades. Although motivational and metacognitive facets play an important role in developing ICT literacy and competence, studies assessing media, computer or ICT literacy often fail to present a comprehensive concept on these motivational and metacognitive facets. This article addresses this issue by integrating them into the concept of ICT engagement. Its theoretically deduced dimensions of ICT-related interest, self-concept related to the use of ICT, and social exposure to ICT were analyzed in an explorative study assessing N = 445 students aged between 14 and 17 years in the German federal state of Baden-Wuerttemberg. The obtained dimensional structure included the assumed factors, and suggested to distinguish a positive and a negative self-concept on using ICT as well as to separate interest in computers and interest in mobile devices factor. The ICT engagement dimensions were related to individual differences in behavioral, cognitive and emotional ICT constructs as expected. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation

Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und […] Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; […] Working Papers | 2015 36844 Endnote: Author(s): Wenzel, S. Franziska C.; Engelhardt, Lena; Kuchta, Kathrin; Hartig, Katja; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger
Title: Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fähigkeiten (ICT-Skills) in PISA. Projekt CavE - ICT - PISA; Schlussbericht
Published: Frankfurt am Main: Universitätsbibliothek; Technische Informationsbibliothek, 2015
DOI: 10.2314/GBV:838771823
URL: http://edok01.tib.uni-hannover.de/edoks/e01fb15/838771823.pdf
Publication Type: 5. Arbeits- und Diskussionspapiere; Forschungsbericht/Projektberichte/Schulrückmeldungen
Language: Deutsch
Keywords: Adaptives Testen; Computerunterstütztes Verfahren; Fähigkeit; Forschungsprojekt; Informations- und Kommunikationstechnologie; Messverfahren; PISA <Programme for International Student Assessment>; Projektbericht; Skalierung; Testkonstruktion; Validität
Abstract: Mit dem Projektvorhaben CavE-ICT-PISA sollten Konstrukte und Erhebungsverfahren im Kontext der internationalen PISA Option ICT Familiarity Questionnaire weiterentwickelt werden. Ziel dabei war es zunächst eine stärkere theoretische Verankerung für das Konstrukt ICT-Skills zu schaffen und darauf aufbauend eine verhaltensbasierten und computerisierten ICT-Test zu entwickeln und zu erproben. In diesem Sinne wurde zunächst ein theoretisches Framework erstellt, das auf Basis einer Synthese bestehender Frameworks dazu verwendet wurde Testitems zu entwickeln. Es wurden 70 funktionsfähige Items in einem umfangreichen Qualitätssicherungsprozess entwickelt, computerisiert und verhaltensbasiert in Simulationsumgebungen implementiert. Die entwickelten Items können mit einem Werkzeug in verschiedene Sprachen übersetzt werden und sind damit auch international einsetzbar. Die Testadministration erfolgte, unter Nutzung von USB-Sticks, an insgesamt 33 Schulen, deren IT-Ausstattung zuvor hinsichtlich spezifischer Leistungsanforderungen geprüft wurde. Die Stichprobe besteht aus 983 15jährigen Schülerinnen und Schülern. Auf Basis der Kalibrierungsergebnisse der ICT-Items wurden 64 Aufgaben für den endgültigen ICT-Test selektiert, welcher eine Reliabilität von .80 erreicht. Bei der Berechnung der Kompetenzverteilung wurden zudem latente Zusammenhänge mit Variablen wie Alter, Geschlecht oder Computernutzung, berücksichtigt. Eine verkürzte Version des ICT-Tests, wie auch ein adaptiver Testalgorithmus wurden unter Nutzung von Monte-Carlo-Simulationsstudien erprobt. Insgesamt kann festgehalten werden, dass im Rahmen von CavE-ICT-PISA innerhalb eines kurzen Zeitrahmens ein Testinstrument auf höchstem internationalem Standard konstruiert und zum Einsatz gebracht wurde. Der entstandene ICT-Test könnte auch als Kurzversion oder adaptiv, beispielsweise in computerbasierten Messungen als Kontrollvariable zum Einsatz kommen. (DIPF/Orig.)
Abstract (english): Goal of the project CavE-ICT-PISA was to develop constructs and assessment instruments in the context of PISA further, based on the optional ICT Familiarity Questionnaire. The first partial goal aimed to corroborate the construct ICT-Skills more theoretically and to develop a behavior-related and computer-based test. With this in mind a theoretical framework concept was prepared based on a synthesis of existing frameworks including several feedback loops for optimization and implemented fully functional in simulation environment. The items can be translated in other languages, thus the test is international applicable. The test was delivered on USB flash drives at 33 German schools, after the schools were selected regarding their readiness of soft- and hardware. The sample consists of 983 15 year old students. Based on the study results, 64 items were selected for the final item pool, which has a reliability of .80. For the ability distribution, latent relations to variables like age, sex and computer experience were modeled. A shorter version of the test as well as an adaptive test algorithm was developed using Monte-Carlo-simulations. Thus, the goal of the project to develop and apply an assessment instrument in line with international standards was met. The developed test can be used as a short version or adaptive test für instance to control in computer-based assessments for ICT-skills. (DIPF/Orig.)
DIPF-Departments: Bildungsqualität und Evaluation