Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Schlagwörter: "Evaluation")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
328
Inhalte gefunden
Alle Details anzeigen
A checklist to guide the planning, designing, implementation, and evaluation of learning analytics […]
Kaliisa, Rogers; Jivet, Ioana; Prinsloo, Paul
Zeitschriftenbeitrag
| In: International Journal of Educational Technology in Higher Education | 2023
43702 Endnote
Autor*innen:
Kaliisa, Rogers; Jivet, Ioana; Prinsloo, Paul
Titel:
A checklist to guide the planning, designing, implementation, and evaluation of learning analytics dashboards
In:
International Journal of Educational Technology in Higher Education, 20 (2023) , S. 28
DOI:
10.1186/s41239-023-00394-6
URL:
https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-023-00394-6
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Benutzeroberfläche; Datenanalyse; Design; E-Learning; Empfehlung; Empirische Forschung; Evaluation; Implementierung; Lehrer; Lernprozess; Planung; Systematic Review; Tool; Visualisierung
Abstract (english):
Higher education institutions are moving to design and implement teacher-facing learning analytics (LA) dashboards with the hope that instructors can extract deep insights about student learning and make informed decisions to improve their teaching. While much attention has been paid to developing teacher-facing dashboards, less is known about how they are designed, implemented and evaluated. This paper presents a systematic literature review of existing studies reporting on teacher-facing LA dashboards. Out of the 1968 articles retrieved from several databases, 50 articles were included in the final analysis. Guided by several frameworks, articles were coded based on the following dimensions: purpose, theoretical grounding, stakeholder involvement, ethics and privacy, design, implementation, and evaluation criteria. The findings show that most dashboards are designed to increase teachers' awareness but with limited actionable insights to allow intervention. Moreover, while teachers are involved in the design process, this is mainly at the exploratory/problem definition stage, with little input beyond this stage. Most dashboards were prescriptive, less customisable, and implicit about the theoretical constructs behind their designs. In addition, dashboards are deployed at prototype and pilot stages, and the evaluation is dominated by self-reports and users' reactions with limited focus on changes to teaching and learning. Besides, only one study considered privacy as a design requirement. Based on the findings of the study and synthesis of existing literature, we propose a four-dimensional checklist for planning, designing, implementing and evaluating LA dashboards. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Technischer Bericht der Evaluation des Praxissemesters in Hessen
Mähler, Marius; Staab, René; Kuhn, Corinna
Sammelbandbeitrag
| Aus: Böhnert, Anne; Grölz, Katrin; Hartig, Katja; Klingebiel, Franz; Müller, Andrea; Staab, René (Hrsg.): Das Praxissemester im Lehramtsstudium in Hessen | Münster: Waxmann | 2023
43804 Endnote
Autor*innen:
Mähler, Marius; Staab, René; Kuhn, Corinna
Titel:
Technischer Bericht der Evaluation des Praxissemesters in Hessen
Aus:
Böhnert, Anne; Grölz, Katrin; Hartig, Katja; Klingebiel, Franz; Müller, Andrea; Staab, René (Hrsg.): Das Praxissemester im Lehramtsstudium in Hessen, Münster: Waxmann, 2023 , S. 31-49
URL:
https://www.pedocs.de/volltexte/2023/26207/pdf/Boehnert_et_al_2023_Das_Praxissemester_im_Lehramtsstudium.pdf#page=32
Dokumenttyp:
4. Beiträge in Sammelbänden; Sammelband (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Datenaufbereitung; Datenerhebung; Datenmanagement; Design; Deutschland; Durchführung; Evaluation; Frankfurt am Main; Hessen; Kassel; Längsschnittuntersuchung; Lehramtsstudiengang; Methode; Praxissemester; Qualitative Forschung; Quantitative Forschung
Abstract:
Der folgende Beitrag beschreibt die Planung, Durchführung und Aufbereitung der qualitativen Neben- bzw. Vorabstudien und der quantitativen Hauptstudie des Evaluationsprojektes. Zu Beginn wird ein kurzer Überblick über die qualitativen Neben- bzw. Vorabstudien an den verschiedenen Standorten gegeben. Im Anschluss wird das Erhebungsdesign und die Erhebungsdurchführung der quantitativen Hauptstudie an den verschiedenen Standorten beschrieben, dabei liegt der Fokus auf den standortspezifischen Erhebungsdurchführungen der unterschiedlichen Befragtengruppen zu den entsprechenden Messzeitpunkten. Abschließend wird der Umgang mit den in der quantitativen Hauptstudie erfassten Daten vorgestellt, dabei werden die modell-, kohorten- und standortspezifischen Herausforderungen, welche sich durch das komplexe Design der Studie ergeben, verdeutlicht. (DIPF/Orig.)
Abstract (english):
The following article describes the planning, implementation and processing of the qualitative side and preliminary studies and the quantitative main study of the evaluation project. At the beginning, a short overview of the qualitative side and preliminary studies at the different locations is given. Subsequently, the survey design and the survey implementation of the quantitative main study at the different locations will be described, focusing on the location-specific survey implementations of the different respondent groups at the corresponding measurement points. Finally, the handling of the data collected in the main quantitative study is presented, highlighting the model-, cohort- and location-specific challenges that arise from the complex studydesign. (DIPF/Orig.)
DIPF-Abteilung:
Lehr und Lernqualität in Bildungseinrichtungen
Die Erfassung von Publikationen aus der Datennutzung. Verfahren, Herausforderungen und Nutzen. Ein […]
Daniel, Andreas; Jakowatz, Stefan; Jung, Nadeshda; Kleine, Lydia; Kocaj, Aleksander; […]
Verschiedenartige Dokumente
| 2023
43678 Endnote
Autor*innen:
Daniel, Andreas; Jakowatz, Stefan; Jung, Nadeshda; Kleine, Lydia; Kocaj, Aleksander; Meyermann, Alexia; Mozygemba, Kati; Schuster, Alexander
Titel:
Die Erfassung von Publikationen aus der Datennutzung. Verfahren, Herausforderungen und Nutzen. Ein Erfahrungsbericht von Forschungsdatenzentren
Erscheinungsvermerk:
Berlin: Rat für Sozial- und Wirtschaftsdaten, 2023
DOI:
10.17620/02671.80
URL:
https://www.konsortswd.de/aktuelles/publikation/publikationserfassung/
Dokumenttyp:
5. Arbeits- und Diskussionspapiere; weitere Arbeits- und Diskussionspapiere
Sprache:
Deutsch
Schlagwörter:
Angebot; Bibliografie; Datenerfassung; Evaluation; Forschungsdaten; Leistungsindikator; Nutzung; Publikation; Sekundäranalyse
Abstract:
Publikationen sind im Wissenschaftssystem das wesentliche Medium zur Kommunikation von Erkenntnissen und werden häufig als Indikator für wissenschaftliche Leistung herangezogen. Für Forschungsdatenzentren (FDZ) erfüllen Publikationen weitere Funktionen: Verknüpft mit den zugrundeliegenden Forschungsdaten dienen sie als wichtige Informationsquelle für potentielle Datennutzer:innen. Zudem wird die Anzahl der auf Basis von Nachnutzungen entstandenen Publikationen als ein Evaluationskriterium für die Datendienste der FDZ herangezogen und das, obwohl die Erfassung dieser Publikationen mit einer Reihe von Herausforderungen verbunden ist. Der vorliegende Artikel beschreibt die verschiedenen Vorgehensweisen von FDZ bei der Erfassung von Publikationen, die aus der Nutzung von Forschungsdaten entstehen, und diskutiert damit einhergehende Probleme der Fehl-, Über- und Untererfassung. Es zeigt sich, dass die verschiedenen Verfahren der Erfassung mit je unterschiedlichen Schwierigkeiten behaftet sind, die ihre Verwendung als Leistungsindikator relativieren. Einen Königsweg gibt es derzeit nicht; stattdessen wird eine Kombination aus unterschiedlichen Vorgehensweisen empfohlen, die auch in Abhängigkeit von der jeweiligen Größe des Datenbestands eines FDZ und den jeweiligen Nutzer:innen zu bewerten ist. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Practical significance of item misfit and its manifestations in constructs assessed in large‑scale […]
Fährmann, Katharina; Köhler, Carmen; Hartig, Johannes; Heine, Jörg‑Henrik
Zeitschriftenbeitrag
| In: Large-scale Assessments in Education | 2022
42893 Endnote
Autor*innen:
Fährmann, Katharina; Köhler, Carmen; Hartig, Johannes; Heine, Jörg‑Henrik
Titel:
Practical significance of item misfit and its manifestations in constructs assessed in large‑scale studies
In:
Large-scale Assessments in Education, 10 (2022) , S. 7
DOI:
10.1186/s40536‑022‑00124‑w
URL:
https://largescaleassessmentsineducation.springeropen.com/articles/10.1186/s40536-022-00124-w
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Abstract (english):
When scaling psychological tests with methods of item response theory it is necessary to investigate to what extent the responses correspond to the model predictions. In addition to the statistical evaluation of item misfit, the question arises as to its practical significance. Although item removal is undesirable for several reasons, its practical consequences are rarely investigated and focus mostly on main survey data with pre-selected items. In this paper, we identify criteria to evaluate practical significance and discuss them with respect to various types of assessments and their particular purposes. We then demonstrate the practical consequences of item misfit using two data examples from the German PISA 2018 field trial study: one with cognitive data and one with non-cognitive/metacognitive data. For the former, we scale the data under the GPCM with and without the inclusion of misfitting items, and investigate how this influences the trait distribution and the allocation to reading competency levels. For non-cognitive/metacognitive data, we explore the effect of excluding misfitting items on estimated gender differences. Our results indicate minor practical consequences for person allocation and no changes in the estimated gender-difference effects. (DIPF/Orig.)
DIPF-Abteilung:
Lehr und Lernqualität in Bildungseinrichtungen
Disengaged response behavior when the response button is blocked. Evaluation of a micro-intervention
Persic-Beck, Lothar; Goldhammer, Frank; Kroehne, Ulf
Zeitschriftenbeitrag
| In: Frontiers in Psychology. Section Quantitative Psychology and Measurement | 2022
43065 Endnote
Autor*innen:
Persic-Beck, Lothar; Goldhammer, Frank; Kroehne, Ulf
Titel:
Disengaged response behavior when the response button is blocked. Evaluation of a micro-intervention
In:
Frontiers in Psychology. Section Quantitative Psychology and Measurement, 13 (2022) , S. 954532
DOI:
10.3389/fpsyg.2022.954532
URL:
https://www.frontiersin.org/articles/10.3389/fpsyg.2022.954532/full
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Antwort; Datenanalyse; Dauer; Effektivität; Einflussfaktor; Erwachsener; Evaluation; Frage; Intervention; Kompetenz; Leistungstest; Logdatei; Messung; Motivation; Technologiebasiertes Testen; Testkonstruktion; Validität; Verhalten; Verhaltensänderung
Abstract (english):
In large-scale assessments, disengaged participants might rapidly guess on items or skip items, which can affect the score interpretation's validity. This study analyzes data from a linear computer-based assessment to evaluate a micro-intervention that blocked the possibility to respond for 2 s. The blocked response was implemented to prevent participants from accidental navigation and as a naive attempt to prevent rapid guesses and rapid omissions. The response process was analyzed by interpreting log event sequences within a finite-state machine approach. Responses were assigned to different response classes based on the event sequence. Additionally, post hoc methods for detecting rapid responses based on response time thresholds were applied to validate the classification. Rapid guesses and rapid omissions could be distinguished from accidental clicks by the log events following the micro-intervention. Results showed that the blocked response interfered with rapid responses but hardly led to behavioral changes. However, the blocked response could improve the post hoc detection of rapid responding by identifying responses that narrowly exceed time-bound thresholds. In an assessment context, it is desirable to prevent participants from accidentally skipping items, which in itself may lead to an increasing popularity of initially blocking responses. If, however, data from those assessments is analyzed for rapid responses, additional log data information should be considered.
DIPF-Abteilung:
Lehr und Lernqualität in Bildungseinrichtungen
Entwicklung einer Domänen-Ontologie für qualitative Kategoriensysteme - QualiCO
Hocker, Julian
Monographie
| Hildesheim: Universitätsverlag Hildesheim | 2021
42443 Endnote
Autor*innen:
Hocker, Julian
Titel:
Entwicklung einer Domänen-Ontologie für qualitative Kategoriensysteme - QualiCO
Erscheinungsvermerk:
Hildesheim: Universitätsverlag Hildesheim, 2021
DOI:
10.25528/076
URL:
https://hildok.bsz-bw.de/frontdoor/index/index/docId/1280
Dokumenttyp:
1. Monographien (Autorenschaft); Monographie
Sprache:
Deutsch
Schlagwörter:
Benutzerfreundlichkeit; Evaluation; Experteninterview; Grounded Theory; Informationswissenschaft; Inhaltsanalyse; Kategorisierung; Ontologie; Partizipation; Qualitative Forschung; Qualitatives Interview; System; Teilnehmende Beobachtung
DIPF-Abteilung:
Informationszentrum Bildung
Facilitation of information literacy through a multilingual MOOC considering cultural aspects
Dreisiebner, Stefan; Polzer, Anna Katharina; Robinson, Lyn; Libbrecht, Paul; […]
Zeitschriftenbeitrag
| In: Journal of Documentation | 2021
40969 Endnote
Autor*innen:
Dreisiebner, Stefan; Polzer, Anna Katharina; Robinson, Lyn; Libbrecht, Paul; Boté-Vericad, Juan-José; Urbano, Cristóbal; Mandl, Thomas; Vilar, Polona; Žumer, Maja; Pehar, Franjo; Stričević, Ivanka
Titel:
Facilitation of information literacy through a multilingual MOOC considering cultural aspects
In:
Journal of Documentation, 77 (2021) 3, S. 777-797
DOI:
10.1108/JD-06-2020-0099
URL:
https://www.emerald.com/insight/content/doi/10.1108/JD-06-2020-0099/full/html
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Deutschland; Großbritannien; Kroatien; Spanien; Katalonien; Slovenien; Österreich; Informationskompetenz; MOOC <Massive Open Online Course>; Mehrsprachigkeit; Übersetzung; Interkulturelle Differenz; Student; Wissenserwerb; Einstellung <Psy>; Hochschullehrer; Bewertung; Evaluation; Deutsch; Englisch; Katalanisch; Kroatisch; Slovenisch; Spanisch
Abstract:
Purpose: The purpose of this paper is to demonstrate the rationale, technical framework, content creation workflow and evaluation for a multilingual massive open online course (MOOC) to facilitate information literacy (IL) considering cultural aspects. Design/methodology/approach: A good practice analysis built the basis for the technical and content framework. The evaluation approach consisted of three phases: first, the students were asked to fill out a short self-assessment questionnaire and a shortened adapted version of a standardized IL test. Second, they completed the full version of the IL MOOC. Third, they were asked to fill out the full version of a standardized IL test and a user experience questionnaire. Findings: The results show that first the designed workflow was suitable in practice and led to the implementation of a full-grown MOOC. Second, the implementation itself provides implications for future projects developing multilingual educational resources. Third, the evaluation results show that participants achieved significantly higher results in a standardized IL test after attending the MOOC as mandatory coursework. Variations between the different student groups in the participating countries were observed. Fourth, self-motivation to complete the MOOC showed to be a challenge for students asked to attend the MOOC as nonmandatory out-of-classroom task. It seems that multilingual facilitation alone is not sufficient to increase active MOOC participation. Originality/value: This paper presents an innovative approach of developing multilingual IL teaching resources and is one of the first works to evaluate the impact of an IL MOOC on learners' experience and learning outcomes in an international evaluation study. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Development and evaluation of a framework for the performance-based testing of ICT skills
Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger; Hartig, Katja; […]
Zeitschriftenbeitrag
| In: Frontiers in Education | 2021
41203 Endnote
Autor*innen:
Engelhardt, Lena; Naumann, Johannes; Goldhammer, Frank; Frey, Andreas; Horz, Holger; Hartig, Katja; Wenzel, S. Franziska C.
Titel:
Development and evaluation of a framework for the performance-based testing of ICT skills
In:
Frontiers in Education, 6 (2021) , S. 668860
DOI:
10.3389/feduc.2021.668860
URL:
https://www.frontiersin.org/articles/10.3389/feduc.2021.668860/full
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Informations- und Kommunikationstechnologie; Praktische Fertigkeit; Wissen; Problemlösen; Textverständnis; Bildverstehen; Bewertung; Modell; Item; Entwicklung; Testvalidität; Itemanalyse; Rasch-Modell; Implementation; Evaluation; Test; Testverhalten; Schüler; Sekundarstufe I; Baden-Württemberg; Rheinland-Pfalz; Deutschland
Abstract (english):
This paper addresses the development of performance-based assessment items for ICT skills, skills in dealing with information and communication technologies, a construct which is rather broadly and only operationally defined. Item development followed a construct-driven approach to ensure that test scores could be interpreted as intended. Specifically, ICT-specific knowledge as well as problem-solving and the comprehension of text and graphics were defined as components of ICT skills and cognitive ICT tasks (i.e., accessing, managing, integrating, evaluating, creating). In order to capture the construct in a valid way, design principles for constructing the simulation environment and response format were formulated. To empirically evaluate the very heterogeneous items and detect malfunctioning items, item difficulties were analyzed and behavior-related indicators with item-specific thresholds were developed and applied. The 69 item's difficulty scores from the Rasch model fell within a comparable range for each cognitive task. Process indicators addressing time use and test-taker interactions were used to analyze whether most test-takers executed the intended processes, exhibited disengagement, or got lost among the items. Most items were capable of eliciting the intended behavior; for the few exceptions, conclusions for item revisions were drawn. The results affirm the utility of the proposed framework for developing and implementing performance-based items to assess ICT skills. (DIPF/Orig.)
DIPF-Abteilung:
Lehr und Lernqualität in Bildungseinrichtungen
Evaluating QualiCO. An ontology to facilitate qualitative methods sharing to support open science
Hocker, Julian; Bipat, Taryn; McDonald, David W.; Zachry, Marc
Zeitschriftenbeitrag
| In: Journal of Internet Services and Applications | 2021
41442 Endnote
Autor*innen:
Hocker, Julian; Bipat, Taryn; McDonald, David W.; Zachry, Marc
Titel:
Evaluating QualiCO. An ontology to facilitate qualitative methods sharing to support open science
In:
Journal of Internet Services and Applications, 12 (2021) , S. 5
DOI:
10.1186/s13174-021-00135-w
URL:
https://jisajournal.springeropen.com/articles/10.1186/s13174-021-00135-w
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Ontologie; qualitative Forschung; Methode; Codierung; Open Science; Forschungsdaten; Metadaten; Datenaustausch; Student; Forscher; Benutzerfreundlichkeit; Evaluation; Leitfadeninterview; Inhaltsanalyse; USA
Abstract (english):
Qualitative science methods have largely been omitted from discussions of open science. Platforms focused on qualitative science that support open science data and method sharing are rare. Sharing and exchanging coding schemas has great potential for supporting traceability in qualitative research as well as for facilitating the reuse of coding schemas. In this study, we present and evaluate QualiCO, an ontology to describe qualitative coding schemas. Twenty qualitative researchers used QualiCO to complete two coding tasks. In our findings, we present task performance and interview data that focus participants' attention on the ontology. Participants used QualiCO to complete the coding tasks, decreasing time on task, while improving accuracy, signifying that QualiCO enabled the reuse of qualitative coding schemas. Our discussion elaborates some issues that participants had and highlights how conceptual and prior practice frames their interpretation of how QualiCO can be used. (DIPF/Orig.)
DIPF-Abteilung:
Informationszentrum Bildung
Erfolgsbedingungen und Herausforderungen für die Zusammenarbeit von Fachpraxis und Wissenschaft bei […]
Schlicht-Schmälzle, Raphaela; Theis, Désirée; Tultschinetski, Sina; Verhovnik-Heinze, Melanie; […]
Zeitschriftenbeitrag
| In: PRIF Report | 2021
42021 Endnote
Autor*innen:
Schlicht-Schmälzle, Raphaela; Theis, Désirée; Tultschinetski, Sina; Verhovnik-Heinze, Melanie; Kautz, Christian; Kirchmann, Maryam
Titel:
Erfolgsbedingungen und Herausforderungen für die Zusammenarbeit von Fachpraxis und Wissenschaft bei der Evaluation von Angeboten politischer Bildung
In:
PRIF Report, (2021) 5
URL:
https://www.hsfk.de/fileadmin/user_upload/Prif0521_web.pdf
Dokumenttyp:
3b. Beiträge in weiteren Zeitschriften; praxisorientiert
Sprache:
Deutsch
Schlagwörter:
Erfolg; Bedingung; Kooperation; Fachpraxis; Wissenschaft; Evaluation; Bildungsangebot; Politische Bildung; Extremismus; Prävention; Qualitätssicherung; Multiperspektivität; Partizipation; Konzeption; Entwicklung; Interview; Datenanalyse; Reflexion
Abstract:
Politische Bildung trägt zur Prävention von politischem, religiösem bzw. ideologischem Extremismus und seinen Folgen bei. Die Qualitätssicherung in der Extremismusprävention beinhaltet daher auch die Evaluation politischer Bildung. Am Beispiel der Angebote politischer Bildung des Vereins ufuq.de (anerkannter Träger der freien Jugendhilfe) beschreibt dieser Report des Projekts PrEval , wie eine Zusammenarbeit von Fachpraxis und Wissenschaft bei der Entwicklung von Evaluationsdesigns gestaltet werden kann. Der Report reflektiert, welche Chancen und Herausforderungen sich im Zuge der Zusammenarbeit zeigten und welche Implikationen sich daraus für weitere Evaluationsvorhaben ergeben.
DIPF-Abteilung:
Bildung und Entwicklung; Lehr und Lernqualität in Bildungseinrichtungen
Markierungen aufheben
Alle Treffer markieren
Export
1
(aktuell)
2
3
...
20
>
Alle anzeigen
(328)