-
-
Autor*innen: Fauth, Benjamin; Göllner, Richard; Lenske, Gerlinde; Praetorius, Anna-Katharina; Wagner, Wolfgang
Titel: Who sees what? Conceptual considerations on the measurement of teaching quality from different perspectives
In: Zeitschrift für Pädagogik. Beiheft, 66 (2020) , S. 138-155
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Empirische Forschung; Unterricht; Qualität; Messung; Schüler; Lehrer; Wahrnehmung; Bewertung; Erhebungsinstrument; Validität; Schülerrolle; Lehrerrolle; Taxonomie; Klassenführung; Vergleich; Fragebogen; Beobachtung; Selbsteinschätzung; Fremdeinschätzung
Abstract: One puzzling finding in education research is that teachers, students, and external observers agree only marginally on their ratings of teaching quality. In this theoretical contribution, we summarize and reappraise previous findings on agreement between different raters of teaching quality. We explain these findings by thoroughly examining the instruments that have been used to measure teaching quality. Building on this, we propose a reference perspective matrix, which should be useful in explaining perspective-specific rating mechanisms behind responses to certain survey or observation items. The reference perspective matrix could thus afford a theoretical foundation for future studies on the assessment of teaching quality. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Jung, Stefanie; Meinhardt, Anna; Braeuning, David; Roesch, Stephanie; Cornu, Véronique; Pazouki, Tahereh; Schiltz, Christine; Lonnemann, Jan; Moeller, Korbinian
Titel: Hierarchical development of early visual-spatial abilities. A taxonomy based assessment using the MaGrid app
In: Frontiers in Psychology, (2020) , S. 11:871
DOI: 10.3389/fpsyg.2020.00871
URN: urn:nbn:de:0111-pedocs-232256
URL: https://nbn-resolving.org/urn:nbn:de:0111-pedocs-232256
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Räumliches Vorstellungsvermögen; Frühe Kindheit; Entwicklung; Entwicklungsdiagnostik; Hierarchie; Taxonomie; Bewertung; Applikation; Tablet-PC; Kindergartenkind; Empirische Untersuchung; Replikation; Faktorenanalyse; Baden-Württemberg; Deutschland
Abstract (english): Visual-spatial abilities (VSA) are considered a building block of early numerical development. They are intuitively acquired in early childhood and differentiate in further development. However, when children enter school, there already are considerable individual differences in children's visual-spatial and numerical abilities. To better understand this diversity, it is necessary to empirically evaluate the development as well as the latent structure of early VSA as proposed by the 2 by 2 taxonomy of Newcombe and Shipley (2015). In the present study, we report on a tablet-based assessment of VSA using the digital application (app) MaGrid in kindergarten children aged 4-6 years. We investigated whether the visual-spatial tasks implemented in MaGrid are sensitive to replicate previously observed age differences in VSA and thus a hierarchical development of VSA. Additionally, we evaluated whether the selected tasks conform to the taxonomy of VSA by Newcombe and Shipley (2015) applying a confirmatory factor analysis (CFA) approach. Our results indicated that the hierarchical development of VSA can be measured using MaGrid. Furthermore, the CFA substantiated the hypothesized factor structure of VSA in line with the dimensions proposed in the taxonomy of Newcombe and Shipley (2015). Taken together, the present results advance our knowledge to the (hierarchical) development as well as the latent structure of early VSA in kindergarten children. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Boer, Diana; Hanke, Katja; He, Jia
Titel: On detecting systematic measurement error in cross-cultural research. A review and critical reflection on equivalence and invariance tests
In: Journal of Cross-Cultural Psychology, 49 (2018) 5, S. 713-734
DOI: 10.1177/0022022117749042
URL: https://journals.sagepub.com/doi/full/10.1177/0022022117749042
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Interkultureller Vergleich; Empirische Forschung; Messverfahren; Psychologische Forschung; Fehler; Kultureinfluss; Einflussfaktor; Kognition; Verhalten; Sprache; Validität; Taxonomie
Abstract: One major threat to revealing cultural influences on psychological states or processes is the presence of bias (i.e., systematic measurement error). When quantitative measures are not targeting the same construct or they differ in metric across cultures, the validity of inferences about cultural variability (and universality) is in doubt. The objectives of this article are to review what can be done about it and what is being done about it. To date, a multitude of useful techniques and methods to reduce or assess bias in cross-cultural research have been developed. We explore the limits of invariance/equivalence testing and suggest more flexible means of dealing with bias. First, we review currently available established and novel methods that reveal bias in cross-cultural research. Second, we analyze current practices in a systematic content analysis. The content analysis of more than 500 culture-comparative quantitative studies (published from 2008 to 2015 in three outlets in cross-cultural, social, and developmental psychology) aims to gauge current practices and approaches in the assessment of measurement equivalence/invariance. Surprisingly, the analysis revealed a rather low penetration of invariance testing in cross-cultural research. Although a multitude of classical and novel approaches for invariance testing is available, these are employed infrequent rather than habitual. We discuss reasons for this hesitation, and we derive suggestions for creatively assessing and handling biases across different research paradigms and designs. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Panchenko, Alexander; Faralli, Stefano; Ruppert, Eugen; Remus, Steffen; Naets, Hubert; Fairon, Cédrick; Ponzetto, Simone Paolo; Biemann, Chris
Titel: TAXI. A taxonomy induction method based on lexico-syntactic patterns, substrings and focused crawling
Aus: Association for Computational Linguistics (Hrsg.): Proceedings of the 10th International Workshop on Semantic Evaluation co-located with NAACL 2016, Stroudsburg; PA: Association for Computational Linguistics, 2016 , S. 1320-1327
URL: http://www.aclweb.org/anthology/S16-1206
Dokumenttyp: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Computerlinguistik; Taxonomie; Methode; Sprache; Englisch; Niederländisch; Französisch; Italienisch; Text; Begriff; Struktur; Evaluation
Abstract: We present a system for taxonomy construction that reached the first place in all sub-tasks of the SemEval 2016 challenge on Taxonomy Extraction Evaluation. Our simple yet effective approach harvests hypernyms with substring inclusion and Hearst-style lexico-syntactic patterns from domain-specific texts obtained via language model based focused crawling. Extracted taxonomies are evaluated on English, Dutch, French and Italian for three domains each (Food, Environment and Science). Evaluations against a gold standard and by human judgment show that our method outperforms more complex and knowledge-rich approaches on most domains and languages. Furthermore, to adapt the method to a new domain or language, only a small amount of manual labour is needed. (DIPF/Orig.)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Kuger, Susanne; Klieme, Eckhard
Titel: Dimensions of context assessment
Aus: Kuger, Susanne; Klieme, Eckhard, Jude, Nina; Kaplan, David (Hrsg.): Assessing contexts of learning: An international perspective, Cham: Springer, 2016 (Methodology of educational measurement and assessment), S. 3-37
DOI: 10.1007/978-3-319-45357-6_1
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Heterogenität; Lernbedingungen; Bildungsforschung; Bildungspolitik; IGLU <Internationale Grundschul-Lese-Untersuchung>; PISA <Programme for International Student Assessment>; Schülerleistung; Leistungsmessung; Einflussfaktor; Beziehung; Kognition; Taxonomie; Bildungserfolg; Soziale Herkunft; Lehr-Lern-Prozess; Schulpolitik; Steuerung; Zielgruppe; Stichprobe; Schüler; Daten; Analyse; Methode; Sekundäranalyse; Internationaler Vergleich; Studien; TIMSS <Third International Mathematics and Science Study>
Abstract (english): This chapter provides an overarching framework to context assessment in international large-scale assessments (ILSAs), and applies it to discuss relationships between context and cognitive assessment. One of the most critical differences between these two types of assessment is the variety of topics, perspectives, and levels in the education systems that need to be taken into account. This chapter first points out similarities in context assessments across ILSA programs, thus defining a set of common content in context assessment. Although there are important conceptual similarities in context assessments across ILSAs, there are good reasons why this lowest common denominator should be enriched according to the respective study goals and designs of the different programs. This chapter discusses some possible directions and further, provides suggestions as to how the scope of ILSAs may be increased to provide better information about education research and policy in the future. Although this framework model is applicable to learning contexts worldwide, context assessments in ILSAs need to take into account the many similarities and differences of education systems world-wide. A final aim of this chapter therefore is to discuss some critical issues that arise from an international perspective in ILSAs. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Daxenberger, Johannes; Gurevych, Iryna
Titel: Automatically classifying edit categories in wikipedia revisions
Aus: Yarowsky, David;Baldwin, Timothy;Korhonen, Anna;Livescu, Karen;Bethard, Steven (Hrsg.): Conference on Empirical Methods in Natural Language Processing (EMNLP 2013), Stroudsburg; PA: Association for Computational Linguistics, 2013 , S. 578-589
URL: https://www.ukp.tu-darmstadt.de/fileadmin/user_upload/Group_UKP/publikationen/2013/EMNLP2013_DaxenbergerGurevych.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Automatisierung; Computerlinguistik; Computerunterstütztes Verfahren; Evaluation; Korrektur; Nachschlagewerk; Qualität; Taxonomie; Textanalyse; World wide web 2.0
Abstract: In this paper, we analyze a novel set of features for the task of automatic edit category classification. Edit category classification assigns categories such as spelling error correction, paraphrase or vandalism to edits in a document. Our features are based on differences between two versions of a document including meta data, textual and language properties and markup. In a supervised machine learning experiment, we achieve a micro-averaged F1 score of .62 on a corpus of edits from the English Wikipedia. In this corpus, each edit has been multi-labeled according to a 21-category taxonomy. A model trained on the same data achieves state-of-the-art performance on the related task of fluency edit classification. We apply pattern mining to automatically labeled edits in the revision histories of different Wikipedia articles. Our results suggest that high-quality articles show a higher degree of homogeneity with respect to their collaboration patterns as compared to random articles.
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Carstens, Carola; Rittberger, Marc
Titel: Einsatz von Semantic Web-Technologien am Informationszentrum Bildung
Aus: Ockenfeld, Marlies (Hrsg.): Proceedings der 1. DGI-Konferenz, 62. Jahrestagung der DGI: Semantic Web & Linked Data. Elemente zukünftiger Informationsinfrastrukturen, Frankfurt am Main: Deutsche Gesellschaft für Informationswissenschaft und Informationspraxis, 2010 (Tagungen der Deutschen Gesellschaft für Informationswissenschaft und Informationspraxis (DGI-Tagungen), 14), S. 145-154
URN: urn:nbn:de:0111-dipf-37902
URL: http://www.dipfdocs.de/volltexte/2011/3790/pdf/Carstens_DGI_final_D_A.pdf
Dokumenttyp: 4. Beiträge in Sammelbänden; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Deutsch
Schlagwörter: Bildungsforschung; Bildungsinformation; Datei; Deutschland; Information Retrieval; Informationswissenschaft; Literaturdokumentation; Ontologie; Recherche; Semantic Web; Standard; Suchmaschine; Taxonomie
Abstract: Dieser Beitrag gibt einen Überblick über die Aktivitäten des Informationszentrums Bildung zum Einsatz von Semantic Web- Technologien. Schwerpunkte liegen hierbei auf der Beschreibung des Aufbaus einer Ontologie für die Domäne der Bildungsforschung, sowie auf der Darstellung, wie sie zum Zweck der Query Expansion in einem domänenspezifischen Retrievalsystem genutzt werden kann. (DIPF/Autor)
DIPF-Abteilung: Informationszentrum Bildung
-
-
Herausgeber*innen: Hager, Willi; Hasselhorn, Marcus
Titel: Handbuch deutschsprachiger Wortnormen
Erscheinungsvermerk: Göttingen: Hogrefe, 1994
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Wort; Normung; Assoziation; Semantik; Taxonomie; Persönlichkeitsmerkmal; Daten
Abstract: Daten aus deutschsprachigen Wortnormierungsstudien werden vorgelegt. Wortnormen sind Durchschnittswerte von Variablenausprägungen für spezielle Erlebnisqualitäten, die durch einzelne Wörter bei Personen ausgelöst werden. Die Normen können sowohl in der Grundlagenforschung wie zu therapeutischen Zwecken herangezogen werden. Zwei Disketten, auf denen die Normen in Form von Tabellen gespeichert sind, liegen dem Buch bei. - Inhalt: (1) W. Hager und M. Hasselhorn: Wortnormen - eine Übersicht. (2) M. Hasselhorn und W. Hager: Assozivitätsnormen zur Bestimmung von Inter-Item-Relationen. (3) M. Hasselhorn und W. Hager: Assoziationsnormen zur Prüfung von Zusammenhängen zwischen assoziativer Bedeutungshaltigkeit, eingeschätzer Bedeutungshaltigkeit und Bildhaftigkeit. (4) C. B. Riedlinger: Wortassoziationsnormen für 80 konkrete deutsche Reizwörter. (5) M. Hasselhorn und D. Grube: Erstassoziation von Kindern und Erwachsenen zu 53 konkreten Substantiven. (6) M. Hasselhorn: Assoziativitätseinschätzungen von Kindern und Erwachsenen. (7) P. Schmuck: Restringierte Assoziationsbefragung zu 56 Begriffen der Alltagssprache. (8) M. Hasselhorn und W. Hager: Normen der kategorialen Typizität. (9) H.-R. Mannhaupt: Produktionsnormen für verbale Reaktionen zu 40 geläufigen Kategorien. (10) A. Flammer, C. Reisbeck und S. Stadler: Typikalitätsnormen für dreizehn Begriffe in einer deutschschweizerischen Studentenpopulation. (11) M. Hasselhorn, A. Jaspers und M.-D. Hernando: Typizitätsnormen zu zehn Kategorien für Kinder von der Vorschule bis zum vierten Schuljahr. (12) D. Grube und M. Hasselhorn: Aufzählen von Tierexemplaren bei Grundschulkindern. (13) M. Hasselhorn: Typizitätsnormen zu sechs taxonomischen und acht thematischen Kategorien. (14) T. Eckes: Zur internen Struktur semantischer Kategorien. (15) W. Hager und M. Hasselhorn: Instruktionen, Skalen und Versuchspersonenökonomie von kogntiv-semantischen Wortattributen. (16) I.-L. Baschek u.a.: Bildhaftigkeit, Konkretheit und Bedeutungshaltigkeit von 800 Substantiven. (17) H. Offe, G. Anneken und E. Kessler: Normen für die Konkretheits- und Vorstellbarkeitseinschätung von 234 Substantiven. (18) C. Heupst und W. Hager: Bildhaftigkeit und Konkretheit-Abstraktheit von 100 besonders kurzen und 100 besonders langen Substantiven. (19) W. Hager u.a. : Bedeutungshaltigkeit von 229 der Substantive von Offe, Anneken und Kessler sowie von 100 besonders kurzen und 100 besonders langen Substantiven. (20) W. Hager: Bildhaftigkeit, Konkretheit-Abstraktheit und Bedeutungshaltigkeit von 63 mehrdeutigen Substantiven. (21) W. Wippich und J. Bredenkamp: Bildhaftigkeit, Konkretheit und Bedeutungshaltigkeit von 498 Verben und 400 Adjektiven. (22) W. Hager und M. Hasselhorn: Über Variablen, die eingeschätzt werden sollen, und Variablen, die eingeschätzt werden: Emotionalität, Angenehmheit, Prägnanz, Erwünschtheit und Sympathie. (23) W. Hager u.a.: Emotionsgehalt, Bildhaftigkeit, Konkretheit und Bedeutungshaltigkeit von 580 Adjektiven. (24) H. Möller und W. Hager: Angenehmheit, Bedeutungshaltigkeit, Bildhaftigkeit und Konkretheit-Abstraktheit von 452 Adjektiven. (25) M. Schwibbe u.a.: Zum emotionalen Gehalt von Substantiven, Adjektiven und Verben. (26) M. Busz u.a.: Die soziale Bewertung von 880 Eigenschaftsbegriffen sowie die Analyse der Ähnlichkeitsbeziehungen zwischen einigen dieser Begriffe. (27) J. Klapprott: Erwünschtheit und Bedeutung von 338 alltagspsychologischen Eifenschaftsbegriffen. (28) S. Mecklenbräuker, W. Hager und H. Möller: Erwünschtheit von 908 Eigenschaften bei Frauen und Männern aus der Sicht von Männern und Frauen. (29) W. Hager und M. Hasselhorn: Typizitätseinschätzungen zu Normans Fünf-Faktoren-, zu Wiggins' "Circumplex"-, zu Eysencks PEN- und zu Osgoods EAP-Modell. (30) A. Angleitner und F. Ostendorf: Von aalglatt bis zynisch: Merkmale persönlichkeitsbeschreibender Begriffe. (31) F. Ostendorf: Zur Taxonomie deutscher Dispositionsbegriffe. (DIPF/übernommen)
DIPF-Abteilung: Bildung und Entwicklung