Menü Überspringen
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Anmelden
DIPF aktuell
Forschung
Infrastrukturen
Institut
Zurück
Kontakt
Presse
Deutsch
English
Not track
Datenverarbeitung
Suche
Startseite
>
Forschung
>
Publikationen
>
Publikationendatenbank
Ergebnis der Suche in der DIPF Publikationendatenbank
Ihre Abfrage:
(Personen: "Naumann," und "Alexander")
zur erweiterten Suche
Suchbegriff
Nur Open Access
Suchen
Markierungen aufheben
Alle Treffer markieren
Export
19
Inhalte gefunden
Alle Details anzeigen
Instruktionssensitivität von Tests und Items
Naumann, Alexander; Musow, Stephanie; Aichele, Christine; Hochweber, Jan; Hartig, Johannes
Zeitschriftenbeitrag
| In: Zeitschrift für Erziehungswissenschaft | 2019
38407 Endnote
Autor*innen:
Naumann, Alexander; Musow, Stephanie; Aichele, Christine; Hochweber, Jan; Hartig, Johannes
Titel:
Instruktionssensitivität von Tests und Items
In:
Zeitschrift für Erziehungswissenschaft, 22 (2019) 1, S. 181-202
DOI:
10.1007/s11618-018-0832-0
URL:
https://link.springer.com/article/10.1007%2Fs11618-018-0832-0
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Unterricht; Effektivität; Schülerleistung; Leistungsmessung; Test; Messverfahren; Empirische Forschung; Konzeption; Validität; Daten; Interpretation; Psychometrie; Item-Response-Theory; Modell
Abstract:
Testergebnisse von Schülerinnen und Schülern dienen regelmäßig als ein zentrales Kriterium für die Beurteilung der Effektivität von Schule und Unterricht. Gültige Rückschlüsse über Schule und Unterricht setzen voraus, dass die eingesetzten Testinstrumente mögliche Effekte des Unterrichts auffangen können, also instruktionssensitiv sind. Jedoch wird diese Voraussetzung nur selten empirisch überprüft. Somit bleibt mitunter unklar, ob ein Test nicht instruktionssensitiv oder ein Unterricht nicht effektiv war. Die Klärung dieser Frage erfordert die empirische Untersuchung der Instruktionssensitivität der eingesetzten Tests und Items. Während die Instruktionssensitivität in den USA bereits seit Langem diskutiert wird, findet das Konzept im deutschsprachigen Diskurs bislang nur wenig Beachtung. Unsere Arbeit zielt daher darauf ab, das Konzept Instruktionssensitivität in den deutschsprachigen Diskurs über schulische Leistungsmessung einzubetten. Dazu werden drei Themenfelder behandelt, (a) der theoretische Hintergrund des Konzepts Instruktionssensitivität, (b) die Messung von Instruktionssensitivität sowie (c) die Identifikation von weiteren Forschungsbedarfen. (DIPF/Orig.)
Abstract (english):
Students' performance in assessments is regularly attributed to more or less effective teaching. Valid interpretation requires that outcomes are affected by instruction to a significant degree. Hence, instruments need to be capable of detecting effects of instruction, that is, instruments need to be instructionally sensitive. However, empirical investigation of the instructional sensitivity of tests and items is seldom in practice. In consequence, in many cases, it remains unclear whether teaching was ineffective or the instrument was insensitive. While there is a living discussion on the instructional sensitivity of tests and items in the USA, the concept of instructional sensitivity is rather unknown in German-speaking countries. Thus, the present study aims at (a) introducing the concept of instructional sensitivity, (b) providing an overview on current approaches of measuring instructional sensitivity, and (c) identifying further research directions. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Sensitivity of test items to teaching quality
Naumann, Alexander; Rieser, Svenja; Musow, Stephanie; Hochweber, Jan; Hartig, Johannes
Zeitschriftenbeitrag
| In: Learning and Instruction | 2019
38989 Endnote
Autor*innen:
Naumann, Alexander; Rieser, Svenja; Musow, Stephanie; Hochweber, Jan; Hartig, Johannes
Titel:
Sensitivity of test items to teaching quality
In:
Learning and Instruction, 60 (2019) , S. 41-53
DOI:
10.1016/j.learninstruc.2018.11.002
URL:
https://www.sciencedirect.com/science/article/pii/S0959475217307065?via%3Dihub
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Leistungstest; Testkonstruktion; Unterricht; Qualität; Einflussfaktor; Testauswertung; Grundschule; Naturwissenschaftlicher Unterricht; Aktives Lernen; Entdeckendes Lernen; Unterrichtsmethode; Wirkung; Messverfahren; Testaufgabe; Problemlösen; Grundschüler; Dauer; Antwort; Schwierigkeit; Datenanalyse; Interpretation; Quasi-Experiment; Deutschland
Abstract:
Instructional sensitivity is the psychometric capacity of tests or single items of capturing effects of classroom instruction. Yet, current item sensitivity measures' relationship to (a) actual instruction and (b) overall test sensitivity is rather unclear. The present study aims at closing these gaps by investigating test and item sensitivity to teaching quality, reanalyzing data from a quasi-experimental intervention study in primary school science education (1026 students, 53 classes, Mage = 8.79 years, SDage = 0.49, 50% female). We examine (a) the correlation of item sensitivity measures and the potential for cognitive activation in class and (b) consequences for test score interpretation when assembling tests from items varying in their degree of sensitivity to cognitive activation. Our study (a) provides validity evidence that item sensitivity measures may be related to actual classroom instruction and (b) points out that inferences on teaching drawn from test scores may vary due to test composition. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
InSe Mathetest Unterrichtsqualität Messzeitpunkt 3
Musow, Stephanie; Hochweber, Jan; Hartig, Johannes; Naumann, Alexander
Forschungsdaten/Instrumente
| FORSbase | 2019
40255 Endnote
Autor*innen:
Musow, Stephanie; Hochweber, Jan; Hartig, Johannes; Naumann, Alexander
Titel:
InSe Mathetest Unterrichtsqualität Messzeitpunkt 3
Erscheinungsvermerk:
Lausanne: FORSbase, 2019
DOI:
10.23662/FORS-DS-965-1
URL:
https://forsbase.unil.ch/datasets/dataset-public-detail/16136/1713/
Dokumenttyp:
6. Forschungsdaten; Instrumente; Datenkollektion/Dataset
Sprache:
Deutsch
Abstract:
Im Codier- und Auswertungsmanual sind die Aufgaben aus den Tests, deren Dateneingabe (Rohdaten) und Auswertung (recodierten Daten) vermerkt. Variablenname: T=Testdaten, S=Schüler/-innen-Fragebogen Erläuterung: Variablen zum Mathematiktest beginnen mit "T", Variablen zum Schüler/-innen-Fragebogen beginnen mit "S". Variablennamen: Variablenname endet auf "x"= Rohdaten, Variablenname endet auf "r" = recodierte Daten Erläuterung: Im Datensatz sind die Rohdaten anhand der Endung "x" zu erkennen. Zur Auswertung der Rohdaten wurde eine Recodierung der Daten vorgenommen (1=korrekt, 0=falsch). Die recodierten Daten enden auf "r". Wie dem Codier- und Bewertungsmanual zum Mathematiktest zu entnehmen ist, kann sich die Antwort auf eine Testaufgabe in mehreren Variablen niederschlagen (Rohdaten). Im letztgenannten Fall wurden die einzelnen Variablen bei der Recodierung der Daten zusammengefasst und abschliessend bewertet. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Absolute and relative measures of instructional sensitivity
Naumann, Alexander; Hartig, Johannes; Hochweber, Jan
Zeitschriftenbeitrag
| In: Journal of Educational and Behavioral Statistics | 2017
37374 Endnote
Autor*innen:
Naumann, Alexander; Hartig, Johannes; Hochweber, Jan
Titel:
Absolute and relative measures of instructional sensitivity
In:
Journal of Educational and Behavioral Statistics, 42 (2017) 6, S. 678-705
DOI:
10.3102/1076998617703649
URN:
urn:nbn:de:0111-pedocs-156029
URL:
http://www.dipfdocs.de/volltexte/2018/15602/pdf/1076998617703649_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Bewertung; DESI <Deutsch-Englisch-Schülerleistungen-International>; Deutschland; Englischunterricht; Item-Response-Theory; Leistungsmessung; Messverfahren; Schüler; Schülerleistung; Schuljahr 09; Sprachkompetenz; Test; Testkonstruktion; Testtheorie; Unterricht; Wirkung
Abstract:
Valid inferences on teaching drawn from students' test scores require that tests are sensitive to the instruction students received in class. Accordingly, measures of the test items' instructional sensitivity provide empirical support for validity claims about inferences on instruction. In the present study, we first introduce the concepts of absolute and relative measures of instructional sensitivity. Absolute measures summarize a single item's total capacity of capturing effects of instruction, which is independent of the test's sensitivity. In contrast, relative measures summarize a single item's capacity of capturing effects of instruction relative to test sensitivity. Then, we propose a longitudinal multilevel item response theory model that allows estimating both types of measures depending on the identification constraints. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
A psychometric framework for the evaluation of instructional sensitivity
Naumann, Alexander; Hochweber, Jan; Klieme, Eckhard
Zeitschriftenbeitrag
| In: Educational Assessment | 2016
36201 Endnote
Autor*innen:
Naumann, Alexander; Hochweber, Jan; Klieme, Eckhard
Titel:
A psychometric framework for the evaluation of instructional sensitivity
In:
Educational Assessment, 21 (2016) 2, S. 89-101
DOI:
10.1080/10627197.2016.1167591
URN:
urn:nbn:de:0111-pedocs-180651
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-180651
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Bildungserfolg; Empfindung; Evaluation; Instruktion; Item-Response-Theory; Psychometrie; Schülerleistung; Validität; Wahrnehmung
Abstract (english):
Although there is a common understanding of instructional sensitivity, it lacks a common operationalization. Various approaches have been proposed, some focusing on item responses, others on test scores. As approaches often do not produce consistent results, previous research has created the impression that approaches to instructional sensitivity are noticeably fragmented. To counter this impression, we present an item response theory-based framework that can help us to understand similarities and differences between existing approaches. Using empirical data for illustration, this article identifies three perspectives on instructional sensitivity: One perspective views instructional sensitivity as the capacity to detect differences in students' stages of learning across points of time. A second perspective treats instructional sensitivity as the capacity to detect differences between groups that have received different instruction. For a third perspective, the previous two are combined to consider differences between both time points and groups. We discuss linking sensitivity indices to measures of instruction. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
The connection between teaching and learning. Linking teaching quality and metacognitive strategy […]
Rieser, Svenja; Naumann, Alexander; Decristan, Jasmin; Fauth, Benjamin; Klieme, Eckhard; […]
Zeitschriftenbeitrag
| In: British Journal of Educational Psychology | 2016
36296 Endnote
Autor*innen:
Rieser, Svenja; Naumann, Alexander; Decristan, Jasmin; Fauth, Benjamin; Klieme, Eckhard; Büttner, Gerhard
Titel:
The connection between teaching and learning. Linking teaching quality and metacognitive strategy use in primary school
In:
British Journal of Educational Psychology, 86 (2016) 4, S. 526-545
DOI:
10.1111/bjep.12121
URN:
urn:nbn:de:0111-dipfdocs-204009
URL:
http://www.dipfdocs.de/volltexte/2020/20400/pdf/BJEP_2016_4_Rieser_et_al_The_connection_between_teaching_and_learning_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Unterricht; Qualität; Schüler; Metakognition; Lernstrategie; Lernmotivation; Kognitive Prozesse; Lernprozess; Unterstützung; Klassenführung; Naturwissenschaftlicher Unterricht; Grundschule; Schuljahr 03; Fragebogen; Videoaufzeichnung; Unterrichtsbeobachtung; Mehrebenenanalyse; Empirische Untersuchung; Deutschland
Abstract (english):
Background: In order for teaching to be successful, students need to be actively involved in learning. However, research on teaching effectiveness often neglects students' learning activities. Although it is assumed that effective teaching promotes the use of beneficial learning activities, empirical evidence for this connection is still limited. Aims: This study aimed to investigate the connection between effective teaching and reported learning activities. We hypothesize specific relations between a three-dimensional model of teaching quality (i.e., cognitive activation, supportive climate, and classroom management) and students' reported use of metacognitive strategies. Students' intrinsic motivation is considered as a mediator and a moderator of this connection. Sample: N = 1,052 students from 53 German primary school classes and their science teachers participated. Methods: Data were collected through classroom or video observation and questionnaires over a period of approximately 2 months. Multilevel analysis was utilized to test our hypotheses. Results: Each dimension of teaching quality positively predicted students' reported use of metacognitive strategies. For supportive climate, this connection was mediated by students' intrinsic motivation. Cognitive activation negatively predicted the slopes between students' reported metacognitive strategy use and motivation. Conclusions: The results support the notion that effective teaching is connected to learning activities and stress the importance of students' learning motivation. Results from the cross-level interaction could indicate that especially less motivated students' reported metacognitive strategy use might be supported by cognitively activating teaching. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Impact of additional guidance in science education on primary students' conceptual understanding
Decristan, Jasmin; Hondrich, Anna Lena; Büttner, Gerhard; Hertel, Silke; Klieme, Eckhard; […]
Zeitschriftenbeitrag
| In: Journal of Educational Research | 2015
35684 Endnote
Autor*innen:
Decristan, Jasmin; Hondrich, Anna Lena; Büttner, Gerhard; Hertel, Silke; Klieme, Eckhard; Kunter, Mareike; Lühken, Arnim; Adl-Amini, Katja; Djakovic, Sanna-Kristina; Mannel, Susanne; Naumann, Alexander; Hardy, Ilonca
Titel:
Impact of additional guidance in science education on primary students' conceptual understanding
In:
Journal of Educational Research, 108 (2015) 5, S. 358-370
DOI:
10.1080/00220671.2014.899957
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Deutschland; Empirische Untersuchung; Entdeckendes Lernen; Grundschule; Grundschüler; Grundschullehrer; Kognitive Kompetenz; Lernberatung; Lernmethode; Mathematische Kompetenz; Mehrebenenanalyse; Naturwissenschaftlicher Unterricht; Peergroup; Sprachkompetenz; Unterrichtsmethode; Videoaufzeichnung
Abstract:
A cognitive and a guidance dimension can describe the support of students' conceptual understanding in inquiry-based science education. The role of guidance for student learning has been intensively discussed. Furthermore, inquiry learning may pose particular challenges to students with low language proficiency. The present intervention in primary school (54 teachers, 1,070 students) aimed to examine the effects of additional guidance. Therefore, the control group uses a science unit mainly addressing the cognitive dimension of inquiry. In the 3 treatment groups, this unit was enriched with guidance through scaffolding instructional discourse, formative assessment, or peer-assisted learning. The results (43 teachers, 873 students) confirm that in each intervention condition, students' conceptual understanding significantly improves. In the formative assessment group, students' mean conceptual understanding is higher than in the control group. Moreover, formative assessment and scaffolding instructional discourse provided particular support to the conceptual understanding of students with poor language proficiency. (DIPF/Orig.)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Heterogenität in Schülerleistungen in der Grundschule. Bedeutung unterschiedlicher […]
Decristan, Jasmin; Naumann, Alexander; Fauth, Benjamin; Rieser, Svenja; Büttner, Gerhard; […]
Zeitschriftenbeitrag
| In: Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie | 2014
34942 Endnote
Autor*innen:
Decristan, Jasmin; Naumann, Alexander; Fauth, Benjamin; Rieser, Svenja; Büttner, Gerhard; Klieme, Eckhard
Titel:
Heterogenität in Schülerleistungen in der Grundschule. Bedeutung unterschiedlicher Leistungsindikatoren und Bedingungsfaktoren für die Einschätzung durch Lehrkräfte
In:
Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 46 (2014) 4, S. 181-190
URN:
urn:nbn:de:0111-pedocs-125125
URL:
http://nbn-resolving.org/urn:nbn:de:0111-pedocs-125125
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Deutsch
Schlagwörter:
Empirische Untersuchung; Grundschule; Hessen; Heterogenität; Kognitive Kompetenz; Lehrerurteil; Leistungsbeurteilung; Leistungstest; Lesekompetenz; Naturwissenschaftliche Kompetenz; Regressionsanalyse; Schülerleistung; Schulklasse
Abstract:
Das Thema Heterogenität hat in den letzten Jahren eine zunehmende Präsenz sowohl in empirischer Schul- und Unterrichtsforschung als auch in Schulpraxis und bildungspolitischen Diskussionen erfahren. In diesem Aufsatz wird untersucht, welche Zusammenhänge zwischen verschiedenen objektiven Indikatoren der Heterogenität auf Klassenebene und einer globalen Lehrereinschätzung von Leistungsheterogenität bestehen. Die Ergebnisse zeigen zunächst, dass im Grundschulbereich das Ausmaß von Heterogenität (gemessen an der klasseninternen Streuung) bei verschiedenen Leistungsindikatoren (kognitive Grundfähigkeiten, Leseverständnis, naturwissenschaftliche Kompetenz) unkorreliert ist, so dass sich nicht einheitlich von "der" Leistungsheterogenität sprechen lässt. Die Einschätzung von 49 Lehrkräften zur Leistungsheterogenität ihrer Klasse stimmte mit objektiven Leistungsstreuungen im Leseverständnis, in naturwissenschaftlicher Kompetenz sowie in einem kombinierten Leistungsindex gut überein. Bei Nicht-Passung tendierten die Lehrkräfte dazu, die Leistungsheterogenität eher zu überschätzen; hierfür erwies sich der Anteil an Kindern mit Migrationshintergrund als bedeutsam. Zusammengenommen bietet dieser Beitrag eine weitere empirische Grundlage für den gegenwärtigen Heterogenitätsdiskurs. (DIPF/Autor)
Abstract (english):
The heterogeneity of students is a prominent topic in empirical educational research, educational practice and discourse. The present study uses three achievement indicators (cognitive abilities, reading comprehension, and science competency) to describe the scope of individual differences within primary school classes. Furthermore, this data is combined with the ratings of 49 teachers on the heterogeneity in achievement of their entire classes. The results demonstrate that the intra-class standard deviations of the three achievement indicators do not correlate with each other. The teachers' ratings of heterogeneity in achievement fit the student data regarding reading comprehension and scientific literacy. However, teachers tend to rate heterogeneity as rather high in class. Particularly, variables that are related to language (intraclass standard deviation of reading comprehension, percentage of children from immigrant families) are connected with these teacher ratings. In summary, these results provide further empirical evidence on the topic of heterogeneity. (DIPF/Autor)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Modeling instructional sensitivity using a longitudinal multilevel differential item functioning […]
Naumann, Alexander; Hochweber, Jan; Hartig, Johannes
Zeitschriftenbeitrag
| In: Journal of Educational Measurement | 2014
35094 Endnote
Autor*innen:
Naumann, Alexander; Hochweber, Jan; Hartig, Johannes
Titel:
Modeling instructional sensitivity using a longitudinal multilevel differential item functioning approach
In:
Journal of Educational Measurement, 51 (2014) 4, S. 381-399
DOI:
10.1111/jedm.12051
URN:
urn:nbn:de:0111-dipfdocs-189977
URL:
http://www.dipfdocs.de/volltexte/2020/18997/pdf/Naumann_et_al_2014_Modeling_instructional_sensitivity_using_LML-DIF_A.pdf
Dokumenttyp:
3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache:
Englisch
Schlagwörter:
Curriculum; DESI <Deutsch-Englisch-Schülerleistungen-International>; Grundschule; Itemanalyse; Längsschnittuntersuchung; Leistungsmessung; Leistungstest; Modell; Qualität; Schülerleistung; Sekundarbereich; Testkonstruktion; Unterricht; Validität; Wirkung
Abstract (english):
Students' performance in assessments is commonly attributed to more or less effective teaching. This implies that students' responses are significantly affected by instruction. However, the assumption that outcome measures indeed are instructionally sensitive is scarcely investigated empirically. In the present study, we propose a longitudinal multilevel-differential item functioning (DIF) model to combine two existing yet independent approaches to evaluate items' instructional sensitivity. The model permits for a more informative judgment of instructional sensitivity, allowing the distinction of global and differential sensitivity. Exemplarily, the model is applied to two empirical data sets, with classical indices (Pretest-Posttest Difference Index and posttest multilevel-DIF) computed for comparison. Results suggest that the approach works well in the application to empirical data, and may provide important information to test developers. (DIPF/Autor)
DIPF-Abteilung:
Bildungsqualität und Evaluation
Markierungen aufheben
Alle Treffer markieren
Export
<
1
2
(aktuell)
Alle anzeigen
(19)