-
-
Autor*innen: Gölitz, Dietmar; Roick, Thorsten; Hasselhorn, Marcus
Titel: Kettenrechner für dritte und vierte Klassen (KR 3-4)
Aus: Hasselhorn, Marcus; Heinze, Aiso; Schneider, Wolfgang; Trautwein, Ulrich (Hrsg.): Diagnostik mathematischer Kompetenzen, Göttingen: Hogrefe, 2013 (Test und Trends. N.F., 11), S. 149-164
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Arbeitsgedächtnis; Arithmetik; Diagnostik; Grundschule; Grundschüler; Kompetenzerwerb; Mathematiklehrer; Mathematische Kompetenz; Objektivität; Qualität; Rechenschwierigkeit; Rechentest; Rechenunterricht; Reliabilität; Schuljahr 03; Schuljahr 04; Screening-Verfahren; Testanwendung; Testkonstruktion; Validität
Abstract: Der Kettenrechner 3-4 ist ein ökonomisches Screeningverfahren. Er erfasst grundlegende arithmetische Kompetenzen im Zahlenraum bis 20 und kann als Gruppentest in Schulklassen und als Einzeltest eingesetzt werden. Der Ansatz des Verfahrens greift den Befund auf, dass ein beeinträchtigter Kompetenzerwerb in der Grundschulmathematik mit einem verlangsamten Lösen komplexer arithmetischer Faktenaufgaben einhergeht. Für das Verfahren liegen jeweils für die Mitte und das Ende des dritten und vierten Schuljahres Normwerte vor. In diesem Beitrag beschreiben wir die Güte des Kettenrechners 3-4 als Screeningverfahren und schlagen Cutoff-Werte zur Prädiktion eines beeinträchtigten Kompetenzerwerbs vor.
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Hartig, Johannes; Frey, Andreas; Jude, Nina
Titel: Validität
Aus: Moosbrugger, Helfried; Kelava, Augustin (Hrsg.): Testtheorie und Fragebogenkonstruktion, Heidelberg: Springer, 2012 , S. 143-172
DOI: 10.1007/978-3-642-20072-4_7
URL: https://link.springer.com/chapter/10.1007/978-3-642-20072-4_7
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Begriff; Bewertung; Definition; Diagnostik; Methode; Test; Testanwendung; Testauswertung; Validität
Abstract: In der psychologischen Diagnostik zählt die Validität (Gültigkeit) neben der Objektivität und Reliabilität zu den wichtigsten Gütekriterien von diagnostischen Verfahren. Die Beurteilung der Validität bezieht sich auf das Ausmaß, indem auf Basis der Testwerte getroffene Schlussfolgerungen und Maßnahmen durch theoretische Argumente und empirische Belege gestützt werden können. Die Validierung eines Testverfahrens ist nicht als immer gleiches Routineverfahren anzusehen, sondern muss vielmehr berücksichtigen, in welcher Weise die Testergebnisse interpretiert werden sollen. Das Lehrbuchkapitel befasst sich mit verschiedenen Arten der Validitätsbestimmung: Beginnend mit der allgemeinen Frage, was unter dem Begriff der Validität zu verstehen ist, werden operationale und theoretische Definitionen der Merkmale von Validität dargestellt. Darauf aufbauend werden differenziert verschiedene Arten der Validitätsbestimmung diskutiert: Die Frage nach der Beziehung zwischen Merkmal und Testinhalten (Inhaltsvalidität), die Voraussetzungen für theoriebasierte Testwertinterpretationen (Konstruktvalidität), die Validierung anhand der Vorhersage externer Kriterien sowie die Validität diagnostischer Entscheidungen (Kriteriumsvalidität) und die Legitimation von Testwertinterpretationen (consequential validity). Abschließend diskutieren die Autoren, welche Validierungsmethoden vor dem Hintergrund spezifischer Anwendungszwecke des jeweiligen Testverfahrens zu präferieren sind.(DIPF/Autoren)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Seitz-Stein, Katja; Schumann-Hengsteler, Ruth; Zoelch, Christof; Grube, Dietmar; Mähler, Claudia; Hasselhorn, Marcus
Titel: Diagnostik der Funktionstüchtigkeit des Arbeitsgedächtnisses bei Kindern zwischen 5 und 12 Jahren: Die Arbeitsgedächtnistestbatterie AGTB 5-12
Aus: Hasselhorn, Marcus; Zoelch, Christof (Hrsg.): Funktionsdiagnostik des Arbeitsgedächtnisses, Göttingen: Hogrefe, 2012 (Test und Trends. N.F., 10), S. 1-22
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Akustische Wahrnehmung; Arbeitsgedächtnis; Deutschland; Diagnostik; Entwicklungspsychologie; Kind; Kognitive Entwicklung; Lesefertigkeit; Modell; Raumvorstellung; Rechnen; Test; Testanwendung; Testdurchführung
Abstract: In Modellen der menschlichen Informationsverarbeitung wird angenommen, dass Informationen,
die vom Lernenden mit Aufmerksamkeit bedacht werden, zunächst in eine Art Kurzzeitspeicher
gelangen. Dieser von der Kapazität her begrenzte Kurzzeitspeicher sorgt dafür, dass
dem Lernenden die beachtete Information für kurze Zeit im "Bewusstseinsstrom" präsent ist.
Somit übernimmt der Kurzzeitspeicher beim Bearbeiten von Informationen die Funktion eines
Arbeitsgedächtnisses ("working memory"). In pädagogisch-psychologischen Forschungskontexten
hat man mittlerweile eine Vielzahl von teilweise relativ unabhängigen Teilfunktionen
des Arbeitsgedächtnisses identifiziert, so dass vermehrt die Nutzung dieser Kenntnisse in der
Individualdiagnostik gefordert wurde. Im vorliegenden Beitrag wird eine erste deutschsprachige
umfassende Arbeitsgedächtnistestbatterie für Kinder im Alter zwischen 5 und 12 Jahren (AGTB
5-12, Hasselhorn et al., 2012) dargestellt. Dabei wird das zugrunde liegende, mehrere Teilsysteme
und Funktionen umfassende Arbeitsgedächtnismodell nach Baddeley sowie einschlägige
Befunde zur Rolle verschiedener Arbeitsgedächtnisfunktionen für Lernen und schulische Leistungen
skizziert. Auf eine anschließende konzise Darstellung der Entwicklung und des Aufbaus
der AGTB s·-12 folgt schließlich eine Einordnung des diagnostischen Potenzials dieser neuen
Testbatterie.
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Kröhne, Ulf; Martens, Thomas
Titel: Computer-based competence tests in the national educational panel study. the challenge of mode effects
In: Zeitschrift für Erziehungswissenschaft, 14 (2011) 2, S. 169-186
DOI: 10.1007/s11618-011-0185-4
URL: http://dx.doi.org/10.1007/s11618-011-0185-4
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Englisch
Schlagwörter: Bildungsforschung; Computerunterstütztes Verfahren; Diagnostik; Diagnostischer Test; Kompetenz; Messverfahren; Panel; Technologiebasiertes Testen; Testanwendung; Testkonstruktion; Testtheorie
Abstract: Im Vergleich zu Papier- und Bleistifttests versprechen computerisierte Kompetenztests eine Vielzahl von Vorteilen, beispielsweise eine erhöhte Testsicherheit, mehr Informationen über die Testteilnehmer, sofortiges Scoring und unmittelbares Feedback. Zudem können neue, innovative Aufgabenformate angewendet werden, um die Testinhalte zu erweitern. Drei Vorteile sind für die Messung kognitiver Kompetenzen im Rahmen des Nationalen Bildungspanels besonders hervorzuheben: Erstens kann eine Reduktion der Testzeit durch die höhere Messeffizienz von adaptiven
Tests erzielt werden. Zweitens ist zu erwarten, dass computerisiertes Testen die Standardisierung erhöht und das Interesse der Testteilnehmer an der Testdurchführung steigert. Drittens ermöglicht die internetbasierte Testdurchführung die Auslieferung von Tests an räumlich entfernte Testteilnehmer. Bevor diese Vorteile jedoch genutzt werden können, muss die Äquivalenz zwischen den verschiedenen Formen der Testadministration untersucht werden, um die Vergleichbarkeit der Testergebnisse und die Validität der Ergebnisinterpretationen sicherzustellen. In diesem Kapitel wird ein theoretisches Bezugssystem für Mode Effects beschrieben und spezifische Eigenschaften der verschiedenen Administrationsformen werden diskutiert. Darüber hinaus werden abgeleitete Äquivalenzkriterien im Hinblick auf die Gegebenheiten der Kompetenzdiagnostik im Nationalen Bildungspanel betrachtet unter denen (a) die Nutzung computerisierter Kompetenztests für nachfolgende Testdurchführungen vorbereitet wird und unter denen (b) die Kompetenzentwicklung über die Lebensspanne mit Tests für verschiedene Klassenstufen und Altersgruppen gemessen wird.
Abstract (english): Computerized competence tests promise a variety of advantages compared to paper-pencil delivered tests, for instance, increased test security, more information about test takers and the test-taking process, instant scoring, and immediate feedback. Moreover, new innovative item types can be administered to broaden the test content. Three benefits should be particularly emphasized for the assessment of cognitive competencies in the German National Educational Panel Study. First, reductions of test time can be obtained through the higher measurement efficiency of adaptive tests. Second, computerized testing is expected to enhance standardization and to increase test takers' interest in completing the test. Third, Internet-based assessment offers the opportunity to deliver tests to spatially distanced test takers. However, before we can exploit these opportunities, we have to study the equivalence between different test administrations in order to maintain comparability of test scores and to ensure the validity of score interpretations. In this chapter, we shall describe a theoretical framework of mode effects and discuss various properties of test administrations. We shall relate the resulting equivalence criteria to the specific settings of the National Educational Panel Study in which (a) the usage of computerized competence tests is being prepared for upcoming assessments, and (b) tests for different grades and age groups are being designed to assess competence development over the life span.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hartig, Johannes; Höhler, Jana
Titel: Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen
In: Zeitschrift für Pädagogik, (2010) 56, S. 189-198
URN: urn:nbn:de:0111-opus-34273
URL: http://www.pedocs.de/volltexte/2010/3427/pdf/Hartig_Hoehler_Projekt_MIRT_D_A.pdf
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Beitrag in Sonderheft
Sprache: Deutsch
Schlagwörter: Bildungsforschung; Bildungspolitik; Datenanalyse; Deutschland; Empirische Forschung; Englisch; Fremdsprache; Hörverständnis; Lehrberuf; Leseverstehen; Mathematische Kompetenz; Modell; Modellierung; Psychodiagnostik; Schülerleistung; Sekundarstufe I; Sprachkompetenz; Testanwendung
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Haasler, Bernd; Heinemann, Lars; Rauner, Felix; Grollmann, Philipp; Martens, Thomas
Titel: Testentwicklung und Untersuchungsdesign
Aus: Rauner, Felix; Haasler, Bernd; Heinemann, Lars; Grollmann, Philipp (Hrsg.): Messen beruflicher Kompetenzen: Bd. 1, Grundlagen und Konzeption des KOMET-Projekts, Berlin: LIT, 2009 , S. 99-141
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Berufsbildung; Berufsausbildung; Auszubildender; Kompetenz; Modellierung; Test; Testanwendung; Fragebogen; Beruf; Identifikation (Psychologie); Evaluation; Modell; Messung; Forschungsdesign; Validität; Empirische Untersuchung; Längsschnittuntersuchung; Bremen; Hessen; Deutschland
Abstract: In einer Längsschnittserhebung im randomisierten Cross-Over- Design bei Auszubildenden der Industriemechanik sollen die beruflichen Kompetenzen mit Hilfe von Evaluationsaufgaben erfasst, geratet, kommunikativ validiert und in einem IRT-Modell identifiziert werden. Die Grundlage bildet ein differenziertes Modell der beruflichen Kompetenzentwicklung, welches 8 Kriterien zur Bewertung der Kompetenz auf drei Dimensionen umfasst: funktionelle Kompetenz, prozessuale Kompetenz und Gestaltungskompetenz. Damit soll gezeigt werden, dass die Überführung einer lösungsoffenen Evaluationsaufgabe in ein abgesichertes Messmodell zu Erfassung von Kompetenzdimensionen und -entwicklung möglich ist und außerdem sensibel für persönliche und kontextuelle Voraussetzungen der beruflichen Bildung ist. Die Erreichung dieses Ziels wird durch die folgenden empirischen Maßnahmen unterstützt: Bezugnahme auf eine große Stichprobe eines Ausbildungsberufes, Datenerhebung zu zwei verschiedenen Messzeitpunkten, die eine ausreichende Zeitspanne für einen messbaren individuellen Zuwachs der beruflichen Kompetenz einschließt, ein standardisiertes und jeweils empirisch gesichertes Verfahren zu Entwicklung und Rating der Evaluationsaufgaben, eine differenzierte IRT-Modellierung, die durch umfangreiche Modelltestung abgesichert wird.(DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Richter, Tobias; Naumann, Johannes
Titel: Was misst der ELVES-Subtest Satzverifikation? Analysen von Mess- und Itemeigenschaften mit hierarchisch-linearen Modellen
Aus: Lenhard, Wolfgang; Schneider, Wolfgang (Hrsg.): Diagnostik und Förderung des Leseverständnisses, Göttingen: Hogrefe, 2009 (Tests und Trends. N.F., 7), S. 131-149
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Lesefähigkeit; Diagnostischer Test; Testanwendung; Leseverstehen; Erwachsener; Student; Reaktion; Itemanalyse; Modellierung; Kognitive Prozesse; Effizienz; Deutschland
Abstract: Die Mess- und Itemeigenschaften des Subtests Satzverifikation aus dem Lesefähigkeitsdiagnostikum ELVES (Effizienz von Teilprozessen des Leseverstehens bei Erwachsenen nach dem Strategiemodell) wurden mit hierarchisch-linearen Modellen analysiert. Der Subtest Satzverifikation erfasst die Effizienz hierarchieniedriger Teilprozesse des Leseverstehens ( lexikalischer Zugriff und semantische Integration) durch Testwerte, die wesentlich auf Reaktionszeiten beruhen. Im vorliegenden Beitrag wurde erstens untersucht, ob sich die Reaktionszeiten als additive Kombination von Item- und Personenparametern modellieren lassen (spezifische Objektivität). Zweitens wurde der mögliche kritische Einwand geprüft und widerlegt, dass die Reaktionszeitdaten einem potenziell validitätsgefährdenden Speed-Accuracy-Tradeoff unterliegen. Drittens wurde gezeigt, dass sich Reaktionszeitunterschiede zwischen Testitems auf Itemmerkmale zurückführen lassen, die aus psycholinguistischer und kognitionspsychologischer Sicht die Itembearbeitung erleichtern oder erschweren sollten. Insgesamt sprechen die Ergebnisse dafür, dass der Subtest Satzverifikation näherungsweise dem Prinzip der spezifischen Objektivität genügt und tatsächlich die Effizienz der angezielten Teilprozesse des Leseverstehens erfasst. (DIPF/Orig.)
Abstract (english): Test- and item-characteristics of the subtest "Sentence Verification" from the reading skills test ELVES (efficiency of reading comprehension in adult readers according to the strategy model) were analyzed using hierarchical linear models. The subtest Sentence Verification captures the efficiency of lower level component reading processes (lexical access, semantic integration) through scores that rely primarily on decision latencies. The present article firstly investigates whether decision latencies can be decomposed into an additive combination of item- and person-parameters (specific objectivity). Secondly, and adding to the validity of latency-based measures of reading skills, it is shown that the decision latencies in the subtest Sentence Verification are not subject to a speed-accuracy-tradeoff. Thirdly, it is shown that differences in decision latencies between items are due to item characteristics that can be assumed to influence processing difficulty from the perspectives of cognitive psychology and psycholinguistics. In sum, the subtest Sentence Verification appears to approximately satisfy the condition of specific objectivity, and capture the targeted reading component processes' efficiency.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Herausgeber*innen: Schneider, Wolfgang; Marx, Harald; Hasselhorn, Marcus
Titel: Diagnostik von Rechtschreibleistungen und -kompetenz
Erscheinungsvermerk: Göttingen: Hogrefe, 2008 (Tests und Trends. N.F., 6)
Dokumenttyp: 2. Herausgeberschaft; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kindergarten; Grundschule; Sekundarbereich; Rechtschreibung; Kompetenz; Diagnostik; Legasthenie; Gruppentest; Testanwendung; Deutschland
Abstract: Mit dem Inkrafttreten der Rechtschreibreform im Sommer 2006 ist eine über ein Jahrzehnt andauernde Debatte um die Gültigkeit und Verbindlichkeit einer Reihe neuer Schreibweisen zu Ende gegangen. In diesem Band werden unter Berücksichtigung der Ergebnisse dieser Debatte schwerpunktmäßig die Zielstellungen, diagnostischen Möglichkeiten und Gütekriterien von Neuentwicklungen und Neunormierungen von ökonomischen Gruppentestverfahren zur Erfassung und Vorhersage von Rechtschreibleistungen im Grundschul- und Sekundarstufenbereich vorgestellt. Ergänzend werden auf der Grundlage empirischer Fakten die Auswirkungen der Rechtschreibreform auf die Rechtschreibdiagnostik kritisch beleuchtet sowie aus der Sicht des professionellen Praktikers die Bedeutsamkeit, der Nutzen, aber auch die Desiderata der Rechtschreibdiagnostik in der praktischen Anwendung dargelegt. Damit wird erstmals die Rechtschreibdiagnostik zum alleinigen Gegenstand und Inhalt einer diagnostischen Abhandlung. Interessierte und fachkundige Leserinnen und Leser können sich somit nicht nur einen Überblick über die gegenwärtigen Trends in der diagnostischen Zielstellung der ökonomischen Gruppentestverfahren verschaffen, sondern sie können auch wertvolle Anregungen für den Einsatz einer Rechtschreibdiagnostik in der konkreten Praxis erhalten. (DIPF/Verlag)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Marx, Harald; Hasselhorn, Marcus; Opitz-Karig, Ute
Titel: Deutschsprachige Tests zur Erfassung der Rechtschreibleistung bei Kindern und Jugendlichen
Aus: Schneider, Wolfgang; Marx, Harald; Hasselhorn, Marcus (Hrsg.): Diagnostik von Rechtschreibleistungen und -kompetenz, Göttingen: Hogrefe, 2008 , S. 211-224
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Rechtschreibung; Test; Testanwendung; Reliabilität; Validität; Übersicht; Deutschland
Abstract: Der vorliegende Band gibt nicht nur einen Überblick über theoretische wie auch methodische Probleme und Möglichkeiten bei der Erfassung der Rechtschreibleistung, sondern stellt auch aktuelle diagnostische Verfahren zur Erfassung der Rechtschreibkompetenz vor. ... Um die Informationen für den praktisch tätigen Diagnostiker und den pädagogisch- psychologischen Forscher auf den neuesten Stand zu bringen, haben wir im Anhang die derzeit verfügbaren deutschsprachigen Tests zusammengestellt, wobei eigenständige Rechtschreibtests von Rechtschreibskalen unterschieden werden, wie sie in Allgemeinen Schulleistungstests verfügbar sind. Dies erfolgt in Tabellenform, um allen interessierten Personen eine Nachschlaghilfe zu bieten. Die nach dem Namen der Testverfahren sortierten Tabellen enthalten knappe Informationen zu den folgenden Bereichen: (1) Bezeichnung des Verfahrens, (2) Autoren, (3) Erscheinungsjahr der aktuellen Fassung, (4) erfasste Konzepte bzw. Parameter, die unter der Fragestellung dieses Bandes relevant sind, (5) Altersbereich, für den das Verfahren normiert ist, sowie Umfang der Eichstichprobe, (6) von den Testautoren vorgelegte Angaben zur Reliabilität, (7) von den Test autoren vorgelegte Angaben zur Valididät, (8) Durchführungsdauer und -art. Auf eine weitergehende oder auch vergleichende Bewertung der Verfahren wird bewusst verzichtet. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Martens, Thomas; Rölke, Heiko
Titel: Neues DIPF-Projekt entwickelt computerbasierte Testverfahren für den Bildungsbereich. Kompetenzcluster bietet Service für anwendungsorientierte Bildungsforschung
In: Pädagogische Rundschau, 61 (2007) 6, S. 743-744
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Kompetenz; Diagnostik; Diagnostischer Test; Testanwendung; Computer; Messung; Neue Technologien; Bildungsforschung; Projekt
Abstract: Die empirische Bildungsforschung der letzten Jahre ist in zunehmendem Maße durch Arbeiten im Bereich der Kompetenzerfassung geprägt. Hierzu müssen diagnostische Instrumente auf einer theoretischen Basis entwickelt und empirisch erprobt werden. Computerbasierte Testverfahren bieten für die Kompetenzdiagnostik gute Voraussetzungen, da sie valide Messungen und effiziente Datenerhebungen ermöglichen. Das Verständnis und die Beherrschung dieser neuen Technologien sind daher für die Bildungsforschung von großer Bedeutung. Um dies zu erreichen, wurde im April des Jahres 2007 die vom Bundesministerium Bildung und Forschung ( BMBF) geförderte Forschungs- und Servicestruktur "Technology Based Assessment - TBA" am DIPF eingerichtet.(DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation