-
-
Autor*innen: Molnar, Gyongyvér; Toth, Krisztina R.; Csapo, Beno
Titel: The relationship between item type, students characteristics and media-effect in CBA
Aus: European Association for Research on Learning and Instruction (Hrsg.): Book of abstracts and extended summaries, Leuven: EARLI, 2011 , S. 4-5
URL: http://www.earli2011.org/media/Documents_EARLI2011/BookofAbstractsandSummaries.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Tagungsband/Konferenzbeitrag/Proceedings
Sprache: Englisch
Schlagwörter: Computerunterstütztes Verfahren; Einflussfaktor; Empirische Untersuchung; Leistungstest; Medien; Schüler; Ungarn; Validität
Abstract (english): Paper-based assessment reached its limits, however the shift from paper-pencil (PP) to computer-based assessment (CBA) poses new questions. Validity issues regarding media-effect studies belong to one of the key areas. Several studies have been conducted with older students to measure validity (Csapo, Molnar & R. Toth, 2009), however, only a few focused on early childhood education (Choi and Tinkler, 2002). The purpose of this paper is (1) to study the media-effects in a cross-curricular competency field by first grade (age 6-7) students; (2) categorize item formats and students according to their media-dependence. Due to the young age of the target population, the instrument of the study consisted of figural, nonverbal items. The same inductive reasoning test was administered in PP and in CB mode (N=5156 and 313, respectively). The online data collection was carried out with the TAO platform. Student-level differences indicated media-effect, students' achievement was higher in PP (45.33%) than in CB format (32.6%; t=6.11, p<.01). The highest media-effect was noticeable at items where the answer and distractors contained more figures. Students' socio-economic factors, gender and frequencies of computer-usage did not influence their CB test scores.
DIPF-Abteilung: Informationszentrum Bildung
-
-
Autor*innen: Schreiner, Michael; Mildner, Dorothea
Titel: Das Frankfurter Self-Assessment für Psychologie. Zur prognostischen Güte des Studieninteresses
Aus: Krämer, Michael; Preiser, Siegfried; Brusdeylins, Kerstin (Hrsg.): Psychologiedidaktik und Evaluation VIII, Aachen: Shaker-Verlag, 2011 (Berichte aus der Psychologie), S. 327-336
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Eignungstest; Empirische Untersuchung; Frankfurt a.M.; Interesse; Online; Prognose; Psychologie; Studienerfolg; Studium; Validität
Abstract: Das Self-Assessment für Psychologie der Goethe-Universität ist ein webbasiertes Informations- und Beratungsinstrument, welches sich an Studieninteressierte richtet. Es soll zu einer fundierten Studienwahlentscheidung führen, indem es den Teilnehmern u. a. auf Basis ihrer Interessen deren Passung mit den Studienbedingungen vor Ort rückmeldet.
Der vorliegende Beitrag widmet sich diesen Interessenskalen des Self-Assessments und weist deren prognostische Validität hinsichtlich des Studienerfolgs nach. Darüber hinaus wird gezeigt, dass die Interessenskalen auch über die Durchschnittsnote der Hochschulzulassung hinaus bedeutsame Varianzanteile erklären.
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Hertel, Silke; Klug, Julia; Schmitz, Bernhard
Titel: Quasi-experimentelle Versuchspläne
Aus: Holling, Heinz; Schmitz, Bernhard (Hrsg.): Handbuch Statistik, Methoden und Evaluation, Göttingen: Hogrefe, 2010 (Handbuch der Psychologie, 13), S. 49-62
Dokumenttyp: 4. Beiträge in Sammelwerken; Lexika/Enzyklopädie o.ä.
Sprache: Deutsch
Schlagwörter: Deutschland; Experimentelle Psychologie; Forschungsdesign; Messung; Psychologische Forschung; Stichprobe; Validität; Variable; Zeitreihenanalyse
Abstract: In der psychologischen Forschung ist es nicht immer möglich, die Teilnehmer randomisiert zu Untersuchungsbedingungen zuzuweisen und alle Einflussgrößen zu kontrollieren. In dem Kapitel werden die Grundlagen quasi-experimenteller Versuchspläne dargestellt, Vor- und Nachteile unterschiedlicher quasi-experimenteller Designs werden beschrieben und vor dem Hintergrund möglicher (kausaler) Schlussfolgerungen diskutiert.(DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Schumann-Hengsteler, Ruth; Grube, Dietmar; Zoelch, Christof; Mähler, Claudia; Seitz-Stein, Katja; Schmid, Inge; Gronauer, Julia; Hasselhorn, Marcus
Titel: Differentialdiagnostik der Funktionstüchtigkeit des Arbeitsgedächtnisses bei Kindern mit der AGTB 5-12.
Aus: Trolldenier, Hans-Peter; Lenhard, Wolfgang; Marx, Peter (Hrsg.): Brennpunkte der Gedächtnisforschung, Göttingen: Hogrefe, 2010 , S. 305-319
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Arbeitsgedächtnis; Diagnostik; Informationsverarbeitung; Kind; Leistung; Lernen; Test; Validität
Abstract: In diesem Beitrag wird ein Testinventar zur Erfassung der Leistungsfähigkeit der Subsysteme des Arbeitsgedächtnisses nach dem Modell von Baddeley beschrieben. (DIPF/Orig.)
DIPF-Abteilung: Bildung und Entwicklung
-
-
Autor*innen: Vieluf, Svenja; León, Juan; Carstens, Ralpf
Titel: Construction and validation of scales and indices
Aus: Organisation for Economic Cooperation and Development (Ersg.): TALIS 2008 technical report, Paris: OECD, 2010 , S. 131-206
URL: http://www.oecd.org/dataoecd/16/14/44978960.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Lehrer; Schulleiter; Fragebogen; Fragebogenerhebung; Validität; Methodologie; Indikator; Skalierung; Schüler-Lehrer-Verhältnis; Schülerzahl; Schulmanagement; Lehrerfortbildung; Klassengröße; Mehrsprachigkeit; Eltern; Bildungsniveau; Evaluation; Schule; Autonomie; Schulausstattung; Schulklima; Unterrichtsklima; Disziplin (Ordnung); Datenanalyse; Internationaler Vergleich; OECD-Länder
Abstract (english): This chapter outlines the design and validation of scales and indices in TALIS. The TALISquestionnaires were comprised of many items; while some were intended to be used in singleitem analyses, others were intended to be combined to measure latent constructs. This chapter explains how simple indices were constructed, describes the methodology used for constructvalidation and scaling and finally details the construction, validation, and computation of eachscaled index and its characteristics. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Vieluf, Svenja; León, Juan; Carstens, Ralph
Titel: Construction and validation of scales and indices
Aus: Organisation for Economic Cooperation and Development (Hrsg.): TALIS 2008 Technical Report, Paris: OECD, 2010 , S. 131-206
URL: http://www.oecd.org/dataoecd/16/14/44978960.pdf
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Autonomie; Bildungsniveau; Datenanalyse; Disziplin (Ordnung); Eltern; Evaluation; Fragebogen; Fragebogenerhebung; Indikator; Internationaler Vergleich; Klassengröße; Lehrer; Lehrerfortbildung; Mehrsprachigkeit; Methodologie; OECD-Länder; Schulausstattung; Schule; Schüler-Lehrer-Verhältnis; Schülerzahl; Schulklima; Schulleiter; Schulmanagement; Skalierung; Unterrichtsklima; Validität
Abstract (english): This chapter outlines the design and validation of scales and indices in TALIS. The TALISquestionnaires were comprised of many items; while some were intended to be used in singleitem analyses, others were intended to be combined to measure latent constructs. This chapter explains how simple indices were constructed, describes the methodology used for constructvalidation and scaling and finally details the construction, validation, and computation of eachscaled index and its characteristics. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Buhl, Monika; Lindner, Daniela
Titel: Zeitperspektiven im Jugendalter. Messung, Profile und Zusammenhänge mit Persönlichkeitsmerkmalen und schulischem Erleben
In: Diskurs Kindheits- und Jugendforschung, 4 (2009) 2, S. 197-216
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Zeit; Zeitbegriff; Jugendlicher; Jugendalter; Identität; Persönlichkeitsmerkmal; Gegenwart; Zukunft; Sozialisation; Selbstwirksamkeit; Wahrnehmung; Typologie; Schulleben; Schüler-Lehrer-Verhältnis; Verantwortung; Zufriedenheit; Bewertung; Modell; Methode; Validität; Faktorenanalyse; Messverfahren; Fragebogenerhebung; Befragung; Empirische Untersuchung; Deutschland
Abstract: In diesem Beitrag steht die Erprobung des Adolescent Time Perspective Inventory (ATPI) aneiner deutschen Stichprobe im Zentrum. Theoretisch wird argumentiert, dass für die Identitätsentwicklungim Jugendalter sowohl die Bewertung der Vergangenheit als auch der Gegenwartund der Zukunft von Bedeutung ist. Es wird der Frage nachgegangen, inwieweit sich dietheoretisch postulierten Skalen zur multidimensionalen Messung von Zeitperspektiven Heranwachsender replizieren lassen. Ferner werden aus den jeweils positiven und negativen Beschreibungender Vergangenheit, der Gegenwart und der Zukunft mithilfe Latenter Profilanalysen(LPA) Gruppen gebildet, die der Beschreibung unterschiedlicher Zeitperspektive-Typen dienen. Abschließend werden Zusammenhänge dieser Profile mit Persönlichkeitsmerkmalenund Aspekten des schulischen Erlebens untersucht. Empirische Grundlage ist eine Studiein der knapp 1.700 Jugendliche befragt wurden. Die Ergebnisse zeigen eine hohe Validitätund Reliabilität der Skalen des ATPI. Durch die Profilbildung lassen sich sechs Typen vonJugendlichen unterscheiden, die durch unterschiedliche Bewertungen der Vergangenheit, derGegenwart und der Zukunft gekennzeichnet sind und sowohl optimistische bzw. pessimistischeals auch ambivalente Haltungen beschreiben. Die Bewertungen stehen in deutlichem Zusammenhangmit den untersuchten Persönlichkeitsmerkmalen und den herangezogen Aspektenschulischen Erlebens. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Goldhammer, Frank; Moosbrugger, Helfried; Krawietz, Sabine
Titel: FACT-2 - The Frankfurt Adaptive Concentration Test. Convergent validity with self-reported cognitive failures
In: European Journal of Psychological Assessment, 25 (2009) 2, S. 73-82
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Psychometrie; Aufmerksamkeit; Konzentration; Konzentrationsfähigkeit; Messung; Modell; Anpassung; Technologiebasiertes Testen; Testauswertung; Validität; Reliabilität; Testmethodik; Kognitive Prozesse; Empirische Untersuchung; Vereinigte Staaten
Abstract (english): The Frankfurt Adaptive Concentration Test (FACT-2) requires discrimination between geometric target and nontarget items as quickly and accurately as possible. Three forms of the FACT-2 were constructed, namely FACT-I, FACT-S, and FACT-SR. The aim of the present study was to investigate the convergent validity of the FACT-SR with self-reported cognitive failures. The FACT-SR and the Cognitive Failures Questionnaire ( CFQ) were completed by 191 participants. The measurement models confirmed the concentration performance, concentration accuracy, and concentration homogeneity dimensions of FACT-SR. The four dimensions of the CFQ (i.e., memory, distractibility, blunders, and names) were not confirmed. The results showed moderate convergent validity of concentration performance, concentration accuracy, and concentration homogeneity with two CFQ dimensions, namely memory and distractibility/ blunders. (DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation
-
-
Autor*innen: Warwas, Jasmin; Nagy, Gabriel; Watermann, Rainer; Hasselhorn, Marcus
Titel: The relations of vocational interests and mathematical literacy. On the predictive power of interest profiles
In: Journal of Career Assessment, 17 (2009) 4, S. 417-438
Dokumenttyp: 3a. Beiträge in begutachteten Zeitschriften; Aufsatz (keine besondere Kategorie)
Sprache: Englisch
Schlagwörter: Berufsorientierung; Jugendlicher; Interessenprofil; Mathematikunterricht; Schülerleistung; Leistungssteigerung; Mathematische Kompetenz; Einflussfaktor; Gymnasiale Oberstufe; Schuljahr 11; Geschlechtsunterschied; Messverfahren; Validität; Längsschnittuntersuchung; Querschnittuntersuchung; Empirische Untersuchung; Deutschland; Österreich; Schweiz
Abstract (english): This study examines the relationships of vocational interests and mathematical literacy both cross-sectionally and longitudinally. Extending previous research, the results of Holland's RIASEC (Realistic, Investigative, Artistic, Social, Enterprising, and Conventional) scale scores are compared with results from a reductionist approach using individual interest profiles (including the parameters level, differentiation, and orientation). Both analyses find significant relations between interests and mathematical literacy. The scale score analyses reveal positive associations of Realistic interests with mathematical literacy, whereas Artistic interests show a negative association. Interest profiles from a dimensional representation show individuals with interest orientations close to the Realistic domain score highest on mathematical literacy, with those with interests in both Artistic and Social domains scoring lowest. Results from profile analyses suggest that interest differentiation moderates the interest-ability relation. Only interest profiles are predictive for mathematical literacy over and above covariates, indicating that interest profiles are more robust predictors than the scale scores. Analyses show that interest profiles are a valid reduction of the scale score models. (DIPF/Orig.)
DIPF-Abteilung: Bildungsqualität und Evaluation; Bildung und Entwicklung
-
-
Autor*innen: Haasler, Bernd; Heinemann, Lars; Rauner, Felix; Grollmann, Philipp; Martens, Thomas
Titel: Testentwicklung und Untersuchungsdesign
Aus: Rauner, Felix; Haasler, Bernd; Heinemann, Lars; Grollmann, Philipp (Hrsg.): Messen beruflicher Kompetenzen: Bd. 1, Grundlagen und Konzeption des KOMET-Projekts, Berlin: LIT, 2009 , S. 99-141
Dokumenttyp: 4. Beiträge in Sammelwerken; Sammelband (keine besondere Kategorie)
Sprache: Deutsch
Schlagwörter: Berufsbildung; Berufsausbildung; Auszubildender; Kompetenz; Modellierung; Test; Testanwendung; Fragebogen; Beruf; Identifikation (Psychologie); Evaluation; Modell; Messung; Forschungsdesign; Validität; Empirische Untersuchung; Längsschnittuntersuchung; Bremen; Hessen; Deutschland
Abstract: In einer Längsschnittserhebung im randomisierten Cross-Over- Design bei Auszubildenden der Industriemechanik sollen die beruflichen Kompetenzen mit Hilfe von Evaluationsaufgaben erfasst, geratet, kommunikativ validiert und in einem IRT-Modell identifiziert werden. Die Grundlage bildet ein differenziertes Modell der beruflichen Kompetenzentwicklung, welches 8 Kriterien zur Bewertung der Kompetenz auf drei Dimensionen umfasst: funktionelle Kompetenz, prozessuale Kompetenz und Gestaltungskompetenz. Damit soll gezeigt werden, dass die Überführung einer lösungsoffenen Evaluationsaufgabe in ein abgesichertes Messmodell zu Erfassung von Kompetenzdimensionen und -entwicklung möglich ist und außerdem sensibel für persönliche und kontextuelle Voraussetzungen der beruflichen Bildung ist. Die Erreichung dieses Ziels wird durch die folgenden empirischen Maßnahmen unterstützt: Bezugnahme auf eine große Stichprobe eines Ausbildungsberufes, Datenerhebung zu zwei verschiedenen Messzeitpunkten, die eine ausreichende Zeitspanne für einen messbaren individuellen Zuwachs der beruflichen Kompetenz einschließt, ein standardisiertes und jeweils empirisch gesichertes Verfahren zu Entwicklung und Rating der Evaluationsaufgaben, eine differenzierte IRT-Modellierung, die durch umfangreiche Modelltestung abgesichert wird.(DIPF/Autor)
DIPF-Abteilung: Bildungsqualität und Evaluation