Prinzipien der Aufgabenkonstruktionen zur Messung von Kompetenzen historischen Denkens: Möglichkeiten und Grenzen eines systematisierenden Vorgehens

Kurzfassung/Abstract

Kurzabstract
Prinzipien der Konstruktion von Aufgaben mit geschlossenen Antwortformaten für ein standardisiertes Messinstrument werden am Beispiel ausgewählter Kompetenzbereiche verdeutlicht und in Hinblick auf ihre Validität diskutiert. Den Bezugspunkt bildet das Verbundprojekt Historical Thinking – Competencies in History – HiTCH. (Trautwein et al., 2011).

Abstract
Im Projekt HiTCH („Historical Thinking – Competencies in History“; Trautwein et al. 2011) wurde während der letzten drei Jahre ein Instrument zur Messung der Kompetenzen historischen Denkens mit quantitativen Methoden erarbeitet. Die Testaufgaben wurden auf Basis des Kompetenzstrukturmodells der FUER-Gruppe (Körber / Schreiber / Schöner 2007) entwickelt.
Die Eignung der einzelnen Aufgabenformate, das zu messende Konstrukt historischer Kompetenzen im Sinne eines validen Tests (Leutner et al., 2008) zu erfassen, erfordert einen systematischen Umgang mit Konstrukten, die theoretisch oder in der Praxis der Testbearbeitung zur Bewältigung von Aufgaben beitragen, die historisches Denken erforderlich machen.
So muss ein valider Test einerseits den Beitrag minimieren, den konstruktfremde Faktoren wie Lesefähigkeiten, kognitiven Fähigkeiten oder die Fähigkeit zur Nutzung impliziter Hinweise („test-wiseness“; Reich 2009) für das Testergebnis haben. Andererseits ist eine möglichst vollständige und differenzierende Erfassung des Konstrukts „Kompetenzen historischen Denkens“ das Ziel. Deshalb sind im HiTCH-Test verschiedene Operationen historischen Denkens in Testaufgaben gefasst. Dies trägt zu einer breiten Erfassung dahinter stehender Kernkompetenzen bei und anhand der Möglichkeit, Testdimensionen nachzuweisen, lässt sich der enge Zusammenhang dieser Kompetenzbereiche diskutieren.
Im Vortrag werden Prinzipien der Aufgabenkonstruktion in Hinblick auf ihren Beitrag zur Testvalidität diskutiert. Formate und Anforderungslogiken von Testaufgaben werden dabei sowohl im Spannungsfeld psychometrischer als auch fachlich- fachdidaktischer Ansprüche gesehen. Der Nutzen beider Domänen für die Testentwicklung wird aufgezeigt. Dabei wird die Herausforderung, die Dynamik des historischen Denkprozesses bei dessen Operatioanlisierung abzubilden als Möglichkeit zur Definition eindeutig codierbarer Lösungen in das Zentrum gestellt.
Auf Grundlage der Erfahrungen aus zwei Pilotstudien (2013, N = 1.701 und 2014, N = 1.265), wurden Prinzipien herausgearbeitet hinsichtlich
• der Abgrenzung der zu operationalisierenden Kernkompetenzen historischen Denkens untereinander,
• der Auswahl und Gestaltung der historischen Fallbeispiele, an denen sich das historische Denken vollziehen soll und
• der Aufgabenanforderungen.
Dabei wurden einerseits Informationen aus den Cognitive Labs zu den vorgängigen Denkprozessen
bei der Testbearbeitung durch Schülerinnen und Schüler (Werner / Schreiber 2015) genutzt, andererseits dienten statistische Informationen zu Aufgabenschwierigkeit oder Reliabilitätswerte als Hinweis auf die interne Konsistenz einer Aufgabenstellung.
Grundlage der Schlussfolgerungen zur Validität von Aufgabenstellungen, die den diskutierten Prinzipien folgen, ist die Hauptstudie (2014, N = 2.621) im Rahmen des HiTCH- Projekts. Neben latenten Korrelationswerten des Tests historischer Kompetenzen mit Tests zu Lesekompetenzen und kognitiven Grundfähigkeiten als Hinweise auf divergente Validität des Tests, gibt das Verhältnis einzelner Testaufgaben zur Faktorstruktur der Testergebnisse Aufschluss über gemessene Konstrukte.
Dabei wird zum einen gezeigt, dass die vorgestellte Art der Aufgabenkonstruktion zur inhaltsvaliden Messung historischer Kompetenzen nutzbar ist. Zum anderen wird verdeutlicht, inwieweit sich inhaltsvalide Operationalisierung und statistische Trennbarkeit der Kompetenzbereiche in Subdimensionen unterscheiden.

Literatur
Körber, Andreas; Schreiber, Waltraud; Schöner, Alexander (Hg.) (2007): Kompetenzen historischen Denkens. Ein Strukturmodell als Beitrag zur Kompetenz- Orientierung in der Geschichtsdidaktik. Neuried: Ars una (Kompetenzen: Grundlagen, Entwicklung, Förderung, 2).
Leutner, Detlev; Hartig, Johannes; Jude, Nina (2008): Measuring Competencies: Introduction to Concepts and Questions of Assessment in Education. In: Hartig, Johannes / Klieme, Eckhard & Leutner, Detlev (Hg.): Assessment of Competencies in Educational Contexts - State of the Art and Future Prospects: Hogrefe. S. 177– 192.
Moosbrugger, Helfried; Kelava, Augustin (2012): Qualitätsanforderungen an einen psychologischen Test (Testgütekriterien). In: Mossbrugger, Helfried / Kelava, Augustin (Hg.): Testtheorie und Fragebogenkonstruktion. Berlin: Springer. S. 7- 26.
Reich, Gabriel A. (2009): Testing historical knowledge. Standards, Multiple-Choice Questions and Student Reasoning. In: Theory and Research in Social Education 37 (3), S. 325–360.
Trautwein, Ulrich, u.a. (2011): Entwicklung und Validierung eines Tests historischer Kompetenzen zum Einsatz in Large-Scale-Assessments. Antragsskizze im Rahmen der BMBF-Ausschreibung zur Förderung von Forschungsvorhaben in Ankopplung an Large-Scale-Assessments vom 1. Februar 2011. (unveröffentlicht).
Werner, Michael (2014): Einsatz von „Cognitive Lab“ zur Überprüfung und Optimierung von Konstruktionsprinzipien für die Entwicklung von Aufgaben zur quantitativen Messung von Kompetenzen historischen Denkens. Eichstätt: Master-Arbeit.
Werner, Michael; Schreiber, Waltraud (2015, im Druck): Testfragen befragen. Pretesting und
Optimierung des Large-Scale-Kompetenztests «HiTCH» durch Cognitive Labs. In: Waldis Weber, Monika/Ziegler, Béatrice (Hg.): Forschungswerkstatt Geschichtsdidaktik 13. Beiträge zur Tagung „geschichtsdidaktik empirisch13“. Bern: hep-Verlag.