Читать книгу Schreibkompetenzen in der Fremdsprache - Группа авторов - Страница 33

AufgabenreliabilitätReliabilitätAufgabenreliabilität bedeutet u.a., dass die AufgabenAufgaben – unter Einschluss der Instruktion, Situierung sowie InputmaterialienAufgabenInputmaterial – eine über die betreffenden Aufgaben hinausgehende Generalisierung hinsichtlich der zu erwartenden Leistungen bei äquivalenten TestaufgabenAufgabenTestaufgaben, Testsituationen, BewertungskriterienBeurteilungskriterien und Beurteilenden erlauben (Gültigkeit der sogenannten Generalisierungsinferenz). Gerade bei Schreibaufgaben ist das Erreichen einer zufriedenstellenden AufgabenreliabilitätReliabilitätAufgabenreliabilität im Sinne von statistischer Generalisierbarkeit ein massives Problem, da die Art der eingesetzten Aufgaben einen deutlichen Einfluss auf das Messergebnis haben kann. So führen Unterschiede im Genre (z.B. zwischen Erzählungen und Beschreibungen) oder auch Aufgaben mit unterschiedlichen thematischen Schwerpunkten oder mit unterschiedlichen Zeitvorgaben bei den gleichen Testteilnehmenden häufig zu deutlich divergierenden Messwerten. Zudem konnten z.T. massive Wechselwirkungen zwischen Aufgabe, Beurteilenden und BeurteilungskriterienBeurteilungskriterien nachgewiesen werden (vgl. z.B. Bouwer, Béguin, Sanders & van den Bergh, 2015; In’nami & Koizumi, 2016; Schoonen, 2005; Van Steendam, Tillema & Rijlaarsdam, 2012).

Das Problem der AufgabenreliabilitätReliabilitätAufgabenreliabilität stellt sich gerade auch im unterrichtlichen Kontext, da Lehrkräfte häufig die Schreibkompetenz nur anhand einer einzigen längeren Aufgabe überprüfen und die Ergebnisse dann als Beleg für ein weit gefasstes Konstrukt „Schreibkompetenz“ interpretieren. Angesichts des Einflusses insbesondere der eingesetzten AufgabenAufgaben auf das Messergebnis, sollte ein Urteil über ein breit definiertes Konstrukt stets auf mehreren, in ihren Anforderungen deutlich unterschiedlichen Schreibaufgaben beruhen. Werden nur eine Schreibaufgabe oder mehrere vom Typ her homogene Aufgaben eingesetzt (z.B. Aufgaben zum Schreiben argumentativer Texte), dann ist die Breite des Konstrukts hinreichend einzuschränken (z.B. als Fähigkeit zum Schreiben argumentativer Texte).

Ist der Einsatz mehrerer Schreibaufgaben innerhalb einer Prüfung nicht möglich, sollte zumindest zeitlich versetzt mit unterschiedlichen AufgabenformatenAufgabenformate geprüft werden. Sind aus Gründen der PraktikabilitätPraktikabilität lediglich kurze Textproduktionen gefordert, sollte man sich zudem darüber im Klaren sein, dass möglicherweise andere Kompetenzen erfasst werden als anhand von längeren Texten (z.B. im Bereich KohärenzKohärenz/KohäsionKohäsion; vgl. Kapitel 5, 6 und 8). Die Beispiele zeigen zugleich, dass eine Erhöhung der ReliabilitätReliabilität, z.B. durch Vergrößerung der Zahl der AufgabenAufgaben, zwar prinzipiell wünschenswert ist, aber nicht notwendigerweise auch zu einer valideren Messung führt und unter bestimmten Voraussetzungen die ValiditätValidität (im Sinne von Konstruktrepräsentation) sogar verringern kann (vgl. zum Verhältnis von ReliabilitätReliabilität und ValiditätValidität sowie zur Unterrepräsentation des Konstrukts auch Kapitel 4.2.3.3).