Читать книгу Schreibkompetenzen in der Fremdsprache - Группа авторов - Страница 41

Während die Konzepte der InhaltsvaliditätValiditätInhaltsvalidität und der curricularen Validität die Relevanz und Repräsentativität von TestaufgabenAufgabenTestaufgaben im Hinblick auf im Unterricht vermittelte InhalteInhalt und Kompetenzen und/oder bestimmte zukünftig zu bewältigende Domänen und Situationen fokussieren, geht es bei der Bestimmung der KonstruktvaliditätValiditätKonstruktvalidität darüber hinaus um eine theoriebasierte Interpretation der beobachteten Testleistungen im Hinblick auf nicht direkt beobachtbare zugrunde liegende Kompetenzen (vgl. auch Hartig, Frey & Jude, 2012, S. 152–162). Bezogen auf „Schreibkompetenz“ sind in diesem Zusammenhang u.a. folgende Fragen zu beantworten: Inwieweit kann man an Hand eines vorliegenden Schreibprodukts auf bestimmte Aspekte des theoretischen, nicht direkt beobachtbaren Konstrukts „Schreibkompetenz“ schließen? Oder als Kausalzusammenhang formuliert: Inwieweit sind Unterschiede in der zugrunde liegenden Schreibkompetenz der jeweiligen Testteilnehmenden die zentrale Ursache für die beobachteten Leistungsunterschiede?

Im Fall des Schreibens ist der Schluss vom Produkt auf das zu Grunde liegende theoretische Konstrukt zwar direkter und damit offensichtlicher als z.B. im Fall einer HörverstehensaufgabeHörverstehen im Multiple-Choice-Format, bei der von der angekreuzten Lösung auf Aspekte der zu Grunde liegenden HörverstehenskompetenzHörverstehen geschlossen werden soll. Zur Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität bedarf es allerdings auch im Fall der Evaluation von Schreibkompetenzen neben einer Beschreibung der zielsprachlichen Verwendungssituation eines theoretischen Modells des zu messenden Konstrukts „Schreibkompetenz“. Darüber hinaus müssen auch die Anforderungscharakteristiken der zur Messung benutzten TestaufgabenAufgabenTestaufgaben, die Merkmale der zugrunde gelegten BewertungskriterienBeurteilungskriterien sowie Eigenschaften der eingesetzten Bewertenden bei der Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität berücksichtigt werden.

Auf die Frage nach der zielsprachlichen Verwendungssituation sowie auf theoretische Modelle von Schreibkompetenz wird in Kapitel 5 „TestkonstruktTestkonstrukt und TestspezifikationenTestspezifikation“ eingegangen. In Kapitel 6 „Kriteriale Evaluation von Schreibkompetenzen“ werden dann Bewertungskriterien und Bewertende thematisiert. Die Anforderungen, die mit der Bearbeitung bestimmter Schreibaufgaben z.B. hinsichtlich der Komplexität der inhaltlichenInhalt Darstellung oder auch in Bezug auf die notwendigen lexikalischLexik-grammatikalischenGrammatik Ressourcen verbunden sind, werden in Kapitel 7 „Entwicklung von TestaufgabenAufgabenTestaufgaben zum Schreiben“ noch genauer aufgeführt.

Bei der Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität eines Tests oder auch einer einzelnen Aufgabe sind u.a. folgende Ursachen für eine unzureichende Test- bzw. AufgabenvaliditätValiditätAufgabenvalidität zu berücksichtigen: a) Unterrepräsentation des zu messenden Konstrukts; b) konstruktirrelevante Test- und Aufgabenvarianz.

Im Fall einer Unterrepräsentation des Konstrukts sind der Test oder die AufgabenAufgaben zu eng gefasst und lassen wichtige Dimensionen des Konstrukts unberücksichtigt. Geht man von einem breiten Verständnis von Schreibkompetenzen aus, dann würde z.B. der Einsatz eines Diktats zu einer Konstruktunterrepräsentation und damit auch zu einer unzureichenden AufgabenvaliditätValiditätAufgabenvalidität führen. Das Diktat erfasst zwar z.B. orthografischeOrthografie Fähigkeiten und HörverstehenskompetenzenHörverstehen, nicht aber die Fähigkeit, einen zusammenhängenden Text selbstständig zu verfassen. Natürlich kann ein Test stets nur einen kleinen Ausschnitt der im Unterricht zu entwickelnden Kompetenzen erfassen; der Unterricht wird also wesentlich breiter z.B. auch auf strategische und interkulturelleKompetenzinterkulturell Kompetenzen ausgerichtet sein. Außerdem wird man aus Gründen der PraktikabilitätPraktikabilität und Ökonomie nicht immer die zielsprachliche Verwendungssituation in allen Aspekten im Test abbilden können (vgl. die Ausführungen zu PraktikabilitätPraktikabilität und Ökonomie in Kapitel 4.2.4.4).

Konstruktirrelevante Varianz liegt vor, wenn bestimmte Merkmale, die keinen inhaltlichenInhalt Bezug zu der zu messenden Fähigkeit aufweisen, die Leistung systematisch beeinflussen. Konstruktirrelevante Varianz führt zu einer Minderung der ValiditätValidität der Interpretation der Testergebnisse. Mögliche Quellen konstruktirrelevanter Varianz, wie die eingesetzten AufgabenAufgaben, BewertungskriterienBeurteilungskriterien und Beurteilenden, haben wir schon im Zusammenhang mit dem Konzept der ReliabilitätReliabilität kurz thematisiert (vgl. die Kapitel 4.2.2.1 und 4.2.2.6). Ein konkreter mit der Facette „Beurteilende“ zusammenhängender Fall konstruktirrelevanter Varianz ist z.B. dann gegeben, wenn eine schöne Handschrift systematisch zu einer besseren Bewertung und damit höheren Einschätzung der Schreibkompetenz führt, obwohl Aspekte der Handschrift nicht zum TestkonstruktTestkonstrukt gehören. Man spricht dann auch von einem sogenannten Bias, d.h. von einer systematischen Verzerrung der Prüfungsergebnisse. Konstruktirrelevante Varianz und damit zugleich systematische Verzerrungen lassen sich beim Testen und Prüfen nie gänzlich vermeiden. Es muss allerdings danach getrachtet werden, den Einfluss konstruktirrelevanter Faktoren möglichst gering zu halten.

Im Kapitel 2 „Rahmenbedingungen für das Evaluieren von Schreibkompetenzen“ haben wir bereits Handlungs-, KompetenzKompetenz- und Aufgabenorientierung als grundlegende Prinzipien eines modernen Fremdsprachenunterrichts genannt (vgl. hierzu auch Kapitel 5 „TestkonstruktTestkonstrukt und TestspezifikationenTestspezifikation“). Im Hinblick auf die ValiditätValidität von Prüfungen bedeuten diese Prinzipien u.a., dass die in der Prüfung gezeigte Leistung Rückschlüsse darauf erlauben soll, in welchem Ausmaß Lernende in der Lage sind, ähnliche Situationen auch außerhalb der Prüfungssituation zu bewältigen. Dies heißt, dass auch in einer Prüfung in der Regel konkrete lebensweltliche AufgabenAufgaben zu lösen sind, wie z.B. höfliches Bitten um Informationen in einer Mail.

Weitere wichtige Aspekte der ValiditätValidität von Sprachtests werden im sozio-kognitiven Modell von Cyril J. Weir unterschieden (vgl. Weir, 2005). Dieses häufig zitierte Rahmenmodell, in dem die Sprachverwendenden nicht nur als kognitiv, sondern auch als sozial Handelnde gesehen werden, bildet die Grundlage für die Entwicklung und Validierung der Cambridge English Examinations (vgl. zur Schreibkomponente dieser Prüfungen Shaw & Weir, 2007). In der aktuellen Fassung unterscheidet das sozio-kognitiveValiditätkognitiv Rahmenmodell folgende fünf eng miteinander verbundene Komponenten der Validität: KontextvaliditätValiditätKontextvalidität (context validity), kognitive Validität (cognitive validity), Scoring-ValiditätValiditätScoring-Validität (scoring validity; Validität der Ergebnisermittlung), konsequentielleValiditätkonsequentiell Validität (consequential validity; Testwirkungsvalidität) und kriterienbezogeneValiditätkriterienbezogen Validität (criterion-related validity).