Читать книгу Schreibkompetenzen in der Fremdsprache - Группа авторов - Страница 31

Das Kriterium der ObjektivitätObjektivität kann sich auf die Durchführung der Schreibprüfung (DurchführungsobjektivitätObjektivitätDurchführungsobjektivität), die Beurteilung der Schreibleistung (BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität) und die Interpretation der Ergebnisse (InterpretationsobjektivitätObjektivitätInterpretationsobjektivität) beziehen (vgl. auch Moosbrugger & Kelava, 2012, S. 8–10). Entsprechend sind die schriftlichen AufgabenAufgaben so zu konstruieren, einzusetzen und auszuwerten, dass die anhand der Ergebnisse gezogenen Schlussfolgerungen u.a. unabhängig sind von den Personen, die a) die Prüfung durchführen, b) die Schreibleistung z.B. anhand einer Punktzahl beurteilen und c) letztendlich eine Interpretation der Ergebnisse z.B. in Form einer Benotung vornehmen. Beim unterrichtsbezogenen schulischen Evaluieren handelt es sich zumeist um dieselbe Person, nämlich die jeweilige Lehrkraft.

Die Forderung nach DurchführungsobjektivitätObjektivitätDurchführungsobjektivität bedeutet konkret, dass beim Einsatz des Tests z.B. darauf zu achten ist, dass die Lehrkräfte alle Schülerinnen und Schüler in der Prüfungssituation prinzipiell gleich behandeln. Eine hohe DurchführungsobjektivitätObjektivitätDurchführungsobjektivität kann man u.a. erreichen, indem beim Test alle Teilnehmenden die gleichen Arbeitsanweisungen erhalten und auf die gleichen Hilfsmittel (z.B. Wörterbücher) zurückgreifen können (vgl. Kapitel 7). Sollten Schülerinnen und Schüler signalisieren, dass sie einen Begriff in der Aufgabenstellung nicht verstehen, dann sollte zur Wahrung der DurchführungsobjektivitätObjektivitätDurchführungsobjektivität eine eventuelle Klärung des Begriffs für alle Testteilnehmenden erfolgen.

Um dem Kriterium der BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität zu genügen, d.h. um die notwendigerweise auftretende Subjektivität der Messung von Schreibleistungen anhand von PerformanztestsPerformanztest möglichst gering zu halten, gilt in Bezug auf die zu stellenden AufgabenAufgaben, dass z.B. klare Vorgaben zu formulieren sind, an denen sich die Schülerinnen und Schüler beim Schreiben orientieren. So sollte z.B. im Fall offener Schreibaufgaben angegeben werden, welche inhaltlichenInhalt Punkte von den Schülerinnen und Schülern anzusprechen sind und welche ungefähre Wortzahl das Schreibprodukt aufweisen sollte (vgl. Kapitel 7).

Weiterhin sind angemessene Kriterien für die Beurteilung der Schreibprodukte durch die Lehrkräfte zu formulieren. Die BeurteilungskriterienBeurteilungskriterien unter Einschluss des ErwartungshorizontsErwartungshorizont sollten den Lernenden transparent gemacht werden, damit diese wissen, welche Aspekte (z.B. inhaltlicheInhalt Gestaltung, sprachliche Korrektheit, TextsortenadäquatheitTextsorte) sie beim Schreiben fokussieren sollen.

Außerdem sollte die Bewertung nicht von den Leistungserwartungen der Lehrkraft bezüglich einzelner Lernender oder auch von individuellen Urteilstendenzen (wie Strenge/Milde oder Vermeidung von Extremwerten) abhängen. Diese im Hinblick auf die FairnessFairness einer Prüfung wichtige Voraussetzung kann man z.B. dadurch zu erreichen suchen, dass man in bestimmten (High-Stakes-)Prüfungssituationen einen zweiten unabhängigen Bewertenden einsetzt (vgl. Kapitel 6).

InterpretationsobjektivitätObjektivitätInterpretationsobjektivität kann schließlich dadurch gewährleistet werden, dass genau festgelegt wird, welche Leistungen z.B. als „gut“ und welche noch als „ausreichend“ zu bewerten sind. Prüfende sollten zur Gewährleistung der InterpretationsobjektivitätObjektivitätInterpretationsobjektivität bei derselben Punktzahl stets zu derselben Benotung kommen.

Der Prozess der Vereinheitlichung der zu stellenden AufgabenAufgaben, der Durchführung der Prüfung, der Beurteilung der Leistungen sowie der Interpretation der Ergebnisse wird auch als StandardisierungStandardisierung bezeichnet. StandardisierungStandardisierung hilft nicht nur dem Kriterium der ObjektivitätObjektivität zu genügen, sondern kann auch einen wichtigen Beitrag zur ReliabilitätReliabilität, ValiditätValidität und FairnessFairness von Prüfungen leisten. Außerdem ist nur im Fall einer hinreichenden StandardisierungStandardisierung eine verlässliche Einschätzung der Qualität einer Schreibprüfung im Hinblick auf die intendierten Prüfungsteilnehmenden und Einsatzbereiche möglich (vgl. Moss, 2016, S. 238).

Bei Lernenden mit spezifischen Behinderungen, wie einer Rechtschreibschwäche, kann ein standardisierter Testeinsatz allerdings dazu führen, dass die Lernenden die zu messenden Kompetenzen nicht in optimaler Weise zeigen können und als Folge nicht hinreichend valide und fair beurteilt werden. Ähnliches kann für Lernende mit einem Migrationshintergrund gelten. Es können dann testteilnehmerspezifische Anpassungen, wie z.B. ein Verzicht auf die Bewertung der Rechtschreibleistung, nötig sein. Es ist allerdings stets zu prüfen, inwieweit etwaige Anpassungen mit dem Ziel eines Nachteilsausgleichs die zu erfassenden Aspekte von Schreibkompetenz und damit das TestkonstruktTestkonstrukt verändern (vgl. z.B. American Educational Research Association et al., 2014, S. 67–70, 190–191 sowie auch die Ausführungen zum TestkonstruktTestkonstrukt in Kapitel 5).

Außerdem ist etwa im Rahmen einer lernorientierten Evaluation, die darauf zielt, mit Hilfe von Feedback das Lernen zu fördern, eine StandardisierungStandardisierung der Evaluation in der Regel weder sinnvoll noch wünschenswert (vgl. hierzu Jones & Saville, 2016 sowie auch Kapitel 9 im vorliegenden Band).