Читать книгу Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts - Christoph Waldhaus - Страница 10

1.2 Evaluationsstandards

Damit sowohl die Anforderungen aus der Praxis als auch wissenschaftliche Standards und Richtlinien beim Durchführen von Evaluationen berücksichtigt bzw. die Qualität von Evaluationen optimiert und gesichert werden können, entwickelte das Joint Commitee on Standards for Educational Evaluation1 Richtlinien, die beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen.

Diese Qualitätsmaßstäbe sind im Handbuch der Evaluationsstandards festgehalten und richten sich sowohl an EvaluatorInnen als auch an AuftraggeberInnen. Sie sind nicht als starre mechanische Regeln, sondern als Leitprinzipien zu verstehen und enthalten wichtige Hinweise und Warnungen zur Vermeidung von Fehlern, die bei der Konzeption bzw. der Durchführung von Evaluationen auftreten können. Zudem bezeichnen sie, welche Vorgehensweisen allgemein als akzeptabel bzw. inakzeptabel gehalten werden und zeigen die zurzeit beste Praxis auf (vgl. Sanders 2006:35). Die aktuelle Version sieht folgende Standards für Evaluationen vor:

1.2.1 Inhalte der Evaluationsstandards

Nützlichkeitsstandards	Nützlichkeitsstandards legen fest, ob eine Evaluation den tatsächlichen Informationsbedürfnissen der jeweiligen AdressatInnen gerecht wird. Dazu werden die AdressatInnen und deren Evaluationsbedürfnisse genau ermittelt und die Evaluation demgemäß durchgeführt. Zudem müssen die gewonnenen Informationen bedeutsam sein und rechtzeitig ermittelt werden.
Durchführbarkeitsstandards	Durchführbarkeitsstandards betonen die Praxisbezogenheit von Evaluationen. Diese werden in der Regel nicht in einem Labor, sondern in einem natürlichen Umfeld durchgeführt und verbrauchen daher Ressourcen. Folglich müssen sie so konzipiert sein, dass sie nur so viel Material, Personal, Zeit etc. in Anspruch nehmen, wie erforderlich ist.
Korrektheitsstandards	Die Korrektheitsstandards fordern, dass Evaluationen rechtlich und ethisch korrekt durchgeführt und die Rechte (Privatsphäre, Zugänglichkeit zu Informationen, Schutz der Persönlichkeit etc.) der an Evaluationen beteiligten Personen gewahrt und respektiert werden.
Genauigkeitsstandards	Die Genauigkeitsstandards legen fest, ob eine Evaluation angemessene Informationen hervorbringt. Es sollen die relevanten und als wichtig erachteten Daten erhoben und beurteilt werden. Die Daten sollen technisch angemessen sein und die Urteile müssen in einem logischen Zusammenhang mit den Daten stehen. Damit wird die Güte und Verwendbarkeit der Informationen bestimmt.

Tab. 1: Inhalte der Evaluationsstandards in Anlehnung an Sanders (vgl. 2006:31f)

Natürlich muss an dieser Stelle darauf hingewiesen werden, dass diese Standards ursprünglich in den USA entwickelt wurden und eine Eins-zu-eins-Übertragung nicht für alle Länder und alle Situationen möglich und sinnvoll ist. Es ist ratsam, zuerst den Evaluationskontext zu analysieren und dann eventuell nötige Adaptionen durchzuführen. Insgesamt sind diese potentiellen Anpassungen jedoch, wie auch Beywl/Widmer (2006:261) festhalten, »eher geringfügiger Art«, weswegen sich die Evaluationsstandards als Basis für die meisten Evaluationen eignen. Dies trifft vor allem auf die Grundstruktur mit den vier genannten Hauptgruppen (Nützlichkeits-, Durchführbarkeits-, Korrektheits- und Genauigkeitsstandards) zu.

Im Bereich des universitären Fremdsprachenunterrichts können diese Standards meiner Erfahrung nach weitgehend unverändert übernommen werden, wenngleich der oben angesprochene Kontext durch die Ausführungen in den Theoriekapiteln (Kapitel 3, 4, 5) zuerst genau analysiert und bestimmt werden sollte. Dies ist nötig, um festzustellen, welche der einzelnen Standards für die Evaluation von Fremdsprachenkursen, wie sie hier vorgestellt wird, in welcher Form und in welchem Umfang sinnvoll und plausibel sind. Neben diesen bereits erwähnten sind auch noch weitere Standards wie z.B. die genannten ESG sowie andere Qualitäts- und Bildungsstandards zu beachten.

1.2.2 Evaluationsstandards im Detail

Nützlichkeitsstandards	Ermittlung der Beteiligten und Betroffenen Glaubwürdigkeit der EvaluatorInnen Umfang und Auswahl der Informationen Feststellung von Werten Klarheit des Berichts Rechtzeitigkeit der Verbreitung des Berichts Wirkung der Evaluation
Durchführbarkeitsstandards	Praktische Verfahren Politische Tragfähigkeit Kostenwirksamkeit
Korrektheitsstandards	Unterstützung der Dienstleistungsorientierung Formale Vereinbarungen Schutz individueller Menschenrechte Human gestaltete Interaktion Vollständige und faire Einschätzung Offenlegung der Ergebnisse Deklaration von Interessenskonflikten Finanzielle Verantwortlichkeit
Genauigkeitsstandards	Programmdokumentation Kontextanalyse Beschreibung von Zielen und Vorgehensweisen Verlässliche Informationsquellen Valide Informationen Reliable Informationen Systematische Informationsüberprüfung Analyse quantitativer Informationen Analyse qualitativer Informationen Begründete Schlussfolgerungen Unparteiische Berichterstattung Meta-Evaluation

Tab. 2: Evaluationsstandards im Detail (vgl. Sanders 2006)

Um die im folgenden Abschnitt diskutierten Probleme bei den untersuchten Lehrveranstaltungsevaluationen beim Entwurf des in diesem Band vorgestellten Modells weitgehend zu vermeiden, werden sämtliche der hier genannten Standards bei dessen Konzeption berücksichtigt.