Читать книгу evaluiert (E-Book) - Lars Balzer - Страница 8

Bei aller Ähnlichkeit und auch angesichts gleicher Wurzeln unterscheidet sich Evaluation substanziell in ihrer typischen Zwecksetzung von Forschung.

Wofür? – Die Evaluationszwecke

Patton (2008, S.40) bringt dies auf den Punkt. Forschung suche nach Wissen und Wahrheit, nützliche Evaluation unterstütze praktisches Handeln: «Research aims to produce knowledge and truth. Useful evaluation supports action.»

Auch Forschung verfolgt nicht selten soziale Anwendungsziele (vgl. Mertens, 2015, S.52). Ihr zentrales Interesse besteht jedoch darin, («wahres») Wissen zu generieren und darauf aufbauend Theorien aufzustellen bzw. zu testen sowie auf möglichst unterschiedliche Personengruppen, Zeitpunkte, Situationen und geografische Räume zu verallgemeinern. Grundlagenforschung kann praktisch nützlich sein, aber ihre Nutzung ist zufällig und ungeplant: «Basic research may be useful, but its use is accidental and unplanned» (Vedung, 2004, S.118).

Bei Evaluationen geht es hingegen selten um Theoriebildung. Es geht ihnen primär, wie auch Ansätzen der anwendungsbezogenen Forschung, um instrumentellen Nutzen für bestimmte Stakeholder in einem konkreten Kontext (vgl. Beywl, Künzli, Messmer & Streit, 2015). Das durch Informationen gesicherte Handeln in der Praxis steht im Vordergrund. Die Ergebnisse sollen binnen kurzer Frist handlungsrelevant und verwertbar sein:

«Zur Evaluation wird empirische Wissenschaft […] durch ein spezifisches Erkenntnis- und Verwertungsinteresse»

(Kromrey, 2001, S.112).

Generalisierbarkeit von Ergebnissen spielt bei Evaluationen selten eine Rolle, denn Nutzen soll für konkrete Maßnahmen oder Programme erzielt werden. Evaluation kann analog zur Erwachsenenpädagogik als «Handlungswissenschaft» bezeichnet werden.

SCHLÜSSELAUSSAGE

Forschung im Bereich Bildung will möglichst verallgemeinerbare Erkenntnisse über Lernendentypen, Mechanismen des Lernens, Zusammenhänge von Bildungsinstitutionen, Lernarrangements und Lernmethoden, Strategien der Bildungsfinanzierung etc. erzielen, will diese auf Theorien und Begriffssysteme abstützen und gesicherte verallgemeinerte Erkenntnis in der wissenschaftlichen Gemeinschaft der Bildungsforschenden vorantreiben.

Bildungsevaluation will für konkrete, raumzeitlich meist begrenzte Bildungsprogramme, -studiengänge oder -kurse bestimmter Bildungsanbieter oder -träger und auf deren Informationsbedarfe zeitgenau abgestimmte Daten, Schlussfolgerungen und Bewertungen bereitstellen, sodass jene Akteure Grundsatzentscheidungen treffen, Rechenschaft ablegen oder Optimierungsschritte einleiten können.

Im zweiten Fall ist präzise vorausgedacht, wozu und wann sowie über welche Kommunikationskanäle und Schnittstellen die Ergebnisse der Evaluation genutzt werden sollen: Leviton und Hughes (1981, S.528) nennen diese Art der vorgesehenen Nutzung «instrumentell». Auf die damit verbundenen Evaluationszwecke wird später ausführlich eingegangen (➞ Kapitel 6.1).

Evaluation am Beispiel des Bildungsbereiches ist die Sammlung und Nutzung von Informationen, um über ein Bildungsprogramm Entscheidungen zu treffen, wie einer der Pioniere der Bildungsevaluation schreibt:

«[…] collection and use of information to make decisions about an educational program»

(Cronbach, 1963, S.672).

Dass die Nutzung von Evaluationsergebnissen zwar theoretisch gefordert, aber praktisch nicht immer vollzogen wird, unterstreicht Patton, indem er der allgemeinen Programmevaluation ein Konzept gegenüberstellt, welches einen vorgesehenen Evaluationsnutzen für vorgesehene Nutzende zugrunde legt:

«Utilization-focused program evaluation (as opposed to program evaluation in general) is evaluation done for and with specific, intended primary users for specific, intended uses»

(Patton, 2008, S.37).

Auf welcher Basis? – Die Evaluationskriterien

Das nachfolgende Zitat von Weiss, die zu den herausragenden Evaluationstheoretikerinnen des letzten Jahrhunderts zählt, betont die Wichtigkeit des Bewertens auf Basis von Bewertungskriterien. Sie definiert Evaluation als eine systematische Bewertung der Durchführung und/oder der Resultate eines Programms oder einer Politik auf der Basis einer Reihe von expliziten oder impliziten Normen – und dies als Mittel zur Förderung der Verbesserung des Programms oder der Politik:

«Evaluation is the systematic assessment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy»

(Weiss, 1998a, S.4).

Indem Evaluation als nicht direkt zu einer Bewertung führend, sondern zunächst als die Identifikation, Klärung und Anwendung von belastbaren Kriterien definiert wird, um daraufhin den Wert (Güte und Tauglichkeit) eines Gegenstandes in Bezug auf diese Kriterien zu bestimmen, werden die Bewertungskriterien stark betont:

«[…] we define evaluation as the identification, clarification, and application of defensible criteria to determine an evaluations object’s value (worth and merit) in relation to these criteria»

(Fitzpatrick, Sanders & Worthen, 2012, S.7).

Stufflebeam und Coryn definieren Evaluation als einen systematischen Prozess der Bestimmung, Beschaffung, Berichterstattung und Nutzung von beschreibenden und bewertenden Informationen. Dabei benennen sie die sieben Kriteriendimensionen Güte, Tauglichkeit, Integrität (Rechtschaffenheit/Redlichkeit), Umsetzbarkeit, Sicherheit, Bedeutsamkeit und/oder Gerechtigkeit, auf deren Basis die Beschreibung und Bewertung des Evaluationsgegenstandes erfolgt:

«[…] evaluation is the systematic process of delineating, obtaining, reporting and applying descriptive and judgemental information about some object’s merit, worth, probity, feasibility, safety, significance and/or equity»

(Stufflebeam & Coryn, 2014, S.12).

Evaluation als Wissenschaft!

Patton argumentiert, dass Evaluation als Wissenschaft angesehen werden kann. Das Ziel von Wissenschaft sei es zu verstehen und zu erklären, wie die Welt funktioniert. Die Besonderheit der Evaluation bestehe darin, klären zu wollen, wie und wie gut Programme, Maßnahmen oder Interventionen funktionieren, die Veränderungen – zu ergänzen wäre: Stabilisierungen – auslösen sollen. Der Evaluation als Wissenschaft liegt eine systematische Vorgehensweise zur Bestimmung von Güte, Wert, Tauglichkeit, Nutzen und Bedeutsamkeit des Evaluationsgegenstandes zugrunde, die sich an wissenschaftliche Normen hält, zu denen die Anwendung von Logik, die Verwendung transparenter Methoden, die Überprüfung der Ergebnisse und die Bereitstellung von Belegen und expliziten Begründungen gehören, um vernunftgemäße Interpretation, Bewertung und Beurteilung zu unterstützen.

«Evaluation science is systematic inquiry into how, and how well, interventions aimed at changing the world work. Evaluation science involves systematic inquiry into the merit, worth, utility, and significance of whatever is being evaluated by adhering to scientific norms that include employing logic, using transparent methods, subjecting findings to review, and providing evidence and explicit rationales to support reason-based interpretation, valuing, and judgment»

(Patton, 2018a, S. 187).

Im Vergleich von Evaluation und Forschung ergibt sich darüber hinaus ein für die Praxis höchst relevanter, geradezu dramatischer Punkt: «Grundlagenforschung darf sich ‹irren›. Damit ist gemeint: Hypothesen, die als Ausgangspunkt gewählt werden, dürfen sich im Verlauf der Forschung als falsch erweisen. […] Deren informationsreiches Scheitern ist nicht selten der Startpunkt für grundlegende Erkenntnisse, die eine neue Forschungslinie begründen» (Kromrey, 2003, S.98).

Eine solche, die Fehlbarkeit preisende Haltung gefährdet hingegen Legitimität und Akzeptanz von Evaluation: «Bei der Konzipierung des […] Designs ist große Sorgfalt darauf zu verwenden, dass die zugrunde liegenden Annahmen und Hypothesen einen hohen Grad empirischer Bewährung aufweisen und dass der Prozess der Gewinnung, Auswertung und Interpretation aller Informationen methodisch abgesichert und mit begleitender Qualitätskontrolle abläuft. Jede falsche Schlussfolgerung im Verwertungskontext, die wegen fehlerhafter […] Daten gezogen wird, hat Konsequenzen für einen nicht absehbaren Kreis von Betroffenen» (Kromrey, 2003, S.98).

Wenn also grundlegende Skepsis, Misstrauen gegenüber jedem sicheren Befund sowie ständiges und wiederholendes Infragestellen einer Vorannahme hohe Tugenden der Grundlagenforschenden sind (gegen die allerdings nicht selten in unethischer Weise verstoßen wird), würde eine solche Haltung – zumindest, wenn in übertriebenem Maße praktiziert – die Akzeptanz und das wirtschaftliche Überleben eines Evaluationsbüros gefährden. Hier deutet sich ein erstes der vielen Dilemmata an, mit denen in Evaluationen umgegangen werden muss.

Für die angemessene Planung und Durchführung einer Untersuchung ist es unverzichtbar, eine klare Priorität auf Forschung oder Evaluation zu setzen: «Eine (unklare) Mischung schadet zumeist in beide Richtungen» (Reischmann, 2006, S.30).

Auf wessen Initiative – autonom oder beauftragt?

Der Weg zu Fragestellungen ist bei Evaluation und Forschung oft sehr unterschiedlich: In der Forschung bestimmen – zumindest vom Ideal her – die Forschenden die Fragestellungen und die wissenschaftlichen Hypothesen. Auf der Suche nach Erkenntnis sollen sie allein sich selbst und den Ansprüchen ihrer Disziplin gegenüber verantwortlich sein. In der Ausrichtung von Forschungsthemen sind sie dabei nicht selten intuitiv, durch biografische oder zeitgeschichtliche Besonderheiten geleitet. Friedrichs (1973, S.50–55) nennt dies in seiner, für die sozial- und erziehungswissenschaftliche Forschung prägenden Dreigliederung den «Entdeckungszusammenhang». Diesem widmen die Forschenden relativ wenig Aufmerksamkeit, ebenso wie dem «Verwertungszusammenhang». Für sie zentral ist hingegen der «Begründungszusammenhang» mit seinen Theorien, Hypothesen, Begriffen und dem gesamten forschungsmethodischen Inventar. Was in der Forschung eine nebensächliche Aufgabe ist – die genaue Festlegung des Evaluationsgegenstandes (➞ Kapitel 4) inklusive der Fragestellungen –, ist in der Evaluation die erste Kernleistung, für die genügend Ressourcen zur Verfügung stehen müssen.

➞ Lösung auf Seite 228

	Übungsaufgabe 2:
	«Risiken pragmatischer Evaluationen»Lösen Sie nun die Übungsaufgabe 2:
	a) Notieren Sie Gefahren und Risiken, wenn Sie sich – z.B. wegen Zeitknappheit – von wissenschaftlichen Anforderungen an Evaluation lösen und auf «Evaluationen» ausweichen, die allein pragmatischen Überlegungen folgen.b) Machen Sie einige Stichworte dazu, wie Sie sich – in Ihrer aktuellen oder künftigen Arbeitssituation – gegen solche Risiken schützen können.

Bedeutung des Kontextes

Bei Evaluationen läuft es oft anders ab: Sie sind zumeist Auftragsarbeiten, und ihre Zwecke und Fragestellungen sind zumindest grob vorgegeben. Sie werden nicht durch die Evaluierenden in eigener Regie nach ihrer Neugier und Kreativität konzipiert, sondern in enger Abstimmung mit den Auftraggebenden und weiteren Beteiligten aus dem Bereich des Evaluationsgegenstandes. Evaluationsvorhaben finden in einem kontrollierten Rahmen als Auftrag von Entscheidungsträgerinnen und -trägern statt und sind oft in politische Settings eingebunden. Mertens hebt als Besonderheit von Evaluation hervor, dass in ihr Politik und Wissenschaft von Natur aus miteinander verflochten seien. Evaluationen werden zur Bestimmung der Güte und Tauglichkeit öffentlicher Programme durchgeführt, die wiederum selbst Antworten auf – durch politische Entscheidungen bevorzugte – individuelle und gemeinschaftliche Bedürfnisse sind: «what distinguishes evaluation from other forms of social inquiry is its political inherency; that is, in evaluation, politics and science are inherently intertwined. Evaluations are conducted on the merit or worth of programs in the public domain, which are themselves responses to prioritized individual and community needs that resulted from political decisions» (Mertens, 2015, S. 52, auf Basis von Greene, 2000). Auch die nachfolgend geschilderte Möglichkeit, eine Vielzahl an Perspektiven auf den Evaluationsgegenstand einzunehmen, indem man Beteiligte und Betroffene einbezieht, kann der Vereinseitigung einer Evaluation vorbeugen, deren Vermeidung aber nicht garantieren.

Aktive Stakeholder als Partner

Beteiligte und Betroffene – Stakeholder – im Bildungsbereich sind z.B. Bildungsverantwortliche, Kursleitende, Bildungsteilnehmende und ihre Angehörigen/Vorgesetzten. Ihnen soll ein hoher Einfluss auf die Gegenstandsbestimmung und Themenfindung in der Evaluation eingeräumt werden. Im Vergleich zu deren Informationsinteressen spielen diejenigen der Evaluierenden keine oder höchstens eine untergeordnete Rolle.

Wie verwenden? – Nutzung der Evaluationsergebnisse

Bereits in der ersten Evaluationsphase wird in den Blick genommen, wer wann was konkret mit den erzeugten Evaluationsergebnissen tun soll – Pattons vorgesehener Evaluationsnutzen für vorgesehene Nutzende: «intended use for intended users» (2008, S.59). Die Ergebnisverwendung wird vorbereitet und eingeleitet in Abstimmung zwischen Evaluierenden, Auftraggebenden und Akteuren aus dem pädagogischen Feld.

Die darauffolgende Phase der Evaluation ist die Domäne der Evaluationsspezialistinnen und -spezialisten. Hier erfolgen die Auswahl der passenden Erhebungs- und Auswertungsmethoden, die Entwicklung und der Einsatz von empirischen Datenerhebungsinstrumenten, die Anwendung qualitativer und quantitativer Auswertungstechniken etc. Allerdings handeln die Evaluierenden auch hier nicht abgeschottet und isoliert von den Beteiligten und Betroffenen. Gelingende Nutzung von Evaluationsergebnissen setzt voraus, dass die Datengebenden und späteren Ergebnisnutzenden zumindest in groben Zügen verstehen, wie die Daten entstehen, und dass Transparenz und Nachvollziehbarkeit geschaffen werden.

Wertfreiheit versus Bewerten als zentrale Aufgabe

Was zunächst unproblematisch scheint, erweist sich in der Konfrontation mit dem klassischen Verständnis von Forschung, wie es in der verbreiteten analytisch-nomologischen Wissenschaftstheorie vorliegt, als höchst problematisch: Hier beschränkt sich das «Wissenschaftliche» auf den Begründungszusammenhang, also auf Theorie und daran anschließende Empirie. Werturteile sind in diesem Verständnis aus dem Kern des Forschungsprozesses fernzuhalten. Letzterer verläuft objektiviert, ganz unabhängig von Vorlieben, Interessen sowie sozialen oder moralischen Überzeugungen der Forschenden und weiterer Mitglieder des Forschungsfeldes. Werte spielen nur im Entstehungskontext – also: «Was wird geforscht und welche Forschung wird gefördert?» – und dem Verwertungskontext – «Wer macht mit Ergebnissen von Forschung was?» – eine Rolle. Für deren Behandlung hält Forschung keine systematischen Verfahren bereit, sie gelten im Forschungsprozess als unberührbar, bleiben folglich dem Spiel politisch-gesellschaftlicher Kräfte überlassen und werden dem Bereich wissenschaftsethischer Reflexion zugewiesen.

Wenn Evaluation darauf abzielt, Gegenstände der sozialen Realität zu bewerten (also sie als mehr oder weniger «gut» einzustufen), hierfür – bereits in der Phase der Gegenstandsbestimmung (Entstehungszusammenhang) – Kriterien festzulegen (z.B. Bildungsziele, Bildungsbedarfe, vermiedene unerwünschte Nebenfolgen, Kosten-Nutzen-Relationen, Gerechtigkeit bzw. eine Kombination aus diesen Kriterien) und im Verwertungszusammenhang dazu beizutragen, dass die erzeugten Evaluationsergebnisse in Richtung der zugrunde liegenden Werte genutzt werden, verstößt sie damit nicht diametral gegen Grundüberzeugungen wissenschaftlicher Forschung (vgl. ausführlich Kromrey, 2007a)?

Keine Evaluation ohne Bewertung!

Es zeigt sich ein weiterer Grundkonflikt: Evaluation will, soll und muss bewerten (sonst ist sie keine Evaluation). Sie überschreitet dabei bewusst das sichere Terrain des Begründungszusammenhangs und verwendet systematische Verfahren auch für die Festlegung von Evaluationsfragestellungen und Bewertungskriterien. Sie will die Erarbeitung von Interpretationen und Bewertungen transparent und nachvollziehbar, auf Daten basierend und die verschiedenen Perspektiven der Beteiligten und Betroffenen einbeziehend gestalten. Der Anspruch des systematischen, regelgeleiteten, wissenschaftlichen Vorgehens wird ausgedehnt vom Begründungszusammenhang auf den vorgelagerten Entdeckungszusammenhang und den nachgelagerten Verwertungszusammenhang. Dabei droht, dass Evaluation an distanzierter Objektivität verliert. Ein weiteres Dilemma, dem sich Evaluation stellen muss.

➞ Lösung auf Seite 229

	Übungsaufgabe 3:
	«Bewertungsmaßstäbe verschiedener Beteiligter»Lösen Sie nun die Übungsaufgabe 3: Versetzen Sie sich in die folgende Situation und schreiben Sie auf, nach welchen Bewertungsmaßstäben aus der Sicht der verschiedenen Beteiligten diese Bildungsmaßnahme zu bewerten sein könnte. Ergänzen Sie z.B. folgenden Satz: «Für Person x ist besonders wichtig, dass …»Die Volkshochschule in Musterstadt bietet einen Kurs «Internet für Einsteiger» an. Die Teilnehmerschaft, die sich zur ersten Unterrichtsstunde im Kursraum einfindet, ist sehr heterogen. Da sitzt Frau Wunder, die mit ihren 70 Jahren einfach einmal wissen möchte, was es mit diesem ominösen Internet auf sich hat. Sie hat schon viel darüber gelesen, aber wirklich vorstellen kann sie sich nichts darunter.Mitgebracht hat sie ihren Enkel Lukas, der schon toll mit seinem Tablet umgehen kann, dessen Eltern aber wünschen, dass er sich einmal systematisch mit diesem Thema auseinandersetzt.Herr Mazzini wurde von seinem Chef geschickt. Er soll über kurz oder lang die Firmenhomepage betreuen, die schon eine ganze Weile nicht mehr aktualisiert worden ist.Frau Schulze hat ein eigenes Geschäft, und sie sucht nach Möglichkeiten, neue Kundenkreise zu erschließen. Ihr wurde geraten, sich einmal intensiv mit den Möglichkeiten des Internets auseinanderzusetzen.Herr Scheid ist ebenfalls Senior, und dieser neumodische Kram war ihm schon immer suspekt. Da will er doch einmal sehen, was das für Leute sind, die sich stundenlang vor den Computer setzen wollen, und welche vielleicht unlauteren Beweggründe dahinterstecken.Frau Özoğuz ist die Dozentin im Kurs. Sie hat viele Jahre Erfahrung im IT-Unterricht und hat auch schon Senioren- und Kinderkurse gegeben. Am meisten Spaß macht es ihr aber, wenn alle zusammen bei ihr im Unterricht sitzen. Diese Heterogenität sei eine ganz besondere Herausforderung, sagt sie.Herr Felix hat nichts direkt mit dem Unterrichtsgeschehen zu tun, aber als IT-Verantwortlicher in der Volkshochschule Musterstadt ist er für ein kundengerechtes IT-Angebot verantwortlich. Für ihn sind es schwierige Zeiten, denn die Belegungszahlen sind schon seit einigen Semestern rückläufig. Die goldenen Computerzeiten im Schulungsbereich scheinen vorbei zu sein.

Die nachfolgende Definition schließt an die vorangegangenen Ausführungen an und verdichtet die Besonderheiten von Evaluation in den diskutierten Dimensionen. Bei der Verwendung der Definition wird auf die vorangegangenen Abschnitte zurückgegriffen.

DEFINITION

Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.

Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.

Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.