Читать книгу evaluiert (E-Book) - Lars Balzer - Страница 20

Die zentralen Rollen der Evaluierenden

Evaluationen können nicht von irgendjemandem durchgeführt werden, sondern nur von Personen, die für diese Aufgabe besonders qualifiziert sind: den professionellen Evaluierenden (Russ-Eft, Bober, de la Teja, Foxon & Koszalka, 2008; Scriven, 1996, S.158). Nachfolgend werden deren Rollen und Eigenschaften näher beschrieben.

Evaluierende können sehr viele verschiedene Rollen übernehmen, was bedeutsame Auswirkungen auf die Ausrichtung der gesamten Evaluation hat.

Nach Wottawa (1991, S.154) können vier typische Rollen unterschieden werden:

❙ der «Faktensammler», der primär für das Bereitstellen von Ergebnissen verantwortlich ist;

❙ der «Gutachter», der auch Bewertungen vornimmt;

❙ der «Entwickler», der hilft, aus den gewonnenen Ergebnissen Neues zu gestalten;

❙ der «Moderator», der namentlich die Zielfindung unterstützend begleitet.

Evaluative Beratung

Evaluierende arbeiten häufig mit Gruppen zusammen, die sich aus einer oder mehreren der vorgenannten Akteurskategorien zusammensetzen. Für solche Begleit- oder Steuergruppen leisten sie die «evaluation facilitation», eine evaluativ qualifizierte Fach- und Prozessberatung. Die Gruppen werden dabei unterstützt, gemeinsam Klärungsprozesse durchzuführen, und dabei evaluative Denkweisen anzuwenden (vgl. Patton, 2018b, S. 7–16).

Interne und externe Evaluation

Darüber hinaus können Evaluierende eine interne oder externe Position einnehmen (interne bzw. externe Evaluation). Widmer spricht in diesem Zusammenhang von Organisationsinternen versus Organisationsexternen (2004, S.85). Interne Evaluation wird von Personen gesteuert, die Mitglieder der die Bildungsmaßnahme tragenden Organisation sind. Externe Evaluationen führen hingegen Evaluierende durch, die von außerhalb kommen, z.B. aus Evaluationsinstituten oder -büros (Berkemeyer, Müller & van Holt, 2016, S.212). Diese Positionierung der Evaluierenden zu der den Evaluationsgegenstand tragenden Organisation fordert ihnen ab, immer wieder Transparenz über ihre Aufgaben und Zuständigkeiten herzustellen (Stufflebeam, Madaus & Kellaghan, 2000 S.28; Widmer, 2004, S.85).

Inhouse-Evaluation als Unterform der internen Evaluation

Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.

Merkmale interner Evaluation

Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).

Merkmale externer Evaluation

Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.

Selbst- und Fremdevaluation

Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».

extern/intern und selbst/fremd

Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig (➞ Kapitel 7 und ➞ Kapitel 10).

Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3 und ➞ Kapitel 6.1).

Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.

Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).

Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).

BEISPIEL 8

Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht auf den Bildungsbereich spezialisiert ist – eine externe Evaluation in Auftrag zu geben, um mit einem Blick von außen eine weitere sichere Basis für die Grundsatzentscheidung über die Weiterführung des Programms, eventuell verbunden mit einer grundlegenden Curriculums-Revision, zu erhalten.

An Evaluierende werden – teils in Abhängigkeit zu ihrer Rollenzuschreibung – vielfältige Anforderungen gestellt.

So ist Evaluationsexpertise von zentraler Bedeutung. Scriven (1996, S.160) nennt als Anforderungen an Evaluierende u.a. Kenntnisse zu qualitativen und quantitativen Forschungsmethoden, zu testtheoretischen Konzepten, zu juristischen Bedingungen von Datenerhebungen, zu Mittelverwendung und persönlichem Umgang mit dem Evaluationsbudget und -personal, zu Personalevaluation (Mitarbeitendenbeurteilung), zu Ethik, Bedarfsanalysen, Kostenanalysen, Synthesemodellen, Evaluationsmodellen sowie zu evaluationsspezifischer Berichterstattung. Für ihn von geringerer Bedeutung ist in einem solchen Fall die Fachkenntnis der Evaluierenden im konkreten Handlungsfeld.

Wie weiter oben schon beschrieben (➞ Kapitel 2.1), hat die DeGEval – Gesellschaft für Evaluation e.V. Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur empirischen Untersuchungstätigkeit werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Auch die Anforderungsliste der Schweizerischen Evaluationsgesellschaft (2012), die nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, aber zumindest an Evaluationsteams, meldet mit evaluationsspezifischen Grundkenntnissen (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodischen Kenntnissen (Konzepte und Designs von Evaluationen, Methoden und Instrumente der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie sozialen und diversen persönlichen Kompetenzen ähnliche Ansprüche an.

Beywl, Speer und Kehr (2004, S.110) stellen für den Bereich der Sozialpolitik fest: «Nur wenige Evaluatoren/-innen bringen ein so breites Kompetenzprofil mit, […] was ggf. aufwendigere Teamlösungen erforderlich macht, wodurch evtl. auch Abhängigkeiten eines/-r einzelnen stark involvierten Evaluators/-rin vorgebeugt werden kann.» Dies dürfte auch für Bildungsevaluationen gelten.

Torres (1991, S.189) definiert für intern agierende Evaluierende spezifische Anforderungen. Sie schreibt jenen die Rolle beratender Vermittler zu, die besondere Fähigkeiten brauchen, um den spezifischen Kontext, in dem sie agieren, verstehen und handhaben zu können. Zu diesen Fähigkeiten zählt demnach, kontextbezogene Einflüsse zu verstehen (vgl. dazu Conner, Fitzpatrick & Rog, 2012; vgl. speziell für die Weiterbildung Hansen, 2010, S.18–101), die Perspektiven von Beteiligten und Betroffenen zu identifizieren und zu verstehen, Glaubwürdigkeit und Vertrauen zu maximieren, Methoden an den erkenntnistheoretischen Orientierungen des Evaluationspublikums auszurichten, den Verantwortlichen Entscheidungen und Ergebnisse nahezubringen, dieselben über unterschiedliche Ansichten und Perspektiven zu unterrichten, Toleranz gegenüber Mehrdeutigem aufzubringen sowie Veränderungen zu unterstützen. Viele dieser Kompetenzen gelten auch für andere Evaluationsarten.

Glaubwürdigkeit der Evaluierenden

Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.

Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.

Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).

➞ Lösung auf Seite 233

	Übungsaufgabe 7:
	«Mögliche Rollen für Programm und Evaluation; Einsätze zum Programm»Lösen Sie nun die Übungsaufgabe 7:
	a) Charakterisieren Sie kurz (maximal 1000 Zeichen) ein Bildungsprogramm aus Ihrem Erfahrungsbereich (eventuell auf Ihr Ergebnis zu Übungsaufgabe 6 zurückgreifen).b) Welche Rollen (➞ Tabelle 2, S.47) kann eine Leitungsperson in Bezug einerseits auf dieses Programm (= den Evaluationsgegenstand), andererseits auf die darauf ausgerichtete Evaluation einnehmen? Listen Sie diese Rollen auf.c) Schreiben Sie für einige dieser Rollen eine oder mehrere Interessen (Erwartungen und/oder Befürchtungen) auf, welche sich aus der jeweiligen Rolle heraus auf das Bildungsprogramm – also nicht auf die Evaluation – richten (dreispaltige Tabelle: Rolle/Erwartungen/Befürchtungen).d) Wählen Sie ein relevantes, auf das Programm (!) gerichtetes Interesse aus und halten Sie stichwortartig fest, was eine Evaluation untersuchen könnte, sodass sie für die betreffende Rolle nützliche Informationen bereitstellt.