Читать книгу evaluiert (E-Book) - Lars Balzer - Страница 12

	Lernziele von Kapitel 4:
	❙ Den Fachbegriff «Evaluationsgegenstand» definieren und themenrelevante Elemente aufzählen können❙ Eine Erstbeschreibung eines Evaluationsgegenstandes anfertigen können

Bestimmung von Evaluationsgegenstand und dessen Zielen

Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).

Zu einem Evaluationsgegenstand kann alles Mögliche werden

Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben (➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.

Der Evaluationsgegenstand muss konkret bestimmt werden

Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.

Wie bestimmt man einen Evaluationsgegenstand?

Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.

Merkmale des Evaluationsgegenstandes

Relevante Beschreibungsdimensionen sind dabei:

❙ Name, Träger, Abschlusstyp

❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende

❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)

❙ fachwissenschaftliche Bezüge

❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)

❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)

❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen

❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis

❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)

❙ Kennzahlen (z.B. Anzahl Teilnehmende, realisierte Teilnehmendenstunden/-tage, Anzahl und Art der Abschlüsse, Abbruchquoten und -gründe, Umsatzzahlen)

❙ «History» (Veränderungen z.B. bezüglich Rechtsgrundlagen oder Zielen/Inhalten/Workload sowie Darstellung überwundener Schwächen früherer Durchführungen)

❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)

Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.

Teil- oder Gesamtevaluation?

Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,

❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder

❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.

Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:

❙ Beim Evaluationszweck (➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.

❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.

❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.

Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.

➞ Lösung auf Seite 233

	Übungsaufgabe 6:
	«Kurzbeschreibung eines zu evaluierenden Studiengangs»Lösen Sie nun die Übungsaufgabe 6: Stellen Sie sich vor, ein Studiengang sei zu evaluieren. Erstellen Sie eine Kurzbeschreibung dieses Evaluationsgegenstandes auf ein bis zwei Seiten. Nutzen Sie hierfür die zu Beginn von ➞ Kapitel 4 aufgelisteten «relevanten Beschreibungsdimensionen». Übertragen Sie diese in die linke Spalte einer zweispaltigen Tabelle und notieren Sie in der rechten Spalte jeweils Stichworte. Halten Sie zu denjenigen Dimensionen, zu denen Sie nichts oder wenig formulieren können, fest, welche die nächsten Schritte sein könnten, um diese Lücken zu schließen.

Ziele des Evaluationsgegenstandes

Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1 –, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.

BEISPIEL 2

Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.

Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.

Ein allgemeines Leitziel von Lernen

Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).

Ziele im Konzept und der Weg zur Zielerreichung

Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.

Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.

Zielklärung

Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug der Zielklärung verfügen. Patton (2012, S.215ff.) konkretisiert dies mit den folgenden zehn Prinzipien für bedeutsame und nützliche Ziele:

1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.

2) Unterscheide klar zwischen Outcomes und Aktivitäten.

3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.

4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.

5) Outcome-Formulierungen sollen leicht verständlich sein.

6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.

7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.

8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. (➞ Kapitel 7)

9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.

10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.

Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.

Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.

Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)

Leitziel

Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.

Mittlerziel

Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.

Detailziel

Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.

BEISPIEL 3

Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.

Leitziel der Weiterbildungseinrichtung einer Hochschule:

«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»

Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:

«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»

Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:

«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»

Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).

Perspektivenwechsel bei der Zielbestimmung

Die konkrete Zielbestimmung ist zudem herausfordernd, wenn die Perspektive gewechselt wird, aus der man auf einen Evaluationsgegenstand schaut (was immer, zumindest probehalber, getan werden sollte).

BEISPIEL 4

Wird der Evaluationsgegenstand IT-Schulung aus der Sicht von Verantwortlichen einer Fortbildungsinstitution betrachtet, so kann der Lernerfolg einer gesamten Lerngruppe im Vordergrund stehen. Aus der Warte eines einzelnen Teilnehmenden kann dessen Lernerfolg (oder der einer bestimmte Teilgruppe) viel wichtiger sein, sodass Fragen der individuellen oder gruppenspezifischen Wirkungen einer Schulung in den Vordergrund rücken. Ist der Auftraggeber einer IT-Schulungsevaluation ein Verlag, der IT-Schulungsmaterialien zur Verfügung stellt, so kann sich der Fokus erneut verändern. Zwar ist auch hier Lernerfolg wünschenswert, aber es geht stärker um Einführungs- und Nutzungsbedingungen sowie die Bewertung der Materialien.

Intendierte Ziele des Evaluationsgegenstandes sowie ungewollte und unerwartete Resultate

Wie weiter oben schon beschrieben, ist darauf zu achten, dass eine ausschließliche Bestimmung der intendierten Ziele des Evaluationsgegenstandes zu kurz greift. Darüber hinaus müssen auch Vorstellungen über ungewollte und unerwartete Resultate sowie unerwünschte, aber bekannte Nebenresultate entwickelt werden.

BEISPIEL 5

Eine erfolgreiche Vermittlung von IT-Wissen als ein wichtiges Ziel einer IT-Schulung kann von vielen erwünschten wie auch unerwünschten/unvorhergesehenen Folgen begleitet werden. Handelt es sich bei einem Schulungszentrum z. B. um eine firmeninterne Fortbildungsinstitution, kann sich das Qualifikationsgefüge innerhalb der Firma dergestalt verschieben, dass Gehaltsbegehrlichkeiten geweckt werden, dass neuer Schulungsbedarf hinsichtlich einer Vertiefung des Gelernten entsteht, dass Schulungsbedarf für die noch nicht geschulten Mitarbeitenden gefordert wird oder dass für bestimmte Arbeitsbereiche ein Mangel an Fachkräften resultiert, da sich diese für andere Tätigkeiten weiterqualifiziert haben. Ein schlecht geplantes Fortbildungsprogramm kann die gesamte Organisationsstruktur eines Betriebes durcheinanderbringen. Eventuell kann dieselbe ebenfalls in den Fokus einer Evaluation geraten, wenn die Schulung betreffende Zufriedenheitsaspekte eine Rolle spielen. So mögen Teilnehmende zwar viel gelernt haben, was einem wichtigen Ziel der Schulung entspräche, aber gleichzeitig kann eine Reihe neuer Probleme auftauchen und eine sich in der Evaluation widerspiegelnde Unzufriedenheit erzeugt werden. Darüber hinaus kann eine langweilige Schulung demotivierend statt motivierend wirken, oder Streit zwischen Teilnehmenden kann Kommunikationskanäle nicht öffnen, sondern für lange Zeit verschließen. Und was würde ein Bildungsträger sagen, wenn das eingesetzte Schulungsmaterial derartig gut wäre, dass niemand mehr eine Schulung bucht, dafür aber jeder das Begleitheft erwirbt?

Unübersichtlichkeit bei komplexen Evaluationsgegenständen

Die Erstbeschreibung und das Zielsystem sind Kernelemente einer Gegenstands- oder Programmbeschreibung. Bei größeren, auf längere Zeit angelegten Bildungsmaßnahmen können beide so zahlreiche Daten und Informationen so liefern, dass diese sowohl für die Programmmitarbeitenden als auch für die Evaluierenden schwer zu fassen sind und die Programmbeschreibung unübersichtlich werden kann.

Logische Modelle als Visualisierungen von Evaluationsgegenständen

Um dieser Herausforderung zu begegnen, sind textlich-visuelle Darstellungen entwickelt worden, welche es ermöglichen, die wesentlichen Bestandteile des Programms und ihre Hauptverbindungen auf einen Blick zu sehen. In der Evaluationsfachsprache werden diese als «Logische Modelle» bezeichnet. Der Begriff bringt zum Ausdruck, dass ein (vereinfachtes) Abbild des Programms «modelliert» wird, und dass die gedachte Logik der Abläufe oder des Ineinandergreifens der Programm-Elemente sichtbar gemacht werden soll. Hoch gegriffen kann auch von der «Wirklogik» des Programms gesprochen werden, wobei eine solche Bezeichnung zusätzlich theoretisch begründete und empirisch bewährte Aussagen über die Wirkmechanismen erfordert, welche dazu führen, dass die Interventionen (unter bestimmten, anzugebenden Bedingungen) die angestrebten Zielzustände tatsächlich auslösen. Solche im Vergleich zu Logischen Modellen anspruchsvolleren «Programmtheorien» schließen deren wesentliche Elemente mit ein und sind dabei umfassender und differenzierter ausgearbeitet. Insbesondere werden die für den gedachten Programmablauf und die Verbindungen zwischen den Programmelementen relevanten Annahmen expliziert. Solche Wirkmechanismen werden möglichst durch vorliegende Forschungs- oder Evaluationsergebnisse bzw. für den Evaluationsgegenstand einschlägige Theorien begründet (vgl. Giel, 2013; Haubrich, 2009).

Giel (2013, S. 230) schreibt dazu: «Außerdem ist auch bestehendes Wissen einzubeziehen und auf bereits überprüfte Hypothesen zurückzugreifen. Eine Strategie, die oftmals vernachlässigt wird.» Dabei bieten auf den Bildungsbereich spezialisierte Online-Forschungsdatenbanken leichten Zugang zu einschlägigen Berichten und Fachartikeln. Beispielsweise genannt seien der Deutsche Bildungsserver, das Fachportal Pädagogik und pedocs für Deutschland, die Datenbank der Schweizerischen Koordinationsstelle für Bildungsforschung in der Schweiz, schule.at in Österreich, Eurydice für die EU und das Education Resources Information Center ERIC für den englischsprachigen Raum.

Neben Logischen Modellen und Programmtheorien existieren weitere Wirkmodelle. Balthasar und Fässler (2017) vergleichen z. B. «Logic Model», «Theory of Change» und den «realistischen Evaluationsansatz» miteinander.

Ein sehr einfaches Logisches Modell nutzt Michael Patton in seinen Workshops und Präsentationen. Ein Programm kann stark vereinfacht mit drei Elementen dargestellt werden:

Ein einfaches Logisches Modell für die Planungsphase des Programms

Abbildung 3: Einfaches Logisches Modell nach Patton in der Planungsphase des Programms

Bei Bildungsprogrammen ist die Ausgangslage oft dadurch charakterisiert, dass die Lerneingangssituation bei den Zielgruppen des jeweiligen Bildungsprogramms (IST) gegenüber den gesellschaftlich, von den Finanzierenden des Bildungsprogramms oder von den Teilnehmenden selbst gesetzten Zielen (SOLL) eine Lücke aufweist. Diese wird auch als «Bildungsbedarf» bezeichnet. Um diese Lücke zu schließen oder zumindest zu verkleinern, werden Interventionen geplant – also Bildungsmaßnahmen mit auf die Ziele zugeschnittenen Inhalten und Methoden. Eine wichtige Voraussetzung für einen Programmerfolg ist, dass die drei Elemente gut aufeinander abgestimmt sind, wofür die Programmverantwortlichen ihr Fachwissen zum jeweiligen Bildungsgebiet sowie pädagogisches Fachwissen (u.a. Lerntheorien, didaktische Theorien) einsetzen. Evaluation hat hier die Aufgabe, die Passung der Ziele auf die Bedarfe, die Passung der Interventionen auf die Ziele und die Gesamtkonsistenz des Programmkonzeptes samt seiner grundsätzlichen Umsetzbarkeit zu beschreiben und zu bewerten (vgl. proaktive und klärende Evaluation in ➞ Kapitel 6.1.1)

Ein einfaches Logisches Modell für die Realisierungsphase des Programms

Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:

Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms

Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).

Nutzen der einfachen Logischen Modelle

Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.

In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).

Der Programmbaum als anschauliches Logisches Modell

Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm bereitstellt. Das Konzept schließlich enthält den genetischen Code für das Programm (der allerdings – im Gegensatz zu einem echten Baum – verändert werden kann). Ähnlich den beiden Drei-Elemente-Modellen ist die Baummetapher eine starke Vereinfachung gegenüber dem tatsächlichen Programm. Dieses läuft in der Praxis nämlich nicht nur linear von unten nach oben ab, sondern es gibt immer wieder – auch unvorhergesehene – Rückschleifen, Unterprogramme, eingebettete Programme oder hintereinander geschaltete Programme (sogenannte Kaskadenprogramme). Es handelt es sich also um ein notwendigerweise unvollständiges Modell, das nicht mit der Realität des Programms zu verwechseln ist.

Abbildung 5: Programmbaum

Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:

Elemente des Programmbaums

❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).

❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).

❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.

❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.

Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).

Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.

Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik

Element	Kurzdefinition	Beispiele
Kontext	Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller und anderer Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern	Gesetze (Schulgesetze, Kinder- und Jugendhilfegesetz, Sozialgesetzbuch IV etc.), Verfügbarkeit Neuer Medien (Multimedia-PCs, Smartphones, drahtloser Internetzugang in der Öffentlichkeit, Verbreitung des Internets sowie dessen Image in kulturellen Milieus oder sozialen Schichten)
Struktur	Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands etc.	Rechtsform, Kapital- und IT-Ausstattung, Kooperationsvielfalt und -dichte des Bildungsträgers (z.B. Schule, Jugendzentrum), Leitbild
Incomes	Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm ‹hineinkommen›, insbesondere Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Auswahl der Teilnehmenden beeinflussbar)	Lerneingangsbedingungen (Vorwissen, Lernkompetenzen, Intelligenzarten und -niveaus), Medienkompetenzen, Mediennutzungsgewohnheiten, Sozialkompetenzen, Wünsche und Bedarfe der Lernenden (u.U. systematisch durch Diagnoseverfahren bestimmt)
Inputs	Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar	Personal- und Sachaufwendungen, Hard- und Softwareausstattung für Lernende und Lehrende, Qualifikationen der Lehrpersonen
Konzept	Gedanklicher Entwurf, welche Resultate bis wann, wo/bei wem ausgelöst werden sollen (Zielsystem), und welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan)	Förderantrag für ein Medienprojekt, Curriculum für eine Jugendbildungsmaßnahme, Aktionspläne; einschließlich Lernzielen, Annahmen zu Wirkmechanismen von medienpädagogischen Interventionen
Aktivitäten	Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei der Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten)	Interventionen: Blended Learning zu Audio- oder Videoapplikationen; geführte Diskussionen zur OnlinespieleNutzung. Hilfsaktivitäten: Mitarbeiterführung, Teamaufbau, technische Betreuung der Online-Lernplattform. Zielgruppenaktivitäten: Lernen, Prüfungen ablegen etc.
Outputs	Durch die Interventionen erzeugte Resultate wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Nutzenden/Zielgruppen mit den Interventionen	Verteilte Einladungen zu Seminaren, abonnierte Newsletter; Hits und Verweildauer auf der Website; Anzahl der Beiträge in einem Forum, Gruppenstunden, Beratungsgespräche, Teilnehmertage/Teilnahmestunden
Outcomes	Intendierte Resultate von Aktivitäten/Interventionen des Programms bei/Vorteile für Mitglieder der Zielgruppe (unterscheidbar nach kurz-, mittel- und langfristig)	Erhöhtes Wissen, verbesserte Fähigkeiten im Umgang mit Medien, selbstsicheres Verhalten, Erweiterung des eigenen Handlungsspektrums z.B. auch bei bewusster Medienabstinenz
Impacts	Resultierende Merkmale sozialer Systeme, insbesondere von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen etc.), von Sozialräumen (Nachbarschaften, Kommunen, Regionen etc.) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes etc.)	Verschiebung der Anteile und durchschnittlichen Nutzung verschiedener Medienarten in der Gesellschaft; verbesserte Marktchancen für «serious games» und Lernsoftware
Nicht-intendierte Resultate	Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms (können nachträglich positiv oder negativ bewertet werden)	Evaluationsteilnehmende Jugendliche werden durch die Präventionskampagne «Mediale Gewalt im Internet» auf gewaltverherrlichende Spiele erst aufmerksam und spielen sie (vermehrt); Mädchen nutzen noch weniger Neue Medien

VERTIEFUNGSLITERATUR

❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).

❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.

❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.