Читать книгу Evaluation in der Sozialen Arbeit - Joachim Merchel - Страница 7
Оглавление1 Evaluation – was ist das?
Notwendigkeit klarer Begriffsverwendung
In der Einleitung wurde bereits angedeutet, dass der Begriff „Evaluation“ mit seiner zunehmenden Verbreitung Gefahr läuft, zu einer unspezifischen Formel zu verkommen, die man immer dann ins Spiel bringt, wenn ein Sachverhalt „irgendwie“ bewertet werden soll. Auf diese Weise wird aus Evaluation schnell so etwas wie Modeschmuck: Man trägt ihn, weil er aktuell gern gesehen wird – und man legt ihn wieder ab, wenn etwas anderes zur Mode wird. Bisweilen werden bereits ein einfacher Sach- oder ein Jahresbericht oder schlichte statistische Angaben über Besucher bzw. Nutzer von Angeboten als „Evaluation“ bezeichnet.
„In der pädagogischen Praxis fungiert Evaluation derzeit als Ausweis professioneller Fortschrittlichkeit, sodass nahezu alles, was früher als Teamsitzung, Nachbereitung, Reflexion oder Auswertung bezeichnet wurde, nun als Evaluation auftritt.“ (Lüders / Haubrich 2003, 306)
Die unklare Begriffsverwendung führt z. B. zu dem erstaunlichen Ergebnis, dass bei einer Befragung mehr als zwei Drittel der Jugendämter angaben, dass in ihrem regionalen Zuständigkeitsbereich evaluiert werde. Da nicht genauer nach Modalitäten der vermeintlichen Evaluation gefragt wurde, vermuten auch die Autoren der Studie, dass bei näherem Hinsehen „Evaluationsverfahren“ praktiziert wurden, „die zum Teil auch nur bedingt den Namen verdienen“ (Pluto et al. 2007, 382). Die Beliebtheit des Begriffs und seine inflationäre Verwendung ziehen die Notwendigkeit nach sich, sich erst einmal darüber zu verständigen, was „Evaluation“ bedeutet. Daher werden in Kapitel 1.1 zunächst einige zentrale Definitionselemente benannt, die Evaluation von anderen Bewertungsmodalitäten unterscheiden. Da in diesem Buch von Evaluation in der Sozialen Arbeit die Rede ist, also der praxisorientierte Kontext von Evaluation im Mittelpunkt steht, bedarf es zur Vermeidung von Missverständnissen einiger kurzer Anmerkungen zum Verhältnis von Evaluation und Evaluationsforschung einerseits und Evaluation und methodischem Handeln andererseits (Kap. 1.2). Einen weiteren Schwerpunkt bilden Ausführungen zu möglichen Gegenständen von Evaluation in der Sozialen Arbeit (Kap. 1.3).
1.1 Definitionselemente von „Evaluation“
Systematisierte Bewertung
Evaluation als eine (teil-)professionelle Praxis beginnt dort, wo ein Bewertungsvorgang methodisch systematisiert wird mit dem Ziel, ein verbessertes Handlungswissen für die Praxis bzw. für Entscheidungen in der Praxis zu gewinnen. Eine solche, mit professionellem Impetus vollzogene Evaluation setzt sich ab von einem alltäglichen Bewerten, auch wenn dieses auf der Grundlage eines bewussten, an Kriterien ausgerichteten Abwägens oder Prüfens stattfindet. Das Bewerten eines Films nach technischen oder künstlerischen Kriterien oder das mehrmalige Abschmecken einer Suppe während eines Kochvorgangs sollte man sinnvollerweise nicht als „Evaluation“ etikettieren. Denn ansonsten ließen sich vielfältige und unermesslich zahlreiche Geschichten unter dem Titel „Mein evaluativer Alltag“ schreiben. Wenn demgegenüber der Evaluationsbegriff mit einem systematisierten Vorgehen und einem professionellen Impuls in Verbindung gebracht wird, so kann man mit Lüders / Haubrich (2004, 324 ff) unterscheiden zwischen
• Evaluation als Bestandteil beruflichen Handelns und
• Evaluation als Teil des Wissenschaftssystems (Evaluationsforschung).
In der beruflichen Praxis und für die strukturierte Weiterentwicklung professionellen Handelns steht eine Vielzahl von Konzepten und Strategien zur methodischen Bewertung von Maßnahmen, Konzepten, Organisationen etc. zur Verfügung, die unmittelbar an Entscheidungen und Handlungsmuster der professionellen Akteure angekoppelt sind, also unmittelbar pragmatische Zwecke verfolgen. Evaluationsforschung hingegen markiert denjenigen Teilbereich von Evaluation, der sozialwissenschaftliche Forschungsverfahren als Mittel der Erkenntnisgewinnung einsetzt und sich dabei stringent an Standards der empirischen Sozialforschung orientiert (Lüders / Haubrich 2003, 309). Mit der Ankoppelung von Evaluation an eine „professionelle Praxis“ ist zweierlei gemeint: die Bindung von Evaluation an Zwecke, die in einem professionellen Kontext verfolgt werden, und die – zumindest in Ansätzen – professionelle Methodik, mit der Evaluationsverfahren realisiert werden.
Charakteristika zu „Evaluation“
Somit lassen sich zunächst drei allgemeine Charakteristika von Evaluation festhalten (Lüders / Haubrich 2004, 318 ff):
1) Evaluation ist eine Form des Bewertens, und dies setzt voraus, dass dafür Kriterien oder Maßstäbe herausgearbeitet werden.
2) Die Bewertung erfolgt auf der Basis einer systematisierten Informationsgewinnung.
3) Die systematisierte Informationsgewinnung dient einem spezifischen praktischen Erkenntnis- und Verwertungsinteresse. Es gilt das „Primat der Praxis vor der Wissenschaft“ (Kromrey 2000, 22).
Mit diesen drei Charakteristika gehen zwei weitere Elemente von Evaluation einher:
4) Evaluation ist in der Regel eingebettet in einen organisationalen Zusammenhang; sie erfolgt in einer Organisation oder in Verbindung zu mehreren Organisationen.
5) Evaluation ist mit Qualitätsentwicklung verbunden; sie zielt auf das Erzeugen von Wissen, um professionelles Handeln und daraus folgende Ergebnisse zu verbessern.
Im Folgenden sollen diese fünf Merkmale von Evaluation näher erläutert werden.
Bewertungsmaßstäbe
Zu 1:
Die praktische Zweckorientierung von Evaluation schließt immer einen Bewertungsvorgang ein. Das durch Evaluation erzeugte Wissen dient der Bewertung des zu evaluierenden Sachverhalts, und auch der Evaluationsvorgang selbst impliziert eine Fülle von Bewertungen: von der Auswahl des Gegenstandes über die Festlegung der Evaluationsziele, die Erarbeitung und Auswahl der genauen Fragestellung, die Art der Datensammlung und die Form der Datenauswertung bis hin zur Diskussion der Ergebnisse und Schlussfolgerungen. Um Evaluationsergebnisse praxisorientiert verwerten zu können, bedarf es der Festlegung von Kriterien oder Maßstäben, die für die bewertende Erörterung der Evaluationsergebnisse zugrunde gelegt werden. Der Zusammenhang, in dem die Evaluation und deren Ergebnisse verwertet werden, macht Evaluation immer zu einem „politischen“ Vorgang: ein Prozess, in dem Wertmaßstäbe zur Geltung gebracht werden, in dem Interessen und darauf bezogene Hoffnungen und Befürchtungen aktualisiert werden und in dem daher mit strategischen Kalkülen verschiedener Interessenträger gerechnet werden muss. Evaluation löst deswegen in der Regel eine soziale Dynamik aus, weil Interessen von Beteiligten angesprochen werden, Handlungsmöglichkeiten von Einzelnen oder Gruppen möglicherweise in Frage stehen (eingeschränkt oder ausgeweitet werden können), Gewinne oder Verluste von materiellen und nichtmateriellen Ressourcen (finanzielle Förderung, Ausstattungen mit Arbeitsmaterial, Ansehen, Geltung etc.) drohen. Daher ist Evaluation nicht nur als ein sachlicher Vorgang, sondern auch als ein Prozess mit einem hohen sozial dynamisierenden Potenzial zu betrachten, was auch bei der Gestaltung des Rahmens für Evaluationen zu berücksichtigen ist (vgl. Kap. 6). Aus dem für Evaluation konstitutiven Wertbezug ist die Notwendigkeit zu schlussfolgern, dass die an einem Evaluationsprozess Beteiligten ihre Positionen offenlegen und einen Diskurs über die bei der Evaluation aktualisierten Wertsetzungen führen. Evaluation ist somit gebunden an Verfahren der Aushandlung und der diskursiven Rechtfertigung.
Maßstäbe, die als Bewertungshintergrund und als Begründung für Wertsetzungen in einer Evaluation herangezogen werden können, sind u.a.:
• Richtwerte,
• Ziele,
• Zielgruppenerwartungen,
• Erwartungen von Interessenträgern („stakeholder“),
• in der Profession geltende und durch die Profession legitimierte Standards,
• Vergleiche zu vorherigen Verläufen / Ergebnissen (Zeitreihenvergleiche),
• definierte Mindestansprüche (Minimalanforderungen),
• maximal erreichbare Werte (Definition eines Optimums) (Stockmann / Meyer 2010, 78 f).
Systematisierte Informationsgewinnung
Zu 2:
Die für die Bewertung eines Sachverhalts erforderlichen Informationen werden nicht zufällig erhoben, sondern in systematischen, methodisch angeleiteten und transparenten Verfahren. So werden z. B. in einer Kindertageseinrichtung die einzelnen Erzieherinnen in einer Teamsitzung nicht nur nach dem Eindruck gefragt, ob sich nach ihrer Einschätzung durch das Sprachförderungsprogramm, das in den letzten sechs Wochen realisiert worden ist, in den einzelnen Gruppen „etwas verbessert“ habe, sondern zur „Evaluation“ wird eine solche Bewertung erst dann, wenn genauer definiert worden ist, welche Effekte man mit dem Sprachförderungsprogramm erzielen wollte, wenn darauf ausgerichtete Beobachtungsbögen erarbeitet worden sind, und wenn Verfahren verabredet worden sind, in welchen Situationen und durch wen die Beobachtungsbögen eingesetzt werden und wie die Auswertung der dokumentierten Beobachtungen vonstattengehen soll. Um von „Evaluation“ sprechen zu können, bedarf es somit der kriteriengeleiteten, im Hinblick auf ein Wissensziel strukturierten Auswahl von Informationen, die durch diese Kriterien zu „Daten“ werden. Die gewonnenen Daten sind nur dann tauglich, wenn sie in einer an wissenschaftlichen Mindeststandards orientierten Weise gewonnen wurden: nach bestimmten Verfahrensregeln, in einem transparenten, überprüfbaren Vorgehen und nach fachlich akzeptierten Gütekriterien (z. B. Validität, Verlässlichkeit etc.). Die Datensammlung muss mittels intersubjektiver und für den zu evaluierenden Sachverhalt aussagefähiger Kriterien und Messverfahren erfolgen. Dabei muss jedoch im Blick behalten werden, dass Messen eine Voraussetzung darstellt, Evaluation jedoch darüber hinausgeht: „Messen“ ist Deskription (auf der Grundlage vorgängiger Entscheidungen), Evaluieren als darauf gegründeter Bewertungsvorgang zielt darüber hinaus auf Lernprozesse im Praxisfeld (Abs et al. 2006, 106). Mit dieser methodischen Systematisierung sorgt Evaluation für eine Distanz zum unmittelbaren Handeln in der Praxis, die Voraussetzung ist für tragfähige Prozesse des Bewertens. Damit wird es möglich, eine „Randposition“ einnehmen zu können, die eine bessere Beobachtung der Praxis erlaubt.
Praktisches Erkenntnis- und Verwertungsinteresse
Zu 3:
Evaluation erfolgt immer im Hinblick auf bestimmte Verwendungszwecke. Es werden Daten erhoben, die als Planungs- und Entscheidungshilfen genutzt werden zur Überprüfung und Verbesserung des untersuchten Gegenstandsbereichs. Es sollen Handlungen, Maßnahmen, Handlungsprogramme, Verfahrensweisen überprüft und verbessert, Entscheidungsalternativen verdeutlicht, Folgen und Nebenfolgen von Handlungen genauer in den Blick genommen, Grundlagen für eine rationalere Entscheidungsfindung gefunden werden. Dies setzt voraus, dass die Akteure der Sozialen Arbeit, die eine Evaluation in ihrem Handlungsbereich initiieren, dafür Ziele definieren. Ohne genau festgelegte Ziele ist keine sinnvolle Evaluation möglich; erst über definierte Ziele erhält Evaluation eine Richtung. In dieser praxisbezogenen Ziel- und Zweckorientierung unterscheidet sich Evaluation einerseits von anderen, in der Sozialen Arbeit praktizierten Bewertungsmodalitäten wie z. B. Supervision, kollegiale Fallberatung, Problemgespräche, „runder Tisch“, und andererseits von „gewöhnlicher“ empirischer Forschung, bei der die praxisbezogene Verwendbarkeit der Forschungsergebnisse in der Regel nicht so deutlich im Mittelpunkt steht. Weil die Akteure der Sozialen Arbeit an pragmatischen Verfahren und an der Lösung praktischer Probleme interessiert sind, wird die Gültigkeit der Ergebnisse von Evaluationen häufig mit ihrer praktischen Bewährung gleichgesetzt – anders als in der wissenschaftlichen Evaluationsforschung, die stärker an „soweit wie möglich verallgemeinerbaren Aussagen interessiert“ ist (Lüders / Haubrich 2004, 326).
Weil Evaluation „mitten im Leben“ angesiedelt ist, somit die Gegenstände der Evaluation und die Konstellationen, die auf diese Gegenstände einwirken, so vielfältig und komplex sind, kann es kein allgemeingültiges Evaluationsdesign und keine speziell auf Evaluation ausgerichteten Methoden geben. Das Evaluationsdesign muss immer wieder neu auf den Gegenstand und auf die spezifische Situation abgestimmt werden. Dabei kann man zurückgreifen auf hilfreiche und erprobte Verfahrensregeln und auf Methoden und Instrumente, die aus der empirischen Sozialforschung transferiert werden können und auf die man sich beim „Erfinden“ eines adäquaten Evaluationsdesigns stützen kann. Doch „jede Erwartung, es könne einen allgemeinen und weitgehend verbindlichen methodologischen und / oder theoretischen Rahmen, eine Art Rezeptbuch für gute Evaluationen geben, ist eine Illusion“ (Kromrey 2000, 22).
Technologische und reflexive Nutzenerwartungen
Die mit dem Verwertungsinteresse einhergehende Nutzenerwartung kann in zwei unterschiedlichen Varianten auftreten:
• in einer technologischen Variante: Hier wünschen sich die Akteure empirische Hinweise, die möglichst kausale Bezüge deutlich machen (also: was genau dafür verantwortlich ist, dass etwas so und nicht anders funktioniert oder solche und keine anderen Ergebnisse mit sich bringt). Die Hinweise auf Kausalitäten sollen die Aspekte für eine Verbesserung genau identifizieren und die Wirksamkeit einer Maßnahme kalkulierbar verbessern. In dieser Erwartungsvariante ist das Ideal: ein hoher Grad der Festlegung von Entscheidungen durch Evaluation. Die Güte der Evaluation erweist sich an ihrer Prägekraft im Hinblick auf Entscheidungen.
• in einer reflexiven Variante: Dabei erhofft man sich von einer Evaluation empirische Hinweise, die auf Differenzen zwischen Ziel und erreichtem Zustand verweisen und die dementsprechend Anlass geben zu einer Suche nach Optimierungsmöglichkeiten – ohne eine Erwartung hinsichtlich genauer Handlungsanweisungen. Man verspricht sich von der Evaluation eine Reflexionshilfe in der Hoffnung, dass die Güte der Reflexion die Wahrscheinlichkeit einer guten Entscheidung erhöht.
Die skizzierten Erwartungsmuster markieren zwei Tendenzen, die im Alltag meist eher unausgesprochen, implizit wirksam sind und zwischen denen sich Akteure der Sozialen Arbeit bewegen, wenn sie die Mühen einer Evaluation auf sich nehmen wollen. Im Vorfeld einer Evaluation sollten sich die Beteiligten klar darüber werden, welchem dieser Erwartungsmuster sie zuneigen und ob mit dem Evaluationsdesign mitsamt den Evaluationsmethoden, die sie entwerfen, ihre Erwartung realistischerweise eingelöst werden kann.
Organisationaler Zusammenhang
Zu 4:
Soziale Arbeit als helfendes und / oder kontrollierendes Handeln bei sozialen Problemen ereignet sich immer in Organisationszusammenhängen. Anders als spontanes und lebensweltliches Helfen erfolgt Soziale Arbeit in organisierter Form: Grundlage ist ein gesellschaftlicher Auftrag, sie muss sich an darauf ausgerichteten Zielen orientieren und handelt in bestimmten methodischen Mustern. Soziale Arbeit wird durch mehr oder weniger komplizierte und politisch-administrativ festgelegte Finanzierungsformen am Leben erhalten, erfordert Kooperationen und erwartbare Handlungsketten von Akteuren. Sie ist also organisiertes Handeln sowohl im Hinblick auf Abläufe als auch im Hinblick auf die Einbindung in organisationale Strukturen. Vor diesem Hintergrund ist Evaluation nicht nur als ein methodisches Arrangement, sondern immer auch im Zusammenhang einer Organisation (oder auch mehrerer Organisationen) zu sehen. Organisationen sind auf systematische Informationen angewiesen: etwa über den Grad der Zielerreichung, über die Effektivität ihrer Handlungsprogramme, über das Verhältnis von Aufwand und Nutzen ihres Handelns, über den bei ihren Adressaten und / oder Interessenträgern wahrgenommenen Nutzen ihrer Aktivitäten etc. Ohne solche Informationen sind Entscheidungen zur innengerichteten Steuerung, differenzierte Beurteilungen zur Leistungsfähigkeit von Organisationsteilen etc. und glaubwürdige Aktivitäten zur außengerichteten Legitimation nur schwer möglich. Je prekärer die Situation für eine Organisation wird, je störungsanfälliger also innere Abläufe und je bedrohlicher die Legitimationsanfragen von außen werden, desto mehr benötigt die Organisation solche Informationen, die u.a. durch Evaluation erzeugt werden können. Die wachsenden Legitimationsanfragen an Organisationen Sozialer Arbeit („Welche Effekte erzeugt Ihr eigentlich mit dem Geld, das Ihr von der Gesellschaft erhaltet?“) sowie der Druck zu größerer Flexibilität und Wirtschaftlichkeit können als ein Erklärungsfaktor für die wachsende Bedeutung des Evaluationsthemas in den letzten Jahren angesehen werden.
Verbindung zur Qualitätsentwicklung
Zu 5:
Dass im Gefolge der Qualitätsdiskussion in der Sozialen Arbeit (Merchel 2013) auch die Evaluation immer stärker in den Blick genommen wurde, ist kein Zufall. Denn „Evaluation ist untrennbar mit Qualitätssicherung und Qualitätsentwicklung verbunden“ (Böttcher et al. 2006, 7). Der Zweck, für den die Akteure die Mühe der Evaluation auf sich nehmen, besteht primär darin, genauere Informationen zur Bewertung der Qualität von Arbeit und Hinweise für eine gezielte Verbesserung von Strukturen, Prozessen und Ergebnissen des Handelns zu erhalten. Zwar ist nicht bei jeder Evaluation explizit das Thema „Qualität“ angesprochen, jedoch spielen Aspekte der Qualität implizit immer eine Rolle, auch dann, wenn „lediglich“ im Rahmen einer Konzeptevaluation Erwartungen von Interessenträgern erfragt werden oder eine Evaluation nicht präzise in die methodische Abfolge einer systematisierten Qualitätsentwicklung eingebunden wird. Der Bezug zum Thema „Güte der Arbeit“ ist immer vorhanden. Umgekehrt ist jede Form des Qualitätsmanagements auf Evaluation angewiesen: Eine systematische Überprüfung und eine gezielte Weiterentwicklung von Strukturen und Prozessen bedürfen einer Bewertung des Bestehenden und der Auswirkungen von Maßnahmen zur Weiterentwicklung der Qualität durch Daten. Insofern benötigt jedes tragfähige Qualitätsmanagement Evaluation. Auch dann, wenn das Qualitätsmanagement vorwiegend in einer Standardisierung von Verfahrensweisen liegt (wie z. B. beim Qualitätsmanagement nach DIN ISO; Merchel 2013, 79 ff, 141 ff), benötigt man Informationen darüber, ob und wie die Verfahrensstandardisierungen von den Mitarbeitern angewendet werden, mit welchen Schwierigkeiten die Anwendung verbunden ist, in welchen Fällen die Standards differenziert werden müssen, ob Verfahrensstandards mit problematischen Nebenwirkungen (z. B. äußerlicher Ritualisierung) verbunden sind (Merchel 2018a, 297 ff.) etc.; zur Erlangung solcher Informationen, wenn sie nicht nur „zufällig“ eingesammelt werden sollen, ist man auf Evaluation angewiesen. Evaluation und Qualitätsmanagement sind also nicht identisch, aber Evaluation ist mit Qualitätsmanagement eng verbunden, sie ist eine methodische Voraussetzung für ein gutes Qualitätsmanagement. Die Verbindung zwischen beiden ist so intensiv, dass man (anders als z. B. Stockmann 2006b, 83 ff, der auf ein sehr enges Konzept von Qualitätsmanagement rekurriert) die gemeinsamen Intentionen und die methodisch-instrumentelle Verkoppelung stärker gewichten sollte als die Unterschiedlichkeit in der Herkunft beider Ansätze.
Zusammenfassend kann man Evaluation somit charakterisieren als ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und in der Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll. (Böttcher et al. 2006, 9; Lüders / Lüders 2004, 318; Kromrey 2000, 22; Stockmann / Meyer 2010, 64 ff)
1.2 Evaluation zwischen methodischem Handeln und Evaluationsforschung
Evaluation als ein methodischer Ansatz zur systematischen Bewertung von Gegenständen bzw. Sachverhalten mit praktischer Absicht muss sich positionieren zwischen zwei konzeptionellen Vorstellungen, die ebenfalls im Evaluationsbegriff enthalten sind: einem Verständnis, das Evaluation als einen „normalen“ Bestandteil jedes professionellen Handelns ansieht, und einer Konzeptionsvorstellung, die Evaluation als eine Form sozialwissenschaftlicher Forschung versteht und mit Evaluationsforschung gleichsetzt. Das Schwierige für eine Positionsfindung zwischen diesen beiden Verständnissen von Evaluation liegt darin, dass eine „Evaluation in pragmatischer Absicht“, wie sie in diesem Buch zugrunde gelegt wird, einerseits Elemente der beiden Verständnisse in sich aufnimmt und andererseits spezifische Akzente setzt, in denen sie sich von ihnen unterscheiden muss.
Bewertung als Teil professionellen Handelns
Dass eine Bewertung von Strukturen, Prozessen und Ergebnissen zu einer professionellen Handlungsweise gehört, leuchtet unmittelbar ein. Das legt es nahe, Evaluation als einen integralen Bestandteil von methodischem Handeln zu konzipieren. So verweist Müller (2009) darauf, dass Evaluation ein unerlässlicher Bestandteil einer professionellen Fallbearbeitung ist,
„unabhängig davon, ob sie als besonderer Handlungsschritt mit besonderen Mitteln organisiert wird oder nur als Teilfunktion der Kontrolle in andere Schritte einfließt. Immer aber heißt Evaluation, zu prüfen, ob das Handeln der Professionellen verantwortlich genannt werden kann.“ (75; ähnlich Michel-Schwartze 2002, 155 ff)
Während in anderen Veröffentlichungen zum methodischen Handeln Evaluation entweder als ein spezifischer Arbeitsschritt mit eigenen methodischen Anforderungen definiert wird (v. Spiegel 2018, 132 ff) oder der diesbezügliche Status von Evaluation offen gelassen wird (Galuske 2009), wird Evaluation in dem Zitat von Müller nicht mehr notwendigerweise als ein eigener Handlungsschritt angesehen. Es wird nahegelegt, dass jegliche Form der Prüfung, ob „das Handeln der Professionellen verantwortlich genannt werden kann“, als Bewertungsvorgang mit dem Etikett „Evaluation“ versehen werden kann. Die Ausdifferenzierung als eigener methodischer Arbeitsschritt wird als ein Definitionselement für Evaluation für nicht erforderlich gehalten. Evaluation wird verstanden als ein integraler Bestandteil professionellen methodischen Handelns, egal in welcher Form die Prüfungs- und Bewertungsvorgänge stattfinden. Ein solches Verständnis macht es jedoch schwierig, Evaluation gegenüber anderen Handlungselementen abzugrenzen. Es führt zu dem zu Beginn dieses Kapitel angesprochenen Problem der Bedeutungsdiffusität und der Verleitung zu sprachlicher Ungenauigkeit: Wenn jedes kollegiale Gespräch über die Angemessenheit von Handlungsschritten oder jede Nutzerstatistik im Jahresbericht zur „Evaluation“ geadelt werden kann und wenn jede Einrichtung für sich in Anspruch nehmen kann, irgendetwas zu tun, was sie mit dem Namen „Evaluation“ belegen kann, wird der Begriff sinnlos und verliert seine methodischen Herausforderungen, die er jedoch transportieren muss, wenn er wirkungsvoll zur Herausbildung und Stärkung von Professionalität in der Sozialen Arbeit beitragen soll.
Falsche Gleichsetzung mit Evaluationsforschung
Auf der anderen Seite steht das Faktum, dass in einem Großteil der themenbezogenen Veröffentlichungen Evaluation als Evaluationsforschung verstanden bzw. mit dieser gleichgesetzt wird. Was Heiner in ihrem im Jahr 2001 erschienenen Handbuch-Artikel zur mangelnden Differenzierung vermerkte, gilt für einen Großteil der Veröffentlichungen immer noch: „In deutschsprachigen Lehrbüchern werden ‚Evaluation‘ und ‚Evaluationsforschung‘ meist synonym verwendet. Evaluation wird damit auf Forschung reduziert.“ (2001a, 481; als Belege u.a. Stockmann 2007; Stockmann / Meyer 2010; Böttcher et al. 2006, 9 f; Kuper 2005) Die Identifizierung von Evaluation als einem Modus sozialwissenschaftlicher Forschung und die begrenzte Ausrichtung an einem forschungsorientierten Evaluationsverständnis münden dann bisweilen ein in eine Schelte gegenüber der „Laienevaluation“, also gegenüber einer Evaluation, die von Nicht-Sozialwissenschaftlern oder von Personen ohne sozialwissenschaftlich-methodische Forschungserfahrung durchgeführt wird (Stockmann / Meyer 2010, 49 f). Solche Kritik mag einerseits berechtigt sein und produktiv wirken, weil damit vor einem allzu leichtfertigen Umgang mit Evaluationsmethoden gewarnt wird. Auch eine stärker in der Praxis verankerte Evaluation benötigt einen kompetenten Umgang mit Evaluationsmethoden, um differenzierte und für die Praxis brauchbare Ergebnisse erzeugen zu können. Andererseits geht eine undifferenzierte Verkoppelung von Evaluation und Forschung in eine problematische Richtung, weil gerade die Forderung, dass Akteure ihre beruflichen Handlungen und die Folgen ihres beruflichen Alltagshandelns systematisch untersuchen und die Ergebnisse dieser Untersuchungen zur gezielten Verbesserung ihres Alltagshandelns einsetzen sollen, auf eine methodische Qualifizierung der „Laien“ setzt, ohne dass diese gleich zu „forschungskompetenten Evaluationsexperten“ werden müssen. Evaluation ist insofern ein „wissenschaftliches“ Vorgehen, als es sich um eine systematische, nach methodischen Regeln erfolgende, ergebnisoffen angelegte Erhebung und Auswertung von Daten handelt, die nach transparenten Gütekriterien überprüfbar sein müssen und damit als Grundlage für einen Bewertungsprozess herangezogen werden können. Aber je stärker Evaluation in die Praxis von Organisationen und ihren Akteuren hineinreicht, desto deutlicher muss in den Blick genommen werden, dass Evaluation sich partiell vom Forschungsvorgehen unterscheidet: Die Evaluationslogik ist dann nicht mehr allein im Hinblick auf Forschungsvorgehen zu legitimieren, sondern auch auf die Anforderungen der Praxis und die organisationale Einbindung der Evaluation. Auch als Gütekriterien sind dann nicht allein die üblichen sozialwissenschaftlichen Normen (Validität, Reliabilität, Objektivität …) maßgeblich (vgl. Kap. 7).
Anspruch: Herstellen von Plausibilität
Neben der engen Ausrichtung an Gütekriterien sozialwissenschaftlicher Forschung unterscheidet sich Evaluationsforschung in einem weiteren Aspekt von (mit Praxis verwobener) Evaluation: Evaluationsforschung verbindet sich mit dem Anspruch, nicht nur Wirkungen und Nebenwirkungen zu erheben und festzustellen, sondern darüber hinaus auch die wesentlichen Wirkfaktoren möglichst präzise herauszuarbeiten. Evaluationsforschung folgt einem kausalanalytischen Anspruch: Im Grundsatz sollen Wirkungsmechanismen erforscht und erkannt werden (Kromrey 2005, 45 ff; 2000, 40 ff). Demgegenüber verbleibt dieses Bemühen bei „praxisbezogener Evaluation“ auf der Ebene der Herstellung von Plausibilität: Die Feststellung von Wirkungen und Nebenwirkungen steht im Mittelpunkt, und es ist gut, wenn für die Erörterung möglicher Hintergründe durch die Evaluation Anhaltspunkte sichtbar werden, die die Debatte anregen. Der Anspruch hinsichtlich der Präzision bei der Herausarbeitung von Wirkungsfaktoren ist bei „praxisbezogener Evaluation“ also weitaus begrenzter als bei der Evaluationsforschung.
Forschung und Distanz zum Alltagshandeln
Die Differenz zwischen Evaluation und Evaluationsforschung steht u. a. im Zusammenhang mit der Verwendung des Begriffs „Forschung“ in der Alltagssprache. Wenn von „Forschung“ die Rede ist, wird eine deutliche Distanz zum Alltagshandeln impliziert: Das Alltagshandeln wird schließlich zum Gegenstand, zum Objekt der Forschung, woraus folgt, dass man methodisch eine relativ starke Distanz zum Alltagshandeln einnehmen muss, um einen „Forscherblick“ herauszufordern und zu gewährleisten. Die personelle Trennung zwischen Handlungs- und Forschungsakteuren wird in der Regel als Voraussetzung für eine „objektive Forschung“ angesehen. Diese Trennung ist bereits in den – mittlerweile in Vergessenheit geratenen – Ansätzen der Aktionsforschung und der sozialwissenschaftlichen „Praxisforschung“ (Moser 1995; 1975) durchbrochen worden. Bei der praxisbezogenen Evaluation ist das Durchlöchern dieser Grenzziehung noch deutlicher: Auch hier bildet eine Distanzierung vom Alltag eine wichtige Voraussetzung für das Erzielen aussagefähiger und praktisch verwertbarer Evaluationsergebnisse, jedoch ist die Intensität der Distanz deutlich geringer als im sozialwissenschaftlichen Forschungskontext. Weil sich bei praxisbezogenen Evaluationen zwischen Alltag und Evaluationsaktivitäten keine so intensive Distanz herausbildet, also eine Trennung zwischen Handelnden und Forschenden nicht so deutlich vorgenommen wird, wäre hierfür der Begriff „Evaluationsforschung“ nicht sinnvoll. Mit den Konnotationen zum Forschungsbegriff im alltäglichen Sprachgebrauch würden Evaluationen, die nahe am Handlungsalltag angesiedelt sind, nicht adäquat abgebildet. Auch wenn solchen Evaluationen insofern eine im Grundsatz „wissenschaftliche Ausrichtung“ zugesprochen werden muss, als sie systematisch vorgehen und dabei Methoden und Instrumente aus der Sozialwissenschaft anwenden und sich somit gegenüber einem rein alltagsbezogenen „Bewerten“ abheben, sollte wegen der angesprochenen Unterschiede zwischen Evaluationsforschung und Evaluation differenziert werden.
Methodische Arrangements in der Evaluation
Abbildung 1 verdeutlicht die unterschiedlichen methodischen Arrangements von Evaluation, und es markiert denjenigen Bereich, der in diesem Einführungsbuch als „Evaluation in der Sozialen Arbeit“ schwerpunktmäßig angesprochen wird.
Abb. 1: Methodische Arrangements in der Evaluation
Die im Alltag der Einrichtung eingebundenen Evaluationen und die vom Alltag deutlich distanzierten Evaluationsforschungen markieren zwei Pole, zwischen denen sich unterschiedliche methodische Arrangements von Evaluation verorten lassen. Die intensivste Einbindung in den Alltag weist die Selbstevaluation auf (Genaueres zu den Begriffen vgl. Kap. 3): Praxisakteure evaluieren ihre eigene Arbeit und sind somit gleichzeitig Evaluationsakteure. Bei der internen Evaluation setzt allmählich eine Rollendifferenzierung zwischen Praxis- und Evaluationsakteuren ein, auch wenn die Distanz der Evaluationsakteure zum Handlungsalltag noch relativ gering ist. Diese Distanz vergrößert sich, wenn externe Evaluationsakteure eingesetzt werden. Mit wachsender Distanz der externen Evaluationsakteure und geringer werdendem Einfluss der Alltagsakteure auf Konzept und Methoden der Durchführung nähert sich die Evaluation immer deutlicher dem Typus der vom Alltag distanzierten Evaluationsforschung. In diesem Einführungsbuch zur „Evaluation in der Sozialen Arbeit“ werden vornehmlich solche Evaluationsarrangements angesprochen, in denen noch eine relative Alltagsnähe zu der evaluierten Einrichtung besteht und bei denen die Alltagsakteure auch bei den externen Evaluationen einen relevanten Einfluss auf Konzept und Durchführung der Evaluation haben.
1.3 Gegenstände von Evaluation
Allgemein formuliert kann zum Gegenstand von Evaluation alles werden, bei dem etwas Materielles oder Immaterielles eingesetzt wird, um damit eine Veränderung bei einem gegebenen Zustand zu erreichen. Spezifischer im Hinblick auf Soziale Arbeit kann Evaluation sich auf folgende „Gegenstände“ richten und in folgenden Konstellationen auftreten:
Politikevaluation
• Politikevaluation: Untersucht und bewertet werden Prozesse und Auswirkungen politischen Handelns, z. B. die Umsetzung der Hartz IV-Gesetze, Umsetzung und / oder Auswirkungen der Einführung des §8a SGB VIII („Schutzauftrag bei Kindeswohlgefährdung“), das zu evaluierende Bundeskinderschutzgesetz (so in Art.4 Bundeskinderschutzgesetz ausdrücklich vorgeschrieben; Bundesgesetzblatt 2011, 2982; zu den Ergebnissen Seckinger et al. 2016) oder die Jugendhilfepolitik einer Stadt oder eines Kreises.
Programmevaluation
• Programmevaluation: Hier werden Maßnahmen, Angebote oder Interventionen zum Gegenstand der Evaluation, mit denen eine oder mehrere Organisationen bestimmte Ziele erreichen wollen. Zur Programmevaluation gehören z. B. die Evaluation eines Seminars oder einer Seminarreihe eines Trägers der außerschulischen Jugendbildung, die Evaluation der Hilfeplanung eines Jugendamtes, die Evaluation der Personalentwicklung in einer größeren Einrichtung, die Evaluation der offenen Ganztagsangebote an Schulen, die Evaluation eines Projektes zur verbesserten Beteiligung der Bewohner an der Alltagsstrukturierung in einer Wohnstätte für Menschen mit Behinderung oder die Evaluation eines neu eingeführten ergotherapeutischen Angebots für Menschen mit beginnender Demenzerkrankung in einem Seniorenwohnheim. Die Programmevaluation kann sich auf Programme unterschiedlicher Größe und Komplexität richten: von der Untersuchung einer eher marginalen Neuerung (z. B. Experimentieren mit einem neuen Spieltypus in einer Kindertageseinrichtung) über die Evaluation einer umfassenderen methodischen Veränderung in einer Organisation (z. B. Umstellung der Verfahren bei möglicher oder vermuteter Kindeswohlgefährdung in einem Jugendamt) bis hin zu markanten Veränderungsprogrammen mit breiter infrastruktureller Wirkungsabsicht (z. B. Modellprogramme zur Einführung neuer Hilfeformen in einem Arbeitsfeld, wie etwa Bildungspläne in Kindertageseinrichtungen oder „flexible Hilfen“ im Bereich der Erziehungshilfen).
Personalevaluation
• Personalevaluation: Im Mittelpunkt stehen Personen sowie deren Einstellungen, Kompetenzen und Handlungsweisen. Solche Evaluation können z. B. die Kooperationen zwischen Sozialarbeitern und Verwaltungsmitarbeitern in den Blick nehmen, die Eignung von Erzieherinnen oder Sozialarbeitern für bestimmte Aufgaben im Bereich der Erziehungshilfen, die Einstellungen von Fachkräften gegenüber Migranten im Allgemeinen Sozialen Dienst eines Jugendamtes oder die Kompetenzen von Heilerziehungspflegern, Heil- und Sozialpädagogen für einen aktivierenden Umgang mit Menschen mit Behinderungen.
Organisationsevaluation
• Organisationsevaluation: Bei dieser Variante der Evaluation werden systematisch Daten erhoben, um eine gesamte Organisation in den Strukturen, Prozessen und / oder Ergebnissen bewerten zu können. Unter dem Begriff „Organisation“ sollen hier solche sozialen, auf eine bestimmte Dauerhaftigkeit angelegten Gebilde verstanden werden, in denen Menschen im Rahmen einer formellen (in der Regel arbeitsteiligen) Struktur und in informellen Handlungsmustern koordiniert zusammenwirken, um bestimmte Ziele zu erreichen und / oder bestimmte Leistungen für ihre Umwelt zu erzeugen (zu unterschiedlichen Varianten im Verständnis von „Organisation“ Kieser / Ebers 2014; Preisendörfer 2016). Organisationsevaluationen können sich z. B. auf ein Jugendzentrum, die regionale Gliederung eines Wohlfahrtsverbandes oder eine Beratungsstelle richten. Solche Organisationsevaluationen erfordern in besonderer Weise eine Begrenzung auf zentrale Fragestellungen bzw. Kriterien, die der Evaluation zugrunde gelegt werden, da sonst die Evaluation in ihrer Komplexität ausufert. Und sie setzen ebenfalls eine Begrenzung in der Organisationskomplexität voraus: Kann man sich noch vorstellen, die Kreisgeschäftsstelle eines Wohlfahrtverbandes (z. B. des Caritasverbandes) unter zwei oder drei zentralen Kriterien zu evaluieren, so würde ein solches Ansinnen bei der „höchsten“ Gliederungsebene, der Bundesebene eines Wohlfahrtsverbandes, kaum mehr sinnvoll formuliert und nur schwer ausgeführt werden können.
Produktevaluation
• Produktevaluation: Materielle „Produkte“ als Gegenstand von Evaluation tauchen bei der Sozialen Arbeit nur selten auf. Denn die Soziale Arbeit besteht in ihrem Kern aus sozialen Dienstleistungen (Merchel 2015b, 65 ff), und nur selten erhalten materielle „Produkte“ eine solche Bedeutung, dass sie zu einem Gegenstand von Evaluation werden. Als Produktevaluation könnte z. B. die Untersuchung von Spielgeräten, von für Kinder verwendetem Mobiliar oder von Erzeugnissen einer Werkstatt für Menschen mit Behinderung gelten. Produktevaluationen, die dem von der „Stiftung Warentest“ bekannten Muster folgen, haben in der Sozialen Arbeit nur einen marginalen Stellenwert.
Schwerpunkt: Programmevaluationen
In der Sozialen Arbeit liegt der Schwerpunkt bei den Programmevaluationen. Im Mittelpunkt stehen die Aktivitäten (Maßnahmen, Angebote, Interventionen) von Organisationen, Gruppen, Teams oder einzelnen Akteuren. Untersucht und bewertet werden sollen deren strukturelle Voraussetzungen, deren Planung und / oder Umsetzung sowie die daraus resultierenden Ergebnisse, Wirkungen und Effekte. Politikevaluation vollzieht sich – wenn sie überhaupt stattfindet, was leider nur vereinzelt der Fall ist – in der Regel im Rahmen von Forschungsprojekten (Evaluationsforschung). Organisationsevaluationen sind sehr selten; sie werden bisweilen im Rahmen von Projekten zur Organisationsentwicklung initiiert (Merchel 2005; Schiersmann/ Thiel 2009): entweder zu Beginn eines solchen Prozesses im Rahmen der „Organisationsdiagnose“ oder am Ende eines Entwicklungszyklus, um Veränderungen in der Organisation zu erkunden. Personalevaluationen werden wegen der Hemmungen, Personen zum Gegenstand einer Untersuchung zu machen, kaum realisiert; wenn personenbezogene Aspekte im Rahmen von Evaluationen zur Sprache kommen, dann am ehesten bei der Auswertung der Ergebnisse von Programmevaluationen – in der Debatte darüber, ob und welche personellen Konstellationen möglicherweise als Hintergrund für die Ergebnisse bedacht werden müssen und an welchen Stellen der Konsequenzen aus den Evaluationsergebnissen personenbezogene Handlungsstrategien zur Verbesserung entworfen werden sollten.
Verschiedene Aspekte der Programmevaluation
Für die Programmevaluation, die in der Sozialen Arbeit den dominierenden Typus ausmacht, lassen sich verschiedene Aspekte differenzieren, die in unterschiedlicher Intensität in den konkreten Evaluationen zum Tragen kommen können. Nicht jeder der nachfolgend aufgeführten Aspekte muss in jeder Evaluation angesprochen werden, und manche Evaluation legt den Schwerpunkt auf nur eine Dimension oder gar einen Teilbereich dieser Dimension (Böttcher 2008, 893 f):
• Bedarfsbewertung: Hier sollen Fragen beantwortet werden hinsichtlich der Art der Probleme, auf die ein Programm einwirken soll – ob und welche Zielgruppe einen Bedarf hat, ob und wie weit Interventionen benötigt werden.
• Bewertung der Programmtheorie: Die Evaluation soll Antworten auf die Frage ermöglichen, ob die Interventionen auf angemessenen theoretischen Annahmen gründen, ob die Ziele des Programms adäquat verfasst worden sind (z. B. überhaupt evaluierbar formuliert worden sind) und ob die Ziele in einer angemessenen Verbindung zu den Interventionen stehen.
• Bewertung des Programmprozesses: Hier geht es um die Untersuchung und Bewertung der tatsächlichen operativen Prozesse – ob und wie weit die Durchführung mit dem geplanten Programm übereinstimmt, ob und welche Beeinträchtigungen durch externe Einmischungen oder durch interne Unstimmigkeiten stattgefunden haben, ob die Kooperationsbereitschaft der Akteure ausreichend war etc.
• Wirkungsmessung / Ergebnisevaluation: Die Evaluation legt offen, ob und in welchem Ausmaß die mit dem Programm erwünschten Ergebnisse erreicht wurden. Möglicherweise können durch die Evaluation auch Anhaltspunkte markiert werden, die eine Erörterung der Gründe für die Ergebnisausprägung anregen (z. B. im Hinblick auf die für die Soziale Arbeit erforderliche Bereitschaft zur „Koproduktion“ auf Seiten der Adressaten). Bei der Ergebnisevaluation sollte es nicht nur um die Erhebung von Daten zur beabsichtigten Wirkung gehen, sondern es sollten auch mögliche, nicht beabsichtigte Nebenwirkungen in den Blick genommen werden.
• Bewertung der Programmeffizienz: Dieser Evaluationsaspekt richtet sich auf das Verhältnis von Aufwand und Nutzen des Programms oder einzelner Phasen der Programmgestaltung. Dabei bedarf es der Wahrnehmung und der Abwägung zwischen verschiedenen Auffassungen beteiligter Akteure zu dem, was als „Aufwand“ im Rahmen eines Programms gelten soll und an welchen Parametern „Nutzen“ zu messen ist.
Für alle diese Gegenstände von Evaluation gilt selbstverständlich die Anforderung, die Kriterien bzw. Fragestellungen genau zu formulieren, die der jeweiligen Evaluation zugrunde gelegt wird. Denn jeder Gegenstand einer Evaluation kann immer nur unter bestimmten Gesichtspunkten untersucht und bewertet werden. Nur in Verbindung mit einem oder mehreren vor Beginn der Evaluation formulierten Kriterien oder Fragestellungen erhält eine Evaluation die Richtung, durch die ihre Ergebnisse brauchbar werden können. Die Bestimmung des Gegenstandes und die Eingrenzung auf bestimmte Kriterien oder Fragestellungen gehören also zusammen, um der Evaluation eine tragfähige Richtung zu geben.
1.4 Zusammenfassung in Leitsätzen
• Bei „Evaluation“ handelt es sich um ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und für die Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll.
Eigenständiges methodisches Profil
• Evaluation sollte als ein Bestandteil professionellen Handelns verstanden werden, jedoch wäre es verfehlt, wenn man für jede Form der reflektierenden Bewertung beruflichen Handelns den Begriff „Evaluation“ verwenden würde. Evaluation hat mit ihrem Bezug zur Datenerhebung als Grundlage für Bewertungsvorgänge ein eigenes methodisches Profil und ist daher abzugrenzen gegenüber anderen Prüfungs- und Bewertungsvorgängen, in denen über professionelles Handeln reflektiert wird.
Differenz zu Evaluationsforschung
• Evaluation erfolgt zwar auf der Basis sozialwissenschaftlicher Methoden und Modalitäten der Datenerhebung und Datenverwertung, jedoch muss zwischen Evaluation und Evaluationsforschung unterschieden werden. Je stärker und unmittelbarer Evaluation mit der Praxis von Organisationen und deren Akteuren verknüpft wird, desto stärker müssen auch die Anforderungen der Praxis mit den für die sozialwissenschaftliche Methodik geltenden Gütekriterien in einen Ausgleich gebracht werden. Auch die bei Evaluationen häufig wenig markante Trennung zwischen Praxisakteuren und Evaluationsakteuren lässt es sinnvoll erscheinen, zwischen einer in und mit der Praxis verwobenen Evaluation und Evaluationsforschung zu differenzieren. Das vorliegende Einführungsbuch widmet sich schwerpunktmäßig der erstgenannten Variante.
Gegenstände
• Die Gegenstände, auf die sich Evaluation richtet, lassen sich aufgliedern in: Politikevaluation, Programmevaluation, Organisationsevaluation, Personalevaluation und Produktevaluation. Bei Sozialer Arbeit stehen Programmevaluationen im Zentrum. Die anderen Evaluationen haben in der Sozialen Arbeit einen randständigen Stellenwert.
