Читать книгу Erstellung von Fragebogen - K. Wolfgang Kallus - Страница 9

Die Grundlagen professioneller Fragebogenentwicklung werden trotz der inflationären Anwendung des Instruments „Fragebogen“ nur in den seltensten Fällen systematisch berücksichtigt. Selbst wissenschaftlich entwickelte Fragebogen beschränken sich oft allein auf statistische Verfahren, um erst im Nachhinein die gröbsten Schwachpunkte zu identifizieren. Im Gegensatz dazu stellt das vorliegende Buch die folgenden Überlegungen in den Mittelpunkt: „Was soll (eigentlich) erfragt und gemessen werden?“ und „Welche Fragen eignen sich dazu?“. Aus der systematischen Beantwortung dieser Kernfragen und mit der Umsetzung in Fragebogenfragen lässt sich in der Regel ein Messinstrument konstruieren, das auch bei einer statistischen Prüfung positive Ergebnisse erbringt.

Eine systematische Entwicklung von Fragebogen als Methode der Selbstbeschreibung oder auch der Fremdbeschreibung wird zunehmend wichtiger, da Befragungen, Interviews und die Teilnahme an statistischen Erhebungen zwischenzeitlich zu den alltäglichen Gegebenheiten unserer modernen Gesellschaft gehören. Befragungen erfreuen sich hoher Popularität und haben eine hohe Bedeutsamkeit erlangt – für gesellschaftliche, politische und wirtschaftliche Entscheidungen, für die Ausrichtung von Strategien in Unternehmen und Organisationen bis hin zu Investitionsentscheidungen. Auch bei der Erfolgskontrolle von gesellschaftlichen, wirtschaftlichen, politischen, pädagogischen, psychologischen Projekten und bei gesundheitsbezogenen Maßnahmen spielen Fragebogen eine zunehmend wichtige Rolle. Und zudem stellen Fragebogen eine wesentliche Informationsquelle im Rahmen der Personalauswahl und -entwicklung, in der Psychodiagnostik, bei psychologischen Interventionen und in der Forschung dar. Dies betrifft nicht nur die Psychologie, sondern auch eine Vielzahl von Nachbardisziplinen. Ein Hintergrund für diese Entwicklung ist die wachsende Bedeutung der BürgerInnen als KonsumentInnen und Wirtschaftsfaktoren, der MitarbeiterInnen als „Sozialkapital des Unternehmens“, der SchülerInnen, Studierenden und PatientInnen als „KundInnen“. Diese Entwicklung trägt dazu bei, dass die Meinung, die Zufriedenheit oder der „Zustand“ von Personen für EntscheidungsträgerInnen immer gewichtiger wird und damit eine Erhebung zuverlässiger Informationen notwendig scheint. In der Mehrzahl fällt die Wahl auf eine „Befragung“ mittels Fragebogen. Selbst die moderne Qualitätssicherung baut auf Befragungen, da die Qualität von Produkten durch das NutzerInnenurteil mitdefiniert wird.

Die herausragende Bedeutung von standardisierten Befragungen bis hin zur Qualitätssicherung von Dienstleistungen und Produkten bildet den Ausgangspunkt dieses Buches, das seinerseits der Frage nach der Qualität von Befragungsinstrumenten, insbesondere von Fragebogen, nachgeht. Die Zielsetzung lässt sich zusammenfassend so formulieren: Einsatz von Fragebogen statt Bogen mit Fragen. Im Zentrum steht dabei die Fragestellung, wie vorzugehen ist, um die benötigte Information zu erhalten. Dieser Ansatz geht weit über die bisher vorliegenden Arbeiten hinaus, die sich den Themen „Wie formuliere ich Fragen?“, „Welche Antwortformate stehen zur Verfügung?“ und „Wie vermeide ich Verzerrungen in den Antworten durch soziale Erwünschtheit?“ widmen.

Selbstverständlich ist es immer möglich, eine Befragung durchzuführen, die Aussagen enthält wie „Ich bin mit meiner Arbeit unzufrieden“ , „Ich habe Angst“, „Mein Unternehmen finde ich gut“, „Ich bin ein guter Mitarbeiter/eine gute Mitarbeiterin“ mit den Antwortskalen „trifft nicht zu“ bis „trifft völlig zu“ oder „ja/nein“. Diese Aussagen und ihre Antworten erfassen jedoch nicht systematisch ein Konzept, sondern bieten lediglich grobe Anhaltspunkte für Entscheidungen. Weder die Frage nach der Zuverlässigkeit dieser qualitativ zu interpretierenden Informationen noch die Frage, ob tatsächlich das gewünschte Merkmal gemessen wird, lassen sich ohne weitere Zusatzinformationen beantworten: Unkontrollierte Urteilsfehler, Antworttendenzen, die Tendenz zur sozialen Erwünschtheit, Suggestiveffekte, Stimmungseffekte aufgrund des aktuellen Tagesgeschehens und vieles mehr mindern die Qualität der „Bogen mit Fragen“. Diese „Bogen mit Fragen“ begegnen uns in einem breiten Spektrum von Medien und in vielen Lebensbereichen. Die Palette umfasst die sog. „Psychotests“ in den Printmedien und im Internet, Volksbefragungen, KundInnenbefragungen, MitarbeiterInnenbefragungen, standardisierte Befragungen in der Markt- und Meinungsforschung. Selbst in Forschungsarbeiten aus Psychologie, Soziologie, Pädagogik, Politikwissenschaft, Betriebswirtschaft, den Umweltwissenschaften, den Kommunikations- und Medienwissenschaften sowie modernen Teildisziplinen wie der Pflegewissenschaft und den Gesundheitswissenschaften kommen oft Bogen mit Fragen statt Fragebogen zum Einsatz.

Anstelle der oberflächlichen Abfrage von augenscheinlich wichtigen Themen bezieht sich der aussagekräftige Fragebogen auf ein klar definiertes Konzept. Eine Befragung zur PatientInnenzufriedenheit kommt deshalb nicht umhin, sich auch mit der folgenden Frage zu befassen: „Was ist Zufriedenheit und was ist Unzufriedenheit?“ Ein Blick in ein psychologisches Lehrbuch zeigt, dass Zufriedenheit die Bewertung eines oder mehrerer Ergebnisse oder Prozesse in Abhängigkeit von den Erwartungen darstellt. Die Erwartungen wiederum sind durch die Kosten für das Individuum mitbestimmt. Setzt man diese Überlegungen fort, schlüsselt sich die PatientInnenzufriedenheit in Zufriedenheit mit unterschiedlichen Facetten der Behandlung und des Genesungsprozesses auf. Gleichzeitig wird die zentrale Bedeutung von Erwartungen sichtbar und es kommt der Gedanke auf, dass Zufriedenheit, fehlende Zufriedenheit und Unzufriedenheit nicht unbedingt auf einer „Dimension“ liegen.

Kriterien zur Bewertung der Instrumente und Hinweise zur professionellen Gestaltung von Fragebogen fehlen uns jedoch in den meisten Fällen oder decken nur unvollständig und theoriefern Teilaspekte ab (Porst, 2009). Die Lektüre dieses Leitfadens soll die LeserInnen in die Lage versetzen, die Unterscheidung zwischen einem „Bogen mit Fragen“ und einem „Fragebogen“ nachzuvollziehen und eine Bewertung der „Angebote“ im Spektrum zwischen spielerischem Medienquiz, Instrument zur Sammlung qualitativer und semiquantitativer Information bis hin zum Testverfahren mit diagnostischem Potenzial vorzunehmen. Den EntwicklerInnen von Befragungsinstrumenten sollen die wichtigsten Regeln für die Konstruktion eines guten Fragebogens vermittelt werden. Außerdem erfahren sie Unterstützung bei der Entscheidung, ob für die Entwicklung oder die Gestaltung eines Instruments zur KundInnenzufriedenheit oder MitarbeiterInnenzufriedenheit ExpertInnen hinzuzuziehen sind, damit in reproduzierbarer Weise hinreichend gehaltvolle Informationen über ein definiertes Konzept erfasst werden. Für die Berufsgruppe der PsychologInnen soll dieser Leitfaden die Kenntnisse der statistischen Modelle zur Fragebogen- und Testkonstruktion inhaltlich und formal ergänzen und dazu beitragen, eine effiziente und professionelle Fertigkeit zur Fragebogenkonstruktion zu entwickeln. Die Mehrzahl der beschriebenen Vorgehensweisen lassen sich in analoger Weise auf die Konstruktion von Beobachtungssystemen übertragen.

Ein Kernpunkt in diesem Buch betrifft die Operationalisierung eines Merkmalsbereiches durch (selbst)beobachtbare Indikatoren und die Umsetzung dieser Indikatoren in Gruppen leicht beantwortbarer Frage-Antwort-Einheiten. Dieser Ansatz wird bislang im Hinblick auf die Fragebogenentwicklung gar nicht oder nur am Rande behandelt. Anhand von Beispielen wird erläutert, dass ein Fragebogen nicht aus beliebigen Fragen bestehen sollte, sondern aus Gruppen von Frage-Antwort-Einheiten (sog. Items), die einem Merkmalsbereich oder Konzept zuzuordnen sind. Dabei wird eine Reihe von Grundregeln zur Formulierung von Items vorgestellt. Diese Regeln modifizieren einige althergebrachte Prinzipien, die ursprünglich eingeführt wurden, um Antworttendenzen zu vermeiden. Im zweiten Teil werden die Zusammenstellung von Items zu einem Fragebogen und die Prüfung der Fragebogengüte behandelt. In diesem zentralen Kapitel zur Fragebogenentwicklung steht die Beziehung zwischen inhaltlichen und statistischen Konzepten im Vordergrund. Dabei werden wiederholt die Grenzen der oft verabsolutierten statistischen Kenngrößen und Analyseprinzipien thematisiert und eine inhaltlich geleitete Vorgehensweise vorgeschlagen, die die statistischen Methoden als Werkzeug in ihren Dienst stellt. Im Anschluss daran werden Regeln zur Entwicklung und Prüfung der Endform des Fragebogens an Beispielen illustriert. In den letzten Abschnitten werden Fragebogen und Interview mit ihren jeweiligen Einsatzbereichen abgegrenzt sowie die Bedingungen zur Durchführung und Rückmeldung von Fragebogenerhebungen und MitarbeiterInnenbefragungen einschließlich ethischer und juristischer Aspekte diskutiert. Beispiele und Checklisten am Ende des Buches dienen der Erläuterung und Handhabbarkeit der Prinzipien und Methoden.

Die Mehrzahl der bisher vorliegenden Arbeiten zur Testkonstruktion stellt den mathematisch-statistischen Hintergrund verschiedener testtheoretischer Modelle in den Vordergrund (Böttcher, 2007; Bühner, 2011; Eid & Schmidt, 2014; Kranz, 2001; Krauth, 1995; Kubinger, 1989; Lienert & Raatz, 1998; Moosbrugger & Kelava, 2007; Rost, 2004). Arbeiten mit einem überwiegend inhaltlichen Bezug sind von Mummendey (1987) und Osterlind (1989) publiziert worden. Mummendey geht vor allem auf den Fragebogen als Forschungswerkzeug ein und beschränkt sich dabei auf Beispiele zur einstellungsorientierten Messung mit Zustimmungsskalen. Osterlind leistet in seinem englischsprachigen Werk für die Leistungs- und Kenntnismessung Ähnliches wie die vorliegende Arbeit für die Messung von Merkmalen mittels Fragebogen, die Osterlind im Vorwort explizit ausklammert. Wertvolle Tipps und Anhaltspunkte entstammen auch Arbeiten aus der empirischen Sozialforschung. In diesen Arbeiten liegt der Schwerpunkt jedoch bei Einzelfragen (Porst, 2009), nicht jedoch bei der Entwicklung von konzeptbezogenen Frage-Antwort-Gruppen, die ein psychometrisches Verfahren kennzeichnen.

Für die Entwicklung eines Fragebogens sind folgende Schritte abzuarbeiten:

1. Abgrenzung und Klärung des zu erfassenden Merkmalsbereiches und der Zielpopulation. Bei der Festlegung der Zielpopulation ist auch an mögliche Vergleichsgruppen, „Benchmarks“ und Weiterentwicklungen zu denken. Daher gilt die Regel für die Festlegung der Zielpopulation: Eher breit definieren!

2. Spezifizierung des Merkmalsbereiches und Sammlung von Beispielen. Hier sollten möglichst umfassend Verhaltensweisen, Leistungen, Manifestationen in Gedanken, Gefühlen, Motivationen, Wünschen, Symptomen und Zuständen körperlicher und psychischer Art aufgelistet/gesammelt werden. Zur Unterstützung werden in dieser Phase häufig Interviews, Verhaltensbeobachtung, Arbeitsanalysen, Unfallanalysen und Dokumentenanalysen oder auch Workshops mit ExpertInnen eingesetzt.

3. Gruppierung der Manifestationen in Teilbereiche, die in ähnlicher Weise mit unterschiedlichen Merkmalsausprägungen variieren

4. Festlegung der charakteristischen Manifestationsvariation und Festlegung der Antwortdimensionen

5. Formulierung der Items

6. Prüfung der Items auf sprachliche Konsistenz, Einfachheit und Verständlichkeit

7. Festlegung von Instruktionen, Ankern und Vorgabemodalitäten

8. Fixierung der Itemreihenfolge

9. Durchführung einer Studie zur Prüfung der Subtests/Items

10. Kürzung/Ergänzung des Fragebogens

11. Festlegung von Varianten des Fragebogens

12. Normierung und Auswertungsrichtlinien

13. Validierung und Interpretationsrichtlinien

Mit den 13 Schritten der Fragebogenentwicklung entsteht ein psychometrisch geprüfter Fragebogen mit definierter Qualität, der auch in Normensystemen (z. B. ISO 10075 oder DIN 33430) eingeordnet werden kann. Während ein „Bogen mit Fragen“ z. T. wenig zuverlässige qualitative Informationen liefert, sind mit psychometrisch geprüften Fragebogen exakte Messungen von Veränderungen der Merkmalsausprägung oder von Unterschieden zwischen Personen, Gruppen, Teams oder Organisationseinheiten möglich.