Drei Wege, eine Wahl
Jeder Indikator lässt sich auf drei Arten erheben: aus vorhandenen Zahlen, durch eine Befragung oder durch Beobachtung. Die Wahl entscheidet nicht die Vorliebe, sondern die Frage, wer eine Veränderung zuerst bemerkt und wie viel Aufwand dafür vertretbar ist.
Teuer wird eine Erhebung selten durch die Methode, sondern dadurch, dass sie nachträglich organisiert werden muss. Wer vor dem Start festlegt, wer wann was notiert, erhebt im laufenden Betrieb fast nebenbei. Wie Sie überhaupt zum richtigen Indikator kommen, zeigt Wirkungsindikatoren finden und prüfen; dieser Beitrag setzt dort an, wo der Indikator schon feststeht, und zeigt, wie Sie an die Zahlen kommen.
Die drei Wege im Vergleich
| Weg | Aufwand | Wofür geeignet | Grenze |
|---|---|---|---|
| Vorhandene Zahlen | gering | Leistungen, Teilnahme, Verbrauch – was ohnehin gezählt wird | Für einen anderen Zweck erhoben, passt selten genau zum Ziel |
| Befragung | mittel | Veränderung direkt aus Sicht der Zielgruppe, zwei Zeitpunkte vergleichbar | Wer antwortet, ist selten ein Querschnitt; die Formulierung beeinflusst das Ergebnis |
| Beobachtung | mittel bis hoch | Verhalten, das Befragte nicht zuverlässig berichten | Aufwendig, ohne festes Raster schwer zu vergleichen |
Die drei Wege schließen einander nicht aus. In der Praxis bewährt sich eine Kombination: ein gezählter Wert, der zeigt, dass das Angebot ankommt, und eine kurze Frage, die zeigt, ob sich bei den Menschen etwas verändert hat.
Vorhandene Zahlen zuerst prüfen
Bevor Sie eine eigene Erhebung planen, lohnt der Blick auf das, was ohnehin entsteht: Anmeldelisten, Teilnahmezahlen, Abrechnungen, Verbrauchsdaten, amtliche Statistik. Diese Zahlen kosten nichts zusätzlich, weil sie sowieso geführt werden.
Die Grenze liegt in der Passung: Eine Anmeldeliste zählt, wer da war, nicht, was sich bei diesen Menschen verändert hat. Bevor Sie eine vorhandene Zahl als Indikator verwenden, prüfen Sie mit dem Raster aus Wirkungsindikatoren finden und prüfen, ob sie wirklich für die angestrebte Veränderung steht, oder ob sie nur zeigt, dass Sie aktiv waren.
Befragen: kurz, wiederholbar, vergleichbar
Eine Kurzbefragung funktioniert am besten mit zwei bis vier Fragen, in gleicher Form zu zwei Zeitpunkten gestellt: vor der Maßnahme und danach, oder am Anfang und am Ende einer Saison. Ohne den ersten Zeitpunkt lässt sich später nur der Zustand beschreiben, nicht die Veränderung.
Drei Regeln machen aus einer Frage einen brauchbaren Indikator: Sie fragt nach der Veränderung, nicht nach der Zufriedenheit mit dem Angebot. Sie legt sich auf eine feste Skala fest, meist eins bis fünf, damit die Antworten über die Zeit vergleichbar bleiben. Und sie gibt keine Antwort vor: Wer das Angebot in der Frage schon lobt, bekommt keine brauchbaren Antworten mehr.
War das Training hilfreich für Sie?
Fragt nach der Leistung, nicht der Wirkung. Fast alle antworten mit Ja, unabhängig davon, ob sich etwas verändert hat.
↓ verbessert
Wie sicher fühlen Sie sich, eine Bewerbung allein zu schreiben? (1 = gar nicht, 5 = sehr sicher)
Fragt nach der Veränderung selbst, mit einer Skala, die sich vorher und nachher vergleichen lässt.
Wie sich aus wenigen guten Fragen ein kleines Erhebungsraster für den Vereinsalltag bauen lässt, zeigt Wirkungsmessung für kleine Vereine mit fünf erprobten Beispielfragen.
Beobachten, wenn Fragen nicht reichen
Manches berichten Menschen nicht zuverlässig, sei es, weil es ihnen selbst nicht bewusst ist, sei es, weil eine erwünschte Antwort näher liegt als die ehrliche. Ob jemand im Gespräch von sich aus das Wort ergreift oder ob Streit in einer Wohngemeinschaft seltener wird, lässt sich oft besser beobachten als erfragen.
Systematisch heißt: vor der ersten Beobachtung festlegen, was genau gezählt oder notiert wird, mit welchem Raster, und das bei jeder weiteren Beobachtung gleich halten. Ein Beobachtungsbogen mit drei bis fünf festen Merkmalen und einer Zeile für den Kontext (Datum, Anlass, beobachtende Person) reicht für die meisten kleinen Vorhaben. Ohne festes Raster wird aus der Beobachtung ein Eindruck, der sich mit dem nächsten nicht vergleichen lässt.
Der Ausgangswert zuerst
Der wichtigste einzelne Handgriff ist immer derselbe, gleich welcher Weg gewählt wird: die Erhebung vor Beginn. Ohne einen Ausgangswert bleibt am Ende nur die Aussage, wie der Zustand jetzt ist, nicht, was sich verändert hat. Eine Vorhererhebung darf klein sein – zehn Fragen an dreißig Personen sind mehr wert als eine aufwendige Erhebung, die nie stattfindet, weil der richtige Moment verpasst wurde.
Binden Sie die Erhebung an einen Termin, der ohnehin stattfindet: Saisonstart, erstes Treffen, Antragstellung. Wer eine eigene Erhebungsaktion plant, verschiebt sie erfahrungsgemäß, bis der Ausgangswert fehlt.
Datenschutz ohne großen Aufwand
Für die meisten kleinen Erhebungen reichen drei Regeln. Erheben Sie nur, was für den festgelegten Indikator gebraucht wird, keine zusätzlichen Angaben auf Vorrat. Verzichten Sie auf Namen, wenn die Auswertung ohne sie auskommt; eine laufende Nummer genügt meist, um zwei Zeitpunkte derselben Person zuzuordnen. Und sagen Sie vor der Befragung, wofür die Antworten verwendet werden und wann sie gelöscht werden.
Eine Erhebung, die diese drei Sätze nicht verträgt, ist zu groß geplant.
Vier häufige Fehler
- Die Erhebung kommt zu spät. Wer erst beim Bericht überlegt, was er zeigen könnte, hat keinen Ausgangswert mehr.
- Die Frage passt zur Leistung, nicht zur Wirkung. „Wie zufrieden waren Sie?“ misst das Angebot, nicht die Veränderung bei den Menschen.
- Zu viele Fragen auf einmal. Ein langer Fragebogen senkt den Rücklauf und verschlechtert die Qualität der Antworten mehr, als die zusätzlichen Fragen an Erkenntnis bringen.
- Niemand ist für die zweite Erhebung zuständig. Ohne festen Namen und festen Termin findet die zweite Runde erfahrungsgemäß nicht statt.
Wie es weitergeht
Aus den erhobenen Werten wird erst dann ein Beleg, wenn sie mit dem Ausgangswert verglichen und ehrlich eingeordnet werden. Wie das aussieht, zeigt die Wirkungsbericht-Vorlage. Den ganzen Weg von der Wirkungslogik über die Indikatoren bis zur Erhebung im Überblick zeigt die Leitseite Wirkungsorientierung, ein durchgerechnetes Beispiel für einen kleinen Verein Wirkungsmessung für kleine Vereine.