Evaluation: wann Selbstbeobachtung reicht und wann nicht

Zwei verschiedene Fragen

Monitoring beobachtet laufend, ob eine Maßnahme wie geplant läuft. Evaluation prüft in der Tiefe, ob die beobachtete Veränderung wirklich auf die Maßnahme zurückgeht. Der Wirkungsbericht dokumentiert, was gemessen wurde. Eine Evaluation fragt zusätzlich, ob die Zahlen die Ursache belegen oder nur eine Übereinstimmung zeigen.

Wer beide Fragen für dieselbe hält, überschätzt, was ein Bericht allein leisten kann. Ein Wirkungsbericht zeigt: „168 von 240 geplanten Haushalten erreicht, Sicherheitsgefühl im Schnitt von 2,1 auf 3,4 gestiegen.“ Eine Evaluation fragt: Ist der Anstieg wirklich auf das Projekt zurückzuführen, oder hätte er sich auch ohne das Projekt eingestellt?

Formativ oder summativ

Eine formative Evaluation läuft während der Maßnahme und dient der Steuerung: Was läuft nicht wie geplant, wo lohnt sich eine Kurskorrektur, solange noch Zeit dafür ist. Eine summative Evaluation läuft nach Abschluss und zieht Bilanz: Hat die Maßnahme insgesamt erreicht, was sie sollte, und lohnt sich eine Fortsetzung oder Übertragung auf andere Standorte.

Die meisten kleinen und mittleren Projekte brauchen keine externe Evaluation in beiden Formen. Eine kurze formative Zwischenprüfung nach der Hälfte der Laufzeit, intern durchgeführt, reicht meist, um rechtzeitig zu bemerken, dass etwas vom Kurs abkommt.

Selbst prüfen oder extern beauftragen

Vier Fragen entscheiden, ob eine Selbsteinschätzung reicht oder eine externe Evaluation nötig wird.

• Wie viel hängt am Ergebnis? Trägt es eine politische Entscheidung, eine mehrjährige Förderverlängerung oder eine Investitionsentscheidung, braucht es eine Prüfung, die nicht von der geprüften Organisation selbst stammt.
• Wie groß ist das Vorhaben? Ab etwa 200.000 Euro Projektvolumen rechtfertigt der Umfang meist die Kosten einer externen Evaluation. Darunter reicht eine sauber dokumentierte Selbsterhebung mit offengelegten Instrumenten.
• Gibt es einen Interessenkonflikt? Wer über den eigenen Erfolg berichtet, hat ein Interesse am Ergebnis. Eine externe Stelle hat das nicht, und genau das verschafft ihr eine Glaubwürdigkeit, die eine interne Auswertung nicht erreicht.
• Braucht die Frage eine Vergleichsgruppe? Ohne unabhängige Prüfung fehlt meist auch das methodische Werkzeug für einen sauberen Vorher-Nachher- oder Gruppenvergleich.

Zurechnung ist die eigentliche Schwierigkeit

Die Fachbegriffe heißen Attribution und Kontribution. Attribution bedeutet: Die beobachtete Veränderung lässt sich eindeutig auf die eigene Maßnahme zurückführen, meist über eine Vergleichsgruppe, die sie nicht erhalten hat. Das gelingt selten außerhalb kontrollierter Studien und ist für die meisten Wirkungsberichte weder nötig noch leistbar.

Kontribution ist der realistischere Anspruch: die eigene Maßnahme als einen von mehreren Beiträgen zu einer größeren Veränderung plausibel zu machen, ohne sie sich allein zuzuschreiben. Ein Jugendzentrum, das sinkende Schulabbruchzahlen im Stadtteil beobachtet, kann selten beweisen, dass es der einzige Grund war, aber es kann zeigen, welchen Teil des Wegs es mit wem gemeinsam gegangen ist. Die SROI-Methode löst dieselbe Frage mit festen Abzügen für Mitnahmeeffekte und fremde Beiträge; wer keine Kennzahl braucht, sondern nur eine Argumentation, kommt mit Kontribution statt Attribution meist weiter.

Was eine externe Evaluation braucht

Eine externe Evaluation beauftragt man am besten mit einer engen, vorher geklärten Fragestellung, nicht mit dem allgemeinen Auftrag „unsere Wirkung prüfen“. Der Auftrag klärt außerdem, wer Zugang zu welchen Daten und Ansprechpartnern bekommt, wie viel Zeit dafür eingeplant ist, und dass das Ergebnis vor der Prüfung nicht feststeht. Eine Evaluation, deren Ergebnis politisch schon feststeht, kostet Geld und Glaubwürdigkeit zugleich.

Drei häufige Fehler

• Die Evaluation wird erst am Ende eingeplant. Ohne Ausgangswert und ohne vorab festgelegte Fragestellung lässt sich nachträglich kaum noch etwas Belastbares sagen.
• Die Fragestellung ist zu breit. „Wirkt unser Projekt?“ lässt sich nicht beantworten. „Ist die Zahl der Schulabbrüche im Projektgebiet stärker gesunken als im Vergleichsgebiet?“ schon.
• Attribution wird versprochen, aber nicht geliefert. Wer eine eindeutige Ursache verspricht und dann nur eine Vermutung liefert, verliert mehr Glaubwürdigkeit, als er durch die große Aussage gewinnt.

Wie es weitergeht

Die Ergebnisse einer Evaluation gehören in denselben Bericht wie die laufenden Kennzahlen, nur mit dem Zusatz, wie belastbar die Zurechnung ist. Aufbau und Gliederung dafür liefert die Wirkungsbericht-Vorlage. Welche Daten überhaupt einfließen, zeigt Daten erheben. Den ganzen Weg von der Wirkungslogik bis zur Bilanz zeigt die Leitseite Wirkungsorientierung.