KI in der Wirkungsmessung: Was sich automatisieren lässt und was belegt werden muss
Eine KI kann hundert offene Rückmeldungen in Minuten vorsortieren. Ob Ihr Angebot das Leben der Teilnehmenden verbessert hat, beantwortet diese Sortierung nicht. Dafür brauchen Sie eine klare Wirkungsfrage, geeignete Daten und eine Auswertung, die jemand nachvollziehen kann. Dieser Beitrag zeigt, wo KI als Arbeitshilfe trägt und an welcher Stelle die Verantwortung für Schlussfolgerungen bei Menschen bleibt.
Eine ältere Version dieses Beitrags nannte drei konkrete Erfolgszahlen zu KI-gestützter Wirkungsmessung. Für diese Angaben ließ sich kein Primarbeleg mit Zeitraum, Methode und untersuchter Gruppe finden. Sie sind aus dieser Fassung entfernt und werden erst wieder aufgenommen, wenn eine nachprüfbare Quelle vorliegt.
Datenauswertung und Wirkungsnachweis sind zwei Dinge
Ein Sprachmodell erkennt Muster in Text. Es kann zweihundert Freitextantworten nach Themen bündeln, Wiederholungen zusammenfassen und einen Berichtsentwurf strukturieren. Das ist Datenauswertung, und sie spart Stunden.
Ein Wirkungsnachweis verlangt mehr: eine vorab formulierte Erwartung, einen Ausgangswert, eine zweite Messung und eine Aussage darüber, was ohne das Angebot vermutlich geschehen wäre. Keinen dieser Bausteine liefert ein Modell. Es kann sie beschreiben, sortieren und formulieren helfen. Belegen kann es sie nicht.
Der Unterschied wird praktisch, sobald jemand fragt, woher eine Aussage stammt. Eine thematische Zusammenfassung von Rückmeldungen beantwortet, wovon Menschen gesprochen haben. Sie beantwortet nicht, wie viele von ihnen etwas anders machen als vorher.
Wo der Einstieg lohnt
Drei Aufgaben eignen sich, weil das Ergebnis prüfbar bleibt und ein Fehler auffällt, bevor er in einen Bericht wandert.
- Freitextantworten strukturieren: offene Rückmeldungen zu Themen bündeln, damit Sie sehen, welche Punkte wiederkehren und welche nur einmal vorkommen.
- Themenvorschläge prüfen: eine erste Kategorienliste erzeugen lassen und anschließend an einer Stichprobe kontrollieren, ob die Zuordnung stimmt.
- Berichtsstruktur entwerfen: Gliederung, Übergänge und Formulierungen vorbereiten, während Zahlen, Quellen und Einschränkungen von Ihnen kommen.
Ein Ablauf mit menschlicher Prüfschleife
Die Reihenfolge entscheidet darüber, ob am Ende ein nachvollziehbares Ergebnis steht.
- 1
Fragestellung festlegen
Eine Frage, ein Satz, vor dem ersten Prompt aufgeschrieben. Beispiel: Welche Zugangshürden nennen Teilnehmende, die nach dem dritten Termin nicht mehr erschienen sind?
- 2
Daten datensparsam vorbereiten
Namen, Adressen und alles, was eine Person identifizierbar macht, kommen vorher heraus. Prüfen Sie, in welcher Umgebung die Verarbeitung stattfinden darf, bevor Sie etwas hochladen.
- 3
Vorschlag erzeugen
Kategorien, Zuordnung, Zusammenfassung. Lassen Sie sich zu jeder Kategorie zwei wörtliche Belegstellen ausgeben, damit die Zuordnung überprüfbar ist.
- 4
Menschlich gegenprüfen
Eine Stichprobe von zwanzig bis dreißig Antworten wird von Hand codiert und mit dem Vorschlag verglichen. Weichen die Ergebnisse stark ab, beginnt Schritt 3 neu.
- 5
Entscheidung dokumentieren
Notieren Sie, welches Werkzeug in welcher Version genutzt wurde, wer geprüft hat, was korrigiert wurde und welche Aussage am Ende in den Bericht geht.
Was dabei schiefgeht
Vier Fehler treten immer wieder auf, und alle vier sind mit einer Stichprobe erkennbar.
- Erfundene Belege: Ein Modell ergänzt ein Zitat, eine Quelle oder eine Jahreszahl, die im Material nicht vorkommt. Deshalb gehört zu jeder Kategorie eine wörtliche Fundstelle.
- Übersehene Minderheitenpositionen: Häufige Aussagen dominieren die Zusammenfassung. Gerade die drei Rückmeldungen, die auf eine Zugangsbarriere hinweisen, verschwinden darin.
- Uneinheitliche Codierung: Dieselbe Aussage landet in zwei Durchläufen in verschiedenen Kategorien. Prüfen Sie das, indem Sie eine Stichprobe zweimal durchlaufen lassen.
- Scheinkausalität: Aus „viele nennen X und viele nennen Y“ wird im Entwurf ein Zusammenhang. Streichen Sie jede Ursachenaussage, die Sie nicht mit Daten belegen können.
Transparenz und Verantwortung 2026
Seit August 2026 gelten in der EU zusätzliche Transparenzanforderungen für bestimmte KI-Anwendungen und für bestimmte Inhalte. Welche Pflicht greift, hängt von der Rolle ab, in der Sie handeln, und vom konkreten Anwendungsfall. Eine pauschale Kennzeichnungspflicht für jeden KI-unterstützten Text lässt sich daraus nicht ableiten.1
Prüfen Sie den eigenen Fall an den amtlichen Unterlagen, bevor Sie eine Aussage über Ihre Pflichten treffen. Unabhängig von der rechtlichen Einordnung ist eine Angabe sinnvoll, die erklärt, wofür ein Werkzeug eingesetzt wurde und wer das Ergebnis verantwortet. Diese Plattform macht das im Fußbereich jeder Seite.
Was in die Dokumentation gehört
Werkzeug und Version, Zweck des Einsatzes, verarbeitete Datenkategorien, Name der prüfenden Person, Umfang der Stichprobe, gefundene Abweichungen und die Entscheidung, die daraus folgte. Sieben Zeilen, einmal je Auswertung.
Die Prüfmatrix für eine Auswertung
Eine Seite, vor dem Start ausgefüllt. Sie zwingt zu der Frage, wann Sie abbrechen.
| Feld | Was hineingehört | Beispiel |
|---|---|---|
| Aufgabe | Eine abgegrenzte Tätigkeit, kein ganzer Prozess | Offene Antworten aus der Abschlussbefragung zu Themen bündeln |
| Datenkategorie | Welche Art von Daten verarbeitet wird | Freitext ohne Namen, ohne Kontaktdaten, ohne Geburtsdatum |
| Zulässige Umgebung | Wo die Verarbeitung stattfinden darf | Nur in der vom Träger freigegebenen Umgebung |
| Erwartete Unterstützung | Was das Werkzeug beitragen soll | Kategorienvorschlag und Zuordnung, keine Bewertung |
| Prüfperson | Wer gegenliest, mit Zeitbudget | Fachbereichsleitung, zwei Stunden |
| Abbruchkriterium | Woran Sie den Einsatz beenden | Mehr als drei unbelegte Zuordnungen in einer Stichprobe von dreißig |
Wann eine Tabelle die bessere Wahl ist
Bei weniger als etwa fünfzig Antworten lesen zwei Personen das Material in der Zeit, die das Einrichten und Gegenprüfen einer KI-Auswertung kostet. Bei sensiblen Daten ohne freigegebene Verarbeitungsumgebung entfällt die Option ohnehin. Und wenn Ihre Frage lautet, wie viele Menschen eine bestimmte Maßnahme begonnen haben, liefert die Teilnahmeliste die Antwort schneller und genauer als jedes Modell.
Die interessantere Grenze liegt woanders: Ein Modell kann nicht entscheiden, welche Veränderung für Ihre Zielgruppe wichtig ist. Diese Entscheidung bleibt eine fachliche und eine politische.
Zuerst die Wirkungsfrage
Bauen Sie die Wirkungslogik in vier Schritten auf. Danach ist klar, welche Daten Sie brauchen und welche Auswertung überhaupt etwas beiträgt.
Was offen bleibt
Belastbare Vergleiche zwischen KI-gestützter und manueller Auswertung in kleinen und mittleren Organisationen fehlen weitgehend. Wir suchen dafür ein dokumentiertes Beispiel aus der Praxis: ein Team, das beide Wege an demselben Material gegangen ist und die Abweichung festgehalten hat. Wenn Sie so einen Fall haben, freuen wir uns über eine Nachricht über die Kontaktseite.
Quellen
Quellenstand: 12. September 2026. Rechtliche Anforderungen ändern sich; prüfen Sie die verlinkten amtlichen Unterlagen für Ihren konkreten Fall, bevor Sie daraus Pflichten ableiten. Dieser Beitrag ersetzt keine Rechtsberatung.
- Europäische Kommission, Artificial Intelligence, safer and more transparent AI, Themenseite, zuletzt aktualisiert 14. August 2026, mit Anwendungshinweis zum 2. August 2026.
- Grundlagen zu Indikatoren und Datenqualität auf dieser Plattform: Wirkungsmessung und Reporting sowie Wirkungsorientierung.