Wie misst man, ob eine KI-Funktion wirklich etwas bringt?

Ob eine KI-Funktion wirklich etwas bringt, weiß man erst, wenn man sie gegen eine bewusst reduzierte Variante und gegen gar keine Funktion antreten lässt. Genau das stand Anfang 2025 an, vor den heutigen KI-Entwicklungswerkzeugen. Eine bestehende VR-Anwendung, ein Bewegungsspiel, sollte einen sprechenden Begleiter bekommen: einen Coach, der das Spielgeschehen kommentiert, ermutigt, reagiert. Technisch reizvoll. Aber die eigentlich interessante Frage war eine andere: Bringt das überhaupt etwas? Genau diese Frage wird bei KI-Funktionen fast nie gestellt. Sie wird gebaut, sie beeindruckt in der Demo, sie bleibt drin.

Der Bau: fremder Stack, klare Führung

Die Anwendung existierte in Unity, geschrieben in C# — beides ohne jede Vorerfahrung meinerseits. Die Einarbeitung lief KI-gestützt, aber geführt: kein blindes Übernehmen von Vorschlägen, sondern gezieltes Erschließen genau der Konzepte, die für den Umbau nötig waren. Das Fundament dafür kam aus dem Studium — Meilensteine setzen, vom Lauffähigen zum Fertigen arbeiten, sich nicht in Nebenschauplätzen verlieren.

Am Ende sprachen zwei Schnittstellen produktiv miteinander: ein Sprachmodell für die Inhalte des Coaches, eine Sprachsynthese für seine Stimme — angebunden an den laufenden Spielzustand, in Echtzeit. Der Begleiter unterschied sich zwischen den Studienbedingungen ausschließlich durch seine Instruktionen: gleiches Aussehen, gleiche Spielmechanik, anderes Verhalten. Dabei zeigte sich früh, was bis heute gilt: Die Wahl des Modells verändert das Verhalten stärker als jede Formulierung in der Instruktion. Schnelle Modelle, gründliche Modelle, kompakte Varianten — jedes reagierte anders auf denselben Text.

Der Alltag mit den Schnittstellen lieferte dabei seine eigenen Lektionen. Die Sprachsynthese wechselte gelegentlich ohne erkennbaren Grund den Akzent. Das Sprachmodell verfiel manchmal in Wiederholungen — obwohl die Instruktion genau das ausschloss und der Gesprächsverlauf mitgesendet wurde. Solcher Nichtdeterminismus lässt sich nicht wegformulieren; man muss ihn einplanen: mit Zeitpuffern, mit Rückfallverhalten, mit der Bereitschaft, eine Antwort zu verwerfen und neu anzufordern. Wer produktive KI-Funktionen plant, sollte diese Schwankungsbreite von Anfang an als Eigenschaft des Materials behandeln — nicht als Fehler, der schon nicht auftreten wird.

Die Messung: drei Bedingungen, 32 Menschen

Untersucht wurde in einem kontrollierten Design mit drei Bedingungen: ein menschenähnlich instruierter Coach, ein bewusst reduzierter Coach, keine Begleitung. Jede Person durchlief alle Bedingungen; die Reihenfolgen waren ausbalanciert, damit Lerneffekte das Ergebnis nicht verzerren. Gemessen wurde mit etablierten Fragebogeninstrumenten — Motivation, empfundene Belastung, soziale Wahrnehmung — plus der Spielleistung selbst. 32 Teilnehmende, Auswertung mit klassischer Statistik.

Das Ergebnis: Wahrnehmung ja, Wirkung nein

Der menschenähnliche Coach wurde deutlich anders wahrgenommen: lebendiger, sympathischer, intelligenter — auf vier von fünf Skalen signifikant. Aber Motivation, Belastung und Leistung? Kein messbarer Unterschied. Die Persönlichkeit des Begleiters veränderte, wie er wirkte — nicht, was er bewirkte.

Das ist kein Scheitern, das ist ein Befund. Und er ist unbequem für einen Markt, der gerade überall „KI-Persönlichkeit" in Produkte baut: Ein Assistent kann charmanter werden, ohne dass irgendein Geschäftsergebnis sich bewegt. Wer den Unterschied nicht misst, bezahlt für Wirkung, die es nicht gibt.

Was sich daraus mitnehmen lässt

Erstens: KI-Funktionen brauchen eine Erfolgsdefinition, bevor sie gebaut werden — „fühlt sich gut an" ist keine. Zweitens: Wahrnehmungseffekte und Wirkungseffekte sind zwei verschiedene Dinge; Demos zeigen fast immer nur die ersten. Drittens: Der Aufwand für eine ehrliche Messung ist überschaubar — drei Bedingungen, saubere Reihenfolgen, etablierte Instrumente. Wer eine KI-Funktion ernsthaft plant, sollte diesen Aufwand einplanen. Ich habe beides gemacht: gebaut und gemessen. Diese Kombination verändert, wie man über jede weitere KI-Idee nachdenkt.