Jede Kennzahl in diesem Buch ruht auf der Annahme, dass das Erzeugen des Gezählten echten Aufwand erfordert. Ein gelöstes Ticket spiegelte Arbeit wider. Ein geschriebener Artikel spiegelte Wissen wider. Ein gemergter Change spiegelte Sorgfalt wider. Generative KI schwächt diese Annahme. Sie kann in Sekunden eine Antwort, einen Artikel, einen Test oder einen Codeblock entwerfen, und was sie entwirft, ist oft plausibel und manchmal falsch. Die Zählungen steigen. Ob es den bedienten Menschen besser geht, ist eine eigene Frage, die die Zählungen nicht beantworten können.

KI fügt auch neue Dinge zum Messen hinzu. Dialogassistenten und Agenten, die im Namen eines Nutzers handeln, brauchen Kennzahlen für Lösung, Übergabe und den Schaden falscher Handlungen. Die Governance von Modellen, Prompts und Lieferanten braucht Kennzahlen für Abdeckung, Kontrolle und Incident-Bearbeitung. Und Menschen, die neben diesen Werkzeugen arbeiten, brauchen den Schutz ihrer Fähigkeiten, ihres Verständnisses und eines nachhaltigen Tempos. Die Kennzahlen in diesem Teil stützen sich auf den Rest des Buches, denn die Leitplanken sind dieselben: Koppeln Sie jede Kennzahl mit einer Prüfung dessen, was sie verbergen könnte, vergleichen Sie mit einer Basislinie, ziehen Sie Stichproben mit Menschen und halten Sie Daten über Menschen aus der Beurteilung heraus (siehe Thema 1.2, Goodharts Gesetz und die Psychologie von Kennzahlen).

Agile und ITIL-Arbeitsweisen bieten eine vernünftige Haltung zu all dem. Behandeln Sie jede Nutzung von KI als kleines Experiment. Nennen Sie den erwarteten Nutzen, probieren Sie es mit willigen Menschen aus, vergleichen Sie mit ähnlicher Arbeit ohne sie und entscheiden Sie auf Grundlage von Belegen. Halten Sie Stakeholder kontinuierlich einbezogen, denn sie bemerken als Erste, wenn das Signal sich verschlechtert. Zielen Sie auf ein nachhaltiges Tempo, sodass gesparte Zeit eine Entscheidung über Qualität und Lernen ist, keine automatische Erhöhung der Nachfrage. Und denken Sie an das Ziel, rund um motivierte Individuen zu bauen: KI sollte langweilige Arbeit abnehmen und das Urteil der Menschen respektieren, und sie sollte nicht zu einem Weg werden, sie zu überwachen.

Fakten über KI-Werkzeuge, Produkte und Regeln ändern sich schnell. Aussagen in diesem Teil über bestimmte Vorschriften, Standards und Werkzeuge sind auf den Stand Oktober 2026 datiert, und die Leserschaft sollte sie neu prüfen. Die Messprinzipien sind beständiger als jede der Technologien, die sie beschreiben.

Dieser Teil behandelt auch die anderen zwei der vier Linsen, Automatisierung und Analytik. Automatisierung und Orchestrierung ändern, wer die Arbeit tut, und machen Fehler schnell und weitreichend, sie werden also daran gemessen, was sie entfernen und was sie zerbrechen. Pipelines erzeugen einen großen Teil der Belege für Change und Compliance, sie werden also als Systeme gemessen. Analytik, Prognose und Observability erzeugen die Zahlen, die überall sonst im Buch genutzt werden, daher brauchen ihre Datenqualität, Unsicherheit und Kosten eigene Kennzahlen.

Themen in diesem Teil

  • 10.1 KI in der Messung des Service-Managements: wo KI in die Arbeit eintritt, Basislinien vor der Einführung, Vergleiche, Zeit bis zu einem geprüften Ergebnis und Gesamtkosten.
  • 10.2 KI-gestützte Arbeit messen: Bestand, Nacharbeit, Review-Last, entwichene Defekte, Verständnis und Fähigkeiten.
  • 10.3 Kennzahlen für KI-Agenten und Chatbots: verifizierte Lösung, Folgekontakte, Übergaben, Zeit bis zu einem Menschen, Genauigkeit von Antworten und das Rückgängigmachen von Agentenhandlungen.
  • 10.4 Kennzahleninflation und Qualitätsverwässerung: wie Volumen und Geschwindigkeit sich aufblähen, Stichproben zur Nützlichkeit, Prüflast und das Unterbrechen von Rückkopplungsschleifen.
  • 10.5 Kennzahlen für KI-Governance und -Risiken: das Register der Nutzungen, Risikoklassen, Change-Kontrolle für Modelle und Prompts, Evaluierung, Aufsicht und Incidents.
  • 10.6 Kennzahlen für Automatisierung und Orchestrierung: was Automatisierung entfernt und zerbricht, Abdeckung, die etwas bedeutet, Fehlschlag und Rollback sowie Human-in-the-Loop-Entwurf.
  • 10.7 Kennzahlen für Pipelines und automatisierte Changes: Pipeline-Gesundheit, automatisierte Genehmigungen, Policy as Code und der Beleg, den eine Pipeline erzeugt.
  • 10.8 Kennzahlen für Analytik und Datenqualität: Vollständigkeit, Aktualität, Herkunft, Abgleich und was eine Zahl zeigen kann und was nicht.
  • 10.9 Kennzahlen für Prognosen und prädiktive Analytik: Prognosefehler, Kalibrierung, Intervalle und die Entscheidungen, die Prognosen informieren.
  • 10.10 Kennzahlen für Observability und Telemetrie: Abdeckung von Logs, Metriken und Traces, Signalqualität und die Kosten der Telemetrie.

Wie diese Themen zusammenhängen

Das Grundlagenthema (siehe Thema 10.1, KI in der Messung des Service-Managements) legt die Methode fest: Basislinie, Vergleich, Stichproben und Gesamtkosten. Sie gilt für jedes andere Thema des Teils. Das Thema zu gestützter Arbeit (siehe Thema 10.2, KI-gestützte Arbeit messen) nutzt diese Methode für die Arbeit, die Menschen mit KI neben sich leisten, und schaut darauf, was Bestand hat und was mit dem Verständnis geschieht. Das Thema zu Chatbots und Agenten (siehe Thema 10.3, Kennzahlen für KI-Agenten und Chatbots) wendet sie auf Systeme an, die Nutzern direkt gegenübertreten oder in ihrem Namen handeln, wo die Kosten einer falschen Antwort oder Handlung bei jemand anderem anfallen.

Inflation und Verwässerung (siehe Thema 10.4, Kennzahleninflation und Qualitätsverwässerung) sind der warnende Begleiter all dieser. Sie erklären, warum die leichten Zahlen steigen und was mit ihnen zu koppeln ist, und sie knüpfen an die Nützlichkeitsprüfungen in den anderen Themen an. Governance (siehe Thema 10.5, Kennzahlen für KI-Governance und -Risiken) ist die Struktur, die den Rest an Ort und Stelle hält: Sie liefert das Register, das sagt, was zu messen ist, die Risikoklassen, die sagen, wie tief, die Change-Kontrolle, die verhindert, dass Verhalten unbemerkt driftet, und den Incident-Prozess für den Fall, dass etwas schiefgeht.

Mehrere Leitplankenpaare folgen. Eine Geschwindigkeitskennzahl sollte mit der Zeit bis zu einem geprüften Ergebnis und der Prüflast gelesen werden. Eine Eindämmungs- oder Umleitungszahl sollte mit verifizierter Lösung und Folgekontakten gelesen werden. Eine Zahl registrierter Nutzungen sollte gegen unabhängige Entdeckung gelesen werden. Eine Akzeptanzzahl für ein KI-Werkzeug sollte als beschreibend behandelt werden, und Ergebnisse gegenüber einem Vergleich tragen das Gewicht.

Der Teil knüpft an frühere an: die Review- und Flusskennzahlen von Teil 2, die Wissens- und Self-Service-Kennzahlen von Teil 3, die Sicherheits- und Risikokennzahlen von Teil 8 und die Kennzahlen über Menschen von Teil 9. Die Themen 10.6 bis 10.10 erweitern die Methode auf Automatisierung, Pipelines, Analytik, Prognose und Observability: dieselbe Basislinie, dieselbe Kopplung von Geschwindigkeit mit Qualität und dieselbe Gewohnheit zu prüfen, was die Zahl nicht zeigen kann. Kennzahlen für Automatisierung und Pipelines (siehe Thema 10.6, Kennzahlen für Automatisierung und Orchestrierung, und Thema 10.7, Kennzahlen für Pipelines und automatisierte Changes) ruhen auf den Datenqualitätskennzahlen von Thema 10.8 (siehe Thema 10.8, Kennzahlen für Analytik und Datenqualität), und Prognosen (siehe Thema 10.9, Kennzahlen für Prognosen und prädiktive Analytik) und Telemetrie (siehe Thema 10.10, Kennzahlen für Observability und Telemetrie) speisen beide. Er führt in den letzten inhaltlichen Teil, der vom Aufbau eines Kennzahlenprogramms selbst handelt, denn ein Programm, das Messung ohne Sorgfalt einführt, wird dieselben Verzerrungen erleiden, die dieser Teil beschreibt.