Einführung in Teil 4: Kennzahlen für Probleme, Changes und Releases
Kennzahlen für Probleme, Changes und Releases zeigen, ob die Art, wie ein Team seine Services ändert und aus Fehlern lernt, sie zugleich schneller zu verbessern und stetiger zu betreiben macht.
Jede Änderung an einem Live-Service ist eine Wette. Sie kann Wert früher liefern, oder sie kann etwas kaputt machen, auf das sich Nutzer verlassen. Teil 3 hat gemessen, wie gut Support und Wiederherstellung funktionieren, wenn etwas schiefgeht (siehe Thema 3.0, Einführung in Teil 3: Kennzahlen für Service Desk, Incidents und Anfragen). Dieser Teil betrachtet die andere Seite derselben Medaille: wie Änderung in die Umgebung gelangt, wie oft sie Ärger verursacht und wie gut die Organisation lernt, damit derselbe Ärger nicht wiederkehrt.
Kontinuierliche Auslieferung und ITIL nähern sich diesem Boden aus verschiedenen Richtungen. Agile Praxis bevorzugt kontinuierliche Softwarelieferung in kleinen Änderungen und behandelt schnelles Feedback als Sicherheitsmaßnahme. ITIL-Praktiken wie Problemmanagement, Change-Befähigung und Release-Management existieren, um Stabilität zu schützen und die Ursachen von Incidents zu finden und zu beseitigen. Die Kennzahlen in diesem Teil lassen beide Sichten gegen dieselben Belege prüfen. Ist häufige Änderung sicher, zeigen es die Fehler- und Nacharbeitsmessgrößen. Verlangsamt eine Kontrolle die Lieferung, ohne das Risiko zu senken, zeigen es stattdessen die Genehmigungs- und Durchlaufzeitmessgrößen.
Zwei Vorbehalte ziehen sich durch den ganzen Teil. Geschwindigkeit und Stabilität müssen zusammen gelesen werden, denn eine Zahl, die das eine verbessert und das andere unauffällig beschädigt, ist ein schlechter Tausch. Zeitmessgrößen sollten auch als Verteilungen mit Perzentilen gelesen werden, wie in Teil 1 dargelegt (siehe Thema 1.6, Statistische Kompetenz für Servicekennzahlen). Jede Kennzahl hier beschreibt ein Team, einen Service oder ein System. Keine bringt eine Einzelperson in eine Rangfolge, und keine ist ein Ziel, das isoliert nach oben getrieben werden soll (siehe Thema 1.2, Goodharts Gesetz und die Psychologie von Kennzahlen).
Die vier Linsen prägen diesen Teil. Kontinuierliche Auslieferung macht kleine, häufige Changes zur Norm, daher beschreiben Change- und Release-Messgrößen Fluss und Sicherheit zusammen. KI-gestützte Changes und von KI erzeugte Risikowerte brauchen ihre eigene Qualitätskopplung. Pipelines automatisieren Belege und Genehmigungen, daher muss die Automatisierung an ihren Fehlern gemessen werden. Analytik verknüpft Changes, Incidents und Probleme und sagt, wie viele Fälle hinter jeder Rate stehen.
Themen in diesem Teil
- 4.1 Kennzahlen für das Problemmanagement: eröffnete und geschlossene Probleme, Wiederverwendung bekannter Fehler, Wiederkehr und Zeit bis zur dauerhaften Korrektur.
- 4.2 Kennzahlen für Postmortems und Lernen: Abschluss von Reviews, Schließen von Maßnahmen, Wiederkehr von Ursachen und Signale schuldfreien Lernens.
- 4.3 Kennzahlen für die Change-Befähigung: Change-Volumen nach Typ, Genehmigungsdurchlaufzeit, Anteil von Standard-Changes und Automatisierung der Genehmigung.
- 4.4 Change-Fehlschläge und Nacharbeit: Change-Fehlerrate, Anteil von Notfall-Changes, Rollback- und Hotfix-Raten und einheitliche Definitionen von Fehlschlag.
- 4.5 Kennzahlen für Releases und Deployments: Deployment-Häufigkeit, Release-Häufigkeit, Nutzung von Feature-Flags, Release-Durchlaufzeit und die Trennung von Deployment und Release.
- 4.6 Technische Schulden und bekannte Fehler: Backlog bekannter Fehler, Schuldenbestand und -zinsen und das Priorisieren von Korrekturen gegenüber Funktionsarbeit.
Wie diese Themen zusammenhängen
Der Teil gliedert sich in zwei Hälften, die voneinander abhängen. Die Themen 4.1 und 4.2 handeln vom Lernen: wie Incidents auf Ursachen zurückgeführt werden und wie aus Reviews Korrekturen werden, die abgeschlossen werden. Die Themen 4.3, 4.4 und 4.5 handeln von Änderung: wie sie genehmigt wird, wie oft sie fehlschlägt und wie sie die Nutzer erreicht. Thema 4.6 verbindet die Hälften, denn die Schulden und bekannten Fehler, die das Lernen aufdeckt, sind dieselben Posten, die mit neuen Funktionen um die Zeit des Teams konkurrieren.
Die wichtigste Paarung ist die zwischen Geschwindigkeit und Fehlschlag. Deployment- und Release-Häufigkeit in Thema 4.5 (siehe Thema 4.5, Kennzahlen für Releases und Deployments) beschreiben, wie oft Änderung die Produktion erreicht, und das DORA-Forschungsprogramm koppelt solche Durchsatzmessgrößen mit Stabilitätsmessgrößen (siehe Thema 2.8, DORA-Kennzahlen). Thema 4.4 (siehe Thema 4.4, Change-Fehlschläge und Nacharbeit) liefert diese Stabilitätsseite. Ein Team, das häufiger deployt, während seine Fehler- und Nacharbeitsraten flach bleiben oder fallen, verbessert sich. Ein Team, dessen Häufigkeit steigt, während Rollbacks und Hotfixes mit ihr steigen, verschiebt die Kosten woandershin.
Die Change-Befähigung sitzt zwischen beiden. Thema 4.3 (siehe Thema 4.3, Kennzahlen für die Change-Befähigung) misst die Kontrollseite: wie lange die Genehmigung dauert, wie viel Änderung als Standard vorab genehmigt ist und wie viel der Genehmigung automatisiert ist. Die Genehmigungsdurchlaufzeit sind die Kosten einer Kontrolle, und die Change-Fehlerrate aus Thema 4.4 ist der Beleg, ob diese Kontrolle wirkt. Zusammen gelesen zeigen sie, ob ein schwerer Genehmigungsschritt Sicherheit kauft oder nur Verzögerung hinzufügt und ob leichtere, automatisierte Genehmigung die Fehlerrate stabil gehalten hat.
Die Lernthemen bewachen die anderen. Das Problemmanagement in Thema 4.1 (siehe Thema 4.1, Kennzahlen für das Problemmanagement) misst Wiederkehr und Zeit bis zur dauerhaften Korrektur, den langfristigen Test, ob die Incident-Bearbeitung aus Teil 3 Ursachen beseitigt oder nur den Service wiederherstellt. Thema 4.2 (siehe Thema 4.2, Kennzahlen für Postmortems und Lernen) prüft, dass Reviews tatsächlich stattfinden und ihre Maßnahmen geschlossen werden, denn ein abgeschlossenes Review ohne Umsetzung ändert nichts. Reviews oder geschlossene Probleme zu zählen ist leicht zu manipulieren, diese Zählungen sollten also neben der Wiederkehr derselben Ursachen gelesen werden, die sich schwerer fälschen lässt.
Schließlich erklärt Thema 4.6 (siehe Thema 4.6, Technische Schulden und bekannte Fehler), warum die anderen Messgrößen driften. Unbehobene bekannte Fehler und angesammelte Schulden erhöhen die Fehlerwahrscheinlichkeit und die Kosten jeder späteren Änderung. Den Backlog bekannter Fehler neben der Change-Fehlerrate zu lesen zeigt, wann das Aufschieben von Korrekturen begonnen hat, die Lieferung zu verlangsamen.
Spätere Teile bauen auf diesen Messgrößen auf. Service Level Objectives und Fehlerbudgets in Teil 5 geben eine Zuverlässigkeitsgrenze, an der sich das Tempo der Änderung beurteilen lässt, und Teil 11 zeigt, wie diese Messgrößen eingeführt werden, ohne Angst zu erzeugen.