Die Teile 2 bis 4 betrachteten, wie Arbeit sich bewegt: wie schnell sie fließt, wie Incidents bearbeitet werden und wie Change sicher geschieht. Dieser Teil wendet sich dem Ergebnis zu, das Nutzer tatsächlich erleben. Ein Service, der oft ausliefert und Incidents schnell löst, kann trotzdem langsam, zu den falschen Zeiten nicht verfügbar oder unberechenbar sein. Nutzer beurteilen den Service danach, ob er funktioniert, wenn sie ihn brauchen, nicht danach, wie sich das Team organisiert.

Hier treffen sich zwei Traditionen. Die ITIL-Praxis nutzt seit Langem Service Level Agreements, Ziele und Berichte, um Erwartungen zwischen einem Anbieter und seinen Kunden festzulegen. Die Praxis des Site Reliability Engineering, dargelegt in Googles Site Reliability Engineering-Büchern, nutzt Service Level Indicators, Objectives und Fehlerbudgets, um Zuverlässigkeit in eine ausdrückliche technische Abwägung gegen das Tempo der Veränderung zu verwandeln. Die beiden sind vereinbar. Beide beginnen bei dem, was Nutzern wichtig ist, beide drücken es als messbares Ziel aus, und beide brauchen eine ehrliche Rechenschaft darüber, wie oft das Ziel erreicht wurde.

Ein wiederkehrendes Risiko zieht sich durch den ganzen Teil. Eine Zuverlässigkeitszahl lässt sich leicht gut aussehen lassen: durch die Wahl eines bequemen Indikators, durch den Ausschluss unangenehmer Zeiträume oder durch das Messen der Komponente statt der Reise des Nutzers. Aus diesem Grund nennt jedes Thema hier die Uhren und Grenzen seiner Messgrößen, liest Zeit und Latenz als Verteilungen mit Perzentilen (siehe Thema 1.6, Statistische Kompetenz für Servicekennzahlen) und koppelt jede Messgröße mit einer Leitplanke (siehe Thema 1.2, Goodharts Gesetz und die Psychologie von Kennzahlen). Jede Kennzahl beschreibt einen Service, ein Team oder ein System. Keine ordnet eine Einzelperson, und insbesondere die Bereitschaftskennzahlen existieren, um Menschen zu schützen, nicht um sie zu bewerten.

Die vier Linsen greifen bei Zuverlässigkeit auf besondere Weise. Kontinuierliche Auslieferung und Fehlerbudgets machen Risiko zu einer gemeinsamen, ausgebbaren Entscheidung. KI-Komponenten können weich ausfallen, indem sie langsam oder falsch sind statt ausgefallen, daher braucht die Verfügbarkeit für KI-Pfade ein Qualitätsmaß daneben. Automatisierung liefert Telemetrie und Alarme und muss selbst an verpassten und falschen Alarmen gemessen werden. Analytik sollte das Fenster und die Zahl der Ereignisse hinter jeder Zahl zeigen.

Themen in diesem Teil

  • 5.1 Kennzahlen für SLA, OLA und XLA: Kennzahlen für Service Level Agreement, Operational Level Agreement und Experience Level Agreement, und wie Watermelon-Reporting Ärger hinter grünen Dashboards verbirgt und wie man es vermeidet.
  • 5.2 SLIs, SLOs und Fehlerbudgets: Service Level Indicators und Objectives, Fehlerbudget-Richtlinie, Burn Rate und die Wahl von Indikatoren nach dem, was Nutzern wichtig ist.
  • 5.3 Verfügbarkeitskennzahlen: Berechnung von Verfügbarkeit und Ausfallzeit, nutzergewichtete Verfügbarkeit, geplanter gegenüber ungeplantem Ausfall und die Arithmetik der Neunen.
  • 5.4 Kennzahlen für Kapazität und Leistung: Auslastung, Sättigung, Latenzperzentile, Spielraum und Prognose der Nachfrage.
  • 5.5 Kennzahlen für Monitoring und Alarmqualität: Alarmvolumen, Anteil handlungsrelevanter Alarme, Fehlalarme, Erkennungsabdeckung und Alarmmüdigkeit.
  • 5.6 Kennzahlen für die Servicekontinuität: in Tests erreichte Wiederherstellungszeit und Wiederherstellungspunkt, Testhäufigkeit, Befunde aus Game Days und Aktualität der Pläne.
  • 5.7 Kennzahlen für Toil und Bereitschaftsdienst: Pages pro Schicht, Last außerhalb der Arbeitszeit, Toil-Anteil der Zeit und Messgrößen für tragfähige Rotationen.

Wie diese Themen zusammenhängen

Die ersten drei Themen bilden den Kern des Teils, denn sie definieren das Versprechen und wie es gemessen wird. Thema 5.1 (siehe Thema 5.1, Kennzahlen für SLA, OLA und XLA) behandelt die Vereinbarungen zwischen Anbietern, internen Teams und Kunden und die Berichtspraktiken, die diese Vereinbarungen ehrlich oder irreführend machen. Thema 5.2 (siehe Thema 5.2, SLIs, SLOs und Fehlerbudgets) liefert das technische Gegenstück: aus der Nutzererfahrung gewonnene Indikatoren, daran ausgerichtete Objectives und ein Fehlerbudget, das den verbleibenden Spielraum für Risiko sichtbar macht. Thema 5.3 (siehe Thema 5.3, Verfügbarkeitskennzahlen) legt die Arithmetik fest, auf die beide bauen, einschließlich dessen, was als Ausfallzeit zählt und welche Nutzer betroffen sind.

Kapazität und Leistung sitzen dicht hinter der Verfügbarkeit. Ein Service, der technisch läuft, aber gesättigt oder langsam ist, enttäuscht seine Nutzer auf eine Weise, die eine einfache Verfügbarkeitszahl verfehlt. Thema 5.4 (siehe Thema 5.4, Kennzahlen für Kapazität und Leistung) liefert die Latenzperzentile und Spielraum-Messgrößen, die die Verfügbarkeit ergänzen, und seine Nachfrageprognosen geben Frühwarnung, bevor ein Objective bedroht ist.

Erkennung und Wiederherstellung bestimmen, wie viel eines Fehlschlags Nutzer erleben. Thema 5.5 (siehe Thema 5.5, Kennzahlen für Monitoring und Alarmqualität) fragt, ob das Team schnell und aus Signalen, die Handeln lohnen, von Problemen erfährt, was direkt mit den Erkennungs- und Wiederherstellungszeiten in Teil 3 zusammenhängt. Thema 5.6 (siehe Thema 5.6, Kennzahlen für die Servicekontinuität) fragt, ob das Team sich innerhalb genannter Grenzen erholen kann, wenn etwas Größeres schiefgeht, und testet diese Behauptung, statt sie anzunehmen.

Thema 5.7 (siehe Thema 5.7, Kennzahlen für Toil und Bereitschaftsdienst) wirkt als menschliche Leitplanke für den Rest. Enge Objectives, verrauschte Alarme und häufige Incidents landen alle bei den Menschen, die den Pager tragen. Pages pro Schicht und Toil-Anteil zeigen, wann Zuverlässigkeit mit untragbarem Aufwand erkauft wird, und sie knüpfen an die Messgrößen ungeplanter Arbeit in Teil 2 an. Alarmqualität in Thema 5.5 und Bereitschaftslast in Thema 5.7 sollten als Paar gelesen werden, denn schlechte Alarme sind eine häufige Ursache schwerer Rotationen.

Schließlich verbindet das Fehlerbudget in Thema 5.2 diesen Teil mit dem Change in Teil 4. Ist das Budget gesund, kann ein Team freier releasen. Ist es verbraucht, sollten Change und Zuverlässigkeitsarbeit neu austariert werden. Teil 6 prüft dann, ob das Erreichen der Ziele in diesem Teil die Nutzer besser gestellt hat, die Frage, die ein grüner Bericht allein nicht beantworten kann.