Introduction à la partie 5 : Métriques des niveaux de service, de la disponibilité et de la fiabilité
Les métriques des niveaux de service, de la disponibilité et de la fiabilité décrivent ce que les utilisateurs peuvent attendre d'un service, pour que les équipes ne promettent que ce qu'elles peuvent livrer, remarquent tôt quand elles s'écartent de la promesse et dépensent leur effort là où les utilisateurs le ressentiraient.
Les parties 2 à 4 ont regardé comment le travail circule : à quelle vitesse il s'écoule, comment les incidents sont traités et comment le changement est fait en sécurité. Cette partie se tourne vers le résultat que les utilisateurs éprouvent réellement. Un service qui livre souvent et résout vite les incidents peut quand même être lent, indisponible aux mauvais moments ou imprévisible. Les utilisateurs jugent le service selon qu'il fonctionne quand ils en ont besoin, non selon la façon dont l'équipe s'organise.
Deux traditions se rencontrent ici. La pratique ITIL emploie depuis longtemps les accords de niveau de service, les cibles et les rapports pour fixer les attentes entre un fournisseur et ses clients. La pratique d'ingénierie de fiabilité des sites, exposée dans les ouvrages Site Reliability Engineering de Google, utilise des indicateurs de niveau de service, des objectifs et des budgets d'erreur pour transformer la fiabilité en un arbitrage d'ingénierie explicite face au rythme du changement. Les deux sont compatibles. Toutes deux partent de ce qui compte pour les utilisateurs, toutes deux l'expriment comme une cible mesurable, et toutes deux demandent un compte rendu honnête de la fréquence à laquelle la cible a été tenue.
Un risque récurrent traverse toute la partie. Un chiffre de fiabilité est facile à faire paraître bon : en choisissant un indicateur commode, en excluant des périodes gênantes ou en mesurant le composant plutôt que le parcours de l'utilisateur. Pour cette raison, chaque sujet ici nomme les horloges et les frontières de ses mesures, lit le temps et la latence comme des distributions avec percentiles (voir le sujet 1.6, Culture statistique pour les métriques de service) et apparie chaque mesure avec un garde-fou (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques). Chaque métrique décrit un service, une équipe ou un système. Aucune ne classe un individu, et les mesures d'astreinte en particulier existent pour protéger les personnes, non pour les noter.
Les quatre angles s'appliquent à la fiabilité de façons particulières. La livraison continue et les budgets d'erreur font du risque une décision partagée et dépensable. Les composants d'IA peuvent défaillir doucement, en étant lents ou faux plutôt qu'à l'arrêt : la disponibilité des chemins d'IA a donc besoin d'une mesure de qualité à côté. L'automatisation fournit la télémétrie et les alertes, et doit elle-même être mesurée sur les alertes manquées et fausses. L'analytique doit montrer la fenêtre et le nombre d'événements derrière chaque chiffre.
Sujets de cette partie
- 5.1 Métriques de SLA, d'OLA et de XLA : mesures d'accord de niveau de service, d'accord de niveau opérationnel et d'accord de niveau d'expérience, et comment le rapport « pastèque » cache les ennuis derrière des tableaux de bord verts et comment l'éviter.
- 5.2 SLI, SLO et budgets d'erreur : indicateurs et objectifs de niveau de service, politique de budget d'erreur, taux de consommation et choix d'indicateurs à partir de ce qui compte pour les utilisateurs.
- 5.3 Métriques de disponibilité : calcul de la disponibilité et de l'indisponibilité, disponibilité pondérée par les utilisateurs, panne planifiée contre non planifiée, et arithmétique des neuf.
- 5.4 Métriques de capacité et de performance : utilisation, saturation, percentiles de latence, marge et prévision de la demande.
- 5.5 Métriques de supervision et de qualité des alertes : volume d'alertes, taux d'alertes exploitables, faux positifs, couverture de détection et fatigue des alertes.
- 5.6 Métriques de continuité de service : objectifs de temps et de point de reprise atteints en test, fréquence des tests, constats des exercices et actualité des plans.
- 5.7 Métriques de tâches répétitives et d'astreinte : appels par poste, charge hors des heures de travail, part du temps en tâches répétitives et mesures de rotation soutenable.
Comment ces sujets s'articulent
Les trois premiers sujets forment le cœur de la partie, parce qu'ils définissent la promesse et la façon de la mesurer. Le sujet 5.1 (voir le sujet 5.1, Métriques de SLA, d'OLA et de XLA) couvre les accords entre fournisseurs, équipes internes et clients, et les pratiques de rapport qui rendent ces accords honnêtes ou trompeurs. Le sujet 5.2 (voir le sujet 5.2, SLI, SLO et budgets d'erreur) fournit la contrepartie d'ingénierie : des indicateurs tirés de l'expérience des utilisateurs, des objectifs fixés face à eux et un budget d'erreur qui rend visible la marge de risque restante. Le sujet 5.3 (voir le sujet 5.3, Métriques de disponibilité) fixe l'arithmétique dont les deux dépendent, y compris ce qui compte comme indisponibilité et quels utilisateurs sont touchés.
La capacité et la performance viennent juste derrière la disponibilité. Un service techniquement en marche mais saturé ou lent déçoit ses utilisateurs d'une manière qu'un simple chiffre de disponibilité manque. Le sujet 5.4 (voir le sujet 5.4, Métriques de capacité et de performance) fournit les percentiles de latence et les mesures de marge qui complètent la disponibilité, et ses prévisions de demande donnent une alerte précoce avant qu'un objectif ne soit menacé.
La détection et le rétablissement déterminent quelle part d'une défaillance les utilisateurs éprouvent. Le sujet 5.5 (voir le sujet 5.5, Métriques de supervision et de qualité des alertes) demande si l'équipe apprend vite les problèmes et à partir de signaux qui valent la peine d'agir, ce qui se relie directement aux temps de détection et de rétablissement de la partie 3. Le sujet 5.6 (voir le sujet 5.6, Métriques de continuité de service) demande si l'équipe peut se rétablir dans des limites énoncées quand quelque chose de plus grave tourne mal, et teste cette affirmation au lieu de la supposer.
Le sujet 5.7 (voir le sujet 5.7, Métriques de tâches répétitives et d'astreinte) joue le rôle de garde-fou humain pour le reste. Des objectifs serrés, des alertes bruyantes et des incidents fréquents retombent tous sur les personnes qui portent le bipeur. Les appels par poste et la part de tâches répétitives révèlent quand la fiabilité est achetée par un effort insoutenable, et ils se relient aux mesures de travail non planifié de la partie 2. La qualité des alertes du sujet 5.5 et la charge d'astreinte du sujet 5.7 doivent se lire en couple, puisque de mauvaises alertes sont une cause courante de rotations lourdes.
Enfin, le budget d'erreur du sujet 5.2 relie cette partie au changement de la partie 4. Quand le budget est sain, une équipe peut publier plus librement. Quand il est dépensé, le changement et le travail de fiabilité doivent être rééquilibrés. La partie 6 vérifie ensuite si l'atteinte des cibles de cette partie a laissé les utilisateurs mieux lotis, ce qui est la question à laquelle un rapport vert ne peut répondre seul.