Chaque changement apporté à un service en production est un pari. Il peut apporter de la valeur plus tôt, ou casser quelque chose sur lequel les utilisateurs comptent. La partie 3 a mesuré la qualité du support et du rétablissement quand les choses tournent mal (voir le sujet 3.0, Introduction à la partie 3 : Métriques du centre de services, des incidents et des demandes). Cette partie regarde l'autre face de la même pièce : comment le changement entre dans l'environnement, à quelle fréquence il cause des ennuis, et dans quelle mesure l'organisation apprend pour que les mêmes ennuis ne reviennent pas.

La livraison continue et ITIL abordent ce terrain par des directions différentes. La pratique agile favorise la livraison continue de logiciel par petits changements et traite le retour rapide comme une mesure de sécurité. Les pratiques ITIL comme la gestion des problèmes, la maîtrise des changements et la gestion des versions existent pour protéger la stabilité et pour trouver et supprimer les causes des incidents. Les métriques de cette partie permettent de confronter les deux visions aux mêmes preuves. Si le changement fréquent est sûr, les mesures d'échec et de reprise le montreront. Si un contrôle ralentit la livraison sans réduire le risque, ce sont les mesures d'approbation et de délai de livraison qui le montreront.

Deux précautions traversent toute la partie. La vitesse et la stabilité doivent se lire ensemble, car un chiffre qui améliore l'une en abîmant discrètement l'autre est un mauvais marché. Les mesures de temps doivent aussi se lire comme des distributions avec percentiles, comme l'expose la partie 1 (voir le sujet 1.6, Culture statistique pour les métriques de service). Chaque métrique ici décrit une équipe, un service ou un système. Aucune ne classe un individu, et aucune n'est un objectif à pousser isolément (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques).

Les quatre angles façonnent cette partie. La livraison continue fait des changements petits et fréquents la norme : les mesures de changement et de version décrivent donc ensemble le flux et la sûreté. Les changements assistés par l'IA et les scores de risque générés par l'IA demandent leur propre appariement de qualité. Les chaînes de livraison automatisent les preuves et les approbations : l'automatisation doit donc être mesurée sur ses échecs. L'analytique relie changements, incidents et problèmes, et dit combien de cas se tiennent derrière chaque taux.

Sujets de cette partie

  • 4.1 Métriques de gestion des problèmes : problèmes ouverts et clos, réutilisation des erreurs connues, récurrence et temps jusqu'à la correction définitive.
  • 4.2 Métriques des analyses post-incident et de l'apprentissage : achèvement des revues, clôture des actions, récurrence des causes et signaux d'apprentissage sans blâme.
  • 4.3 Métriques de maîtrise des changements : volume de changements par type, délai d'approbation, part des changements standard et automatisation de l'approbation.
  • 4.4 Échecs de changement et reprises : taux d'échec des changements, part des changements d'urgence, taux de retours arrière et de correctifs urgents, et définitions cohérentes de l'échec.
  • 4.5 Métriques des versions et des déploiements : fréquence de déploiement, fréquence de version, usage des indicateurs de fonctionnalité, délai de livraison des versions et séparation du déploiement et de la version.
  • 4.6 Dette technique et erreurs connues : backlog d'erreurs connues, stock et intérêts de la dette, et priorisation des corrections face au travail sur les fonctionnalités.

Comment ces sujets s'articulent

La partie se divise en deux moitiés qui dépendent l'une de l'autre. Les sujets 4.1 et 4.2 portent sur l'apprentissage : comment les incidents sont retracés jusqu'à leurs causes, et comment les revues se transforment en corrections menées à terme. Les sujets 4.3, 4.4 et 4.5 portent sur le changement : comment il est approuvé, à quelle fréquence il échoue et comment il parvient aux utilisateurs. Le sujet 4.6 joint les deux moitiés, parce que la dette et les erreurs connues que l'apprentissage met au jour sont les mêmes éléments qui concurrencent les nouvelles fonctionnalités pour le temps de l'équipe.

L'appariement le plus important est celui de la vitesse et de l'échec. La fréquence de déploiement et de version du sujet 4.5 (voir le sujet 4.5, Métriques des versions et des déploiements) décrit la fréquence à laquelle le changement atteint la production, et le programme de recherche DORA apparie de telles mesures de débit avec des mesures de stabilité (voir le sujet 2.8, Métriques DORA). Le sujet 4.4 (voir le sujet 4.4, Échecs de changement et reprises) fournit ce versant de stabilité. Une équipe qui déploie plus souvent pendant que ses taux d'échec et de reprise restent plats ou baissent s'améliore. Une équipe dont la fréquence monte pendant que les retours arrière et les correctifs urgents montent avec elle déplace le coût ailleurs.

La maîtrise des changements se place entre les deux. Le sujet 4.3 (voir le sujet 4.3, Métriques de maîtrise des changements) mesure le côté contrôle : combien de temps l'approbation prend, quelle part du changement est préautorisée comme standard et quelle part de l'approbation est automatisée. Le délai d'approbation est le coût d'un contrôle, et le taux d'échec des changements du sujet 4.4 est la preuve que ce contrôle fonctionne ou non. Lus ensemble, ils montrent si une lourde étape d'approbation achète de la sécurité ou n'ajoute que du retard, et si une approbation plus légère et automatisée a maintenu l'échec stable.

Les sujets d'apprentissage gardent les autres. La gestion des problèmes du sujet 4.1 (voir le sujet 4.1, Métriques de gestion des problèmes) mesure la récurrence et le temps jusqu'à la correction définitive, ce qui est le test à long terme de la question de savoir si le traitement des incidents de la partie 3 supprime des causes ou ne fait que rétablir le service. Le sujet 4.2 (voir le sujet 4.2, Métriques des analyses post-incident et de l'apprentissage) vérifie que les revues ont réellement lieu et que leurs actions sont closes, puisqu'une revue achevée sans suivi ne change rien. Compter les revues ou les problèmes clos est facile à détourner : ces décomptes doivent donc se lire à côté de la récurrence des mêmes causes, qui est plus difficile à falsifier.

Enfin, le sujet 4.6 (voir le sujet 4.6, Dette technique et erreurs connues) explique pourquoi les autres mesures dérivent. Les erreurs connues non traitées et la dette accumulée augmentent la probabilité d'échec et le coût de chaque changement ultérieur. Lire le backlog des erreurs connues à côté du taux d'échec des changements montre quand le report des corrections a commencé à ralentir la livraison.

Les parties suivantes s'appuient sur ces mesures. Les objectifs de niveau de service et les budgets d'erreur de la partie 5 donnent une limite de fiabilité à laquelle juger le rythme du changement, et la partie 11 montre comment introduire ces mesures sans semer la peur.