Introduction à la partie 10 : Métriques pour l'IA, l'automatisation et l'analytique
L'IA rend la production bon marché et fluide, ce qui brise l'ancien lien entre ce qui est produit et ce qui vaut la peine d'être gardé : mesurez donc ce qui subsiste, ce qui aide et ce qui reste sous contrôle.
Chaque métrique de ce livre repose sur une hypothèse : produire la chose comptée demande un vrai effort. Un ticket résolu reflétait du travail. Un article rédigé reflétait de la connaissance. Un changement fusionné reflétait du soin. L'IA générative affaiblit cette hypothèse. Elle peut rédiger en quelques secondes une réponse, un article, un test ou un bloc de code, et ce qu'elle rédige est souvent plausible et parfois faux. Les décomptes montent. Savoir si les personnes servies s'en portent mieux est une question distincte à laquelle les décomptes ne peuvent pas répondre.
L'IA ajoute aussi de nouvelles choses à mesurer. Les assistants conversationnels et les agents qui agissent pour le compte d'un utilisateur demandent des mesures de résolution, de transmission et du préjudice des actions erronées. La gouvernance des modèles, des prompts et des fournisseurs demande des mesures de couverture, de contrôle et de traitement des incidents. Et les personnes qui travaillent aux côtés de ces outils ont besoin que leurs compétences, leur compréhension et leur rythme soutenable soient protégés. Les mesures de cette partie s'appuient sur le reste du livre, car les garde-fous sont les mêmes : apparier chaque métrique avec un contrôle de ce qu'elle pourrait cacher, comparer avec une référence, échantillonner avec des personnes et garder les données sur les personnes hors de l'évaluation (voir le sujet 1.2, Loi de Goodhart et psychologie des métriques).
Les façons de travailler agiles et ITIL offrent une posture sensée envers tout cela. Traitez chaque usage de l'IA comme une petite expérience. Énoncez le bénéfice attendu, essayez-le avec des personnes volontaires, comparez avec un travail semblable fait sans elle et décidez sur les preuves. Gardez les parties prenantes impliquées en continu, car ce sont elles qui remarquent les premières quand le signal se dégrade. Visez un rythme soutenable, pour que le temps économisé soit un choix portant sur la qualité et l'apprentissage, non une hausse automatique de la demande. Et souvenez-vous de l'objectif de bâtir autour d'individus motivés : l'IA doit soulager le travail fastidieux et respecter le jugement des gens, et ne doit pas devenir un moyen de les surveiller.
Les faits sur les outils, les produits et les règles de l'IA changent vite. Les énoncés de cette partie sur des réglementations, des normes et des outils précis sont datés d'octobre 2026, et le lecteur doit les revérifier. Les principes de mesure sont plus durables que toute la technologie qu'ils décrivent.
Cette partie couvre aussi les deux autres des quatre angles, l'automatisation et l'analytique. L'automatisation et l'orchestration changent qui fait le travail et rendent les défaillances rapides et étendues : elles sont donc mesurées sur ce qu'elles retirent et sur ce qu'elles cassent. Les pipelines produisent une grande part des preuves pour le changement et la conformité, et sont donc mesurés comme des systèmes. L'analytique, la prévision et l'observabilité produisent les chiffres utilisés partout ailleurs dans le livre : leur qualité de données, leur incertitude et leur coût demandent donc leurs propres mesures.
Sujets de cette partie
- 10.1 L'IA dans la mesure de la gestion des services : où l'IA entre dans le travail, références avant adoption, comparaisons, délai jusqu'à un résultat vérifié et coût complet.
- 10.2 Mesurer le travail assisté par l'IA : rétention, reprise, charge de revue, défauts échappés, compréhension et compétences.
- 10.3 Métriques des agents d'IA et des agents conversationnels : résolution vérifiée, contacts de retour, transmissions, délai jusqu'à une personne, exactitude des réponses et annulation des actions de l'agent.
- 10.4 Inflation des métriques et dilution de la qualité : comment le volume et la vitesse gonflent, échantillonnage de l'utilité, charge de vérification et rupture des boucles de rétroaction.
- 10.5 Métriques de gouvernance et de risque de l'IA : registre des usages, classes de risque, maîtrise des changements pour les modèles et les prompts, évaluation, supervision et incidents.
- 10.6 Métriques d'automatisation et d'orchestration : ce que l'automatisation retire et casse, couverture qui a un sens, défaillance et retour arrière, et conception avec intervention humaine.
- 10.7 Métriques des pipelines et des changements automatisés : santé du pipeline, approbations automatisées, politique sous forme de code et preuves que produit un pipeline.
- 10.8 Métriques d'analytique et de qualité des données : complétude, actualité, filiation, rapprochement, et ce qu'un chiffre peut et ne peut pas montrer.
- 10.9 Métriques de prévision et d'analytique prédictive : erreur de prévision, calibration, intervalles et décisions que les prévisions éclairent.
- 10.10 Métriques d'observabilité et de télémétrie : couverture des journaux, des métriques et des traces, qualité du signal et coût de la télémétrie.
Comment ces sujets s'articulent
Le sujet des fondations (voir le sujet 10.1, L'IA dans la mesure de la gestion des services) fixe la méthode : référence, comparaison, échantillonnage et coût complet. Elle s'applique à tous les autres sujets de la partie. Le sujet du travail assisté (voir le sujet 10.2, Mesurer le travail assisté par l'IA) applique cette méthode au travail que les gens font avec l'IA à leurs côtés, et regarde ce qui subsiste et ce qu'il advient de la compréhension. Le sujet des agents conversationnels et des agents (voir le sujet 10.3, Métriques des agents d'IA et des agents conversationnels) l'applique aux systèmes qui font face directement aux utilisateurs ou agissent pour leur compte, là où le coût d'une réponse ou d'une action erronée retombe sur quelqu'un d'autre.
L'inflation et la dilution (voir le sujet 10.4, Inflation des métriques et dilution de la qualité) sont le compagnon de mise en garde de tous ces sujets. Elles expliquent pourquoi les chiffres faciles montent et quoi leur apparier, et elles se relient aux contrôles d'utilité des autres sujets. La gouvernance (voir le sujet 10.5, Métriques de gouvernance et de risque de l'IA) est la structure qui tient le reste en place : elle fournit le registre qui dit quoi mesurer, les classes de risque qui disent avec quelle profondeur, la maîtrise des changements qui empêche le comportement de dériver sans être vu, et le processus d'incident pour quand quelque chose tourne mal.
Plusieurs couples de garde-fous en découlent. Une mesure de vitesse doit se lire avec le délai jusqu'à un résultat vérifié et la charge de vérification. Un chiffre de confinement ou de détournement doit se lire avec la résolution vérifiée et les contacts de retour. Un décompte d'usages enregistrés doit se lire face à une découverte indépendante. Un chiffre d'adoption d'un outil d'IA doit être traité comme descriptif, et ce sont les résultats face à une comparaison qui portent le poids.
La partie renvoie aux précédentes : les mesures de revue et de flux de la partie 2, les mesures de connaissances et de libre-service de la partie 3, les mesures de sécurité et de risque de la partie 8 et les mesures sur les personnes de la partie 9. Les sujets 10.6 à 10.10 étendent la méthode à l'automatisation, aux pipelines, à l'analytique, à la prévision et à l'observabilité : la même référence, le même appariement de la vitesse avec la qualité et la même habitude de vérifier ce que le chiffre ne peut pas montrer. Les mesures d'automatisation et de pipelines (voir le sujet 10.6, Métriques d'automatisation et d'orchestration, et le sujet 10.7, Métriques des pipelines et des changements automatisés) reposent sur les mesures de qualité des données du sujet 10.8 (voir le sujet 10.8, Métriques d'analytique et de qualité des données), et les prévisions (voir le sujet 10.9, Métriques de prévision et d'analytique prédictive) et la télémétrie (voir le sujet 10.10, Métriques d'observabilité et de télémétrie) alimentent les deux. Elle mène à la dernière partie de contenu, qui porte sur la construction d'un programme de métriques lui-même, car un programme qui introduit la mesure sans soin subira les mêmes distorsions que décrit cette partie.