Toda métrica deste livro repousa sobre uma premissa: produzir aquilo que se conta exige esforço real. Um ticket resolvido refletia trabalho. Um artigo escrito refletia conhecimento. Uma mudança integrada refletia cuidado. A IA generativa enfraquece essa premissa. Ela pode redigir uma resposta, um artigo, um teste ou um bloco de código em segundos, e o que redige é muitas vezes plausível e às vezes errado. As contagens sobem. Saber se as pessoas atendidas ficaram melhor é uma pergunta à parte, que as contagens não conseguem responder.

A IA também acrescenta coisas novas a medir. Os assistentes conversacionais e os agentes que agem em nome de um usuário precisam de medidas de resolução, de transferência e do dano de ações erradas. A governança de modelos, prompts e fornecedores precisa de medidas de cobertura, controle e tratamento de incidentes. E as pessoas que trabalham ao lado dessas ferramentas precisam ter protegidos suas habilidades, seu entendimento e seu ritmo sustentável. As medidas desta parte se apoiam no resto do livro, porque as barreiras de proteção são as mesmas: pareie cada métrica com uma verificação do que ela poderia esconder, compare com uma linha de base, faça amostragem com pessoas e mantenha os dados sobre pessoas fora da avaliação (veja o tópico 1.2, A lei de Goodhart e a psicologia das métricas).

As formas de trabalhar ágeis e do ITIL oferecem uma postura sensata diante de tudo isso. Trate cada uso de IA como um pequeno experimento. Declare o benefício esperado, tente com pessoas dispostas, compare com trabalho semelhante feito sem ela e decida pela evidência. Mantenha as partes interessadas continuamente envolvidas, porque são as primeiras a notar quando o sinal se degrada. Mire um ritmo sustentável, para que o tempo economizado seja uma escolha sobre qualidade e aprendizado, e não um aumento automático da demanda. E lembre o objetivo de construir em torno de indivíduos motivados: a IA deve aliviar o trabalho tedioso e respeitar o julgamento das pessoas, e não deve se tornar um meio de monitorá-las.

Os fatos sobre ferramentas, produtos e regras de IA mudam depressa. As afirmações desta parte sobre regulamentos, normas e ferramentas específicos estão datadas de outubro de 2026, e o leitor deve conferi-las de novo. Os princípios de medição são mais duráveis que qualquer tecnologia que descrevem.

Esta parte cobre também as outras duas das quatro lentes, a automação e a análise. A automação e a orquestração mudam quem faz o trabalho e tornam as falhas rápidas e amplas; por isso são medidas pelo que removem e pelo que quebram. Os pipelines produzem boa parte da evidência de mudança e de conformidade; por isso são medidos como sistemas. A análise, a previsão e a observabilidade produzem os números usados em todo o resto do livro; por isso sua qualidade de dados, sua incerteza e seu custo precisam das próprias medidas.

Tópicos desta parte

  • 10.1 A IA na medição da gestão de serviços: onde a IA entra no trabalho, linhas de base antes da adoção, comparações, tempo até um resultado conferido e custo total.
  • 10.2 Medir o trabalho assistido por IA: retenção, retrabalho, carga de revisão, defeitos escapados, entendimento e habilidades.
  • 10.3 Métricas de agentes de IA e chatbots: resolução verificada, contatos de retorno, transferências, tempo até uma pessoa, exatidão das respostas e a reversão das ações do agente.
  • 10.4 Inflação de métricas e diluição da qualidade: como o volume e a velocidade inflam, amostragem de utilidade, ônus de verificação e ruptura dos ciclos de feedback.
  • 10.5 Métricas de governança e risco de IA: o registro de usos, as classes de risco, o controle de mudanças de modelos e prompts, a avaliação, a supervisão e os incidentes.
  • 10.6 Métricas de automação e orquestração: o que a automação remove e quebra, cobertura que significa algo, falha e rollback e projeto com humano no circuito.
  • 10.7 Métricas de pipelines e mudança automatizada: saúde do pipeline, aprovações automatizadas, política como código e a evidência que um pipeline produz.
  • 10.8 Métricas de análise e qualidade de dados: completude, oportunidade, linhagem, reconciliação e o que um número pode e não pode mostrar.
  • 10.9 Métricas de previsão e análise preditiva: erro de previsão, calibração, intervalos e as decisões que as previsões informam.
  • 10.10 Métricas de observabilidade e telemetria: cobertura de logs, métricas e traces, qualidade do sinal e o custo da telemetria.

Como estes tópicos se relacionam

O tópico de fundamentos (veja o tópico 10.1, A IA na medição da gestão de serviços) define o método: linha de base, comparação, amostragem e custo total. Aplica-se a todos os outros tópicos da parte. O tópico de trabalho assistido (veja o tópico 10.2, Medir o trabalho assistido por IA) usa esse método no trabalho que as pessoas fazem com a IA ao lado e olha o que sobrevive e o que acontece com o entendimento. O tópico de chatbots e agentes (veja o tópico 10.3, Métricas de agentes de IA e chatbots) o aplica a sistemas que enfrentam os usuários diretamente ou agem em nome deles, onde o custo de uma resposta ou ação errada recai sobre outra pessoa.

A inflação e a diluição (veja o tópico 10.4, Inflação de métricas e diluição da qualidade) são a companheira de advertência de todos esses tópicos. Explica por que os números fáceis sobem e o que parear com eles e se liga às verificações de utilidade dos outros tópicos. A governança (veja o tópico 10.5, Métricas de governança e risco de IA) é a estrutura que mantém o resto no lugar: fornece o registro que diz o que medir, as classes de risco que dizem com que profundidade, o controle de mudanças que impede o comportamento de derivar sem ser visto e o processo de incidentes para quando algo dá errado.

Vários pares de barreiras de proteção decorrem disso. Uma medida de velocidade deve ser lida com o tempo até um resultado conferido e o ônus de verificação. Uma cifra de contenção ou desvio deve ser lida com a resolução verificada e os contatos de retorno. Uma contagem de usos registrados deve ser lida contra a descoberta independente. Uma cifra de adoção de uma ferramenta de IA deve ser tratada como descritiva, e os resultados contra a comparação carregam o peso.

A parte se liga às anteriores: as medidas de revisão e de fluxo da Parte 2, as medidas de conhecimento e autoatendimento da Parte 3, as medidas de segurança e risco da Parte 8 e as medidas de pessoas da Parte 9. Os tópicos 10.6 a 10.10 estendem o método à automação, aos pipelines, à análise, à previsão e à observabilidade: a mesma linha de base, o mesmo pareamento de velocidade com qualidade e o mesmo hábito de conferir o que o número não consegue mostrar. As medidas de automação e de pipelines (veja o tópico 10.6, Métricas de automação e orquestração, e o tópico 10.7, Métricas de pipelines e mudança automatizada) repousam nas medidas de qualidade de dados do tópico 10.8 (veja o tópico 10.8, Métricas de análise e qualidade de dados), e as previsões (veja o tópico 10.9, Métricas de previsão e análise preditiva) e a telemetria (veja o tópico 10.10, Métricas de observabilidade e telemetria) alimentam ambas. Conduz à última parte de conteúdo, que trata de construir o próprio programa de métricas, porque um programa que introduz a medição sem cuidado sofrerá as mesmas distorções que esta parte descreve.