As Partes 2 a 4 olharam como o trabalho se move: com que rapidez flui, como os incidentes são tratados e como a mudança é feita com segurança. Esta parte se volta para o resultado que os usuários de fato experimentam. Um serviço que entrega com frequência e resolve incidentes depressa ainda pode ser lento, indisponível nos momentos errados ou imprevisível. Os usuários julgam o serviço pelo fato de funcionar quando precisam dele, e não pelo modo como a equipe se organiza.

Duas tradições se encontram aqui. A prática do ITIL usa há muito tempo acordos de nível de serviço, metas e relatórios para definir expectativas entre um provedor e seus clientes. A prática de engenharia de confiabilidade de sites, exposta nos livros Site Reliability Engineering do Google, usa indicadores de nível de serviço, objetivos e orçamentos de erro para transformar a confiabilidade em uma compensação explícita de engenharia contra o ritmo da mudança. As duas são compatíveis. Ambas partem do que importa para os usuários, ambas o expressam como uma meta mensurável e ambas precisam de um relato honesto de com que frequência a meta foi cumprida.

Um risco recorrente atravessa a parte inteira. Um número de confiabilidade é fácil de fazer parecer bom: escolhendo um indicador conveniente, excluindo períodos incômodos ou medindo o componente em vez da jornada do usuário. Por isso cada tópico aqui nomeia os relógios e as fronteiras de suas medidas, lê tempo e latência como distribuições com percentis (veja o tópico 1.6, Letramento estatístico para métricas de serviço) e pareia cada medida com uma barreira de proteção (veja o tópico 1.2, A lei de Goodhart e a psicologia das métricas). Toda métrica descreve um serviço, uma equipe ou um sistema. Nenhuma classifica um indivíduo, e as medidas de plantão, em particular, existem para proteger as pessoas, e não para pontuá-las.

As quatro lentes se aplicam à confiabilidade de modos particulares. A entrega contínua e os orçamentos de erro fazem do risco uma decisão compartilhada e gastável. Os componentes de IA podem falhar de forma branda, sendo lentos ou errados em vez de estarem fora do ar; por isso a disponibilidade dos caminhos de IA precisa de uma medida de qualidade ao lado. A automação fornece telemetria e alertas e ela própria precisa ser medida por alertas perdidos e falsos. A análise deve mostrar a janela e o número de eventos por trás de cada cifra.

Tópicos desta parte

  • 5.1 Métricas de SLA, OLA e XLA: medidas de acordo de nível de serviço, acordo de nível operacional e acordo de nível de experiência, e como o relato "melancia" esconde problemas atrás de painéis verdes e como evitá-lo.
  • 5.2 SLIs, SLOs e orçamentos de erro: indicadores e objetivos de nível de serviço, política de orçamento de erro, taxa de consumo (burn rate) e escolha de indicadores a partir do que importa aos usuários.
  • 5.3 Métricas de disponibilidade: cálculo de tempo no ar e de indisponibilidade, disponibilidade ponderada por usuários, interrupção planejada versus não planejada e a aritmética dos noves.
  • 5.4 Métricas de capacidade e desempenho: utilização, saturação, percentis de latência, folga e previsão de demanda.
  • 5.5 Métricas de monitoramento e qualidade de alertas: volume de alertas, taxa de alertas acionáveis, falsos positivos, cobertura de detecção e fadiga de alertas.
  • 5.6 Métricas de continuidade de serviço: objetivos de tempo e de ponto de recuperação cumpridos em testes, frequência de testes, achados de game days e atualidade dos planos.
  • 5.7 Métricas de trabalho repetitivo e plantão: acionamentos por turno, carga fora do expediente, parcela do tempo em trabalho repetitivo e medidas de rodízio sustentável.

Como estes tópicos se relacionam

Os três primeiros tópicos formam o núcleo da parte, porque definem a promessa e como ela é medida. O tópico 5.1 (veja o tópico 5.1, Métricas de SLA, OLA e XLA) cobre os acordos entre provedores, equipes internas e clientes e as práticas de relato que tornam esses acordos honestos ou enganosos. O tópico 5.2 (veja o tópico 5.2, SLIs, SLOs e orçamentos de erro) fornece a contrapartida de engenharia: indicadores tirados da experiência do usuário, objetivos definidos contra eles e um orçamento de erro que torna visível a folga restante para o risco. O tópico 5.3 (veja o tópico 5.3, Métricas de disponibilidade) fixa a aritmética de que ambos dependem, incluindo o que conta como indisponibilidade e quais usuários são afetados.

A capacidade e o desempenho ficam logo atrás da disponibilidade. Um serviço que está tecnicamente no ar mas saturado ou lento falha com seus usuários de um modo que uma cifra simples de tempo no ar perde. O tópico 5.4 (veja o tópico 5.4, Métricas de capacidade e desempenho) fornece os percentis de latência e as medidas de folga que complementam a disponibilidade, e suas previsões de demanda dão um alerta antecipado antes que um objetivo seja ameaçado.

A detecção e a recuperação determinam quanto de uma falha os usuários experimentam. O tópico 5.5 (veja o tópico 5.5, Métricas de monitoramento e qualidade de alertas) pergunta se a equipe fica sabendo dos problemas depressa e por sinais que valem a ação, o que se liga diretamente aos tempos de detecção e de restabelecimento da Parte 3. O tópico 5.6 (veja o tópico 5.6, Métricas de continuidade de serviço) pergunta se a equipe consegue se recuperar dentro de limites declarados quando algo maior dá errado e testa essa afirmação em vez de presumi-la.

O tópico 5.7 (veja o tópico 5.7, Métricas de trabalho repetitivo e plantão) age como a barreira de proteção humana para o resto. Objetivos apertados, alertas ruidosos e incidentes frequentes recaem todos sobre as pessoas que carregam o pager. Os acionamentos por turno e a parcela de trabalho repetitivo revelam quando a confiabilidade está sendo comprada com um esforço insustentável e se ligam de volta às medidas de trabalho não planejado da Parte 2. A qualidade dos alertas do tópico 5.5 e a carga de plantão do tópico 5.7 devem ser lidas como um par, já que alertas ruins são uma causa comum de rodízios pesados.

Por fim, o orçamento de erro do tópico 5.2 liga esta parte à mudança da Parte 4. Quando o orçamento está saudável, uma equipe pode liberar com mais liberdade. Quando está gasto, a mudança e o trabalho de confiabilidade devem ser reequilibrados. A Parte 6 confere então se cumprir as metas desta parte deixou os usuários em melhor situação, que é a pergunta que um relatório verde não consegue responder sozinho.