Um serviço pode ser rápido, barato e bem-quisto e ainda assim falhar com as pessoas que dependem dele, por causa de uma fraqueza sem correção, de um risco não examinado, de uma obrigação que ninguém acompanhou ou de um fornecedor que parou de entregar. As medidas desta parte descrevem as condições que protegem contra essas falhas: quanto tempo as fraquezas ficam abertas, se os controles funcionam, se a evidência existe quando alguém a pede e se você sabe do que depende e conseguiria sair.

A prática ágil e o ITIL tratam essas preocupações a sério, por ângulos diferentes. O ITIL contribui com a gestão de segurança da informação, a gestão de riscos, a gestão de fornecedores e a governança, com sua ênfase em política, responsabilidade e registros. O ágil e o DevOps contribuem com a ideia de que a segurança e o controle pertencem ao interior da entrega contínua: mudanças pequenas, feedback rápido, verificações automatizadas e responsabilidade compartilhada entre desenvolvimento, segurança, operações e garantia. As organizações mais eficazes combinam os dois, de modo que os controles são embutidos no pipeline, a evidência é um subproduto da entrega e auditores, reguladores e fornecedores são parceiros em uma conversa contínua, e não adversários ocasionais.

Estas medidas também carregam o maior risco de distorção. Metas para achados, riscos vermelhos ou violações ensinam as pessoas a desviar o olhar, a reclassificar ou a esconder. As medidas que tocam o comportamento humano, como os relatos de atividade suspeita, podem escorregar para a vigilância ou a culpa. Cada métrica desta parte vem, portanto, com o modo como é manipulada e uma barreira de proteção, e a parte trata o relato seguro e o aprendizado sem culpados como controles por direito próprio. Nenhuma das medidas classifica indivíduos. Descrevem sistemas, serviços e relacionamentos (veja o tópico 1.2, A lei de Goodhart e a psicologia das métricas).

As quatro lentes importam aqui porque os sistemas de IA acrescentam novos riscos e novas obrigações. As evidências de segurança e de conformidade são cada vez mais produzidas por pipelines; por isso a automação deve ser testada, e não tomada como certa. Os fornecedores podem embutir IA; por isso pergunte o que está ligado. A análise relata a exposição e a eficácia dos controles com tamanhos de amostra. Este livro não dá aconselhamento jurídico; por isso confira as obrigações com o seu próprio assessor jurídico.

Tópicos desta parte

  • 8.1 Métricas de incidentes de segurança e vulnerabilidades: janelas de exposição, conformidade de correções, cobertura de varreduras, tempo até conter, exceções e a cultura de relato que mantém os sinais fluindo.
  • 8.2 Métricas de riscos e controles: um registro de riscos curto e com responsáveis, teste de controles, indicadores-chave de risco e aprovação de mudanças baseada em risco.
  • 8.3 Métricas de conformidade e auditoria: cobertura de obrigações, automação de evidências, encerramento e repetição de achados e trabalho com auditores.
  • 8.4 Métricas de fornecedores e contratos: desempenho de fornecedores contra a experiência, concentração, due diligence, revisões conjuntas e planos de saída testados.
  • 8.5 Relatórios regulatórios e governamentais: obrigações de relato como insumos de projeto, relatórios rastreáveis, definições reconciliadas e informação pública utilizável.

Como estes tópicos se relacionam

As medidas de segurança (veja o tópico 8.1, Métricas de incidentes de segurança e vulnerabilidades) descrevem ameaças e fraquezas em termos concretos e fornecem alguns dos mais fortes indicadores-chave de risco para o registro de riscos. As medidas de riscos e controles (veja o tópico 8.2, Métricas de riscos e controles) põem esses indicadores em contexto, decidem quais controles importam e testam se funcionam. As medidas de conformidade e auditoria (veja o tópico 8.3, Métricas de conformidade e auditoria) transformam os mesmos controles e testes em evidência para quem é de fora e mostram quanto dessa evidência o trabalho produz sozinho.

As medidas de fornecedores (veja o tópico 8.4, Métricas de fornecedores e contratos) estendem cada uma delas através da fronteira da organização. As vulnerabilidades, os riscos e a postura de conformidade de um fornecedor passam a ser seus, e o contrato é um dos controles. O tópico de relatórios (veja o tópico 8.5, Relatórios regulatórios e governamentais) fecha a parte perguntando o que deve ser dito a quem e como dizê-lo com exatidão sem deixar que a visão do relato distorça o trabalho que descreve.

Vários pares de barreiras de proteção decorrem disso. Uma janela de exposição deve ser lida com a cobertura de varreduras, para que uma cifra limpa não seja apenas uma varredura estreita. Uma taxa de eficácia de controles deve ser lida com o acompanhamento das falhas, porque uma taxa perfeita pode vir de testes fracos. Uma contagem de achados de auditoria deve ser lida com a taxa de repetição e a verificação do encerramento. Um nível de serviço de fornecedor deve ser lido com a experiência do usuário (veja o tópico 6.2, Acordos de nível de experiência). Uma cifra legal deve ser lida com suas medidas companheiras e uma reconciliação com a definição interna.

A parte se apoia nas anteriores. Os registros de ativos, de configuração e de custos (veja o tópico 7.1, Métricas de gestão de ativos de TI, e o tópico 7.4, Métricas de qualidade de configuração e CMDB) é o que torna possíveis as varreduras, o mapeamento de dependências e a análise de fornecedores. As medidas de análises pós-incidente e de mudanças da Parte 4 fornecem os ciclos de aprendizado que mantêm honesto este trabalho. A Parte 9 se volta para as pessoas por trás de tudo isso: sua saúde, sua colaboração e os hábitos de melhoria que tornam melhor todo o sistema com o tempo.