Каждая метрика в этой книге опирается на допущение, что производство считаемой вещи требует реальных усилий. Решённая заявка отражала работу. Написанная статья отражала знание. Слитое изменение отражало заботу. Генеративный ИИ ослабляет это допущение. Он может набросать ответ, статью, тест или блок кода за секунды, и набросанное часто правдоподобно, а иногда неверно. Счёты растут. Стали ли обслуживаемые люди жить лучше, есть отдельный вопрос, на который счёты ответить не могут.

ИИ также добавляет новое для измерения. Разговорным ассистентам и агентам, действующим от имени пользователя, нужны меры решения, передачи и вреда от неверных действий. Управлению моделями, промптами и поставщиками нужны меры охвата, контроля и обработки инцидентов. А людям, работающим рядом с этими инструментами, нужна защита их навыков, понимания и устойчивого темпа. Меры этой части опираются на остальную книгу, потому что ограждения те же: парьте каждую метрику с проверкой того, что она могла бы скрыть, сравнивайте с базовым уровнем, делайте выборку вместе с людьми и держите данные о людях вне оценки (см. тему 1.2, Закон Гудхарта и психология метрик).

Способы работы Agile и ITIL предлагают разумную позицию ко всему этому. Относитесь к каждому использованию ИИ как к малому эксперименту. Заявите ожидаемую выгоду, попробуйте с желающими людьми, сравните с похожей работой, сделанной без него, и решайте по свидетельствам. Держите заинтересованные стороны вовлечёнными непрерывно, потому что они первыми замечают, когда сигнал деградирует. Стремитесь к устойчивому темпу, чтобы сэкономленное время было выбором о качестве и обучении, а не автоматическим ростом спроса. И помните цель строить вокруг мотивированных людей: ИИ должен снимать утомительную работу и уважать суждение людей, и ему не следует становиться способом за ними следить.

Факты об инструментах, продуктах и правилах ИИ быстро меняются. Утверждения в этой части о конкретных регламентах, стандартах и инструментах датированы октябрём 2026 года, и читателю следует перепроверить их. Принципы измерения долговечнее любой технологии, которую они описывают.

Эта часть также охватывает две остальные из четырёх линз, автоматизацию и аналитику. Автоматизация и оркестрация меняют, кто делает работу, и делают сбои быстрыми и широкими, поэтому их измеряют по тому, что они убирают и что ломают. Конвейеры производят значительную часть свидетельств для изменений и соответствия, поэтому их измеряют как системы. Аналитика, прогнозирование и наблюдаемость производят числа, используемые везде в книге, поэтому их качеству данных, неопределённости и цене нужны собственные меры.

Темы этой части

  • 10.1 ИИ в измерении управления услугами: где ИИ входит в работу, базовые уровни до внедрения, сравнения, время до проверенного результата и полная стоимость.
  • 10.2 Измерение работы с помощью ИИ: сохранение, переделки, нагрузка рецензирования, ускользнувшие дефекты, понимание и навыки.
  • 10.3 Метрики ИИ-агентов и чат-ботов: проверенное решение, повторные обращения, передачи, время до человека, точность ответов и откат действий агента.
  • 10.4 Инфляция метрик и разбавление качества: как раздуваются объём и скорость, выборка полезности, бремя проверки и разрыв петель обратной связи.
  • 10.5 Метрики управления ИИ и рисков: реестр использований, классы риска, контроль изменений моделей и промптов, оценка, надзор и инциденты.
  • 10.6 Метрики автоматизации и оркестрации: что автоматизация убирает и ломает, осмысленный охват, сбой и откат и проект с человеком в петле.
  • 10.7 Метрики конвейеров и автоматизированных изменений: здоровье конвейера, автоматизированные утверждения, политика как код и свидетельства, производимые конвейером.
  • 10.8 Метрики аналитики и качества данных: полнота, своевременность, происхождение, сверка и что число может и не может показать.
  • 10.9 Метрики прогнозирования и предиктивной аналитики: ошибка прогноза, калибровка, интервалы и решения, которые информируют прогнозы.
  • 10.10 Метрики наблюдаемости и телеметрии: охват логов, метрик и трасс, качество сигнала и цена телеметрии.

Как эти темы связаны между собой

Тема основ (см. тему 10.1, ИИ в измерении управления услугами) задаёт метод: базовый уровень, сравнение, выборка и полная стоимость. Он применим к каждой другой теме части. Тема работы с помощью ИИ (см. тему 10.2, Измерение работы с помощью ИИ) применяет этот метод к работе, которую люди делают с ИИ рядом, и смотрит на то, что выживает и что происходит с пониманием. Тема о чат-ботах и агентах (см. тему 10.3, Метрики ИИ-агентов и чат-ботов) применяет его к системам, обращённым прямо к пользователям или действующим от их имени, где цена неверного ответа или действия падает на кого-то другого.

Инфляция и разбавление (см. тему 10.4, Инфляция метрик и разбавление качества) есть предостерегающий компаньон всех этих. Она объясняет, почему лёгкие числа растут и с чем их парить, и связана с проверками полезности в других темах. Управление (см. тему 10.5, Метрики управления ИИ и рисков) есть структура, держащая остальное на месте: она даёт реестр, говорящий, что измерять, классы риска, говорящие, насколько глубоко, контроль изменений, не позволяющий поведению дрейфовать незаметно, и процесс инцидентов на случай, когда что-то идёт не так.

Отсюда вытекает несколько пар ограждений. Меру скорости следует читать вместе со временем до проверенного результата и бременем проверки. Цифру сдерживания или отклонения следует читать вместе с проверенным решением и повторными обращениями. Счёт зарегистрированных использований следует читать относительно независимого обнаружения. Цифру внедрения инструмента ИИ следует считать описательной, а вес несут результаты относительно сравнения.

Часть связывается с более ранними: меры рецензирования и потока части 2, меры знаний и самообслуживания части 3, меры безопасности и риска части 8 и меры людей части 9. Темы с 10.6 по 10.10 расширяют метод на автоматизацию, конвейеры, аналитику, прогнозирование и наблюдаемость: тот же базовый уровень, то же парование скорости с качеством и та же привычка проверять, чего число показать не может. Меры автоматизации и конвейеров (см. тему 10.6, Метрики автоматизации и оркестрации, и тему 10.7, Метрики конвейеров и автоматизированных изменений) опираются на меры качества данных темы 10.8 (см. тему 10.8, Метрики аналитики и качества данных), а прогнозы (см. тему 10.9, Метрики прогнозирования и предиктивной аналитики) и телеметрия (см. тему 10.10, Метрики наблюдаемости и телеметрии) питают оба. Она ведёт в последнюю содержательную часть, о построении самой программы метрик, потому что программа, вводящая измерение без заботы, пострадает от тех же искажений, что описывает эта часть.