Источники данных и инструментирование
Метрика заслуживает доверия лишь настолько, насколько надёжны события под ней; поэтому назовите систему учёта для каждого числа, фиксируйте события автоматически в момент их возникновения и проверяйте конвейер так же тщательно, как проверяете график.
Обзор и мотивация
Большинство программ метрик тратят силы на панели и почти ничего не тратят на трубы, которые их питают. Это неправильно. Отполированный график, построенный на несогласованных метках времени, поле статуса, которое никто не обновляет, или интеграции, тихо остановившейся в прошлом месяце, выглядит авторитетно и при этом ошибочен. Эта тема описывает непарадный фундамент для остальной книги: откуда берутся данные об услугах и поставке, насколько надёжен каждый источник и какие сбои качества данных обесценивают метрику раньше, чем кто-либо это заметит.
Источники делятся на несколько семейств. Инструмент управления ИТ-услугами (ITSM) фиксирует инциденты, запросы, проблемы и изменения, которые ITIL считает основными записями эксплуатации услуг. Система отслеживания задач фиксирует бэклог и движение рабочих элементов для команд Agile. Система контроля версий фиксирует коммиты, ветки и слияния. Конвейер непрерывной интеграции и непрерывной поставки (CI/CD) фиксирует сборки, результаты тестов и развёртывания. Платформы мониторинга и наблюдаемости выдают телеметрию: метрики, журналы и трассировки работающих систем. База данных управления конфигурациями (CMDB) фиксирует услуги и компоненты, к которым всё относится. Опросы фиксируют то, чего не может наблюдать ни одна система, например удовлетворённость и усилие.
Событие развёртывания, записанное конвейером, объективно и трудно подделывается, статус заявки, изменённый через несколько часов после работы, есть воспоминание, а ответ в опросе есть восприятие. Знание того, какая запись стоит за числом, подсказывает, какой сбой искать в первую очередь.
Взгляды Agile и ITIL встречаются на одних и тех же данных: и там и там это конечные автоматы с метками времени; поэтому записывайте каждое изменение состояния как событие с надёжным временем и выводите метрики из событий.
В этой теме повторяются три термина. Система учёта (system of record) есть единственный источник, авторитетный для данного факта, например конвейер для факта «развёртывание произошло». Инструментирование есть намеренный сбор событий кодом, настройкой или интеграцией инструментов, чтобы метрику можно было вычислить без ручного ввода. Модель статусов есть набор состояний, в которых может находиться рабочий элемент или запись, и допустимые переходы между ними. Модель статусов решает, какие часы вообще можно вычислить.
В масштабе крупной компании и государственного сектора проблема усугубляется. Данные проходят через коннекторы, задания извлечения, преобразования и загрузки (ETL) и слои отчётности, и каждый переход есть шанс для дрейфа смысла. Поле, означающее одно в источнике, может означать нечто чуть иное в хранилище, а число всё равно выглядит правдоподобно. Лекарство состоит в том, чтобы сократить расстояние между событием и панелью и проверять конвейер по графику.
Ключевые принципы
- Фиксируйте события, а не итоги. Храните сырые изменения состояний с метками времени и вычисляйте метрики из них, чтобы определение можно было менять без потери истории.
- Предпочитайте наблюдение самоотчёту. Там, где система видит событие, используйте это; сообщения людей оставьте для того, что могут сказать только люди.
- Назовите одну систему учёта на каждый факт. Дублирующие источники расходятся, а расхождение подрывает доверие к обоим.
- Проектируйте модель статусов раньше метрики. Часы нельзя вычислить из состояний, которых нет или которые означают разное у разных команд.
- Относитесь к конвейеру как к продукту. У него есть владельцы, тесты, мониторинг и журнал изменений, потому что качество данных деградирует незаметно.
- Показывайте происхождение. Каждое число на панели должно вести к исходным записям за один-два щелчка.
- Собирайте только то, что будете использовать, и защищайте это. Каждое поле стоит денег, а когда оно касается людей, это ещё и обязанность по защите приватности.
Определения метрик
Метрики ниже измеряют здоровье самого снабжения данными. Это приборная панель для приборов.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват источниками | Доля услуг и команд в области охвата, чьи события автоматически попадают в хранилище метрик | услуги или команды с автоматической подачей / услуги или команды в области охвата; «область охвата» перечислена в реестре метрик | процент | Реестр метрик и настройка конвейера | Измерение и отчётность; управление конфигурацией услуг | Рабочее соглашение команды об инструментах | Раз в квартал |
| Полнота меток времени | Доля закрытых рабочих элементов, несущих все метки времени, нужные для часов метрики | закрытые элементы со всеми нужными метками смены состояний / элементы, закрытые за период; всё ещё открытые элементы исключаются | процент | История инструмента ITSM или трекера задач | Управление инцидентами; управление запросами на обслуживание | История доски или рабочего процесса | Раз в месяц |
| Доля записей задним числом | Доля изменений состояния, записанных постфактум, измеряемая разрывом между временем события и временем ввода | изменения состояния, введённые более чем через 24 часа после времени события / изменения состояния за период; часы запускаются при событии и останавливаются при вводе | процент | След аудита трекера или время события в конвейере против времени ввода | Управление изменениями; управление инцидентами | Определение готовности | Раз в месяц |
| Свежесть данных | Насколько стары самые новые данные на панели в момент просмотра | время просмотра минус время самого нового загруженного события; сообщайте медиану и 95-й перцентиль | часы | Журнал запусков конвейера и журнал загрузки панели | Измерение и отчётность | Подготовка к обзору заинтересованными сторонами | Раз в неделю |
| Расхождение при сверке | Несовпадение двух источников для одного и того же подсчёта | абсолютная разница двух подсчётов / подсчёт в системе учёта за фиксированный период и область | процент | Система учёта и слой отчётности | Управление уровнями услуг; управление финансами | Проверки отчёта о релизе | Раз в месяц |
| Дрейф модели статусов | Число различных названий статусов или переходов в использовании по сравнению с документированной моделью | недокументированные статусы или переходы, замеченные за период (число); документированные исключаются | число | Настройка рабочего процесса трекера и история событий | Непрерывное улучшение | Рабочие соглашения о рабочем процессе | Раз в квартал |
| Доля ответивших на опрос | Доля приглашённых людей, заполнивших опрос | полученные ответы / доставленные приглашения; недоставленные приглашения исключаются | процент | Инструмент опросов | Управление уровнями услуг; клиентский опыт | Обзор заинтересованными сторонами и обратная связь по улучшениям | За каждую волну опроса |
Полнота меток времени считает только закрытые элементы, поэтому накопившийся бэклог старых открытых элементов не скроет разрыв. Доля записей задним числом использует порог 24 часа как пример; команда выбирает порог, подходящий её работе, и записывает его.
Рекомендации
Сопоставьте каждой метрике её источник
1. Постройте карту источников раньше, чем строить панель. Для каждой метрики запишите систему учёта, событие, запускающее часы, событие, останавливающее их, владельца источника и известный вид сбоя. Если вы не можете назвать систему, вы ещё не знаете, откуда берётся число. Храните карту в реестре метрик (см. тему 1.4, Управление метриками и ответственность за них).
2. Выберите одну систему учёта на каждый факт. Развёртывание записывает конвейер, инцидент инструмент ITSM, изменение кода система контроля версий, связь услуг CMDB. Если два инструмента хранят один и тот же факт, решите, какой главнее, и пусть другой читает из него. Тогда сверка становится проверкой, а не спором.
Фиксируйте события в момент их возникновения
3. Инструментируйте событие, а не отчёт. Пусть развёртывание записывает конвейер, слияние хост системы контроля версий, а оповещение система мониторинга. Данные, зависящие от того, что кто-то вспомнит обновить поле, деградируют по мере удаления от события и роста нагрузки. Где есть автоматическое событие, предпочитайте его введённому человеком заместителю того же факта (см. тему 2.8, Метрики DORA).
4. Делайте смену статусов побочным эффектом работы. Если слияние ветки переводит рабочий элемент в «на проверке», а развёртывание в «выпущено», никому не нужно помнить об этом. Интеграции между системой контроля версий, конвейером и трекером убирают большую часть записей задним числом.
5. Храните сырые события и храните их неизменяемыми. Сохраняйте каждое изменение состояния с временем события, временем ввода и типом исполнителя (человек или автоматика). Записывайте исправления как новые события, а не перезаписи, чтобы история исправления сама была данными.
Правильно обращайтесь со временем
6. Записывайте время в едином стандарте. Храните метки времени в всемирном координированном времени (UTC) в однозначном формате, таком как определённый в ISO 8601 и RFC 3339, а в местное время переводите только для показа. Смешанные часовые пояса и переходы на летнее время тихо порождают отрицательные длительности и часы, сдвинутые на час.
7. Записывайте правила часов там, где живут данные. Для каждого показателя времени укажите, какое событие запускает часы, какое останавливает и какие статусы их приостанавливают. Состояние паузы есть проектное решение. Сообщайте, как часто используется каждое состояние паузы, потому что именно часы чаще всего становятся местом, где данные об услугах подгоняют (см. тему 3.3, Время реагирования на инциденты и их устранения).
Проектируйте модель статусов
8. Держите модель статусов небольшой, общей и документированной. Каждый лишний статус приглашает каждую команду истолковать его по-своему. Определите в одном предложении, что означает каждое состояние, кто может переводить работу в него и какие переходы допустимы. От этой модели зависят возраст рабочего элемента и показатели потока (см. тему 2.1, Показатели потока), а сопоставление между командами зависит от того, что команды называют одни и те же состояния одними и теми же словами. Когда данные вас удивляют, сначала подозревайте рабочий процесс: записывайте каждое изменение рабочего процесса или поля с датой и причиной и считайте недокументированные статусы сигналом дрейфа.
Сохраняйте честность конвейера
9. Тестируйте конвейер как программное обеспечение. Сверяйте число строк с источником, проверяйте наличие обязательных полей, ищите дубликаты и поднимайте тревогу, когда подача остановилась. Добавьте на каждую панель индикатор свежести, чтобы зрители видели, насколько стары данные. Тихий отказ коннектора, оставляющий на экране числа прошлого месяца, один из самых частых и самых вредных сбоев в этой области (см. тему 11.1, Проектирование панели метрик услуг).
10. Сверяйте по графику и выборочно проверяйте вручную. Сравните подсчёт в слое отчётности с источником за фиксированный период и исследуйте разницу. Затем прочитайте небольшую выборку сырых записей. Пятнадцатиминутная выборка часто находит то, чего не находят автоматические проверки, например статус, используемый неожиданным образом.
Осторожно обращайтесь с людьми и опросами
11. Оставьте опросы для того, что может сказать только человек. Удовлетворённость, усилие, доверие и благополучие нельзя наблюдать по данным систем. Спрашивайте прямо, делайте опросы короткими, меняйте время и сообщайте долю ответивших и то, кто ответил, поскольку отвечающие отличаются от тех, кто не отвечает, что есть форма смещения выборки. Читайте открытые комментарии целиком (см. тему 6.1, Метрики удовлетворённости клиентов).
12. Защищайте персональные данные и держите данные на уровне команд. Данные о событиях в работе могут идентифицировать людей через авторство коммитов, поля исполнителей и записи чатов. Собирайте на уровне, нужном метрике, агрегируйте до команд и услуг и применяйте правила приватности вашей юрисдикции и организации. Данные уровня отдельных людей, будучи собраны, склонны использоваться для ранжирования, а это портит источник (см. тему 1.2, Закон Гудхарта и психология метрик).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват источниками | Считать услугу охваченной после подключения подачи, даже если она несёт почти ноль событий; оставлять трудные услуги вне области охвата | Объём событий на охваченную услугу в сравнении с её известной активностью; сверять список области охвата с каталогом услуг |
| Полнота меток времени | Заполнять обязательные метки временем закрытия, чтобы пройти проверку | Распределение разрывов между соседними состояниями; выборочно проверять закрытые элементы на правдоподобие времён |
| Доля записей задним числом | Вводить изменения как раз внутри порога; расширять порог; записывать все изменения одним массовым обновлением | Распределение времени ввода по часам; доля изменений, сделанных автоматикой, против сделанных вручную; аудит массовых правок |
| Свежесть данных | Показывать время последнего обновления вместо времени самого нового события | Показывать на панели время самого нового события; тревога, когда подача не приносит новых событий |
| Расхождение при сверке | Выбирать период или область, которые сходятся; подгонять слой отчётности под источник, не найдя причины | Заранее фиксировать область и период; записывать каждую найденную причину и пересматривать причины раз в квартал |
| Дрейф модели статусов | Использовать существующий статус для нового смысла, чтобы не попасть в отметку; добавлять статусы, не записывая их | Сравнивать настройку рабочего процесса с реестром на каждом пересмотре; читать выборку элементов в необычных состояниях |
| Доля ответивших на опрос | Приглашать только тех, кто скорее всего ответит; слать напоминания довольным пользователям; предлагать вознаграждения, смещающие ответы | Состав ответивших в сравнении с совокупностью пользователей; распределение ответов по волнам; чтение открытых комментариев на пересмотре |
Здоровое чтение выглядит как набор скучных чисел: охват высок, записи задним числом редки и сокращаются, свежесть в пределах заявленного обещания, а при ненулевом расхождении при сверке причина известна. Когда число сдвигается, кто-то может сказать, изменилась работа или прибор.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Автоматический сбор событий | Объективен, своевременен, мало усилий после построения | Охватывает только то, что инструментировано; тихо ломается при смене инструментов |
| Ручной ввод и обновление статусов | Фиксирует контекст и суждение; работает без интеграции | Запаздывает, непоследователен и открыт манипуляции |
| Одно центральное хранилище метрик | Одно определение, одно место для тестов и управления | Нужны финансирование и владение; может стать узким местом |
| Каждая команда ведёт свои данные | Подходит местной работе; быстро начать | Определения расходятся; сводные данные ненадёжны |
| Сырые события хранятся долго | Определения можно менять, а историю пересчитывать | Затраты на хранение и приватность; больше защищать |
Автоматизируйте наблюдаемое, спрашивайте людей о ненаблюдаемом и сохраняйте сырую запись. Инвестируйте сначала в источники за двумя-тремя метриками, которыми команда действительно пользуется, а не в платформу данных для каждого мыслимого числа.
Вопросы для обсуждения в команде
1. Какая система служит системой учёта для нашей самой важной метрики, и откуда мы это знаем? Попросите группу проследить число от панели до первого события. Отметьте каждое место, где человек или преобразование касается данных. Ведущему стоит искать шаги, которые никто не может объяснить, потому что с них и надо начинать первое расследование.
2. Какие из наших меток времени пишет система, а какие вводит человек? Перечислите используемые часы, например время реагирования, время решения и время цикла. Отметьте каждый запуск и остановку как автоматические или ручные. Для ручных спросите, через сколько после события обычно делается запись. Обсуждение часто показывает, что самая оспариваемая метрика стоит на самой ненадёжной метке времени.
3. Что значат наши статусы, и все ли команды вкладывают в них одно и то же? Выложите рабочий процесс на доску и пусть люди из разных команд объяснят каждое состояние своими словами. Сравните объяснения. Посчитайте состояния, где часы приостанавливаются, и спросите, кто может ими пользоваться и зачем. Договоритесь об одном изменении, убирающем неоднозначность, и запишите его с причиной.
4. Как мы узнали бы, что подача тихо остановилась? Спросите, когда кто-либо последний раз проверял, что данные на панели актуальны. Обсудите, какое оповещение или индикатор свежести поймал бы остановленный коннектор в течение суток. Ведущему стоит добиваться названного владельца и конкретной проверки, а не общего намерения быть внимательными.
5. Что мы собираем и никогда не используем, и что мы используем, но собираем плохо? Положите рядом список полей и список метрик. Отметьте поля, не питающие ни одного решения, и метрики, опирающиеся на плохие поля. Решите, какое одно поле перестать собирать и какое одно улучшить в этом квартале.
6. Кто отвечает на наши опросы, а кто нет? Сравните ответивших с совокупностью пользователей или членов команды. Посмотрите долю ответивших по группам и по времени суток или недели. Обсудите, что может значить молчание и как достучаться до тихих групп без давления. Договоритесь, как доля ответивших будет показываться рядом с каждым результатом опроса.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки порождают большую часть объективных данных: коммиты, проверки, сборки и развёртывания. Им полезно инструментирование, делающее смену статусов побочным эффектом работы, чтобы доска оставалась честной без лишних усилий. Им стоит держать рабочий процесс небольшим и опасаться использовать активность в системе контроля версий как меру усилия (см. тему 2.2, Время выполнения, время цикла и эффективность потока).
Команды услуг и эксплуатации
Команды услуг зависят от записей, создаваемых людьми под давлением, часто во время инцидента. Правила часов, состояния паузы и поля приоритета это те места, где происходит дрейф. Командам эксплуатации стоит по возможности автоматизировать фиксацию ключевых времён, таких как время оповещения и время подтверждения, проверять использование состояний паузы и держать данные мониторинга отдельно от записи заявки, чтобы каждое проверяло другое (см. тему 5.5, Метрики мониторинга и качества оповещений).
Руководство и управление
Руководители решают, сколько инвестировать в фундамент данных, и задают стимулы, определяющие, останутся ли данные честными. Им стоит спрашивать, откуда берётся число, прежде чем спрашивать, почему оно сдвинулось, финансировать владение конвейером как постоянную работу и ожидать дату свежести и определение в каждом отчёте. Органам управления стоит считать документированное изменение источника или определения нормальным событием, а не сбоем.
Клиенты и пользователи
Пользователи поставляют самые важные данные об опыте, обычно отвечая на опросы, оценивая взаимодействия или сообщая о проблемах. Им нужно знать, что собирается, зачем и что изменится в результате. Короткие опросы и видимая последующая работа поддерживают здоровую долю ответивших. Отчёты об уровне услуг для клиентов должны указывать свои источники и определения (см. тему 5.2, SLI, SLO и бюджеты ошибок).
На практике: пример из управления услугами
В интернет-магазине среднего размера есть платформенная команда, три продуктовые команды и служба поддержки. Все числа в этом примере иллюстративны.
Руководство спрашивает, почему время выполнения изменения в ежемесячном отчёте упало с медианы 9 дней до 3 дней за один квартал, хотя продуктовые команды сообщают, что способ их работы не изменился. Руководитель платформенной инженерии подозревает прибор и просит карту источников метрики.
Карта показывает, что время выполнения запускается, когда в инструменте ITSM создаётся запись об изменении, и останавливается, когда её статус устанавливается в «внедрено». Две продуктовые команды начали создавать запись после того, как работа была готова, так что часы запускались поздно. Выборка из 40 записей показывает, что 12 были созданы в тот же день, что и развёртывание. Доля записей задним числом, измеряемая как разрыв между событием развёртывания в конвейере и вводом статуса «внедрено», составила 31 % сверх порога 24 часа, установленного командой.
Команда вносит три изменения. Первое: начало часов переносится на первый коммит, привязанный к изменению, взятый из системы контроля версий, а остановка на событие развёртывания, записанное конвейером. Второе: инструмент ITSM получает статус от конвейера, так что «внедрено» больше не вводится руками. Третье: панель получает индикатор свежести и проверку сверки числа изменений между конвейером и инструментом ITSM.
По новому определению медиана времени выполнения составляет 7 дней, а 95-й перцентиль 21 день, и доля записей задним числом падает до 4 %. Руководство сначала читает 7 дней как худший результат. Руководитель платформы объясняет, что старое число было артефактом позднего создания записей. Решение, записанное в журнале решений, состоит в том, чтобы пересчитать два предыдущих квартала по сырым событиям и отметить смену определения на графике. Риск манипуляции, пойманный командой, был тонким: никто не фальсифицировал число, но позднее создание записей давало лестную цифру. Расхождение при сверке теперь служит ограждением, а выборка сырых записей пересматривается каждый квартал.
Agile, ИИ, автоматизация и аналитика
Agile
Стройте инструментирование небольшими шагами вместе с функциями, чтобы каждый релиз добавлял события, нужные для его измерения, и согласуйте определения событий с людьми, которые будут читать числа. Практический шаг состоит в том, чтобы добавить событие в определение готовности изменения. Осторожность в том, что измерение, достраиваемое после запуска, оставляет пробелы в ранних данных, которые не восполнит никакое последующее исправление.
ИИ
Системы ИИ добавляют новые источники данных: промпты, ответы, вызовы инструментов, правки людей и переопределения. Фиксируйте, кто или что действовало, какая версия модели работала и менял ли человек результат, с учётом правил приватности и хранения. Осторожность в том, что запись промптов может захватить персональные или конфиденциальные данные; поэтому решите, что хранить, до начала.
Автоматизация
Фиксируйте события автоматически в момент их возникновения из системы учёта и тестируйте конвейер на известных входах. Автоматизация сама есть источник: записывайте запуски, сбои, повторы и откаты. Осторожность в том, что тихий сбой, когда сломанный коннектор выдаёт ровные, здорово выглядящие числа; поэтому следите за свежестью данных как за метрикой.
Аналитика
Сверяйте хотя бы одно число с независимым источником каждый квартал и публикуйте расхождение. Решение, которое это информирует, состоит в том, можно ли доверять метрике достаточно, чтобы ею пользоваться. Осторожность в том, что аккуратно выглядящие панели могут стоять на слабых данных; поэтому показывайте полноту данных рядом с результатом.
Отраслевой взгляд
Стартап. Данных мало, а доверия много, что помогает. Используйте конвейер и систему контроля версий как основные источники, потому что они не требуют лишних усилий, и держите модель статусов в пределах горстки состояний. Записывайте каждое определение и его источник на одной странице и пересматривайте её, когда команда удваивается.
Малый бизнес. Один человек часто ведёт ИТ на размещённой службе поддержки. Используйте отчёты инструмента, запрашивайте у поставщика определения письменно и периодически выгружайте сырые данные, чтобы избежать привязки к поставщику.
Крупная компания. Много инструментов, много команд и слои интеграции создают наибольший риск дрейфа определений. Инвестируйте в общую модель событий, центральное хранилище метрик с названными владельцами, автоматическую сверку и проверки свежести. Согласуйте небольшой общекорпоративный словарь статусов и позволяйте командам добавлять локальные состояния только с заявленным сопоставлением с ним.
Государство и публичный сектор. Записи могут подпадать под законы о хранении, аудите, доступе и приватности, а закупки могут привязывать к инструментам и форматам данных. Относитесь к этому как к входным данным проекта: ведите след аудита, документируйте происхождение от события до отчёта и оговаривайте в контрактах права на выгрузку данных. Обязанности по отчётности делают документированные определения необходимыми (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Стоимость этой темы состоит из трёх частей. Первая: усилие построения, то есть интеграции, хранилище метрик и наведение порядка в модели статусов. Вторая: усилие эксплуатации, то есть владелец конвейера, мониторинг подач и квартальная рутина сверки и выборки. Третья: стоимость средств приватности и безопасности для хранимых данных.
Отдача идёт от решений, принимаемых по числам, которые значат то, что кажутся значащими. Плохие данные ведут к неверным инвестициям, спорам о том, чья цифра верна, и пересчитанным результатам, подрывающим доверие. Описывайте выгоду через закономерности, которые вы можете измерить сами: время на подготовку ежемесячного отчёта до и после, число споров о сверке за квартал, а также долю записей задним числом и полноту меток времени во времени. Совокупная стоимость владения определяется людьми, поэтому считайте часы владельца конвейера.
Антипаттерны и ловушки
- Построить панель раньше карты источников. График выглядит законченным, а его смысл неизвестен. Сначала составьте карту источника, часов и владельца.
- Доверять ручному обновлению статусов в показателях времени. Позднее внесение делает часы вымыслом. Автоматизируйте переходы по событиям конвейера и системы контроля версий везде, где они есть.
- Несколько систем учёта для одного факта. Следуют споры. Выберите одну и пусть остальные читают из неё.
- Тихие изменения определений. Линия тренда становится бессмысленной. Записывайте каждое изменение с причиной и отмечайте его на графике.
- Средние из неполных данных. Пропущенные метки времени не случайны, потому что неудобные элементы часто и пропускают. Сообщайте полноту меток времени рядом с результатом.
- Собирать всё на случай, если пригодится. Стоимость и риск приватности растут, не обслуживая ни одного решения. Собирайте то, что нужно названному вопросу.
- Нет индикатора свежести. Устаревшая панель выглядит так же, как актуальная. Показывайте возраст самого нового события в каждом представлении.
- Данные уровня людей без цели. Они соблазняют ранжированием и вредят источнику. Агрегируйте до уровня команды и услуги и ограничивайте доступ.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Источники и сбор | Числа собираются вручную из выгрузок | Некоторые инструменты автоматически питают отчёт, другие нет | У каждой метрики одна названная система учёта и автоматический сбор там, где есть событие | Охват и полнота измеряются и отслеживаются во времени | События разделены между командами и поставщиками через согласованные интерфейсы, с контрактами на выгрузку |
| Время и модели статусов | Каждый записывает и читает время по-своему | Некоторые команды документируют свой рабочий процесс | Один стандарт времени и общий словарь статусов с письменными правилами часов | Дрейф и записи задним числом отслеживаются, изменения записываются с причинами | Модели совместно пересматриваются с поставщиками и клиентами, когда перестают информировать решения |
| Качество конвейера | Сбои обнаруживаются, когда кто-то жалуется | Редкие ручные проверки | Подсчёт строк, проверки дубликатов и индикатор свежести на каждой панели | Сверка запланирована, причины рассматриваются; у конвейера есть владелец | Здоровье конвейера сообщается как услуга, улучшения финансируются |
| Практика опросов и приватности | Разовые опросы; нет проверки приватности | Стандартные вопросы в некоторых командах | Короткие регулярные опросы с показанной долей ответивших; данные хранятся на уровне команды | Состав ответивших пересматривается и учитывается | Результаты опросов и практика приватности открыто разделяются с пользователями |
Контрольный список
- У каждой отчётной метрики есть названная система учёта и названный владелец источника.
- Карта источников хранится в реестре метрик.
- Каждый показатель времени указывает, где его часы запускаются, останавливаются и приостанавливаются.
- Метки времени хранятся в UTC в однозначном формате, а часы серверов синхронизированы.
- Смена статусов создаётся автоматикой везде, где есть событие.
- Сырые события хранятся с временем события и временем ввода, а исправления являются новыми событиями.
- Модель статусов документирована, и каждое изменение записано с причиной.
- Каждая панель показывает возраст своих самых новых данных.
- Подсчёты сверяются с источником по графику, причины записываются.
- Выборка сырых записей читается каждый квартал.
- Доля ответивших на опрос и состав ответивших показываются с каждым результатом опроса.
- Персональные данные минимизированы и агрегированы до уровня команды и услуги.
Промпты для ИИ
Постройте карту источников для метрики.
I am documenting the data behind this metric: [metric name], defined as
[definition]. Our tools are [list of tools, for example tracker, ITSM tool,
pipeline, monitoring]. Draft a source map with these fields: the event that
starts the clock, the event that stops it, the system of record for each, who or
what creates the event (person or automation), likely failure modes, and checks
that would detect each failure. Do not invent tool features or benchmark values.
List your assumptions and the questions I should answer to complete the map.
Проверьте модель статусов на неоднозначность.
Here is the workflow for [team or service]: [list of statuses and allowed
transitions, with a one-line meaning for each if known]. The clocks we compute
from it are [list clocks]. Identify statuses that are ambiguous, states where a
clock could stop or pause in a misleading way, and places where two teams might
read the same word differently. Suggest a smaller model that still supports the
clocks, and say what would be lost. Do not guess how our tool is configured. List
your assumptions.
Спроектируйте проверки качества данных для подачи.
We load [data type, for example change records] from [source system] into
[destination] every [schedule]. Required fields are [list fields]. Propose a
practical set of checks for completeness, duplicates, freshness, and
reconciliation against the source, with a suggested alert and an owner role for
each. Keep the set small enough for a team of [team size] to maintain. Do not
invent thresholds; ask me for the ones you need. List your assumptions.
Составьте короткий опрос и план по доле ответивших.
I want to measure [experience topic, for example effort to get a request
fulfilled] for [audience]. Draft [number] neutral questions, a plan for when and
how to send them, and how to report the response rate and the respondent mix. Flag
wording that could bias answers, and note privacy considerations given that the
data will be held in [tool or location]. Do not invent benchmark response rates.
List your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти тему, определяющую метрику, которую вы инструментируете, и ограждение, которое должно стоять рядом.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая или изменённая тема о метрике называет свой источник данных и часы.
Главные выводы
- Каждая метрика зависит от названной системы учёта; поэтому составьте карту источника, прежде чем строить график.
- Фиксируйте события автоматически в момент их возникновения и храните сырые события, чтобы определения можно было менять без потери истории.
- Время тоже данные: используйте один стандарт, записывайте правила часов и следите за записями задним числом.
- Держите модель статусов небольшой, общей и документированной и записывайте каждое изменение.
- Относитесь к конвейеру как к продукту с владельцем, тестами, индикатором свежести и плановой сверкой.
- Используйте опросы для того, что могут сказать только люди, показывайте долю ответивших и держите персональные данные на уровне команд.
Источники и дополнительное чтение
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
- ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
- Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Управление ИТ-услугами.
- Wikipedia, ITIL.
- Wikipedia, Система отслеживания задач.
- Wikipedia, Система контроля версий.
- Wikipedia, CI/CD.
- Wikipedia, Наблюдаемость (программное обеспечение).
- Wikipedia, База данных управления конфигурациями.
- Wikipedia, Извлечение, преобразование, загрузка.
- Wikipedia, Качество данных.
- Wikipedia, Всемирное координированное время.
- Wikipedia, Смещение выборки.