Обзор и мотивация

Аналитика есть использование данных и статистики для ответа на вопросы и информирования решений. В управлении услугами она простирается от простого еженедельного счёта заявок до моделей, предсказывающих, какие изменения дадут сбой. Аналитика есть четвёртая линза этой книги рядом с практикой Agile, ИИ и автоматизацией, и она же есть то, от чего зависят остальные три. Панель, построенная на плохом качестве данных, даёт уверенные ответы на неверные вопросы.

Качество данных есть набор свойств: полны ли данные, точны, согласованы, своевременны, уникальны и допустимы. Более ранние темы охватывали, откуда берутся данные об услугах и как их читать (см. тему 1.5, Источники данных и инструментирование, и тему 1.6, Статистическая грамотность для метрик услуг). Эта тема превращает эти идеи в меры, которые команда может отслеживать о своих данных и анализе, так же как часть 4 измеряет изменения. Она также охватывает аналитику как практику: задаваемые вопросы, используемые методы, кто их проверяет и изменил ли результат решение.

Аналитика привлекательна, потому что масштабируется. Один аналитик может обслуживать много команд, а одна модель может оценивать каждую заявку. Тот же масштаб усиливает ошибки. Неверно понятое определение в общем наборе данных расходится по каждому отчёту, построенному на нём, а модель, обученная на прошлом поведении, может повторять старую предвзятость на скорости. Инструменты ИИ, пишущие запросы, графики и резюме, делают анализ дешевле и также облегчают уверенное производство ошибок, поэтому проверка важнее.

Используемые термины. Набор данных есть определённая совокупность записей, например заявок или развёртываний. Происхождение (lineage) есть запись того, откуда пришли данные и что с ними делали. Сверка сравнивает два источника, которые должны совпадать. Контракт данных есть соглашение между производителем и пользователями набора данных о его структуре, значении и качестве. Анализ есть вопрос, метод и результат. Неопределённость есть диапазон, в котором может лежать значение, при данных данных и методе. Журнал решений записывает решения, которые информировало число.

Ключевые принципы

  • Начинайте с вопроса и решения. Анализ без привязанного решения есть накладные расходы.
  • Измеряйте данные о данных. Полнота, своевременность и сверка суть меры, которыми команда может владеть.
  • Сохраняйте происхождение. Число, которое нельзя проследить до источника, нельзя исправить.
  • Указывайте неопределённость и пределы. Показывайте счёт за долей и говорите, чего число показать не может.
  • Проверяйте анализ как код. Рецензируйте определения и запросы и храните их в контроле версий.
  • Защищайте людей. Аналитике поведения людей нужны границы приватности, а результаты описывают команды и услуги.

Определения метрик

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Полнота обязательных полей Доля записей со всеми полями, требуемыми для использующих их метрик записи, где каждое обязательное поле присутствует и допустимо / записи в области процент Выгрузки исходных систем и проверки качества данных Измерение и отчётность; управление знаниями Определение готовности для записей Раз в месяц
Свежесть данных Возраст самых свежих данных в наборе на момент чтения отчёта медиана и максимум (время чтения отчёта минус время последней загруженной записи) по наборам данных часы Логи конвейеров и метаданные наборов Измерение и отчётность Быстрая обратная связь Раз в неделю
Расхождение при сверке Разница между двумя источниками, которые должны совпадать по одной и той же величине абсолютная разница между источником A и источником B / источник A, для заданной выборки величин и периода процент Две исходные системы Измерение и отчётность; управление финансами Рабочие соглашения об определениях Раз в квартал
Охват происхождением Доля отчётных метрик, чьи источник, преобразования и владелец документированы метрики в реестре с документированным происхождением / сообщаемые метрики процент Реестр метрик и каталог данных Управление Соглашения команды Раз в квартал
Доля сбоев конвейера данных Доля запусков конвейера данных, которые падают или загружают неполные данные запуски конвейера данных, упавшие или загрузившие неполные данные / начатые запуски процент Логи конвейеров данных Измерение и отчётность Непрерывная интеграция для данных Раз в неделю
Доля рецензированного анализа Доля опубликованных аналитических материалов, рецензированных вторым человеком до использования аналитические материалы с записанным рецензированием / аналитические материалы, опубликованные для аудитории, принимающей решения процент Реестр анализа и журнал рецензирования Измерение и отчётность; непрерывное улучшение Рецензирование коллегами Раз в квартал
Доля использования в решениях Доля сообщаемых метрик, процитированных в записанном решении за период метрики, процитированные в записи журнала решений / сообщаемые метрики процент Журнал решений и реестр метрик Непрерывное улучшение Действия из ретроспектив Раз в квартал

Полнота считает поле присутствующим, только если оно содержит допустимое значение, так что заглушка вроде «н/д» не считается. Расхождение при сверке применяется к названной выборке величин, например счётам заявок за месяц, и указывает выборку.

Рекомендации

Сделайте качество данных видимым

1. Определяйте качество данных через метрики. Перечислите поля и метки времени, от которых зависят ваши важнейшие метрики, и определите, как выглядит допустимое для каждого. Проверяйте их первыми, поскольку недостающая метка времени ломает меру времени.

2. Проверяйте у источника, а не только в отчёте. Проверка качества, выполняемая при создании данных, например обязательное поле в форме заявки, предотвращает ошибки, которые никакая поздняя чистка не исправит полностью. Добавляйте проверки и при загрузке данных.

3. Публикуйте качество рядом с числами. Показывайте полноту и свежесть на панели, показывающей метрику. Читатель должен видеть качество данных, не спрашивая.

4. Сверяйте по графику. Сравнивайте хотя бы одну величину между двумя системами каждый квартал, например число изменений в записи об изменениях и в конвейере. Исследуйте и объясняйте различия и записывайте находку.

Держите анализ честным

5. Сначала пишите вопрос и решение. Перед анализом записывайте вопрос, решение, которое он информирует, и кто будет решать. Когда решение принято, записывайте, что решено.

6. Держите происхождение и определения в одном реестре. Связывайте каждую метрику с источником, преобразованием, владельцем и датой пересмотра (см. тему 1.4, Управление метриками и ответственность за них). Изменения определений логируются с причинами и отмечаются на графиках.

7. Рецензируйте каждый аналитический материал. Второй человек проверяет определения, запросы и выводы для любого анализа, используемого в решении. Храните запросы в контроле версий, чтобы их можно было повторить.

8. Указывайте неопределённость и пределы. Показывайте число элементов за каждой долей, интервалы там, где они важны, и то, чего анализ показать не может. Избегайте точности одного числа там, где данные её не поддерживают.

Управляйте использованием

9. Используйте контракты данных для общих наборов данных. Команда, производящая набор данных, указывает его значение, поля, свежесть и известные проблемы и сообщает пользователям при изменении. Ломающие изменения требуют уведомления.

10. Защищайте людей в данных. Решите, кто может видеть сырые записи, как долго данные хранятся и каков минимальный размер группы для отчётов. Держите аналитику на уровне команд и услуг и проверяйте правила приватности, которые к вам применимы.

11. Выводите отчёты и наборы данных. Отчёт, которым никто не пользуется, всё равно стоит поддержки и может вводить в заблуждение. Пересматривайте использование и выводите то, что не цитируется в решениях.

12. Относитесь к анализу с помощью ИИ как к нерецензированному, пока он не проверен. Инструменты ИИ могут написать запрос или резюме, выглядящие верными и неверные. Рецензируйте запрос, повторяйте на малой известной выборке и записывайте, что он проверен.

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Полнота обязательных полей Заполнять поля заглушками или значениями по умолчанию; делать поля необязательными Проверки допустимости содержания; выборка записей на реальные значения
Свежесть данных Ставить метку времени загрузки вместо события; загружать пустые обновления Сверять время события со временем загрузки; число строк на загрузку
Расхождение при сверке Выбирать величины, которые случайно совпадают; подгонять один источник под другой Вращать величины; вести журнал аудита корректировок
Охват происхождением Документировать происхождение поверхностно; копировать текст между записями Выборка записей и прослеживание одной метрики сквозь
Доля сбоев конвейера данных Помечать упавшие запуски как повторённые или успешные; удалять логи Сравнивать числа записей с источником; оповещать о пропусках
Доля рецензированного анализа Формальные рецензирования; рецензирование после решения Проверять заметки рецензентов; требовать рецензирование до использования
Доля использования в решениях Цитировать метрики в журнале без влияния на решение Спрашивать, что изменилось; выборка записей

Здоровое чтение есть видимые и стабильные цифры качества данных, объясняемые различия между источниками, анализ, рецензируемый до использования, и метрики, приходящие и уходящие по мере нужд решений.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Строгая проверка данных при вводе Предотвращает ошибки рано Трение для пользователей; записи-заглушки
Чистка данных постфактум Гибко; не замедляет пользователей Прячет причину; ошибки остаются в некоторых отчётах
Центральная команда аналитики Единообразные методы и качество Узкое место; удалённость от работы
Самообслуживаемая аналитика командами Быстро; близко к работе Непоследовательные определения; неровное качество
Анализ с помощью ИИ Быстрые черновики; снижает барьер Уверенные ошибки; слабая воспроизводимость

Вывод прост: предотвращайте ошибки у источника, делитесь определениями и происхождением в одном месте и требуйте рецензирования для любого анализа, информирующего решение. Скорость от самообслуживания и ИИ приветствуется, когда проверка за ней поспевает.

Вопросы для обсуждения в команде

1. О каких трёх числах на нашей панели мы жалели бы больше всего, если бы данные под ними были неверны? Начните с чисел, управляющих решениями или целями. Спросите, от чего зависят данные и кто владеет источником. Люди часто обнаруживают, что ключевое число зависит от поля, вводимого вручную. В продолжение выберите одно для проверки в этом месяце.

2. Когда два отчёта расходились и как мы это разрешили? Рассказы о противоречивых числах показывают, где различаются определения. Спросите, было ли разрешение записано и исправлена ли причина. Ведущему стоит отметить повторяющиеся причины, например разные часовые пояса или определения статусов. В продолжение договоритесь об одном определении и владельце.

3. Насколько стары данные в отчёте, на который мы смотрим чаще всего? Многие люди не знают. Спросите, как показывается свежесть и заметили бы устаревшую загрузку. Обсудите цену устаревшего решения. В продолжение добавьте свежесть в отчёт.

4. Кто рецензировал последний анализ, изменивший решение? Ищите вторую пару глаз на определениях и запросах. Если её не было, обсудите почему. Спросите, какое рецензирование было бы соразмерным. В продолжение выберите простой шаг рецензирования для любого анализа, информирующего значимое решение.

5. Чего наша самая используемая метрика сказать не может? Называть пределы есть привычка хорошо сделанной аналитики. Спросите о конкретных слепых пятнах, например пользователях, не обращающихся в поддержку. Записывайте пределы рядом с метрикой. В продолжение добавьте меру, покрывающую слепое пятно.

6. Как мы используем инструменты ИИ для написания запросов и резюме и как их проверяем? Спросите о реальной практике, а не о политике. Прислушайтесь к нерецензированному выводу, используемому в отчётах. Обсудите простую проверку, например повторный запуск на известной выборке. В продолжение договоритесь о правиле анализа с помощью ИИ.

Четыре точки зрения

Продуктовые команды и команды поставки

Ваши инструменты производят значительную часть данных, которые анализируют другие. Держите метки времени, идентификаторы и статусы надёжными и сообщайте пользователям данных, когда поле меняется. Включайте качество данных в определение готовности для новых функций, производящих данные.

Команды услуг и эксплуатации

Данные заявок зависят от того, как люди заполняют формы под давлением. Делайте правильный ввод лёгким, проверяйте качество данных в инструменте и говорите, когда метрика неверно читает работу. Не проставляйте записи задним числом и не обновляйте их пакетами, чтобы улучшить число.

Руководство и управление

Просите качество данных и происхождение рядом с любым числом, поддерживающим решение или цель. Финансируйте инженерию данных и время на рецензирование, а не только панели. Защищайте приватность и избегайте использования аналитики отдельных людей для оценки людей.

Клиенты и пользователи

Данные о вас определяют, как к вам относится услуга, поэтому спрашивайте, что собирается и как используется. Где ваша обратная связь есть в данных, например ответы на опросы, спрашивайте, как она защищена и как дошла до решения.

На практике: пример из управления услугами

ИТ-отдел региональной коммунальной компании строит панель времени решения инцидентов и доли сбоев изменений для своего исполнительного руководства. Числа в этом примере иллюстративны. Панель показывает медиану времени решения 3,1 часа и долю сбоев изменений 4 %.

Аналитик проверяет качество до запуска. Полнота обязательных полей для метки времени решения 91 %, причём недостающие записи в основном суть крупные инциденты, введённые постфактум. Свежесть 26 часов, потому что выгрузка идёт ночью. Сверка записи об изменениях с конвейером показывает на 8 % больше продуктивных изменений в конвейере, чем в записи об изменениях, так что у доли сбоев проблема знаменателя.

Команда вносит изменения. Форма заявки требует время решения и проверяет, что оно позже времени открытия. Панель показывает число инцидентов за каждой цифрой, возраст данных и полноту используемых полей. Контракт данных указывает, что запись об изменениях есть система записи для утверждённых изменений, а конвейер для развёртываний, с ежемесячной сверкой. Первая сверка объясняет разрыв аварийными изменениями, записанными только в конвейере.

Риск манипуляции проявляется, когда менеджер предлагает исключить инциденты с недостающим временем решения, чтобы улучшить полноту. Команда отказывается и исправляет ввод. Результат: более широкий интервал медианы и доля сбоев изменений 6 %. Журнал решений записывает, что исполнительное руководство решило подождать квартал, прежде чем задавать цель. Что остаётся трудным: не все записи задним числом обнаруживаемы, а сверка зависит от связи идентификаторов вручную.

Agile, ИИ, автоматизация и аналитика

Agile

Короткие петли обратной связи помогают качеству данных: исправьте форму, проверьте данные следующего дня и спросите пользователей. Хорошая практика есть пересмотр цифр качества данных на регулярном разговоре об улучшении с людьми, вводящими данные. Осторожность в том, что постоянные изменения полей и статусов ломают тренды, поэтому логируйте каждое изменение определения.

ИИ

ИИ может писать запросы, набрасывать графики, резюмировать комментарии и отмечать аномалии, а также может выдумывать правдоподобные результаты. Относитесь к анализу с помощью ИИ как к нерецензированному, пока человек не проверит запрос и не повторит его на малой известной выборке, и записывайте, что он проверен. Осторожность в том, что резюме комментариев опросов от ИИ могут неверно читать язык и тон, поэтому читайте выборку оригиналов.

Автоматизация

Автоматизируйте проверки качества данных при загрузке и при формировании отчёта и измеряйте конвейеры по сбоям и пропускам. Оповещайте о пропущенных загрузках и внезапных изменениях объёма. Осторожность в том, что автоматические правила чистки могут скрывать проблему источника, поэтому сообщайте, что было изменено и почему.

Аналитика

Эта тема об аналитике, поэтому практика состоит в короткой заметке к каждой метрике: её вопрос, решение, происхождение, качество и пределы. Решение, которое это информирует, состоит в том, доверять ли числу достаточно, чтобы действовать. Осторожность в том, что чистые на вид панели могут стоять на слабых данных, поэтому показывайте цифры качества рядом с результатом и держите определения Service Management Metrics в одном реестре.

Отраслевой взгляд

Стартап. Данных мало, и они меняются. Держите один источник истины для каждой метрики, пишите определения в коротком документе и избегайте построения платформы данных до прояснения вопросов.

Малый бизнес. Данные могут жить в размещённом инструменте с фиксированными отчётами. Проверьте, как инструмент определяет каждую меру, выгружайте образцы для проверки и ведите короткий список того, чего отчёты показать не могут.

Крупная компания. Много источников и команд создают противоречивые определения. Используйте общий реестр метрик, контракты данных и регулярную сверку и давайте командам средства проверять собственные данные.

Государство и публичный сектор. Записи могут подпадать под правила хранения, доступа и публичной отчётности. Документируйте происхождение любой публикуемой цифры и соблюдайте правила приватности для данных о людях (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Затраты суть время персонала на проверки качества данных, сверку, документацию и рецензирование, плюс инструменты для конвейеров данных и каталогов там, где они используются. Многое можно начать малыми шагами, например проверкой в форме заявки.

Отдача есть решения на лучших числах, меньше времени на споры о том, какой отчёт прав, и меньше переделок, когда неверно понятое число найдено поздно. Описывайте её как закономерность, а не как цифру: меньше отменённых решений и меньше споров. Если для обоснования нужны числа, измерьте собственные базовые уровни, такие как расхождение при сверке и время на разрешение споров об отчётах, до и после изменения (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Чистка только в отчёте. Источник продолжает производить ошибки. Исправляйте проверки ввода и загрузки.
  • Панели без цифр качества. Читатели не могут судить о числе. Показывайте полноту, свежесть и счёты.
  • Недокументированные определения. Числа меняют значение тихо. Ведите происхождение и журнал изменений.
  • Нерецензированный анализ. Ошибки доходят до решений. Требуйте второго взгляда.
  • Доверие резюме ИИ. Они могут быть беглыми и неверными. Проверяйте запросы и выбирайте оригиналы.
  • Аналитика отдельных людей. Она превращается в слежку и портит данные. Сообщайте на уровне команд с минимальным размером группы.
  • Никогда не выводить отчёты. Они накапливаются и вводят в заблуждение. Пересматривайте использование и убирайте.
  • Отдельные числа без неопределённости. Они приглашают к чрезмерной реакции. Показывайте счёты и диапазоны.

Модель зрелости

Измерение Инициирование Развитие Стандартизация Управление Оркестрация
Качество данных Качество неизвестно; таблицы вручную Полнота ключевых полей проверяется Проверки качества при вводе и загрузке, показаны в отчётах Сверка и тренды качества пересматриваются по графику Качество управляется контрактами данных между командами
Происхождение и определения Определения в головах людей Некоторые определения записаны Реестр с источником, владельцем и журналом изменений Происхождение прослеживается сквозь для ключевых метрик Определения разделяются между командами и поставщиками
Практика анализа Разовые отчёты; без рецензирования Некоторое рецензирование коллегами Вопросы, решения и рецензирование записываются Анализ повторно используется, рецензируется и выводится Аналитика встроена в решения с обратной связью о результатах

Контрольный список

  • Для каждой ключевой метрики перечислены поля и метки времени, от которых она зависит.
  • Обязательные поля проверяются при вводе, а не только чистятся позже.
  • Отчёты показывают полноту, свежесть и счёт за каждой долей.
  • Хотя бы одна величина сверяется между двумя источниками каждый квартал.
  • Реестр записывает источник, преобразование, владельца и дату пересмотра каждой метрики.
  • Изменения определений логируются и отмечаются на графиках.
  • Анализ, информирующий решение, рецензируется вторым человеком.
  • Для анализа с помощью ИИ существуют правила, включая проверку на известной выборке.
  • Для данных о людях определены доступ, хранение и минимальный размер группы.
  • У каждой метрики есть вектор манипуляции и ограждение, показанные рядом.

Промпты для ИИ

Составьте черновик проверок качества данных для метрики.

We report this metric: [metric name], defined as [definition including clock start
and stop]. It depends on these fields in [tool]: [list fields]. Propose data quality
checks for completeness, validity, timeliness, and consistency, and say where each
check should run (at entry, at load, or in the report). Do not invent thresholds;
use placeholders. Mark assumptions and list questions I should answer.

Рецензируйте анализ до его использования.

Here is an analysis we plan to use for a decision: [paste question, method,
query or steps, and result, without personal data]. Review it for unclear
definitions, wrong denominators, small samples, missing uncertainty, and
conclusions that go beyond the data. Do not assume facts not in the text. List
what you could not judge and what a human reviewer should check.

Спланируйте сверку между двумя системами.

Two systems should agree on [quantity]: [system A] and [system B]. Propose a
reconciliation plan: the sample, the period, how to match records, how to
classify differences, and how to record findings. Do not invent expected
variance. List assumptions and the access I would need.

Проверьте риск манипуляции мерами качества данных.

We report these data quality measures: [paste measures and definitions].
Context: [team size, tools, audience]. For each measure, list realistic ways it
could look better without improving the data, propose a guardrail, and say how
that guardrail could be gamed. Do not invent benchmark values. List your
assumptions.

Навыки ИИ

  • Качество данных: используйте, чтобы определить и проверить качество набора данных.
  • Конвейер данных: используйте, чтобы спроектировать и рецензировать конвейер, загружающий данные об услугах.
  • Статистический анализ: используйте, чтобы проверить, что метод и его неопределённость соответствуют вопросу.
  • Service Management Metrics skill: используйте, чтобы найти тему, охватывающую метрику, и её парное ограждение.

Главные выводы

  • Число заслуживает доверия лишь настолько, насколько его данные, поэтому измеряйте полноту, свежесть и сверку и показывайте их рядом с результатом.
  • Держите происхождение и определения в одном реестре и логируйте каждое изменение.
  • Рецензируйте анализ до того, как он информирует решения, включая анализ с помощью ИИ.
  • Указывайте неопределённость и пределы и показывайте счёт за каждой долей.
  • Держите аналитику на уровне команд и услуг, с границами приватности для данных о людях.

Источники и дополнительное чтение

  1. Wikipedia, Аналитика.
  2. Wikipedia, Качество данных.
  3. Wikipedia, Происхождение данных.
  4. Wikipedia, Управление данными.
  5. Wikipedia, Статистический контроль процессов.
  6. Wikipedia, Закон Гудхарта.
  7. Wikipedia, Воспроизводимость.