Обзор и мотивация

Инструменты есть то место, где программы метрик чаще всего ошибаются, и в двух противоположных направлениях. Одни организации сначала покупают большую аналитическую платформу и позже обнаруживают, что у них нет согласованных определений, чистых данных и аудитории. Другие строят груду скриптов и таблиц, которые понимает один человек, и программа заканчивается, когда этот человек уходит. Обе начинают с инструмента и игнорируют вопросы, на которые он должен отвечать.

Ландшафт переполнен и быстро меняется, поэтому эта тема намеренно независима от поставщиков. Она описывает виды инструментов, потоки данных между ними, компромиссы между построением и покупкой и критерии выбора. Она не называет продуктов, потому что названия продуктов быстро устаревают, а книга плохой проводник по текущим функциям и ценам. Принципы измерения не зависят от поставщика: знайте, что вы измеряете, откуда берутся данные, кто ими владеет и как их будут читать.

Большинство данных, нужных программе метрик услуг, уже есть в системах записи. Инструменты управления ИТ-услугами хранят инциденты, запросы, проблемы, изменения и записи конфигурации. Системы контроля исходного кода, сборки, тестирования и развёртывания хранят историю инженерной работы. Системы мониторинга и наблюдаемости хранят данные о доступности, задержке и ошибках. Инструменты опросов, финансовые системы, системы кадров и хранилища контрактов хранят остальное. Программа метрик соединяет эти источники, не нарушая работу, ведущуюся в них (см. тему 1.5, Источники данных и инструментирование).

Движение данных от источников к месту, где их можно анализировать, есть конвейер данных, а классический шаблон есть извлечение, преобразование, загрузка: прочитать из источников, переформатировать и очистить и записать в хранилище. Хранилищем может быть хранилище данных (data warehouse), интегрированный репозиторий данных из нескольких систем, организованный для анализа. Программы достигают этих систем через программный интерфейс приложения, то есть то, как одна программа запрашивает данные у другой определённым образом. Качество того, что течёт, определяет качество каждого графика. Качество данных охватывает точность, полноту, согласованность и своевременность, а дисциплина, поддерживающая его, есть управление данными.

Финансовой стороне нужна забота. Совокупная стоимость владения инструмента включает лицензии, инфраструктуру, интеграцию, обучение, администрирование и цену ухода от него. Привязка к поставщику (vendor lock-in) есть положение, когда смена поставщика так дорога, что клиент фактически связан. Программы метрик особенно уязвимы, потому что определения, история и панели накапливаются внутри инструмента, а извлечь их позже трудно.

Цели Agile формируют подход. Непрерывная поставка применима к программе: поднимите самый тонкий работающий путь от одного источника к одному виду для одной команды, учитесь на его использовании и расширяйте. Непрерывное вовлечение заинтересованных сторон означает, что люди, которые будут использовать числа, участвуют в выборе инструментов. Непрерывное улучшение и постоянная эволюция означают, что от инструментов ждут изменений, поэтому переносимость важнее совершенства. Устойчивый темп означает, что программа не становится проектом инженерии данных, обедняющим работу, которую измеряет. А мотивированные люди работают лучше с инструментами, которые помогали выбрать и понимают, чем с навязанными сверху, особенно с теми, что ощущаются как слежка (см. тему 11.3, Внедрение метрик без создания страха).

Тема опирается на руководство по проектированию панели (см. тему 11.1, Проектирование панели метрик услуг) и темы управления части 1.

Ключевые принципы

  • Вопросы перед инструментами. Сначала запишите вопросы и меры, затем смотрите, какие инструменты им нужны.
  • Используйте системы записи. Берите данные оттуда, где происходит работа, и избегайте просьб вводить их дважды.
  • Держите определения вне инструмента. Ведите определения метрик в простой переносимой форме, переживающей смену платформы.
  • Предпочитайте переносимые данные. Храните данные в открытых форматах с документированными интерфейсами и сохраняйте путь наружу.
  • Начинайте тонко и растите. Один источник, один вид, одна команда, затем расширяйте.
  • Считайте полную цену. Лицензии составляют долю цены интеграции, чистки данных и поддержки.
  • Защищайте людей. Инструменты должны агрегировать до команд и услуг, обеспечивать правила доступа и затруднять слежку.
  • Относитесь к конвейеру как к услуге. Ему нужны владелец, мониторинг, тесты и способ обработки сбоев.

Определения метрик

Меры ниже описывают здоровье инструментов метрик и их снабжения данными. Они для команды программы, чтобы держать инфраструктуру честной, и не должны использоваться для оценки людей.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Охват источников Доля систем записи, нужных для согласованных мер, автоматически питающих хранилище метрик подключённые и проверенные источники / источники, нужные для согласованных мер процент Инвентарь источников; конфигурация конвейеров Управление информацией и технологиями; управление конфигурацией услуг Непрерывная поставка конвейера Раз в квартал
Надёжность конвейера Доля плановых загрузок данных, завершающихся вовремя с пройденными проверками загрузки вовремя с пройденными проверками / плановые загрузки процент Логи конвейеров и результаты тестов Мониторинг и управление событиями Автоматизированные тесты и быстрая обратная связь Раз в неделю
Время до новой меры Прошедшее время от утверждённого запроса на новую меру до её доступности с карточкой определения дни от утверждения до публикации, медиана и 85-й перцентиль дни Записи запросов и релизов Управление запросами на обслуживание; управление изменениями (change enablement) Малые приращения ценности Раз в квартал
Доля сверки Доля ключевых цифр, совпадающих между хранилищем метрик и исходной системой при выборочной проверке цифры, совпадающие в пределах допуска / проверенные цифры процент Проверки сверки Управление информацией и технологиями Достойная доверия обратная связь Раз в месяц
Доля ручных усилий Доля усилий на повторяющиеся отчёты, потраченная на ручной сбор и чистку часы на ручные шаги / общие часы на повторяющиеся отчёты процент Оценки времени; опрос команды Непрерывное улучшение Устранение рутины Раз в квартал
Готовность к выходу Можно ли экспортировать определения, историю и панели в документированной пригодной форме проверенные полные экспорты / запланированные проверки экспорта процент Записи проверок экспорта Управление поставщиками; управление непрерывностью услуг Устойчивый выбор Раз в год
Стоимость инструментов на поддерживаемую команду Полная годовая цена инструментов программы, делённая на обслуживаемые ею команды (лицензии + инфраструктура + усилия по поддержке) / обслуживаемые команды валюта на команду Финансовые записи и записи усилий Управление финансами услуг Устойчивый темп Раз в год

Считайте источники по тому, что нужно согласованным мерам, а не по тому, что существует, чтобы охват не повышался подключением нерелевантных систем. Сверка требует заранее выбранной выборки и допуска. Стоимость инструментов на поддерживаемую команду есть описательная цифра для сравнения вариантов, а не цель для понижения. Она включает усилия людей, поддерживающих конвейер.

Рекомендации

Решите, что вам нужно

1. Пишите требования как вопросы и меры. Перечислите меры, которые программа согласилась публиковать (см. тему 11.1, Проектирование панели метрик услуг), источники, нужные каждой, насколько свежей должна быть каждая, кто может её видеть и как долго должна храниться история. Различайте обязательное и желательное. Короткий документ из двух страниц лучше длинного запроса предложений.

2. Проведите инвентаризацию того, чем уже владеете. У многих организаций есть аналитические функции в инструментах управления услугами, разработки и мониторинга, которыми не пользуются. У многих есть таблицы, скрипты и отчёты, уже отвечающие на часть нужды. Начните с того, чтобы увидеть, что они могут. Самый дешёвый инструмент есть тот, за который уже заплачено и который уже понят.

3. Проверьте данные до инструмента. Для каждого источника проверьте, полны ли данные, последовательно ли вводятся и доступны ли через интерфейс. Инструмент не может исправить категории инцидентов, которыми никто не пользуется, записи об изменениях, созданные постфактум, или перезаписываемые метки времени. Часть самой ценной ранней работы состоит в исправлении захвата данных у источника (см. тему 7.4, Метрики качества конфигурации и CMDB).

Стройте, покупайте или сочетайте

4. Сравнивайте построение и покупку по полной цене и соответствию. Покупка аналитической платформы или пакетного продукта инженерной аналитики приносит готовые коннекторы, графики и поддержку ценой лицензий, фиксированной модели мира и зависимости. Построение конвейера и видов приносит соответствие и контроль ценой инженерного времени и поддержки. Большинство организаций приходят к сочетанию: используют встроенную отчётность там, где она достаточно хороша, используют общий инструмент анализа для видов и строят тонкие коннекторы там, где ничто другое не подходит.

5. Испытайте прототип на реальных данных. До обязательств проведите ограниченную по времени пробу с двумя-тремя вашими мерами, на реальных данных и с реальными пользователями. Проверьте, сколько заняли подключения, насколько хорошо инструмент обработал ваши определения, мог ли он показывать распределения и перцентили и как он контролировал доступ. Маркетинговые демонстрации используют чистые данные, а ваши не такие.

6. Планируйте выход до входа. Спросите, как определения, история и панели можно экспортировать, и проверьте. Предпочитайте инструменты с открытыми интерфейсами и стандартными форматами и храните собственную копию определений метрик и очищенных данных. Цена ухода есть часть цены оставания, а правдоподобный выход улучшает вашу переговорную позицию (см. тему 8.4, Метрики поставщиков и контрактов).

Выбирайте по ясным критериям

7. Используйте независимые от поставщика критерии выбора. Полезные критерии включают следующее. Есть ли у нужных вам источников данных поддерживаемые коннекторы? Можно ли писать, версионировать и рецензировать определения? Может ли инструмент показывать распределения, перцентили и тренды наряду со средними и счётами? Агрегирует ли он до команд и услуг и позволяет ли ограничивать виды на уровне отдельных людей? Поддерживает ли он управление доступом по ролям и аудит? Экспортируемы ли данные в открытых форматах? Как поставщик обращается с изменениями, сбоями и инцидентами безопасности? Сколько он стоит на том масштабе, который вы ждёте через три года?

8. Остерегайтесь встроенной оценки. Некоторые инструменты из коробки предлагают составные оценки, рейтинги людей или индексы «производительности». Их легко принять и трудно защищать (см. тему 1.2, Закон Гудхарта и психология метрик). Проверьте, можно ли такие функции отключить, и задайте политику до включения чего-либо.

9. Вовлекайте людей, которые будут пользоваться. Попросите команды попробовать отобранные варианты на их данных. Их вопросы раскроют пределы, которых не выявил документ требований. Подключайте безопасность, приватность, финансы и закупки рано (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей).

Ведите конвейер как услугу

10. Автоматизируйте, тестируйте и мониторьте конвейер. Относитесь к загрузкам данных, как к любой другой продуктивной услуге. Запускайте автоматические проверки счётов, диапазонов, дубликатов и свежести. Оповещайте о сбоях и показывайте статус качества данных на панели. Версионируйте логику преобразования и пересматривайте её изменения как код (см. тему 5.5, Метрики мониторинга и качества оповещений).

11. Ведите каталог определений. Поддерживайте общий каталог с определением, формулой, источником, владельцем и пределами каждой меры. Это может быть репозиторий простых текстовых файлов, инструмент каталога данных или вики. Важно, что он есть источник истины о значении и что панели читают из него или ссылаются на него (см. тему 1.4, Управление метриками и ответственность за них).

12. Пересматривайте инструменты ежегодно. Каждый год проверяйте, чего стоят инструменты, какими частями программа пользуется, где остаются ручные усилия и какие есть новые варианты. Выводите то, чем никто не пользуется. Пересматривайте баланс построения и покупки по мере взросления программы. Планируйте изменения как нормальную часть работы.

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Охват источников Подключать лёгкие или нерелевантные источники; считать подключение, не несущее пригодных данных Считать по согласованным мерам; проверять полноту данных по источнику
Надёжность конвейера Ослаблять проверки, чтобы загрузки всегда проходили; планировать меньше загрузок Пересматривать проверки на строгость; отслеживать сверку и числа строк источника
Время до новой меры Публиковать без определений или тестов; сужать, что считается новой мерой Требовать карточку определения и проверку сверки для завершения
Доля сверки Выбирать лёгкие цифры для проверки; расширять допуск после промаха Выбирать выборки до проверки; задавать допуск заранее; включать трудные цифры
Доля ручных усилий Преуменьшать ручную работу; прятать усилия в других бюджетах Спрашивать людей, делающих работу; сравнивать со временем, потраченным поздно в каждом цикле отчётности
Готовность к выходу Проверять частичный экспорт; считать документированный план готовностью Проводить полное восстановление в другой инструмент на выборке; проверять определения и историю
Стоимость инструментов на поддерживаемую команду Исключать усилия по поддержке; добавлять команды на бумаге Включать время персонала; считать команды, активно пользующиеся своими видами

Здоровое чтение показывает данные, приходящие вовремя и сверяемые с источником, новые меры, публикуемые с определениями, падающие ручные усилия и выход, проверенный хотя бы один раз.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Встроенная отчётность каждого инструмента Дёшево; уже есть; понятно Изоляция; непоследовательные определения между инструментами
Единый комплект от одного поставщика Интегрировано; один контракт Привязка; подходит модели поставщика, а не вашей
Пакетный продукт инженерной аналитики Быстрый старт; готовые коннекторы Фиксированная модель; риск оценки отдельных людей; цена на масштабе
Общий инструмент анализа и визуализации Гибко; доступны широкие навыки Нужны снабжение данными и навыки дизайна
Хранилище со слоем преобразования Сильный контроль; соединения между источниками Инженерные усилия; нужно владение
Таблицы и скрипты Быстро начать; без лицензии Хрупко; зависит от отдельных людей; трудно аудировать
Стек с открытым кодом Контроль; нет цены лицензии Усилия по поддержке; поддержка зависит от вас
Метрики, собираемые вручную Работает без инструментов Медленно; подвержено ошибкам; трудно поддерживать

Ответ прост: начинайте с того, что у вас есть, добавляйте самое тонкое соединение, отвечающее на реальные вопросы, держите определения и данные переносимыми и переходите к более тяжёлым инструментам, только когда лёгкие явно ограничивают решения.

Вопросы для обсуждения в команде

1. Какие числа мы производим вручную каждый месяц и что нужно, чтобы прекратить? Перечислите ручные отчёты и часы, которые они занимают. Найдите источник каждого и есть ли у него интерфейс. Ведущему стоит спросить, какие отчёты можно просто отбросить. Договоритесь автоматизировать один и вывести один.

2. Если бы наш нынешний инструмент отчётности исчез завтра, что бы мы потеряли? Назовите определения, историю и панели, существующие только внутри него. Проверьте, какие из них экспортируемы. Договоритесь, где хранить копию.

3. Каким данным в наших системах мы доверяем меньше всего и почему? Посмотрите на привычки ввода, значения по умолчанию и перезаписываемые поля. Оцените, насколько каждое искажение влияет на публикуемые меры. Договоритесь, какое исправление источника добавило бы больше всего доверия при наименьших усилиях.

4. Что инструмент позволяет людям видеть такого, чего мы не хотели бы? Проверьте виды на уровне отдельных людей, логи активности и рейтинги. Решите, что ограничить или отключить, и запишите правило до того, как кто-нибудь начнёт пользоваться функцией.

5. Сколько времени у нас занимает добавление новой меры и что нас замедляет? Проследите недавний запрос от утверждения до доступности. Отметьте ожидания. Договоритесь, что убрать, например утверждения, недостающие определения или ручную чистку.

6. Какова полная цена этого инструмента для одной команды за один год? Сложите лицензии, инфраструктуру, интеграцию, обучение и время людей, которые его поддерживают. Сравните с решениями, которые он улучшил. Обсудите, за что мы перестали бы платить.

Четыре точки зрения

Продуктовые команды и команды поставки

Командам нужны данные, идущие из работы без дополнительного ввода, и виды, отвечающие на их вопросы. Им следует помогать выбирать и испытывать инструменты, владеть определениями собственных мер и отказываться от функций, ранжирующих отдельных людей. Их время есть самый скудный вход, и инструментам, просящим записывать работу дважды, будут сопротивляться.

Команды услуг и эксплуатации

Команды эксплуатации ведут источники и часто конвейер. Им следует относиться к конвейеру как к услуге с мониторингом и тестами, держать поля исходных данных надёжными и сигнализировать об изменениях в системах записи, которые сломают коннекторы. Они первыми видят, когда число неверно.

Руководство и управление

Руководители финансируют программу и задают ожидания. Им следует просить полную цену, а не цену лицензии, требовать переносимости и выхода, сопротивляться покупке платформы для решения проблемы определений и настаивать на правилах приватности и доступа. Им следует принимать скромный старт и судить о нём по решениям, которые он улучшает.

Клиенты и пользователи

Клиенты и пользователи редко видят инструменты и живут с их последствиями: данные о них хранятся, объединяются и анализируются. Они заслуживают ясных правил о том, что собирается, как долго хранится, кто видит и как защищено. Где меры опираются на их обратную связь, инструменты должны уважать согласие и анонимность.

На практике: пример из управления услугами

Региональная логистическая компания имеет инструмент управления услугами, систему контроля исходного кода и развёртывания, платформу мониторинга и инструмент опросов, и каждый производит свои отчёты. Руководитель управления услугами хочет единый вид здоровья услуг для 12 команд. Поставщик предлагает универсальную аналитическую платформу с трёхлетним контрактом. Цифры ниже иллюстративны.

Руководитель управления услугами сначала записывает вопросы и 14 мер, согласованных командами и руководителями на сессиях о панели. Руководитель проводит инвентаризацию существующего: инструмент управления услугами может экспортировать данные об инцидентах и изменениях через свой интерфейс, система развёртывания даёт метки времени развёртываний, а платформа мониторинга сообщает доступность против целей. Руководитель просит небольшую группу представителей команд испытать два варианта на трёх мерах с реальными данными: платформу поставщика и сочетание общего инструмента визуализации с малым хранилищем данных и тонкими коннекторами.

Проба выявляет различия. Платформа подключилась ко всем источникам за два дня, но вычисляла время выполнения как среднее и не могла показывать высокий перцентиль, у неё была встроенная «оценка производительности команды», которую нельзя было отключить, а экспорт определений панелей давал файл, который не мог прочесть ни один другой инструмент. Сочетание заняло 11 дней на подключение, но показывало медианы и перцентили, хранило определения простым текстом в репозитории и ограничивало поля на уровне отдельных людей в хранилище данных. Группа также обнаруживает, что 30 % записей об изменениях создавались после развёртывания, так что время выполнения было неверным, каким бы инструментом его ни читали. Исправление привычки ввода у источника становится первой работой.

Компания выбирает сочетание. Охват источников растёт с 3 из 8 нужных источников до 7 из 8 за два квартала. Надёжность конвейера начинается с 71 % загрузок вовремя с пройденными проверками и достигает 96 % после того, как команда добавляет тесты и оповещения о сбоях. Время до новой меры падает с медианы 31 день до 9. Ручные усилия на ежемесячный отчёт падают с около 40 часов до 6. Директор спрашивает, нельзя ли добавить оценку производительности платформы поставщика, чтобы получить единый рейтинг команд. Руководитель управления услугами объясняет анализ из темы 1.2, показывает, что случилось, когда похожая оценка использовалась в другом месте компании, и предлагает нынешний сбалансированный вид. Решение записано, а функция оценки отключается в любом инструменте, где она есть.

Agile, ИИ, автоматизация и аналитика

Agile

Выбирайте инструменты малыми экспериментами с реальной командой и реальным вопросом и сохраняйте возможность сменить курс. Осторожность в том, что большое решение о платформе, принятое рано, фиксирует определения до того, как команда узнала, что ей нужно.

ИИ

Многие инструменты аналитики и управления услугами теперь включают функции ИИ. Спрашивайте, что делает ИИ, с какими данными, на каких условиях, как проверяется его вывод и как его отключить, и измеряйте функции ИИ, как любое другое использование (см. тему 10.5, Метрики управления ИИ и рисков). Осторожность в том, что включённые по умолчанию функции ИИ могут тихо менять отчёты, поэтому спрашивайте поставщиков о каждом релизе.

Автоматизация

Предпочитайте инструменты, позволяющие собирать данные автоматически через документированные интерфейсы и сохранять переносимость данных. Измеряйте интеграции по сбоям и времени до новой меры. Осторожность в том, что проприетарные коннекторы могут затруднить унос ваших данных, поэтому проверьте экспорт.

Аналитика

Судите об инструментах по охвату источников, сверке и времени до ответа на новый вопрос. Решение, которое это информирует, состоит в том, какой инструмент принять, оставить или покинуть. Осторожность в том, что демонстрационные данные выглядят чистыми, поэтому испытывайте на собственных грязных данных.

Отраслевой взгляд

Стартап. Используйте то, что уже дают продукт и существующие инструменты. Таблица и встроенные отчёты используемых инструментов могут ответить на большинство ранних вопросов. Сопротивляйтесь платформе данных, пока вопросы не стабильны, а ручные усилия не причиняют боль. Держите определения метрик записанными, чтобы последующий переход был лёгким.

Малый бизнес. Мало мер и мало систем означают простые инструменты. Встроенных отчётов и таблицы часто достаточно. Главные риски суть данные, хранящиеся только в голове одного человека, и инструменты без экспорта. Выбирайте продукты, которые можете покинуть, и записывайте определения.

Крупная компания. Много систем, много команд и много определений говорят в пользу управляемого хранилища данных, каталога определений и слоёных видов. Федеративное владение работает лучше центральной команды, строящей каждый отчёт. Обращайте внимание на привязку, управление доступом, приватность и оценку поставщиков и рассмотрите малую команду платформы, предоставляющую конвейер как услугу.

Государство и публичный сектор. Правила закупок, суверенитет данных и доступность влияют на выбор инструментов. Открытые стандарты и переносимость ценны, потому что контракты длинны, а администрации меняются. Планируйте оценки безопасности, хранение записей и правила публичного раскрытия и проверяйте актуальные руководства по хостингу и закупкам (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Затраты включают лицензии или подписки, инфраструктуру, работу по интеграции и коннекторам, чистку данных, работу над определениями и каталогом, обучение, поддержку и постоянные усилия по поддержанию здоровья конвейера. Варианты построения несут инженерные затраты, которые легко преуменьшить, а варианты покупки несут платежи, растущие с масштабом, и цену ухода.

Отдача идёт от сэкономленных усилий на отчётность, более быстрых ответов, меньше споров о числах и лучших решений на достойных доверия данных. Стройте обоснование из собственных данных: часы на ручные отчёты сейчас, число конкурирующих версий одной цифры, задержка между вопросом и ответом и цена перекрывающихся инструментов. Избегайте цитирования цифр аналитиков о возврате аналитики без прослеживаемого источника и релевантности вашему контексту. Честное сравнение считает полную цену каждого варианта за три года, включая выход (см. тему 7.5, Стоимость услуг и удельная экономика, и тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Сначала инструмент, потом вопросы. Платформа приходит, и никто не знает, о чём её спросить. Сначала запишите меры.
  • Покупка для исправления проблемы определений. Несогласие о значении сохраняется в любом инструменте. Договоритесь об определениях.
  • Встроенные оценки отдельных людей. Они соблазняют и искажают. Отключайте их и сначала задайте политику.
  • Нет выхода. История и определения в ловушке. Проверьте экспорт и храните копию.
  • Конвейер одного человека. Он останавливается, когда человек уходит. Документируйте, тестируйте и разделяйте владение.
  • Двойной ввод. Люди записывают одну работу дважды, и качество обоих падает. Берите данные из систем записи.
  • Чрезмерная инженерия рано. Платформа данных приходит до того, как хоть один вид доказал свою ценность. Начинайте тонко.
  • Игнорирование качества данных. Чистые графики на грязных данных вводят в заблуждение убедительнее. Исправляйте захват у источника.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Снабжение данными Ручной сбор; таблицы Некоторые автоматизированные фиды; индивидуальные скрипты Согласованные источники питают общее хранилище через проверенные конвейеры Надёжность, сверка и свежесть управляются и видны Федеративные конвейеры с общими контрактами между командами и поставщиками; источники улучшаются по обратной связи
Определения и каталог В головах людей Некоторые документированы Один каталог определений с владельцами, версионируемый и рецензируемый Каталог управляет панелями; изменения пересматриваются с пользователями Определения принадлежат совместно командам и поставщикам; выводятся, когда перестают информировать решения
Выбор и цена Разовые покупки Перекрывающиеся инструменты Критерии записаны; выход проверен; полная цена учтена Цена на поддерживаемую команду и ручные усилия управляются Выбор инструментов регулярно пересматривается с пользователями и адаптируется по мере изменения нужд

Контрольный список

  • Согласованные меры и их вопросы записаны до сравнения инструментов.
  • Существующие инструменты и отчёты инвентаризированы и испытаны первыми.
  • Качество данных в основных источниках проверено, худшие пробелы исправлены.
  • Критерии выбора записаны и включают распределения, управление доступом и экспорт.
  • Ограниченная по времени проба с реальными данными и пользователями проведена до любого обязательства.
  • Функции оценки и ранжирования отдельных людей отключены или ограничены политикой.
  • Определения хранятся в переносимом каталоге вне какого-либо одного инструмента.
  • У конвейера есть владелец, автоматические проверки, мониторинг и оповещение о сбоях.
  • Экспорт определений и истории проверен.
  • Полная цена за три года, включая выход, учтена.

Промпты для ИИ

Напишите требования из вопросов.

Here are the questions our audiences ask and the measures we plan to publish:
[paste]. Draft a two-page requirements document for a metrics tool or pipeline.
Cover data sources, freshness, access control, retention, distributions and
percentiles, export and portability, and a list of must-haves versus preferences.
Do not name products. List your assumptions and the points to confirm with the
teams.

Спланируйте пробу инструмента.

We are comparing [options] for our metrics program. Design a two-week trial using
three of our measures and real data. State what to test, how to score the options
against written criteria, who should take part, how to check access control and
export, and what evidence we will record. Do not claim results about specific
products. List your assumptions and risks.

Рецензируйте конвейер данных.

Here is a description of how data flows from [sources] to our dashboards: [paste].
Identify points where data could be late, duplicated, overwritten, or lost, and
suggest automated checks for each. Propose a way to reconcile key figures with the
source. Do not invent system behavior. List your assumptions and what you could not
tell from the description.

Сравните полную цену.

Help me compare the three-year full cost of building, buying, and combining tools
for our metrics program. List the cost categories for each option, including
licenses, infrastructure, integration, data cleaning, training, upkeep, and exit.
Provide a table with blanks for our own figures. Do not supply prices. List your
assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти источник данных и ограждение для каждой меры при написании требований.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись решения об инструментах несёт определения, источники данных и ограждения.

Главные выводы

  • Сначала запишите вопросы и меры и выбирайте инструменты, чтобы им служить.
  • Используйте системы записи, исправляйте захват данных у источника и проверяйте сверку.
  • Держите определения и данные переносимыми и проверьте выход до обязательств.
  • Отключайте оценки и рейтинги отдельных людей и задайте политику до включения любой функции.
  • Ведите конвейер как услугу с владельцем, тестами и мониторингом.
  • Считайте полную цену за несколько лет и начинайте с самого тонкого пути, отвечающего на реальные вопросы.

Источники и дополнительное чтение

  1. Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
  2. Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  4. Axelos, ITIL 4 Foundation, 2019.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, Управление ИТ-услугами.
  7. Wikipedia, Наблюдаемость (программное обеспечение).
  8. Wikipedia, Конвейер данных.
  9. Wikipedia, Извлечение, преобразование, загрузка.
  10. Wikipedia, Хранилище данных.
  11. Wikipedia, Программный интерфейс приложения.
  12. Wikipedia, Качество данных.
  13. Wikipedia, Управление данными.
  14. Wikipedia, Совокупная стоимость владения.
  15. Wikipedia, Привязка к поставщику.