Обзор и мотивация

Способы работы Agile ставят работающее программное обеспечение на первое место и держат заинтересованные стороны в сотрудничестве на протяжении всей работы, чтобы выпускаемое было тем, что нужно людям. Управление ИТ-услугами (ITSM), как оно кодифицировано в ITIL, формулирует ту же заботу как ценность: услуга ценна, когда помогает клиентам достигать нужных им результатов с издержками и рисками, которые они принимают. Обе традиции встречаются в одном неудобном вопросе. Через год стали ли люди и организация лучше благодаря тому, что эта команда построила и эксплуатировала?

Ответить на него труднее, чем сосчитать поставленное. Функции выпускаются, и никто ими не пользуется. Инциденты падают по причинам, не связанным с работой команды. Экономия появляется на слайде, а бюджет, откуда она пришла, потрачен в другом месте. Эта тема о закрытии этого разрыва, и она напрямую связана с фокусом на результатах, введённым в начале книги (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).

Четыре идеи организуют тему.

  • Выгода. Выгода есть измеримое улучшение, которое ценит заинтересованная сторона, например меньше времени на задачу, меньше ошибок, больше обслуженных клиентов или ниже риск. Функция не есть выгода. Она есть средство. Управление реализацией выгод есть дисциплина выявления выгод, назначения владельцев и проверки того, что они приходят.
  • Гипотеза ценности. Прежде чем строить, команда записывает, что она ожидает изменить, для кого, на сколько и как она это узнает. Это проверяемое утверждение, и оно может оказаться неверным. Теория изменений или логическая модель излагает цепочку от действий к выпуску и к результатам, что помогает сделать гипотезу явной.
  • Опережающие и запаздывающие индикаторы. Опережающий индикатор движется рано и предсказывает результат, например внедрение нового процесса. Запаздывающий индикатор подтверждает результат постфактум, например сниженную цену транзакции. Используйте оба: опережающие индикаторы позволяют скорректировать курс, а запаздывающие говорят, сработало ли.
  • Атрибуция. Многое меняется одновременно. Чтобы сказать, что ваша работа вызвала улучшение, нужно сравнение: базовый уровень, группа сравнения или план «до и после», учитывающий другие изменения. Без этого заявления о ценности суть истории. Честная позиция часто такова: «связано с», а не «вызвано».

Рамки целей, такие как цели и ключевые результаты (OKR), могут связывать работу команды с бизнес-результатами, а более ранняя тема об измерительных рамках рассматривает их подробно (см. тему 1.7, Рамки измерения). Риск с каждой рамкой тот, что назван законом Гудхарта: как только число выгоды становится целью, люди находят способы производить число без выгоды (см. тему 1.2, Закон Гудхарта и психология метрик).

Тема также мостит к деньгам. Тема следующей части о возврате инвестиций и бизнес-обосновании берёт финансовый взгляд подробно (см. тему 7.7, Возврат инвестиций и бизнес-обоснование). Здесь фокус на свидетельствах результатов, питающих это обоснование.

Ключевые принципы

  • Записывайте ожидаемую выгоду до разработки. Утверждение, которое нельзя проверить позже, не даёт чему-либо научиться.
  • Назовите владельца каждой выгоды. Владелец есть заинтересованная сторона, которая увидит изменение, а не команда поставки.
  • Измеряйте у пользователей, после релиза. Поставка есть начало проверки, а не конец.
  • Используйте опережающие индикаторы для управления и запаздывающие для подтверждения.
  • Будьте честны в атрибуции. Говорите, что ещё изменилось, и избегайте утверждений, которые свидетельства не поддерживают.
  • Считайте выгоды, которые не пришли. Обучение на неудавшейся гипотезе есть выгода такого способа работы.
  • Продолжайте сотрудничать. Заинтересованные стороны и команда регулярно вместе пересматривают свидетельства.

Определения метрик

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля реализованных выгод Доля ожидаемых выгод, наблюдавшихся к согласованной дате пересмотра выгоды с измеренным результатом на согласованном пороге или выше / ожидаемые выгоды с датой пересмотра в периоде процент Реестр выгод с владельцами, базовыми уровнями и датами пересмотра Непрерывное улучшение; управление системой создания ценности Обзор результатов с заинтересованными сторонами Раз в квартал
Время до первой ценности Время от начала работы до первой измеримой выгоды для пользователей дни от начала первой работы до первой даты, когда индикатор выгоды сдвинулся как ожидалось дни Трекер работы и индикатор выгоды Проектирование услуг; управление релизами и развёртыванием Непрерывная поставка ценности По инициативе
Доля проверенных гипотез Доля выпущенных изменений, чья заявленная гипотеза ценности была проверена после релиза изменения с записанной проверкой после релиза / выпущенные изменения, несшие гипотезу процент Журнал гипотез, связанный с записями релизов Непрерывное улучшение; управление изменениями (change enablement) Обучение на выпущенной работе Раз в месяц
Доля качества свидетельств Доля заявленных выгод, имеющих базовый уровень и заявленный метод сравнения заявления о выгодах с базовым уровнем и методом / сообщённые заявления о выгодах процент Пересмотр реестра выгод Измерение и отчётность Честная отчётность о результатах Раз в квартал
Движение индикатора результата Изменение выбранного индикатора результата относительно его базового уровня и относительно сравнения, где доступно (индикатор после минус индикатор до), с изменением группы сравнения, сообщаемым рядом единицы индикатора Продуктовая аналитика, данные услуг, финансы Управление уровнями услуг; непрерывное улучшение Прогресс ключевого результата Раз в месяц
Часы бизнес-воздействия Часы, в которые бизнес-процесс был деградирован или остановлен из-за проблем услуги часы деградированного или остановленного процесса, приписанные владельцами процессов причинам услуг ИТ часы Записи об инцидентах, соединённые с подтверждением владельца процесса Управление инцидентами; управление доступностью Обзор бизнес-воздействия Раз в месяц
Доля ёмкости, связанной с результатом Доля ёмкости команды, потраченная на работу, связанную с заявленным результатом ёмкость на элементы, связанные с записанным результатом / общая ёмкость процент Трекер работы с полем результата Система создания ценности; управление портфелем Работа, согласованная с целью продукта Раз в квартал

Определяйте дату пересмотра и порог для каждой выгоды при её записи, а не потом. Время до первой ценности начинается, когда начинается работа, и останавливается, когда индикатор впервые сдвигается в ожидаемом направлении на заявленную величину, что может быть заметно позже релиза. Атрибуция часов бизнес-воздействия согласуется с владельцем процесса, а споры записываются.

Рекомендации

До разработки: сделайте утверждение проверяемым

1. Пишите гипотезу ценности для каждого значимого изменения. Используйте простую форму: «Мы полагаем, что [изменение] поможет [кому] [делать что], так что [измеримое улучшение]. Мы узнаем по [индикатору], движущемуся от [базового уровня] к [ожидаемому], пересмотр [дата]». Держите её достаточно короткой, чтобы поместилась на карточке на доске. Команды, не способные заполнить пропуски, часто ещё не поняли проблему.

2. Запишите базовый уровень. Без «до» нет «после». Зафиксируйте текущее значение индикатора, как оно измерялось и насколько варьируется. Если индикатор шумен, единое число вводит в заблуждение, поэтому записывайте диапазон за несколько недель (см. тему 1.6, Статистическая грамотность для метрик услуг).

3. Выберите опережающие и запаздывающие индикаторы. Для нового запроса самообслуживания опережающий индикатор есть сколько подходящих пользователей его завершают, а запаздывающий есть падение часов ручной обработки (см. тему 6.3, Метрики внедрения услуг и каталога). Договоритесь, какой индикатор проверяется когда. Опережающие индикаторы позволяют скорректировать курс, не дожидаясь конца квартала.

4. Назовите владельца выгоды вне команды поставки. Владелец есть заинтересованная сторона, которая увидит улучшение в своей области и может его оценить. Команда поставки поддерживает измерение, но не проверяет собственную домашнюю работу. Это непрерывное сотрудничество на практике: человек, который хотел результата, остаётся вовлечённым, пока тот не подтверждён.

После релиза: проверьте честно

5. Пересмотрите гипотезу в согласованную дату. Проведите короткий пересмотр с владельцем и командой. Посмотрите на индикатор, базовый уровень и сравнение. Запишите результат в реестр: выполнено, частично выполнено, не выполнено или нельзя сказать. «Нельзя сказать» есть законный результат и побуждение улучшить измерение.

6. Используйте сравнение там, где можете. Сильнейшее сравнение есть контролируемый эксперимент. A/B-тестирование сравнивает две версии при случайном распределении пользователей и хорошо работает для цифровых услуг с достаточным трафиком. Где рандомизация невозможна, поэтапное развёртывание позволяет сравнивать группы, получившие и не получившие изменение. Подход разности разностей сравнивает изменение в группе воздействия с изменением в группе без воздействия за тот же период, что убирает общие тренды. Используйте простейший подходящий план.

7. Ищите искажающие факторы. Искажающий фактор (confounder) есть нечто иное, что изменилось и могло бы объяснить результат: сезонная закономерность, новая политика, другая смесь запросов. Перечислите правдоподобные, прежде чем заявлять эффект. Если вы не можете их исключить, скажите, что поддерживают свидетельства, и не больше.

8. Сообщайте отрицательные и нулевые результаты. Когда изменение не помогло, скажите об этом и запишите, чему научились. Ошибка выжившего, привычка смотреть только на успехи, делает программы лучше, чем они есть. Реестр, содержащий одни победы, велся нечестно.

Держите программу честной

9. Отделяйте качество свидетельств от выгоды. Отслеживайте долю заявлений, имеющих базовый уровень и заявленный метод. Крупное заявление со слабыми свидетельствами должно читаться как таковое. Здоровый реестр показывает скромные заявления с сильными свидетельствами и несколько честных записей «нельзя сказать».

10. Связывайте ёмкость с результатами свободно. Спросите, какая доля работы команды связана с заявленным результатом, и посмотрите на остальное. Некоторая работа, такая как исправления безопасности или поддержание работоспособности, не несёт новой выгоды, и это нормально, если она названа. Цель в том, чтобы замечать дрейф, а не загонять каждую задачу в историю о выгоде.

11. Связывайте с рамкой целей, которой пользуетесь. Если вы используете OKR, делайте ключевыми результатами индикаторы результатов и пересматривайте их с заинтересованными сторонами. Держите ключевые результаты о результатах, а не о задачах, и оставляйте место для амбициозных целей, которые могут быть выполнены не полностью. Не делайте ключевые результаты индивидуальными целями (см. тему 1.7, Рамки измерения).

12. Пересматривайте портфель так же, как проект. Раз в квартал смотрите по инициативам, какие выгоды пришли, какие нет и что закономерность говорит о том, как команда оценивает и выбирает работу. Используйте это, чтобы улучшить написание гипотез, а не чтобы ранжировать команды.

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Доля реализованных выгод Задавать низкие пороги; переносить дату пересмотра; переопределять выгоду постфактум Порог и дата фиксируются при одобрении; доля качества свидетельств; владелец вне команды поставки
Время до первой ценности Выбирать ранний индикатор, двигающийся по неверной причине; запускать часы поздно Индикатор и часы определены в реестре; подтверждение владельцем выгоды
Доля проверенных гипотез Писать расплывчатые гипотезы, которые всегда проходят; проверять только успешные изменения Выборочная проверка гипотез на проверяемость; включение нулевых и неудавшихся результатов в пересмотр
Доля качества свидетельств Задним числом заполнять базовые уровни; описывать любое сравнение как метод Базовый уровень датирован до изменения; пересмотр кем-то вне команды
Движение индикатора результата Выбирать выгодный период или группу; игнорировать искажающие факторы Заранее зарегистрированные период и группа; список рассмотренных искажающих факторов
Часы бизнес-воздействия Владельцы процессов раздувают или занижают атрибуции; инциденты переклассифицируются, чтобы избежать атрибуции Правила атрибуции записаны и ведутся в журнале; сравнение с записями об инцидентах и доступности
Доля ёмкости, связанной с результатом Помечать всю работу общим результатом; выдумывать результаты для рутинной работы Список результатов пересматривается с заинтересованными сторонами; выборка элементов на качество связи

Здоровое чтение есть реестр, в котором одни выгоды выполнены, другие нет, некоторые неясны, а у каждой записи есть базовый уровень, владелец и заявленный метод. К реестру сплошных успехов следует относиться с подозрением.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Формальный реестр выгод Подотчётность, обучение между инициативами Бюрократия, если применять к каждому малому изменению
Лёгкая гипотеза на каждой карточке Дёшево, строит привычку Легко написать расплывчато
Контролируемый эксперимент Сильное свидетельство причины Нужны трафик, время и план, подходящий услуге
Только до и после Просто, быстро Искажается другими изменениями
Суждение заинтересованных сторон Улавливает ценность, которую упускают метрики Подвержено оптимизму и политике
Опережающие индикаторы Ранняя корректировка курса Могут не предсказывать реальный результат
Запаздывающие индикаторы Подтверждают реальные результаты Приходят поздно; много причин

Ответ прост: соразмеряйте вес свидетельств с размером и риском изменения. Используйте лёгкую гипотезу и простое «до и после» для малых изменений и эксперимент или поэтапное развёртывание для крупных. Всегда записывайте, что вы ожидали, что произошло и насколько вы уверены.

Вопросы для обсуждения в команде

1. Что мы выпустили за последний квартал и что изменилось для людей, которым это должно было помочь? Перечислите главные изменения и для каждого назовите человека, который заметил бы разницу. Спросите, что он сказал бы. Ведущему стоит отметить изменения, по которым никто не может ответить, поскольку они кандидаты на проверку после релиза. Договоритесь пересмотреть одно изменение с его владельцем в течение месяца.

2. Какова гипотеза ценности нашего следующего значимого изменения и как мы узнаем? Заполните форму гипотезы вместе. Оспаривайте расплывчатые слова и отсутствующие базовые уровни. Спросите, какой результат заставил бы команду изменить планы. Если группа не может согласовать меру, это задача на исследование до разработки.

3. Кто владеет выгодой и присутствует ли он в комнате? Проверьте, что у каждой выгоды есть владелец вне команды поставки. Спросите, как часто владелец видит свидетельства. Где владельцем является сама команда, обсудите, кому ещё следует разделить суждение. Разговор поддерживает непрерывное сотрудничество заинтересованных сторон.

4. Что ещё изменилось, когда числа улучшились? Возьмите недавнее заявленное улучшение и перечислите другие изменения за тот же период: политика, сезонность, штат, релиз другой команды. Спросите, какие могли бы объяснить результат. Решите, описывать ли улучшение как вызванное изменением, связанное с ним или неясное.

5. Какие из наших прошлых гипотез оказались неверными и что мы с этим сделали? Попросите историю о неоправдавшемся ожидании. Если она не приходит быстро, команда, возможно, не проверяет или не говорит об этом. Обсудите, как сделать сообщение о нулевом результате безопасным и полезным.

6. Какая доля нашей ёмкости связана с результатом и кажется ли это верным? Просмотрите месяц завершённой работы и пометьте каждый элемент результатом или «поддержание работы услуги». Спросите, соответствует ли разбиение тому, что думают руководители. Обсудите работу без результата и стоит ли её продолжать.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют гипотезой и планом измерения и должны поставлять изменения малыми шагами, чтобы свидетельства приходили рано. Им следует встраивать индикатор в изменение, например логируя нужные события, и просить владельца выгоды подтвердить то, что он видит. Командам следует приветствовать неоправдавшиеся гипотезы как информацию, поскольку раннее обучение экономит цену разработки большего количества неверного.

Команды услуг и эксплуатации

Команды эксплуатации видят реальное воздействие изменений на инциденты, запросы и ёмкость. Они держат большую часть данных для запаздывающих индикаторов, таких как часы ручной обработки и повторные обращения, и им следует помогать проверять гипотезы так же, как поглощать изменения. Им следует высказываться, когда выгоды, заявленные на бумаге, не соответствуют тому, что видит служба поддержки.

Руководство и управление

Руководители выбирают, будут ли выгоды инструментом обучения или коммерческим предложением. Им следует просить базовые уровни и методы, приветствовать честные результаты «не выполнено» и избегать удержания команд к числам выгод, заданным до того, как факты стали известны. Управлению следует пересматривать реестр как портфель, финансировать измерение и быть готовым остановить работу, чья гипотеза потерпела неудачу.

Клиенты и пользователи

Пользователи знают, помогло ли изменение, и они лучшие судьи большинства выгод. Их следует спрашивать, показывать им результаты и говорить, когда изменение не дало того, на что надеялись. Их комментарии сами по себе свидетельство. Выгода, которую показывают числа и которой пользователи не чувствуют, заслуживает более пристального взгляда.

На практике: пример из управления услугами

ИТ-группа регионального медицинского страховщика строит и ведёт портал страховых требований для поставщиков услуг. Числа ниже иллюстративны.

Группа планирует добавить автоматические проверки права на выплату к подаче требования. Гипотеза, написанная вместе с руководителем операций по требованиям: «Мы полагаем, что автоматические проверки права помогут биллинговому персоналу поставщиков подавать верные требования с первого раза, так что требования, возвращаемые на исправление, упадут с 18 % до 12 % в течение трёх месяцев. Мы узнаем по доле возвращённых требований, пересмотр 1 марта». Базовый уровень есть среднее за последние 12 недель, 18 % с недельным диапазоном от 15 до 21 %. Опережающий индикатор есть использование проверки в первый месяц. Руководитель операций по требованиям есть владелец выгоды.

Команда выпускает малыми шагами, сначала сделав проверку доступной для одного региона. Через три недели использование проверки в этом регионе составляет 64 %. К дате пересмотра возвращённые требования падают до 13 % в регионе с проверкой и до 17 % в регионах без неё. Руководитель по требованиям указывает, что в тот же период вступило в силу изменение политики по одному биллинговому коду. Команда перечисляет его как искажающий фактор и убирает требования с этим кодом из обеих групп, что оставляет 14 % против 17,5 %. Реализация выгоды записывается как «частично выполнена»: лучше базового уровня с ясным запасом, но ниже цели в 12 %. Команда честно пишет в реестре, что свидетельство взято из поэтапного развёртывания за один квартал и что эффект может отличаться для других поставщиков.

Затем они развёртывают проверку во всех регионах, с планом проверить снова через три месяца, и добавляют задачу улучшить сообщение об ошибке, поскольку комментарии поставщиков говорят, что оно неясно. Финансовый директор просит единое число для совета. Руководитель ИТ предлагает диапазон и метод и отказывается называть цифру с большей точностью, чем допускают свидетельства. Решение записано вместе со следующей датой пересмотра.

Agile, ИИ, автоматизация и аналитика

Agile

Заявляйте ожидаемую выгоду до начала работы и проверяйте её после релиза вместе с теми, кто должен выиграть. Осторожность в том, что выгоды, заявленные без базового уровня, суть истории.

ИИ

Проекты ИИ часто обещают крупные выгоды, поэтому записывайте базовый уровень, ожидаемое изменение и свидетельства для работы с помощью ИИ отдельно и парьте заявления о производительности с качеством и ценой. Осторожность в том, что оценки выгод, произведённые инструментом ИИ, следует проверять, поскольку они могут звучать точно и быть необоснованными.

Автоматизация

Автоматизируйте сбор индикаторов результатов, уже имеющихся в ваших системах, и измеряйте процесс пересмотра выгод по завершению. Осторожность в том, что автоматизированные панели индикаторов могут заменить разговор о том, произошла ли выгода.

Аналитика

Сообщайте движение индикаторов результатов вместе с качеством свидетельств и пределами атрибуции. Решение, которое это информирует, состоит в том, что продолжить, изменить или остановить. Осторожность в том, что атрибуция трудна, поэтому описывайте неопределённость.

Отраслевой взгляд

Стартап. Выгоды близки к доходу и удержанию, а скорость обучения важна. Пишите гипотезы в одну строку на карточках, быстро проверяйте их и избегайте тяжёлых реестров. Используйте простые сравнения и принимайте, что малые выборки ограничивают то, что можно заявить.

Малый бизнес. Владелец есть владелец выгоды, а эффекты видны. Ведите короткий список изменений с ожидаемыми эффектами и пересматривайте его каждый квартал. Избегайте раздувания малых приростов в крупные цифры и сравнивайте с ценой изменения.

Крупная компания. Портфели, циклы финансирования и много заинтересованных сторон делают реестр выгод полезным. Держите его лёгким для малых изменений и строгим для крупных, помещайте владельцев в бизнес-подразделения и пересматривайте по портфелю. Остерегайтесь сведения чисел с разными определениями.

Государство и публичный сектор. Результаты часто суть общественные блага, такие как доступ, справедливость и безопасность, не сводимые к доходу. Определяйте результаты вместе с обслуживаемыми людьми, используйте смешанные свидетельства и открыто сообщайте методы. Формальные бизнес-обоснования и пересмотры выгод могут быть обязательны, а честные нулевые результаты важны для публичной подотчётности (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Цена в основном внимание. Написание гипотезы занимает минуты, базовый уровень час или несколько, а пересмотр короткое совещание. Экспериментам и поэтапным развёртываниям нужны усилия на проектирование и некоторые инструменты. Реестр выгод может быть таблицей или полем в трекере работы.

Отдача есть лучшие инвестиционные решения. Команда, проверяющая свои гипотезы, перестаёт строить то, что не помогает, масштабирует то, что помогает, и узнаёт, насколько хорошо она предсказывает. Это экономит цену неиспользуемых функций и неудавшихся программ. Стройте обоснование из собственных данных: доля изменений, несших гипотезу, доля проверенных и цена работы, позже брошенной или отменённой. Избегайте опубликованных цифр о доле неудач ИТ-проектов, если не можете проследить их источник и метод, поскольку они сильно различаются и часто цитируются без контекста. Финансовая обработка находится в следующей части (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Считать поставку ценностью. Выпущенная функция есть средство. Проверяйте воздействие на людей.
  • Гипотезы, которые не могут провалиться. Делайте их конкретными, с числом и датой.
  • Проверка собственной домашней работы. Пусть результат оценивает владелец выгоды вне команды.
  • Утверждение причины по «до и после». Перечисляйте искажающие факторы и используйте сравнение, где возможно.
  • Сообщать только победы. Записывайте нулевые и отрицательные результаты. Реестр одних успехов нечестен.
  • Постановка целей по выгодам для отдельных людей. Цели, привязанные к людям, приглашают раздутые заявления. Держите выгоды на уровне команды и инициативы.
  • Избыточная точность. Сообщайте диапазоны и метод, а не единое десятичное число.
  • Игнорирование работы без новой выгоды. Назовите её и не выдумывайте для неё историю о выгоде.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Формулировка ценности Выгоды заявлены только в бизнес-обоснованиях Гипотезы написаны для некоторых изменений Короткая гипотеза, базовый уровень и владелец для каждого значимого изменения Гипотезы и пороги фиксируются при одобрении; опережающие и запаздывающие индикаторы определены Гипотезы разделяются между командами и поставщиками; результаты определяются вместе с пользователями
Проверка ценности Нет проверки после релиза Разовая проверка командой поставки Плановый пересмотр с независимым владельцем Сравнения и искажающие факторы документированы; качество свидетельств отслеживается Свидетельства на уровне портфеля направляют финансирование; общие эксперименты между командами
Обучение Победы отмечаются, неудачи забываются Некоторые уроки записываются Нулевые результаты записываются и пересматриваются Закономерности в пропущенных гипотезах улучшают отбор и оценку размера Обучение питает планирование по организации и с партнёрами

Контрольный список

  • У каждого значимого изменения есть письменная гипотеза ценности с базовым уровнем, индикатором и датой пересмотра.
  • У каждой выгоды есть владелец вне команды поставки.
  • Опережающие и запаздывающие индикаторы определены и отслеживаются.
  • Пересмотры проходят в согласованную дату с владельцем.
  • Сравнения или поэтапные развёртывания используются там, где возможно.
  • Искажающие факторы перечислены для каждого заявленного результата.
  • Нулевые и отрицательные результаты записываются и доводятся до всех.
  • Качество свидетельств отслеживается рядом с заявлениями о выгодах.
  • Ни у одного человека нет личной цели по выгодам.
  • Квартальный пересмотр портфеля смотрит на закономерности в выполненных и пропущенных гипотезах.

Промпты для ИИ

Напишите гипотезу ценности.

We plan to [describe change] for [users or stakeholders] in [type of
organization]. The problem today: [describe]. Draft a value hypothesis in the
form "We believe that [change] will help [who] to [do what] so that [measurable
improvement]. We will know by [indicator]..." Suggest one leading and one
lagging indicator, what baseline we need, and a review date logic. Do not invent
target values; leave them as placeholders for us. List your assumptions and what
we need to find out.

Перечислите искажающие факторы для заявленного результата.

We claim that [change] improved [indicator] from [before] to [after] between
[dates]. Other things that happened in the period: [list]. List plausible
confounding factors, how each could explain the result, and what data or
comparison would help rule it out. Suggest wording that states what the
evidence supports. Do not assume a cause the data cannot support. List your
assumptions.

Спроектируйте сравнение поэтапного развёртывания.

We can release [change] to [number] groups at different times: [describe
groups and constraints]. Propose a staged rollout that lets us compare groups
with and without the change, say what indicator and period to use, what could
bias the comparison, and what we would conclude from different outcomes. Do not
invent effect sizes. List your assumptions and risks.

Проверьте запись реестра выгод.

Review this benefits register entry for [initiative]: [paste entry including
claim, baseline, method, owner, and review date]. Point out missing
information, vague wording, claims the evidence does not support, and ways the
result could be gamed. Suggest a stronger wording that fits what we actually
measured. List your assumptions and questions for the owner.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики ценности или результата, прежде чем о ней сообщить.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики выгод несёт свой вектор манипуляции, ограждение и стандарт свидетельств.

Главные выводы

  • Пишите проверяемую гипотезу ценности до разработки, с базовым уровнем, владельцем вне команды и датой пересмотра.
  • Используйте опережающие индикаторы для управления и запаздывающие для подтверждения.
  • Сравнивайте там, где можете, перечисляйте искажающие факторы и заявляйте только то, что поддерживают свидетельства.
  • Записывайте нулевые и отрицательные результаты; реестр сплошных успехов нечестен.
  • Отслеживайте качество свидетельств рядом с размером заявления.
  • Держите заинтересованные стороны и пользователей в сотрудничестве, пока результат не подтверждён.

Источники и дополнительное чтение

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Управление реализацией выгод.
  8. Wikipedia, Теория изменений.
  9. Wikipedia, Логическая модель.
  10. Wikipedia, Опережающий индикатор.
  11. Wikipedia, Запаздывающий индикатор.
  12. Wikipedia, Цели и ключевые результаты.
  13. Wikipedia, Закон Гудхарта.
  14. Wikipedia, A/B-тестирование.
  15. Wikipedia, Разность разностей.
  16. Wikipedia, Искажающий фактор.
  17. Wikipedia, Ошибка выжившего.