Обзор и мотивация

Программа метрик преуспевает или проваливается на доверии. Один и тот же набор мер может быть полезным зеркалом в одной организации и источником ужаса в другой. Разница редко в мерах. Она в том, во что люди верят относительно того, что с ними случится из-за чисел. Если они верят, что числа будут использованы, чтобы ранжировать, обвинять или сокращать их, разумный ответ состоит в самозащите: выбирать работу, хорошо оцениваемую, откладывать сообщения о проблемах, спорить об определениях и тихо подправлять записываемое. Тогда данные перестают описывать работу, а программа теряет именно то, что должна была давать.

Эта закономерность стара и хорошо известна. Эффект Хоторна описывает, как люди меняют поведение, когда знают, что за ними наблюдают. Закон Кэмпбелла говорит, что чем больше количественный индикатор используется для принятия решений, тем сильнее он подвержен давлению искажения и тем больше он искажает процесс, который должен был наблюдать. Закон Гудхарта высказывает сходную мысль о целях (см. тему 1.2, Закон Гудхарта и психология метрик). Ничто из этого не причина избегать измерения. Это причины проектировать внедрение так, чтобы стимулы к искажению были низки, а причины говорить правду высоки.

Психологическая безопасность есть разделяемая вера, что команда безопасна для межличностного риска, например признания ошибки, вопроса или сообщения плохих новостей. Программы метрик и зависят от неё, и могут её подтачивать. Меры сбоев, переделок и задержек честны, только когда люди чувствуют себя в безопасности, сообщая о них (см. тему 9.2, Метрики удовлетворённости и благополучия, и тему 4.2, Метрики разборов и обучения). Доверие между измеряемыми людьми и людьми, использующими меры, есть лежащий в основе актив, и он строится медленно, а тратится быстро.

Управление изменениями есть дисциплина подготовки и поддержки людей в изменении. Введение метрик есть организационное изменение и заслуживает той же заботы, что новый процесс или инструмент (см. тему 9.6, Метрики организационных изменений и внедрения). Жизненный цикл внедрения технологий описывает, как инновации распространяются от энтузиастов к большинству, что напоминает: уважаемый пилот с желающими командами делает больше, чем мандат. Пилотный проект есть испытание в малом масштабе, проверяющее подход до более широкого обязательства. Информационный радиатор есть видимое отображение информации, которое люди могут прочесть с одного взгляда, не спрашивая, и оно подходит прозрачности, когда показывает данные команды той команде, которой они принадлежат.

Цели Agile придают внедрению форму. Непрерывное вовлечение заинтересованных сторон означает, что измеряемые люди помогают выбирать меры и правила их использования. Непрерывное улучшение означает, что саму программу меняют в ответ на то, что говорят люди. Постоянная эволюция означает, что от мер ждут изменений, что снижает ставки любой из них. Устойчивый темп означает, что программа не добавляет отчётность, вытесняющую работу. Построение вокруг мотивированных людей означает отношение к людям как к способным взрослым, которые могут использовать данные для улучшения собственной работы, а не как к ресурсам для мониторинга. Практическая позиция проста: измеряйте систему, делитесь данными с людьми в ней и позвольте им вести улучшение.

Тема работает вместе с руководством по панели (см. тему 11.1, Проектирование панели метрик услуг) и управлением мерами (см. тему 1.4, Управление метриками и ответственность за них).

Ключевые принципы

  • Говорите, для чего данные и для чего они не. Запишите оба и придерживайтесь их.
  • Команды владеют своими мерами. Люди, делающие работу, помогают определять, видеть и интерпретировать числа о ней.
  • Измеряйте системы, а не отдельных людей. Никаких рейтинговых таблиц, никаких оценок по людям, никакого использования данных в индивидуальных оценках результативности.
  • Будьте прозрачны. Делитесь определениями, источниками данных и тем, кто что может видеть. Сюрпризы порождают подозрение.
  • Начинайте с добровольцев. Желающий пилот производит истории и исправления до более широкого внедрения.
  • Показывайте использование. Демонстрируйте, что числа ведут к помощи, например к устранению препятствия, а не к обвинению.
  • Допускайте оспаривание. Люди могут ставить число под вопрос, а исправления вносятся быстро и видимо.
  • Идите устойчивым темпом. Несколько мер за раз, со временем на обучение.

Определения метрик

Меры ниже говорят команде программы, строит ли внедрение доверие или тратит его. Они описывают команды и программу, а не отдельных людей. Несколько опираются на опросы и наблюдение за поведением и лучше всего читаются как сигналы для разговора.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Охват хартией использования Доля участвующих команд, согласовавших письменное заявление о том, для чего используются и для чего никогда не используются их меры команды с согласованной хартией / участвующие команды процент Хартии, хранящиеся у программы Управление; управление организационными изменениями Рабочие соглашения Раз в квартал
Доля владения команд Доля отображаемых команде мер, определения которых команда помогала писать или одобрила меры с одобрением команды / меры, отображаемые команде процент Каталог метрик; записи одобрения Непрерывное улучшение Самоорганизующиеся команды Раз в квартал
Сигнал откровенности Остаётся ли сообщение о проблемах и почти-промахах стабильным или растёт после введения мер сообщения о почти-промахах или проблемах на команду в квартал до и после; тренд сообщения Записи об инцидентах, почти-промахах и разборах Управление инцидентами; непрерывное улучшение Рефлексия без поиска виновных Раз в квартал
Срок ответа на оспаривание Время от оспаривания числа человеком или командой до разрешения, видимого им медиана и 85-й перцентиль дней от оспаривания до разрешения дни Журнал оспариваний Непрерывное улучшение; управление знаниями Реакция на обратную связь Раз в квартал
Воспринимаемая безопасность измерения (опрос) Согласие в опросе на уровне команды с утверждениями вроде «данные о нашей работе используются, чтобы нам помочь» процент согласных в опросе команды; показана доля ответивших процент Анонимный опрос команд, агрегированный Управление организационными изменениями Доверие и мотивированные люди Два раза в год
Инциденты использования на уровне отдельных людей Случаи, когда данные показывались или использовались для ранжирования или оценки отдельных людей вопреки хартии число сообщённых случаев за квартал с исходами число Сообщения программе; пересмотр панелей и оценок Управление Уважение к людям Раз в квартал
Добровольное внедрение Доля пригодных команд, выбравших участие в программе за период, до какого-либо мандата команды, вступившие по своему выбору / приглашённые пригодные команды процент Записи программы Управление организационными изменениями Пилоты и обучение Раз в квартал

Опросу о воспринимаемой безопасности нужен минимальный размер группы для сообщения, чтобы нельзя было определить ни одного человека, и он должен быть анонимным. Сигнал откровенности надо читать осторожно: рост сообщений может означать больше проблем или больше готовности сообщать, и второе обычно есть то, что здоровая программа производит сначала. Инциденты использования на уровне отдельных людей не счёт, который нужно прятать. Цель в том, чтобы каждый случай был сообщён, обработан и исправлен, а малое число сообщённых случаев есть признак работающего пути сообщения, а не провала программы. Добровольное внедрение считается только за период до какого-либо мандата.

Рекомендации

Сначала установите основные правила

1. Напишите обещания и опубликуйте их. До показа первого числа напишите короткую хартию. Хорошая говорит, что меры описывают команды, услуги и системы и никогда не используются для ранжирования отдельных людей или в индивидуальных оценках результативности. Она говорит, кто что может видеть, как долго хранятся данные, как люди могут оспорить число и что происходит при нарушении правил. Старшие руководители её подписывают. Хартия есть обязательство, позволяющее людям ослабить настороженность, и её должно быть легко найти и прочесть.

2. Разделяйте измерение для улучшения и измерение для суждения. Команды используют свои меры, чтобы улучшать собственную работу. Руководители используют агрегированные виды, чтобы направлять поддержку и инвестиции. Ни одно использование не касается оценки человека. Если организация должна оценивать отдельных людей, ей следует делать это через разговор, свидетельства и контекст и никогда не считывая с панели (см. тему 1.2, Закон Гудхарта и психология метрик).

3. Будьте открыты о компромиссах. Говорите людям, что любую меру можно исказить, что вы знаете как и что к каждой есть ограждение. Показывайте векторы манипуляции и ограждения в стиле этой книги. Называние рисков открыто демонстрирует добросовестность и приглашает людей указать способы, которые вы упустили.

Сделайте команды владельцами

4. Позвольте командам выбирать и определять. Предложите меню мер и позвольте каждой команде выбрать несколько для начала, адаптировать определения с заявленной причиной и добавить свои. Команды, выбравшие свои меры, скорее будут использовать их честно. Держите малое общее ядро, чтобы услуги можно было сравнивать на уровне, где сравнение допустимо (см. тему 1.4, Управление метриками и ответственность за них).

5. Показывайте командам их данные первыми. Давайте каждой команде её числа до того, как их увидит кто-либо ещё, со временем проверить, исправить и добавить контекст. Команда владеет историей. Когда данные позже показываются руководителям, команда представляет или аннотирует их. Это избегает сюрпризов и обеспечивает, что интерпретация идёт от людей, ближайших к работе.

6. Держите виды на правильном уровне. Показывайте виды на уровне команд и услуг. Не показывайте разбивки по людям и отключайте функции инструментов, которые это делают. Где подробный вид необходим для расследования, например история одного инцидента, ограничьте доступ, объясните почему и держите его вне разговоров пересмотра (см. тему 11.2, Обзор инструментов).

Внедряйте, завоёвывая доверие

7. Начинайте пилот с добровольцев. Пригласите две-три команды, любопытные и уважаемые. Работайте с ними над мерами и правилами. Пусть они рассказывают свои истории коллегам. Их исправления и возражения улучшат программу, а их одобрение весит больше любого объявления. Спросите, что они изменили бы до более широкого внедрения, и измените.

8. Давайте ценность рано и видимо. В первые недели используйте данные, чтобы убрать то, что раздражает команду: очередь, всегда ждущую, шаг утверждения без цели, отчёт, который никто не читает. Когда люди видят, что числа ведут к помощи, они предлагают более честные данные. Когда видят, что числа ведут к вопросам о них, предлагают меньше.

9. Быстро отвечайте на оспаривания. Когда кто-то говорит, что число неверно, отнеситесь серьёзно. Проверьте, исправьте определение или данные и скажите публично, что было сделано. Быстрое уважительное исправление строит доверие, а оборонительный ответ тратит его. Ведите журнал оспариваний и трактуйте повторяющиеся оспаривания как сигналы, что мера нуждается в работе.

Защищайте доверие со временем

10. Следите за признаками страха. Признаки включают команды, спорящие об определениях, чтобы избежать результатов, внезапные улучшения, не совпадающие с другими сигналами, меньше сообщённых проблем, работу, выбираемую ради хорошего вида, и людей, спрашивающих, кто может видеть данные. Относитесь к ним как к информации о программе, а не как к проступкам. Спрашивайте команды, слушайте и корректируйте.

11. Держите руководителей в рамках хартии. Руководители находятся под давлением сравнивать, ранжировать и объяснять. Дайте им то, что они вправе использовать: тренды, распределения и меры результатов на уровне команд и услуг. Облегчите сообщение о нарушении хартии, отвечайте на каждое сообщение и публикуйте исход, не называя людей, поднявших вопрос. Одно видимое нарушение может уничтожить месяцы работы, а видимое исправление может её восстановить.

12. Пересматривайте программу с людьми в ней. Каждый квартал спрашивайте команды, чему помогают меры, что они искажают и что они бросили бы. Выводите меры, не прошедшие проверку. Делитесь результатами пересмотра. Постоянное видимое обязательство улучшать программу есть самый сильный сигнал, что она существует, чтобы служить командам (см. тему 9.5, Метрики непрерывного улучшения).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Охват хартией использования Подписывать хартии формально; руководители, игнорирующие их Проверять использование хартии на практике; сообщать инциденты использования на уровне отдельных людей; пересматривать хартии с командами
Доля владения команд Команды одобряют определения, которых не читали; программа представляет готовые определения на подпись Выбирать, как определения разрабатывались; отслеживать изменения, запрошенные и внесённые командами
Сигнал откровенности Давить на команды, чтобы сообщали больше или меньше проблем; переименовывать категории Читать вместе с тяжестью и содержанием разборов; сравнивать с проблемами, о которых сообщили клиенты
Срок ответа на оспаривание Закрывать оспаривания без видимого разрешения; отговаривать от оспаривания Требовать видимого ответа; опрашивать оспаривавших; отслеживать повторные оспаривания
Воспринимаемая безопасность измерения (опрос) Тренировать респондентов; низкая доля ответивших, прячущая недовольные команды Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую
Инциденты использования на уровне отдельных людей Не сообщать; переклассифицировать инциденты как что-то другое; обвинять сообщивших Лёгкое анонимное сообщение; защита сообщающих; пересмотр оценок и панелей на данные об отдельных людях
Добровольное внедрение Давление, оформленное как приглашение; считать команды, вступившие, чтобы избежать проверки Спрашивать команды, почему они вступили; проверять использование на практике; держать период свободным от мандата

Здоровое чтение показывает хартии, на которые команды действительно ссылаются, меры, в формировании которых помогали команды, стабильные или растущие сообщения о проблемах, быстро отвечаемые оспаривания, опрос, показывающий, что люди верят, что данные им помогают, немногие сообщённые нарушения, обработанные открыто, и команды, вступившие, потому что хотели.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Мандатное внедрение во всех командах сразу Быстро и единообразно Соблюдение без веры; манипуляции и обида
Добровольные пилоты, затем распространение Строит истории и доверие Медленнее; неравный охват
Команды выбирают все свои меры Высокое владение Трудно сравнивать; пробелы в охвате
Общее ядро плюс выбор команд Баланс сравнения и владения Нужно управление
Открытые панели между командами Прозрачность; общее обучение Риск сравнения и рейтингов
Виды только для команд, с агрегатами для общего доступа Безопасное пространство для честной рефлексии Руководители могут чувствовать себя слепыми
Письменная хартия Ясные обещания; основание для оспаривания Бесполезна, если игнорируется
Неформальные заверения Быстро Забываются; нет возможности возмещения

Ответ прост: начинайте с желающих команд, давайте им владение, делитесь агрегатами наверх с согласия команд и контекстом и подкрепляйте обещания хартией, к которой привязаны руководители.

Вопросы для обсуждения в команде

1. Во что мы верим относительно того, что будет с этими числами, и что мы видели в прошлом? Пригласите честные рассказы о мерах, использованных хорошо и плохо. Ведущему стоит записывать страхи, не споря. Договоритесь, какие обещания дали бы больше всего.

2. Что бы мы написали в хартии, говорящей, для чего наши данные никогда не будут использованы? Составьте черновик вместе простыми словами. Включите индивидуальные оценки результативности, рейтинги и сокращения, если это беспокоит. Отнесите руководителям, которым пришлось бы подписать.

3. Какие из предлагаемых мер мы бы выбрали, а какие бросили? Пусть каждый проголосует в одиночку, затем сравните. Обсудите, почему некоторые кажутся угрожающими. Договоритесь о коротком наборе для пробы на квартал.

4. Как мы узнали бы, что люди начинают прятать проблемы? Перечислите признаки: меньше сообщений, смягчённый язык, избегаемая работа. Договоритесь, кто наблюдает и как мы подняли бы вопрос без обвинения.

5. Кто должен видеть числа нашей команды, в какой форме и когда? Обсудите вид только для команды, агрегаты для руководства и сравнение между командами. Решите, чем делиться и кто представляет. Запишите правило.

6. Если число о нас неверно, как мы добьёмся исправления? Проследите путь от замечания до исправления. Определите задержки и кто решает. Договоритесь о простом пути оспаривания и ожидании по времени.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды несут риск быть измеряемыми и хранят знание о том, что значат числа. Им следует участвовать в выборе и определении мер, использовать данные в собственных пересмотрах и высказываться, когда число вводит в заблуждение. Им выгодно видеть данные первыми и когда измерение помогает убирать препятствия.

Команды услуг и эксплуатации

Команды эксплуатации часто хранят самые богатые данные и несут самые тяжёлые бремена дежурств и инцидентов. Им следует остерегаться мер, награждающих молчание или наказывающих эскалацию, защищать сообщение об инцидентах и почти-промахах и следить, чтобы данные о дежурствах не использовались для ранжирования людей (см. тему 5.7, Рутинная работа и метрики дежурств).

Руководство и управление

Руководители задают культуру использования. Им следует подписывать хартию и следовать ей, просить виды команд и услуг, открыто реагировать на нарушения и избегать просьб о рейтингах. Им следует судить о программе по улучшению, которое она позволяет, и по сохранённой откровенности, а не по числу панелей.

Клиенты и пользователи

Клиентам и пользователям выгодно, когда команды честно сообщают о проблемах и исправляют причины. Они также могут быть предметом сбора данных. Они заслуживают ясности в том, что о них собирается и как используется, и могут быть партнёрами в решении, какие меры показывают ценность для них (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример из управления услугами

Технологическое подразделение поставщика медицинских услуг вводит метрики в своих 15 командах поставки и поддержки. Предыдущая попытка три года назад опубликовала рейтинг команд по закрытым заявкам и закончилась всплеском закрытий малоценных заявок и падением сообщаемых инцидентов. Цифры ниже иллюстративны.

Новый руководитель управления услугами начинает с вопроса шести руководителям команд, что они помнят. Они описывают рейтинг и последствия. Руководитель составляет с ними хартию: меры описывают команды и услуги, никогда не отдельных людей; виды на уровне отдельных людей отключены в инструментах; данные никогда не используются в индивидуальных оценках; команды видят свои данные первыми; любой человек может оспорить число, с ответом в течение десяти рабочих дней; а любое нарушение будет сообщено программе и пересмотрено открыто. Технический директор подписывает её, и она размещается на странице программы.

Три команды вызываются в пилот. Каждая выбирает четыре меры из меню и переписывает два определения. Одна команда настаивает, чтобы «время решения» исключало время ожидания клиента, а другая, чтобы сбой изменения определялся влиянием на пользователей, а не одним откатом. Пилот показывает первую выгоду на третьей неделе, когда одна команда видит свою работу, ждущую в очереди утверждения, и убирает шаг, который никто не мог оправдать. Команда представляет свою историю на встрече подразделения. Ещё семь команд просят присоединиться. Добровольное внедрение достигает 10 из 15 команд за два квартала, а последние пять присоединяются позже без мандата.

Программа следит за страхом. Сообщения о почти-промахах на команду растут в первом квартале, что руководитель читает как большую готовность сообщать, и подтверждает чтением выборки. Опрос команд с минимальным размером группы показывает 58 % респондентов, согласных, что «данные о нашей работе используются, чтобы нам помочь», в начале второго квартала и 76 % в начале четвёртого. Срок ответа на оспаривание имеет медиану четыре рабочих дня. Затем директор, готовя бюджетное обоснование, просит таблицу, ранжирующую команды по числу развёртываний. Руководитель программы сообщает директору, что это вне хартии, предлагает вид трендов по услугам с комментариями команд и записывает просьбу как сообщённый почти-инцидент использования на уровне отдельных людей с исходом. Директор соглашается. Через два квартала инциденты использования на уровне отдельных людей составляют один, сообщённый, обработанный и опубликованный без имён.

Agile, ИИ, автоматизация и аналитика

Agile

Внедряйте вместе с измеряемыми людьми, с письменными обещаниями о том, как будут использованы данные, и регулярным разговором о том, что они видят. Осторожность в том, что внедрение, объявленное сверху с панелью команд, приглашает к манипуляции.

ИИ

Персонал может бояться ИИ как инструмента измерения или как замены, поэтому будьте явны, что производные от ИИ данные об отдельных людях не используются для их оценки и что работа с помощью ИИ измеряется на уровне команд. Осторожность в том, что использование инструментов ИИ для анализа поведения отдельных людей нарушает обещание, даже если делается тихо.

Автоматизация

Автоматический сбор допустим, когда люди знают, что собирается и зачем. Публикуйте список собираемых данных и правила доступа. Осторожность в том, что автоматический сбор данных об активности ощущается как слежка, поэтому собирайте лишь то, что нужно решению.

Аналитика

Делитесь результатами с командой первой и показывайте, как будет использовано каждое число. Решение, которое это информирует, состоит в том, заслужила ли программа доверие. Осторожность в том, что сигналы откровенности мягки, поэтому сочетайте опросы с наблюдением и трактуйте низкую долю ответивших как информацию.

Отраслевой взгляд

Стартап. Команда мала, а доверие личное. Скажите вслух, для чего числа, позвольте всей команде выбрать несколько мер для отслеживания и держите их вне любого индивидуального разговора. Риск в том, что мимолётное замечание основателя о числе переформирует поведение за ночь. Запишите обещание, хотя бы в нескольких строках.

Малый бизнес. Персонал может подозревать, что числа нужны для сокращения рабочих мест. Говорите открыто, зачем вы измеряете, на что будете смотреть и на что не будете. Вовлекайте людей в выбор мер, делитесь находками и покажите рано улучшение, которое им помогло.

Крупная компания. Масштаб затрудняет доверие, потому что большинство руководителей далеки от команд. Используйте хартию, подписанную на высоком уровне, меры во владении команд с малым общим ядром, настройку инструментов, предотвращающую виды на уровне отдельных людей, и независимый путь сообщения о нарушениях. Пилотируйте, учитесь и распространяйтесь через коллег и избегайте единой глобальной даты внедрения.

Государство и публичный сектор. Трудовые правила, профсоюзы и публичный контроль добавляют ограничения и ожидания. Консультируйтесь с представителями персонала рано, согласуйте с ними хартию и будьте ясны в отношении границы между данными об улучшении и любым формальным процессом оценки результативности. Требования публичной отчётности следует держать отдельно от внутренних мер улучшения (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Затраты в основном суть время людей: составление хартии, проведение пилотов, семинары с командами, обработка оспариваний, проведение опросов и время руководителей, потраченное на соблюдение правил. Есть также альтернативная цена, потому что аккуратное внедрение медленнее мандата. Эти затраты малы рядом с ценой проваленного внедрения, в котором данные искажены, доверие потрачено, а программа заброшена.

Отдача есть данные, отражающие реальность, честное сообщение о проблемах и команды, использующие меры для улучшения. Они проявляются как более раннее обнаружение проблем, меньше споров о числах и более высокое внедрение без принуждения. Стройте обоснование из собственной истории: что случилось, когда меры навязывались раньше, сколько команд приняли добровольно на этот раз и как изменилось сообщение о проблемах. Избегайте цитирования опубликованных цифр о вовлечённости или доверии без прослеживаемого источника и релевантности вашему окружению (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Неожиданная рейтинговая таблица. Рейтинги появляются на слайде руководства. Доверие заканчивается. Держите рейтинги вне программы.
  • Меры в оценках результативности. Даже упоминание меняет поведение везде. Держите их вне, письменно.
  • Сначала мандат, потом объяснение. Соблюдение без веры. Пилотируйте с добровольцами и объясняйте причины.
  • Хартия, которую никто не обеспечивает. Слова без действия хуже, чем ничего. Держите руководителей в её рамках и публикуйте исходы.
  • Слежка по умолчанию. Инструменты показывают активность отдельных людей, потому что могут. Отключайте эти функции.
  • Оборонительные ответы на оспаривания. Люди перестают указывать на ошибки. Отвечайте быстро и уважительно.
  • Спешка к многим мерам. Перегрузка и путаница. Начинайте с немногих и растите.
  • Чтение молчания как успеха. Меньше сообщений может означать страх. Следите за сигналами откровенности и говорите с людьми.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Обещания и использование Не записаны; использование варьируется по руководителям Устные заверения; некоторые соглашения команд Письменная хартия, подписанная руководителями; виды отдельных людей отключены Нарушения сообщаются и пересматриваются; использование хартии проверяется Хартия принадлежит совместно персоналу и партнёрам; пересматривается по опыту
Владение и прозрачность Меры навязаны Некоторые команды опрошены Команды выбирают и определяют меры и видят данные первыми Доля владения и срок ответа на оспаривание управляются Команды, поставщики и клиенты делятся видами по соглашению; владение рутинно
Доверие и откровенность Страх или безразличие Пилот с добровольцами Опрос безопасности и тренды почти-промахов пересматриваются с командами Сигналы запускают плановые действия; добровольное внедрение отслеживается Откровенность рутинна; улучшение программы идёт от всех

Контрольный список

  • Письменная хартия говорит, для чего данные и для чего никогда не, и руководители её подписали.
  • Виды на уровне отдельных людей и рейтинги отключены в инструментах или ограничены политикой.
  • Команды выбирают или одобряют свои меры и видят свои данные раньше других.
  • Пилот с командами-добровольцами предшествует любому более широкому внедрению.
  • Первое использование данных даёт команде видимую помощь.
  • Путь оспаривания существует, с заявленным временем ответа и журналом.
  • Путь сообщения о нарушениях хартии существует, а исходы публикуются без имён.
  • Сигналы безопасности и откровенности на уровне команд отслеживаются и обсуждаются с командами.
  • Векторы манипуляции и ограждения открыто разделяются с командами.
  • Программа пересматривается с командами каждый квартал, а меры выводятся, когда перестают помогать.

Промпты для ИИ

Составьте черновик хартии метрик.

Draft a one-page charter for the metrics program of [organization type]. It should
state what the data is for, what it will never be used for (including individual
rankings and performance reviews), who can see what, how long data is kept, how a
person can challenge a number, how breaches are reported, and who signs it. Use
plain words. Do not give legal advice. List your assumptions and points to confirm
with human resources and legal specialists.

Спланируйте пилот.

Plan a six-week pilot of a metrics program with two to three volunteer teams in
[context]. Include how to invite teams, which measures to offer, how to set the
rules, what early help the data should provide, what to ask the teams at the end,
and how to decide on wider rollout. Do not assume the outcome. List your
assumptions and risks.

Проверьте меру на страх.

Here is a proposed measure and how it will be used: [paste]. Act as a skeptical
team member. Describe how it could be taken as a threat, how people could change
behavior to look good, and what honest reporting it might discourage. Suggest
changes to the definition, display, or rules of use that would lower the risk.
List your assumptions.

Ответьте на оспаривание.

A team has challenged this number: [describe, without personal data]. Draft a
respectful response that acknowledges the concern, explains how the number is
calculated, proposes how to check it, sets a date for the answer, and says what
will change if the number is wrong. Do not be defensive. List what you do not yet
know.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти вектор манипуляции и ограждение, которыми стоит открыто поделиться с командами для предлагаемой меры.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что план внедрения держит меры на уровне команд и услуг и никогда не ранжирует отдельных людей.

Главные выводы

  • Доверие есть актив. Запишите, для чего данные и для чего никогда не, и держите обещание.
  • Измеряйте команды, услуги и системы и отключайте виды, раскрывающие отдельных людей.
  • Позвольте командам выбирать, определять и видеть свои данные первыми и владеть историей, которую они рассказывают.
  • Пилотируйте с добровольцами, давайте видимую помощь рано и распространяйтесь через коллег.
  • Отвечайте на оспаривания быстро и трактуйте признаки страха как информацию о программе.
  • Держите руководителей в рамках хартии и пересматривайте программу с людьми в ней.

Источники и дополнительное чтение

  1. Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 1999.
  2. Campbell, D., "Assessing the Impact of Planned Social Change," Evaluation and Program Planning, 1979.
  3. Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
  4. Kotter, J., Leading Change, Harvard Business School Press, 1996.
  5. Westrum, R., "A Typology of Organisational Cultures," BMJ Quality and Safety, 2004.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Эффект Хоторна.
  9. Wikipedia, Закон Кэмпбелла.
  10. Wikipedia, Закон Гудхарта.
  11. Wikipedia, Психологическая безопасность.
  12. Wikipedia, Доверие (социальные науки).
  13. Wikipedia, Управление изменениями.
  14. Wikipedia, Жизненный цикл внедрения технологий.
  15. Wikipedia, Пилотный проект.
  16. Wikipedia, Информационный радиатор.