Модель зрелости для программ метрик
Используйте общую пятиуровневую шкалу, чтобы описать, где находится программа метрик, и выбрать следующий малый шаг, но никогда как оценку для демонстрации, сравнения или сертификации.
Обзор и мотивация
Каждая другая тема этой книги заканчивается малой таблицей зрелости для своего предмета. Эта тема применяет ту же шкалу к программе метрик в целом. Вопрос не в том, насколько хороши времена инцидентов команды. Вопрос в том, насколько хорошо организация вообще собирает, читает и использует меры: общие ли определения, доверяют ли данным, ведут ли числа к решениям и видят ли измеряемые люди в программе помощь.
Модель зрелости есть описание стадий, через которые организация может проходить по мере развития практики. Самый известный пример в разработке ПО есть Модель зрелости возможностей (CMM), выросшая из работы в Институте программной инженерии и широко распространившаяся. Её влияние было большим, как и последовавшая критика. Организации гнались за уровнем, а не за возможностью, аудиторы оценивали бумаги, и модель стала использоваться как значок. Ответственное использование любой модели зрелости держит в виду три предостережения. Шкала есть инструмент разговора, а не сертификация. Выше не всегда лучше, потому что верный уровень зависит от контекста. И модель не заменяет результаты: зрелая программа, не улучшающая услуги, есть очень аккуратный провал, а уровень, выставленный как значок, во многом подобен метрике тщеславия, числу, выглядящему хорошо и не информирующему ни одного решения.
Используемая здесь шкала есть та, что разделена между книгой и Руководством по управлению услугами: Инициирование, Развитие, Стандартизация, Управление и Оркестрация (см. общую модель зрелости в спецификации). Она намеренно не совпадает со шкалами зрелости процессов в ITIL, в ISO/IEC 33000 или в Модели зрелости возможностей, и команде не следует заявлять оценку в любой из этих рамок на основании этой.
Цели Agile указывают, как её использовать. Непрерывное улучшение означает, что модель нужна для поиска следующего шага, а не для достижения конечного состояния. Постоянная эволюция означает, что программа, достигшая Оркестрации в прошлом году, может откатиться, если люди уйдут или приоритеты сместятся, поэтому самооценка повторяется. Непрерывное вовлечение заинтересованных сторон означает, что оценка проводится вместе с командами, а не над ними. Устойчивый темп означает, что программа делает один шаг за раз и не пытается перескочить три уровня за квартал. А построение вокруг мотивированных людей означает, что люди, делающие работу, судят, помогает ли им программа. Это та же логика, что в практике непрерывного улучшения ITIL, где организация проверяет текущее состояние, задаёт направление и улучшает малыми шагами, привычка, близкая к кайдзен, японской идее непрерывного улучшения каждым. Более общая идея есть процесс непрерывного улучшения (см. тему 9.5, Метрики непрерывного улучшения).
У модели есть особая ловушка в контексте метрик. Программа, оцениваемая по собственным метрикам, приглашает именно то искажение, о котором предупреждает. Если «число мер с определениями» становится целью, определения множатся. Поэтому подход в этой теме использует свидетельства из работы (какие решения изменились, что говорят команды) в дополнение к счётам и оставляет оценку во владении команд, которым меньше всего выгодно её раздувать (см. тему 1.2, Закон Гудхарта и психология метрик). Сопутствующая форма оценки для команд приведена в приложениях (см. тему 12.5, Самооценка зрелости).
Ключевые принципы
- Шкала есть инструмент разговора. Она помогает людям описать настоящее и выбрать следующий шаг, а не для оценки, ранжирования или сертификации.
- Оценивайте вместе с командами. Самооценка, обсуждаемая открыто, точнее внешней оценки.
- Судите по свидетельствам. Спрашивайте, какие решения изменились, что говорят люди и что показывают данные, а также какие документы существуют.
- Измерения могут различаться. Программа может быть сильна в инструментах и слаба в доверии. Сообщайте профиль, а не одно число.
- Двигайтесь на один шаг за раз. Стремитесь к следующему уровню в одном-двух измерениях, а не ко всему сразу.
- Выше не всегда лучше. Выбирайте уровень, подходящий размеру, риску и нуждам организации.
- Ждите отката. Текучесть персонала, реорганизации и давление могут отбросить программу назад. Переоценивайте регулярно.
- Никогда не публикуйте рейтинговую таблицу команд. Агрегируйте для программы и делитесь результатами команды только с командой.
Определения метрик
Меры ниже описывают здоровье программы и её оценку. Они для команды программы и спонсоров и читаются как сигналы для обсуждения.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Участие в оценке | Доля участвующих команд, завершивших самооценку с собственным обсуждением | команды, завершившие и обсудившие / участвующие команды | процент | Записи оценок | Непрерывное улучшение | Рефлексия и ретроспективы | Два раза в год |
| Профиль по измерениям | Распределение самооценённых уровней команд в каждом измерении, показываемое как диапазон, а не одна оценка | число команд на каждом уровне, по измерению | команды на уровень | Самооценки, агрегированные | Непрерывное улучшение; управление | Видимая работа | Два раза в год |
| Действия по улучшению из оценок | Доля согласованных следующих шагов, которые завершены, отброшены с причиной или ещё выполняются | действия, закрытые или обоснованно снятые / согласованные действия | процент | Реестр улучшений | Непрерывное улучшение | Малые эксперименты | Раз в квартал |
| Свидетельства решений | Доля выбранных мер, где команда может назвать решение или осознанный выбор, о котором мера информировала в последнем квартале | меры с названным решением / выбранные меры | процент | Интервью с командами; заметки пересмотров | Непрерывное улучшение | Свидетельства важнее церемоний | Раз в квартал |
| Доверие к определениям и данным | Согласие на уровне команды, что определения ясны, а данные верны | процент согласных в коротком опросе команды; показана доля ответивших | процент | Анонимный опрос команд | Управление знаниями; управление информацией | Общее понимание | Два раза в год |
| Время до следующего уровня (описательная) | Прошедшее время, за которое команда поднимает измерение на один уровень там, где выбрала это | медиана месяцев от согласованного шага до переоценки командой | месяцы | История оценок | Непрерывное улучшение | Устойчивый темп | Раз в год |
| Бремя оценки | Часы, которые оценка занимает на команду | медиана часов на команду | часы | Оценки времени от команд | Непрерывное улучшение | Устойчивый темп | Два раза в год |
Участие измеряется как завершение с обсуждением, потому что форма, заполненная в одиночку, говорит мало. Профиль есть диапазон и никогда не усредняется в одно число зрелости. Время до следующего уровня описательно: быстрый подъём может отражать раздутую самооценку, а медленный может отражать уместную осторожность. Бремя оценки есть проверка самой оценки, которая должна занимать не больше часа-двух на команду.
Рекомендации
Используйте шкалу хорошо
1. Определите измерения программы метрик. Рабочий набор имеет шесть измерений: (а) вопросы и назначение, отвечают ли меры на вопросы, которые задавали аудитории; (б) определения и владение, есть ли у мер письменные определения и владельцы; (в) данные и инструменты, точны, своевременны и переносимы ли данные; (г) использование в решениях, информируют ли числа выборы; (д) доверие и безопасность, верят ли люди, что данные им помогают; и (е) пересмотр и эволюция, сокращает ли программа сама себя. Шести достаточно, чтобы быть полезным, и достаточно мало, чтобы обсудить за час.
2. Опишите, как выглядит каждый уровень. Таблица в разделе «Модель зрелости» ниже даёт краткие описания для каждого измерения на каждом уровне. Относитесь к ним как к подсказкам. Команде следует адаптировать формулировки к своему контексту и записать собственные примеры.
3. Не усредняйте. Одна общая оценка прячет важную закономерность. Программа с высокой зрелостью инструментов и низким доверием в другой ситуации, чем программа наоборот, и следующий шаг различается. Показывайте профиль.
Оценивайте вместе с командами, а не над ними
4. Сделайте это разговором на час. Соберите команду с таблицей. Попросите каждого отметить в одиночку, где, по его мнению, команда находится в каждом измерении, затем сравните. Обсудите различия, потому что они раскрывают разный опыт одной и той же программы. Согласуйте вид команды, запишите свидетельства за ним и выберите один-два следующих шага.
5. Просите свидетельства. Для каждого заявленного уровня просите пример. «Мы используем числа в решениях» приглашает вопрос «Какие решения в прошлом квартале?». Используйте выбранные меры и интервью для проверки. Это уважает людей и не даёт оценке скатиться в принятие желаемого за действительное.
6. Оставляйте результаты у команды. Профиль команды принадлежит команде. Программа делится агрегированными диапазонами и общими темами, а не рейтингом. Сделайте ясным, что оценка не влияет на финансирование, положение или оценки. Если влияет, команды раздуют её, и ценность будет потеряна (см. тему 11.3, Внедрение метрик без создания страха).
Выбирайте следующие шаги
7. Выберите измерение, ограничивающее остальные. Доверие и безопасность часто ограничивают всё остальное: без них данные искажены, а решения подозрительны. Определения и владение часто ограничивают данные и использование. Частая закономерность состоит в том, чтобы сначала укрепить доверие и определения, затем данные, затем использование и пересмотр. Ищите измерение, где малое улучшение разблокировало бы остальные.
8. Задайте малый конкретный шаг. Следующий шаг должен быть таким, который команда может завершить за квартал и узнать: «согласовать хартию», «написать определения для наших четырёх мер», «автоматизировать два фида», «проводить ежемесячный пересмотр, где мы записываем решения». Избегайте шагов вроде «достичь уровня 4». Уровни описывают состояние, а шаги описывают работу.
9. Свяжите шаги с реестром улучшений. Поместите действия туда же, где другая работа по улучшению, с владельцами и датами, и пересматривайте прогресс на регулярном разговоре об улучшении (см. тему 9.5, Метрики непрерывного улучшения). Шаг, не финансируемый и не запланированный, не произойдёт.
Держите это честным и лёгким
10. Калибруйте между командами, не ранжируя их. Проведите короткую сессию, где команды делятся примерами того, что они называют уровнем 3 в измерении. Обсудите различия в стандартах. Цель в общем понимании, а не в равных оценках. Вращайте ведущего и приглашайте команду вне программы оспорить формулировки.
11. Переоценивайте по ритму и в ответ на события. Двух раз в год хватает для большинства программ. Переоценивайте после реорганизации, смены инструмента или нарушения хартии, поскольку они могут сдвинуть доверие в любую сторону. Следите за откатом и трактуйте его как информацию, а не провал.
12. Выводите или пересматривайте саму модель. Каждый год спрашивайте команды, всё ли измерения и описания уровней подходят. Переформулируйте то, что путает, и уберите то, чем никто не пользуется. Модель, не менявшаяся пять лет, может описывать программу, которой больше нет.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Участие в оценке | Заполнять формы ради квоты; один человек заполняет за команду | Требовать обсуждение командой; просить свидетельства за каждым заявлением |
| Профиль по измерениям | Раздувать уровни ради вида; занижать, чтобы получить помощь | Не связывать с финансированием или положением; просить свидетельства; калибровать открыто |
| Действия по улучшению из оценок | Выбирать тривиальные шаги, чтобы закрыть; закрывать, не делая | Пересматривать размер и ценность шага; проверять результаты на следующей оценке |
| Свидетельства решений | Выдумывать решения постфактум; перечислять решения без последствий | Просить дату и вовлечённых людей; принимать «выбрали ничего не делать» как решение |
| Доверие к определениям и данным | Тренировать респондентов; низкая доля ответивших, прячущая недовольство | Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую |
| Время до следующего уровня (описательная) | Спешить с заявлениями о прогрессе; прятать откат | Держать описательной; читать вместе со свидетельствами; записывать откаты без наказания |
| Бремя оценки | Пропускать обсуждение, чтобы срезать часы | Отслеживать часы вместе с участием и качеством свидетельств |
Здоровое чтение показывает профиль со смесью уровней, где доверие и определения растут раньше инструментов и лоска, следующие шаги малы и завершены, решения, которые команды могут назвать, и честную запись редкого отката.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Самооценка команды | Честно, во владении, быстро | Субъективно; нужна калибровка |
| Внешняя оценка | Единообразно; независимо | Дорого; приглашает играть на оценщика |
| Одна общая оценка | Легко сообщать | Прячет закономерность; приглашает цели |
| Профиль по измерениям | Показывает, где действовать | Труднее резюмировать |
| Годовая оценка | Легко | Медленно замечает откат |
| Два раза в год со спусковыми событиями | Отзывчиво | Больше усилий |
| Связано с финансированием | Привлекает внимание | Раздувание и манипуляция |
| Отделено от финансирования | Честные данные | Нужны другие способы получить поддержку |
Ответ прост: проводите лёгкую самооценку со свидетельствами, сообщайте профили и диапазоны, оставляйте результаты у команд и привязывайте следующие шаги к реестру улучшений, а не к финансированию или положению.
Вопросы для обсуждения в команде
1. Какое из шести измерений мы назвали бы самым слабым и почему мы так говорим? Пусть каждый выберет одно в одиночку, затем поделится. Ведущему стоит попросить недавний пример. Ищите закономерности и договоритесь, какое измерение ограничивает остальные.
2. Можем ли мы назвать решение прошлого квартала, которое изменила мера? Перечислите их. Если список короток, спросите почему. Обсудите, в мерах ли проблема, в данных или в привычке смотреть.
3. Где мы поместили бы себя по доверию и безопасности и откуда мы знаем? Посмотрите на сообщения о почти-промахах, оспаривания и результаты опросов. Сравните с тем, как люди говорят на практике. Договоритесь об одном, что руководители могли бы сделать, чтобы это сдвинуть.
4. Как выглядел бы малый конкретный следующий шаг для нашего самого слабого измерения? Составьте его в одном предложении с владельцем и датой. Проверьте, что его можно завершить за квартал. Договоритесь, как мы узнаем, что это сработало.
5. Что заставило бы эту оценку ощущаться как угроза и как мы это предотвратим? Обсудите использования результатов, которых люди боялись бы. Запишите, для чего результаты никогда не будут использованы. Проверьте, что руководитель программы согласен.
6. Есть ли уровень, который нам не нужно достигать? Подумайте о нашем размере, рисках и целях. Опишите уровень, достаточно хороший сейчас, и сигнал, который подскажет нам пересмотреть.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды оценивают себя сами, выбирают следующий шаг и хранят свои результаты. Им следует использовать разговор, чтобы выявить различия в опыте, просить свидетельства и задавать шаги, достаточно малые, чтобы завершить. Им следует отбиваться от любой попытки превратить профиль в рейтинг.
Команды услуг и эксплуатации
Команды эксплуатации несут тяжёлые нагрузки данных и инцидентов и видят, где программа их поддерживает, а где обременяет. Им следует отмечать, где инструменты или определения блокируют их работу, просить, чтобы данные о дежурствах и инцидентах обрабатывались осторожно, и давать откровенную обратную связь о бремени оценки.
Руководство и управление
Руководители спонсируют программу и получают агрегированную картину. Им следует просить профили и общие темы, сопротивляться просьбам об одной оценке, финансировать следующие шаги, выбранные командами, и не привязывать финансирование или положение к оценке. Им также следует подавать пример, описывая решения, о которых информировали метрики.
Клиенты и пользователи
Клиентам и пользователям выгодно, когда программа улучшает услуги и когда их обратная связь входит в меры. Где они партнёры, они могут участвовать в оценке мер, касающихся их, например полезности опросов удовлетворённости, и в пересмотре того, как используются их данные.
На практике: пример из управления услугами
Национальная страховая группа имеет 20 команд поставки и поддержки и программу метрик, работающую 18 месяцев. Спонсор просит «оценку зрелости для каждой команды», чтобы направлять инвестиции. Руководитель программы насторожен, помня, как прежняя оценка в стиле аудита привела команды к подготовке папок с документами. Цифры ниже иллюстративны.
Руководитель программы предлагает вместо этого профиль по шести измерениям, оцениваемый командами в часовом разговоре с ведущим вне команды, с результатами, хранимыми командой. Руководитель сообщает спонсору, что программа будет сообщать диапазоны и общие темы и что профиль ни одной команды не будет связан с финансированием. Спонсор соглашается, и решение записано.
Девятнадцать из 20 команд завершают оценку с обсуждением, так что участие составляет 95 %. Профиль показывает диапазон: по вопросам и назначению большинство команд на уровне 2 или 3; по определениям и владению разброс от 1 до 4; по данным и инструментам в основном 3; по использованию в решениях в основном 2; по доверию и безопасности раскол между 2 и 4; а по пересмотру и эволюции в основном 1 или 2. Проверки свидетельств показательны. Одиннадцать команд заявили уровень 3 по использованию в решениях, но когда их попросили назвать решение последнего квартала, о котором информировала мера, смогли только шесть. Руководитель программы отмечает это без суждения, и это становится темой: у команд есть панели и редко бывают пересмотры, записывающие решения.
Следующие шаги малы. Восемь команд выбирают ежемесячный пересмотр с журналом решений. Четыре выбирают написать определения для своих мер. Три выбирают согласовать хартию. Через шесть месяцев 14 из 17 согласованных шагов выполнены, один отброшен с причиной, а два выполняются. Повторная оценка показывает, что свидетельства решений растут с 38 % до 71 % выбранных мер, а опрос доверия движется с 54 до 67 % согласия. Одна команда откатывается по доверию после реорганизации, и ведущий записывает это как информацию, а не провал. Через год спонсор снова просит одну оценку для годового отчёта. Руководитель программы предлагает одностраничный профиль с диапазонами, тремя темами и завершёнными шагами улучшения. Спонсор принимает, и отчёт прямо заявляет, что шкала есть инструмент разговора.
Agile, ИИ, автоматизация и аналитика
Agile
Используйте модель как разговор на регулярных пересмотрах улучшения, причём команда выбирает свой следующий малый шаг. Осторожность в том, что оценка зрелости, выставленная на стене, становится целью.
ИИ
Добавьте линзу ИИ в оценку: инвентаризированы ли использования ИИ, есть ли у мер с помощью ИИ пары качества и могут ли люди оспаривать производные от ИИ числа. Осторожность в том, что написанная ИИ самооценка может звучать уверенно и упускать локальные факты, поэтому команда должна написать собственную.
Автоматизация
Автоматизируйте сбор свидетельств для оценки, например долю метрик с владельцами и ограждениями, но пусть интерпретируют люди. Осторожность в том, что автоматически собранные свидетельства могут быть неполны, поэтому говорите, что они исключают.
Аналитика
Показывайте профиль по измерениям, а не одну оценку, со свидетельствами за каждой оценкой. Решение, которое это информирует, состоит в том, что улучшать дальше. Осторожность в том, что оценки суть суждения оцениваемых людей, поэтому избегайте сравнения команд по ним.
Отраслевой взгляд
Стартап. Формальная оценка, вероятно, чрезмерна. Короткого разговора два раза в год по шести измерениям, с одним-двумя малыми шагами, достаточно. Следите за страхом, что меры будут использованы для суждения, поскольку малые команды остро это чувствуют.
Малый бизнес. Используйте измерения как контрольный список для разговора с владельцем и персоналом. Спросите, отвечают ли те немногие меры, что вы держите, на реальные вопросы, знают ли люди, что они значат, и пользуются ли ими. Выберите один шаг. Не тратьте больше часа.
Крупная компания. Масштаб требует лёгкого последовательного процесса: те же измерения, самооценка с ведущим, сессии калибровки и агрегированные профили. Сопротивляйтесь центральному офису оценок. Связывайте следующие шаги с реестрами улучшений и сообщайте спонсорам диапазоны и темы. Остерегайтесь превращения шкалы в упражнение на соответствие.
Государство и публичный сектор. Органы аудита и надзора могут просить оценки зрелости. Будьте ясны в различии между этим внутренним инструментом разговора и любой формальной рамкой. Оставляйте результаты команд у команд, предоставляйте надзору агрегаты и будьте прозрачны о том, чем шкала является и чем нет (см. тему 8.3, Метрики соответствия и аудита).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты малы: час-два на команду два раза в год, ведущий, немного анализа и усилия на выполнение шагов улучшения. Большие затраты возникают при неверном использовании модели, с консультантами, офисами оценок и папками свидетельств.
Отдача идёт от лучшего нацеливания усилий. Вместо распределения инвестиций по всем измерениям программа находит ограничивающее измерение и занимается им. Другая отдача включает более раннее распознавание отката, общий язык между командами и шаги улучшения, которые команды выбрали и которыми владеют. Стройте обоснование из собственных данных: выполненные шаги улучшения, изменения свидетельств решений и результатов опросов доверия и усилия, которые заняла оценка. Избегайте цитирования опубликованных заявлений о возврате от повышения зрелости без прослеживаемого источника и релевантности вашему контексту (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Значок зрелости. Уровень становится целью. Используйте как разговор, со свидетельствами.
- Одно общее число. Закономерность теряется, и появляются цели. Показывайте профиль.
- Оценка аудиторами. Команды готовят документы, чтобы показать себя. Используйте самооценку с ведущим.
- Привязка оценки к финансированию. Следует раздувание. Держите оценку отдельно.
- Погоня за высшим уровнем. Не каждой программе нужна Оркестрация. Выберите то, что подходит.
- Оценили и забыли. Шагов не следует. Свяжите шаги с реестром улучшений.
- Слишком долгая оценка. Бремя растёт, качество падает. Держите в пределах часа.
- Игнорирование отката. Программы скатываются после изменений. Переоценивайте по ритму и после событий.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Вопросы и назначение | Меры собираются, потому что данные есть | Некоторые команды называют вопросы, которые задают | Аудитории и вопросы записаны; меры сопоставлены им | Охват вопросов пересматривается; неотвеченные вопросы порождают новые меры | Аудитории, включая клиентов и поставщиков, формируют меры; вопросы эволюционируют вместе с услугами |
| Определения и владение | Определения различаются по людям | Некоторые записаны; неформальные владельцы | Каталог с определением, источником, владельцем и пределами каждой меры | Полнота определений и оспаривания управляются | Определения принадлежат совместно командам и поставщикам; пересматриваются, когда перестают информировать решения |
| Данные и инструменты | Вручную и хрупко | Некоторые автоматизированные фиды | Проверенные конвейеры, общее хранилище, переносимые данные | Надёжность, сверка и готовность к выходу управляются | Федеративные конвейеры с общими контрактами; источники улучшаются по обратной связи |
| Использование в решениях | Числа показываются, редко используются | Используются в некоторых пересмотрах | Регулярные пересмотры, записывающие решения | Свидетельства решений отслеживаются, и по ним действуют | Решения связаны между командами с результатами; обучение разделяется |
| Доверие и безопасность | Страх или безразличие | Устные заверения | Письменная хартия; виды отдельных людей отключены; опрос безопасности | Нарушения пересматриваются открыто; сигналы откровенности управляются | Доверие рутинно; программа формируется персоналом и партнёрами |
| Пересмотр и эволюция | Нет | Редкая чистка | Периодический пересмотр с командами; правило вывода | Шаги оценки финансируются и завершаются | Программа непрерывно улучшается, с изменениями от всех |
Контрольный список
- Шесть измерений согласованы, а описания уровней адаптированы к нашему контексту.
- Каждая команда оценивает себя в обсуждении около часа, с ведущим.
- Каждый заявленный уровень подкреплён примером или выборочной проверкой.
- Результаты показываются как профили и диапазоны и никогда как одна усреднённая оценка или рейтинг.
- Результаты команды остаются у команды, а агрегат разделяется со спонсорами.
- Оценка не связана с финансированием, положением или оценками результативности, и это записано.
- Каждая команда согласует один-два малых следующих шага с владельцем и датой.
- Следующие шаги отслеживаются в реестре улучшений.
- Переоценка происходит как минимум два раза в год и после крупных событий.
- Сама модель пересматривается ежегодно с командами.
Промпты для ИИ
Подготовьте разговор самооценки.
Prepare a one-hour facilitation plan for a team's self-assessment of its metrics
program across six dimensions: questions and purpose, definitions and ownership,
data and tooling, use in decisions, trust and safety, and review and evolution.
Use five levels: Initiate, Develop, Standardize, Manage, Orchestrate. Include
private marking, comparison, evidence questions, and agreeing one or two small
next steps. Do not produce a score. List your assumptions.
Превратите слабое измерение в шаги.
Our team rates itself at Level [n] on [dimension] of its metrics program. Evidence:
[paste]. Suggest three small steps, each finishable in one quarter, that could move
us toward Level [n+1]. For each step, describe the owner, the effort, the likely
benefit, and how we would know it worked. Do not promise outcomes. List your
assumptions and risks.
Проверьте свидетельства заявленного уровня.
A team claims Level [n] on [dimension] and gives this evidence: [paste]. Act as a
curious colleague. List questions to test whether the evidence supports the claim,
what examples would be convincing, and what signs would suggest the claim is
optimistic. Do not judge the team. List your assumptions.
Резюмируйте профили без ранжирования.
Here are aggregated counts of teams at each level for each dimension: [paste]. Write
a half-page summary for sponsors that describes the range, three common themes, and
the improvement steps teams chose. Do not rank teams, produce a single score, or
claim causes without evidence. List caveats about self-assessment.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы сопоставить меры программы измерениям зрелости и их парным ограждениям.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что оценка зрелости сообщает профили, оставляет результаты у команд и избегает одной оценки.
Главные выводы
- Используйте общую пятиуровневую шкалу как инструмент разговора, а не как значок, рейтинг или сертификацию.
- Сообщайте профиль по шести измерениям, а не одну усреднённую оценку.
- Оценивайте вместе с командами, просите свидетельства и оставляйте результаты каждой команды у команды.
- Выбирайте малые следующие шаги в измерении, ограничивающем остальные, часто в доверии и определениях.
- Отслеживайте шаги в реестре улучшений и переоценивайте регулярно, потому что программы откатываются.
- Выше не всегда лучше, и результаты важнее уровней.
Источники и дополнительное чтение
- Paulk, M., et al., Capability Maturity Model for Software, Version 1.1, Software Engineering Institute, Carnegie Mellon University, 1993.
- Axelos, ITIL 4: Direct, Plan and Improve, 2020.
- ISO/IEC 33001, Information technology: Process assessment: Concepts and terminology, International Organization for Standardization, 2015.
- Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
- Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Модель зрелости возможностей.
- Wikipedia, Кайдзен.
- Wikipedia, Процесс непрерывного улучшения.
- Wikipedia, Закон Гудхарта.
- Wikipedia, Метрика тщеславия.