Метрики автоматизации и оркестрации
Автоматизация окупилась только тогда, когда она убирает работу, которую люди не хотят делать, не создавая новой работы, новых сбоев или нового риска, поэтому измеряйте, что убирает каждая автоматизация, как часто она отказывает, как быстро её можно отменить и кто решает, когда ей остановиться.
Обзор и мотивация
Автоматизация в управлении услугами означает, что программа делает работу, которую раньше делал человек: создаёт учётную запись, перезапускает услугу, маршрутизирует заявку, утверждает стандартное изменение или публикует обновление статуса. Оркестрация координирует несколько автоматизированных шагов, часто через инструменты и команды, в один поток вроде «ввести нового сотрудника» или «восстановить эту услугу». Руководящий принцип ITIL «оптимизируйте и автоматизируйте» есть давнее выражение этой идеи, а непрерывная поставка от неё зависит. Практики вроде инфраструктуры как кода превращают настройку систем в версионируемые тестируемые файлы, так что автоматизация также есть форма записи.
Автоматизация переводит риск из медленного и видимого в быстрый и широкий. Человек, сделавший ошибку, затрагивает одну заявку. Автоматизированный шаг с той же ошибкой может затронуть каждую заявку за минуту. Поэтому автоматизации нужны собственные меры, и поэтому счёты вроде «число автоматизаций» или «сэкономленные часы» слабы. Они описывают, сколько построено и сколько заявлено, а не стал ли кто-то в выигрыше.
Эта тема отличается от более ранних мер самообслуживания и автоматизации в запросах на обслуживание (см. тему 3.7, Метрики самообслуживания и автоматизации), касающихся потока запросов, обращённого к пользователю. Здесь предмет есть автоматизация как инженерный и операционный актив: её охват, надёжность, безопасность, владение и цена. Она также отличается от мер конвейеров темы 10.7 (см. тему 10.7, Метрики конвейеров и автоматизированных изменений), охватывающих путь изменения в продуктив.
Используемые термины. Автоматизация есть определённая задача, выполняемая без того, чтобы человек делал её шаги. Ранбук есть документированная процедура операционной задачи, а автоматизация ранбуков её исполняет. Оркестрация есть поток, координирующий автоматизации. Человек в петле означает, что человек рецензирует или одобряет до вступления действия в силу. Рутинная работа (toil) есть повторяющаяся ручная операционная работа, растущая вместе с услугой и не имеющая долговременной ценности (см. тему 5.7, Рутинная работа и метрики дежурств). Ограждение здесь имеет два смысла: парную меру, используемую во всей книге, и техническое ограничение того, что может делать автоматизация. Текст говорит, какой имеется в виду.
Ключевые принципы
- Измеряйте эффект, а не счёт. Число автоматизаций говорит мало. То, что они убирают и что ломают, говорит многое.
- У каждой автоматизации есть владелец. Автоматизация без владельца есть риск, растущий с возрастом.
- Делайте каждое автоматизированное действие видимым и обратимым. Записывайте, что выполнялось, над чем, с каким результатом, и знайте, как отменить.
- Выбирайте, где решает человек. Соразмеряйте роль человека с риском действия и проверяйте, что роль можно осуществлять.
- Измеряйте автоматизацию как услугу. У неё есть надёжность, изменения, цена и вывод из эксплуатации, как у любой другой услуги.
- Сначала автоматизируйте стабильное и скучное. Автоматизация плохо понятого закладывает проблему в систему.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Доля успешных запусков автоматизации | Доля запусков автоматизации, которые завершились и достигли намеренного результата, подтверждённого проверкой после запуска | запуски с успешной проверкой после запуска / запуски, начатые за период; запуски без проверки после запуска исключаются и сообщаются отдельно | процент | Логи платформы оркестрации и автоматизации | Управление запросами на обслуживание; управление релизами | Определение готовности для автоматизированной работы | Раз в месяц |
| Охват автоматизацией задач | Доля пригодных повторяющихся задач, которые автоматизированы | задачи из согласованного списка пригодных, выполняемые автоматически / задачи в списке пригодных; список пересматривается каждый квартал | процент | Инвентарь задач и реестр ранбуков | Непрерывное улучшение | Бэклог кандидатов на автоматизацию | Раз в квартал |
| Доля ручного вмешательства | Доля запусков автоматизации, где потребовалось вмешательство или исправление человека | запуски с добавленным ручным шагом после начала / начатые запуски | процент | Логи автоматизации и связи с заявками | Управление инцидентами | Ускользнувшие дефекты в автоматизированной работе | Раз в месяц |
| Доля инцидентов, вызванных автоматизацией | Инциденты, приписанные автоматизированному действию, на 1000 запусков | инциденты с подтверждённой причиной в автоматизации / запуски автоматизации x 1000 | число на 1000 запусков | Записи об инцидентах, связанные с идентификаторами запусков | Управление инцидентами; управление проблемами | Доля сбоев изменений для автоматизированного изменения | Раз в месяц |
| Время отката | Время отмены автоматизированного действия после признания необходимости | медиана и 95-й перцентиль (время завершения отмены минус время решения об отмене) | минуты | Логи автоматизации и хронология инцидента | Управление изменениями (change enablement) | Возможность отката в определении готовности | Раз в квартал |
| Проверенное сэкономленное время | Часы ручной работы, убранные и проверенные выборкой | автоматизированные задачи x (медианное ручное время задачи по выборке времени минус медианное остаточное ручное время) за период; дата выборки указана | часы | Выборки времени и счёты запусков | Непрерывное улучшение | Ценность, поставленная на единицу работы | Раз в квартал |
| Актуальность владения автоматизацией | Доля автоматизаций с владельцем, подтвердившим владение и пересмотревшим автоматизацию за последние 12 месяцев | автоматизации с подтверждённым владельцем и пересмотром за 12 месяцев / автоматизации в реестре | процент | Реестр автоматизаций | Управление; управление активами и конфигурацией | Устав команды и владение | Раз в квартал |
Формулы считают запуски, а не задачи, если не указано иное. «Успешный» требует независимой проверки после запуска, например подтверждения здоровья услуги или существования учётной записи; запуск, лишь завершившийся без ошибки, успешным не считается. Сэкономленное время исключает время, потраченное на построение и поддержание автоматизации, которое считается отдельно как цена (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Рекомендации
Решите, что автоматизировать
1. Начинайте со списка повторяющихся задач, а не с инструментов. Ранжируйте повторяющиеся задачи по частоте, длительности, склонности к ошибкам и степени понимания. Автоматизируйте сначала стабильные и хорошо понятые, а редкие и плохо понятые оставьте людям.
2. Исправьте процесс до автоматизации. Автоматизация запутанного процесса ускоряет путаницу. Пройдите шаги с людьми, которые их делают, уберите шаги, ничего не добавляющие, и затем автоматизируйте.
3. Выбирайте роль человека по риску. Для обратимых действий низкого риска человек может лишь просматривать лог потом. Для действий более высокого риска человек одобряет до действия. Для самых высоких действие может остаться ручным. Запишите правило и проверьте, что у утверждающих есть информация для решения.
Сделайте автоматизацию безопасной
4. Требуйте владельца и реестр. У каждой автоматизации есть названный владелец и запись в реестре с назначением, областью, правами и последним пересмотром. Когда владелец уходит, владение переходит раньше, чем он.
5. Ограничивайте права и область. У автоматизации должен быть наименьший доступ, достаточный для дела, и предел того, сколько она может изменить за один запуск, например максимальное число учётных записей или серверов. Предел области есть техническое ограждение, ограничивающее ущерб плохого запуска.
6. Проверяйте результат, а не код завершения. Добавьте проверку после запуска, подтверждающую намеренное состояние, и измеряйте успех по этой проверке. Скрипт, чисто завершившийся, мог ничего не сделать.
7. Логируйте и планируйте отмену. Каждый запуск записывает, что изменил, и у каждой автоматизации есть испытанный способ обратить изменение или названная причина, почему нельзя. Отрабатывайте откат в безопасной среде и измеряйте время, которое он занимает.
Измеряйте честно
8. Проверяйте сэкономленное время выборкой. Заявления о сэкономленных часах часто оптимистичны. Засеките время ручной задачи до и после по выборке, укажите дату выборки и вычтите цену поддержки и сбоев.
9. Сообщайте сбои и вмешательства рядом с охватом. Высокий охват при высокой доле ручного вмешательства означает, что люди чинят то, что ломает автоматизация. Показывайте оба на одной странице.
10. Выводите то, что больше не помогает. Автоматизация, чья задача изменилась или исчезла, есть риск. Пересматривайте использование регулярно и убирайте автоматизации без запусков или владельцев.
11. Держите человека способным её остановить. Обеспечьте ясный способ быстро приостановить автоматизацию или целый класс автоматизаций и измеряйте, как быстро это возможно.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Доля успешных запусков автоматизации | Считать запуск успешным, если он чисто завершился; удалять неудачные запуски из лога | Независимая проверка после запуска; сравнивать логи с нисходящими записями |
| Охват автоматизацией задач | Сужать список пригодных, чтобы охват рос; автоматизировать сначала тривиальные задачи | Пересматривать список пригодных со второй командой; взвешивать по объёму и времени |
| Доля ручного вмешательства | Записывать ручные исправления отдельными заявками, чтобы запуск выглядел чистым | Связывать заявки с идентификаторами запусков; выбирать запуски на скрытые исправления |
| Доля инцидентов, вызванных автоматизацией | Приписывать сбои автоматизации людям или инструментам; не связывать инциденты с запусками | Требовать идентификатор запуска в записях об инцидентах; выбирать инциденты на пропущенные связи |
| Время отката | Измерять только лёгкие откаты; запускать часы поздно | Отрабатывать откат на учениях для самых трудных автоматизаций; определить начало часов |
| Проверенное сэкономленное время | Использовать оптимистичные времена задач; игнорировать цену поддержки и сбоев | Выборки времени человеком вне команды; включать цену построения и поддержки |
| Актуальность владения автоматизацией | Назначать владельцем список рассылки или бывшего сотрудника | Владелец подтверждает письменно; проверять, что владелец активен |
Здоровое чтение есть растущий охват при стабильной или падающей доле ручного вмешательства и доле инцидентов, проверенное сэкономленное время, совпадающее с ощущением команды, и реестр, остающийся актуальным, потому что выведенные автоматизации убираются.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Автоматизировать широко и рано | Убирает рутину; быстрее и единообразнее работа | Быстрые широкие сбои; бремя поддержки; скрытые зависимости |
| Автоматизировать выборочно с проверками человека | Ниже риск; люди сохраняют навыки | Медленнее; утверждающие могут ставить формальные штампы |
| Считать автоматизации и сэкономленные часы | Просто сообщать и сравнивать | Награждает количество; заявления часто не проверены |
| Измерять эффект, сбои и откат | Показывает реальную ценность и риск | Больше усилий на сбор; требует связывания записей |
Вывод прост: автоматизируйте то, что стабильно и понято, измеряйте, что она убирает и что ломает, и держите людей способными её остановить. Автоматизация, экономящая часы, но порой вызывающая серьёзный инцидент, может быть плохой сделкой, и только парные меры это покажут.
Вопросы для обсуждения в команде
1. Какие автоматизации мы запускаем сегодня и кто владеет каждой? Составьте список вместе, потому что команды обычно находят автоматизации, о создании которых никто не помнит. Спросите о назначении, правах и дате последнего пересмотра. Ждите скриптов на отдельных машинах и плановых заданий с бывшими сотрудниками в роли владельцев. В продолжение договоритесь, кто владеет каждой, к концу квартала.
2. Когда автоматизация в последний раз сделала проблему больше или быстрее, чем сделал бы человек? Пригласите рассказы без обвинения. Типичные примеры: задание чистки удалило не те ресурсы или исправление перезапустило услугу во время сбоя. Спросите, какой предел ограничил бы ущерб. Ответы становятся пределами области и правилами утверждения.
3. Для нашего самого рискованного автоматизированного действия кто решает и мог бы он решить хорошо? Посмотрите, что утверждающий видит в момент утверждения. Часто в запросе на утверждение нет информации, нужной для суждения. Спросите, мог бы утверждающий отказать и что было бы, если бы отказал. В продолжение улучшите запрос или измените роль.
4. Как мы узнали бы, что автоматизация тихо перестала работать? Тихий сбой есть самая частая проблема, и он часто проявляется плоскими числами. Спросите о проверке, которая заметила бы. Обсудите оповещения о пропущенных запусках и о результатах, не соответствующих ожиданию. Выберите одну автоматизацию и испытайте.
5. Какие сэкономленные часы мы действительно потратили на что-то лучшее? Время, сэкономленное на бумаге, может не стать ёмкостью. Спросите, куда ушло время и кто решил. Будьте честны о цене поддержки и сбоев. В продолжение выберите одно заявление для проверки выборкой.
6. Какую автоматизацию нам следует вывести и что для этого нужно? Попросите свидетельства использования и ценности. Вывод может ощущаться как провал, поэтому подайте его как рутинное обслуживание. Определите зависимости до удаления чего-либо. Договоритесь о пробном периоде и способе восстановить.
Четыре точки зрения
Продуктовые команды и команды поставки
Стройте автоматизацию как часть продукта, с тестами, логами, владельцем и способом отката. Включайте проверки после запуска в определение готовности и избегайте автоматизации шагов, которые команда ещё не понимает. Держите метрики на уровне автоматизаций команды, а не отдельных инженеров.
Команды услуг и эксплуатации
Вы несёте пейджер, когда автоматизация отказывает, поэтому настаивайте на видимости и лёгкой остановке. Отслеживайте ручные вмешательства и инциденты, вызванные автоматизацией, и используйте их для приоритизации исправлений. Относитесь к реестру автоматизаций как к части записи об услуге.
Руководство и управление
Просите эффект, сбои и готовность к откату, а не только счёты автоматизаций. Финансируйте поддержку автоматизации так же, как её создание, и ждите, что некоторые автоматизации будут выведены. Задайте ожидания человеческого надзора по риску и пересматривайте список самых рискованных действий.
Клиенты и пользователи
Вы не должны замечать автоматизацию, когда она работает, и у вас должен быть человек, к которому обратиться, когда нет. Спрашивайте, как добраться до человека, и говорите, когда автоматизированное действие было неверным. Ваша обратная связь есть часть проверки того, что автоматизация помогла.
На практике: пример из управления услугами
Операционная команда среднего интернет-магазина автоматизирует три задачи: перезапуск отказывающего веб-сервера, сброс паролей службы поддержки клиентов и очистку неиспользуемого облачного хранилища. Числа в этом примере иллюстративны. Через квартал панель показывает 3 автоматизации, 2400 запусков и «около 180 сэкономленных часов». Руководство довольно и просит больше.
Команда применяет меры. Доля успешных запусков автоматизации по коду завершения выглядит как 98 %. С проверкой после запуска она падает до 91 %: сброс пароля сообщает об успехе, но в 9 % запусков пользователь не может войти. Доля ручного вмешательства для этой автоматизации 11 %. Автоматизация перезапуска вызвала два инцидента, один когда она перезапустила серверы во время переключения базы данных, а время отката составило около 40 минут, потому что никто его не отрабатывал.
Выборка времени показывает, что ручной сброс пароля занимал около четырёх минут, а не десять, как в исходной оценке, и что обработка неудачных сбросов занимает примерно столько же, сколько исходная задача. Проверенное сэкономленное время ближе к 60 часам. У автоматизации очистки хранилища есть владелец, ушедший из компании весной.
Команда решает добавить проверку после запуска к сбросу пароля, предел области и правило паузы к автоматизации перезапуска и нового владельца к очистке. Менеджер предлагает считать «построенные автоматизации» целью команды. Команда отказывается, потому что это наградило бы построение большего того же. Оставшаяся трудность в том, что проверке пароля после запуска нужна тестовая учётная запись, а учения по откату автоматизации перезапуска назначены на следующий квартал.
Agile, ИИ, автоматизация и аналитика
Agile
Относитесь к автоматизации как к продукту, непрерывно улучшаемому вместе с людьми, которые ею пользуются и от неё зависят. Хорошая практика есть короткий регулярный пересмотр бэклога автоматизации, сбоев и вмешательств с заинтересованными сторонами. Осторожность в том, что частые малые изменения автоматизации требуют того же тестирования, что и другие изменения, иначе сбои приходят быстрее.
ИИ
ИИ может составлять черновики ранбуков, писать скрипты и решать, какое действие предпринять, а агентный ИИ может действовать над системами. Относитесь к любому ИИ, который может действовать, как к автоматизации с владельцем, правами, пределами области, правилом утверждения и откатом. Парьте его долю успеха с долей неверных действий и долей, которую человеку пришлось отменить (см. тему 10.3, Метрики ИИ-агентов и чат-ботов). Осторожность в том, что написанный ИИ скрипт выглядит авторитетно, поэтому испытывайте его как любой код.
Автоматизация
Это предмет темы, поэтому практика состоит в том, чтобы измерять саму платформу автоматизации: её доступность, сбои запусков и времена очередей, поскольку многие услуги от неё зависят. Собирайте данные запусков автоматически с идентификаторами запусков, связывающими с заявками и инцидентами. Осторожность в том, что платформа автоматизации становится единой точкой отказа, поэтому имейте ручной запасной путь для критических задач.
Аналитика
Связывайте запуски с результатами: успешными проверками после запуска, заявками и инцидентами. Решение, которое это информирует, состоит в том, какую автоматизацию исправить, расширить или вывести. Осторожность в том, что атрибуция зависит от последовательных идентификаторов, поэтому проверяйте долю связей и показывайте число запусков за каждой долей (см. тему 10.8, Метрики аналитики и качества данных).
Отраслевой взгляд
Стартап. Малые команды автоматизируют быстро и с малым числом контролей. Держите короткий список автоматизаций с владельцами, ставьте проверку после запуска на всё, что касается клиентов, и избегайте построения платформы оркестрации до появления нужды.
Малый бизнес. Автоматизация часто означает несколько плановых заданий и управляемую услугу. Спрашивайте поставщика, какая автоматизация работает от вашего имени и каков откат. Ведите список и проверяйте, что у каждого пункта есть владелец.
Крупная компания. Много автоматизаций в многих командах создают зависимости и дублирование. Держите центральный реестр, стандартное логирование и идентификаторы запусков и путь рецензирования для действий высокого риска. Делитесь автоматизациями между командами вместо их перестройки.
Государство и публичный сектор. Потребности подотчётности и аудита означают, что каждое автоматизированное действие должно прослеживаться до решения и владельца. Храните логи и утверждения как свидетельство и проверяйте правила закупок и права для автоматизированных решений, затрагивающих граждан (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты суть построение и тестирование автоматизации, ведение платформы, поддержание автоматизации при изменении систем и цена сбоев. Сбор мер стоит мало, если запуски логируются с идентификаторами. Большая цена есть дисциплина владельцев, пересмотров и учений по откату.
Отдача есть устранение рутины, более быстрая и единообразная работа и меньше ручных ошибок. Это реально, но легко преувеличить, поэтому проверяйте выборками. Сторона риска есть инциденты, вызванные автоматизацией, и цена автоматизации, которую никто не поддерживает. Честное бизнес-обоснование сравнивает проверенное сэкономленное время плюс избегнутые ошибки с полной ценой, включая поддержку и инциденты, и указывает допущения диапазонами (см. тему 7.7, Возврат инвестиций и бизнес-обоснование). Эталонные цифры здесь не даются, потому что они сильно различаются по контексту. Измерьте собственные базовые уровни до начала.
Антипаттерны и ловушки
- Счёт построенных автоматизаций. Он награждает количество. Сообщайте эффект, сбои и откат.
- Успех по коду завершения. Чистое завершение мало что доказывает. Проверяйте намеренный результат.
- Автоматизации без владельцев. Они тихо отказывают при изменении систем. Ведите реестр и подтверждайте владельцев.
- Автоматизация плохого процесса. Изъян движется быстрее. Сначала исправьте процесс.
- Нет отмены. Быстрое неверное действие без обращения есть худший случай. Планируйте и отрабатывайте откат.
- Заявление о сэкономленных часах без выборки. Проверяйте выборками времени и вычитайте поддержку.
- Утверждение как театр. Утверждающий без информации для решения добавляет задержку и не добавляет безопасности. Перепроектируйте запрос.
- Автоматизация как единая точка отказа. Держите ручной путь для критических задач.
Модель зрелости
| Измерение | Инициирование | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Владение и реестр | Скрипты известны только авторам | Основные автоматизации перечислены | Реестр с владельцем, областью и датой пересмотра | Пересмотры и выводы по графику | Общий каталог и стандартные шаблоны между командами |
| Безопасность и откат | Нет отмены; проверки по коду завершения | Некоторые проверки после запуска и логи | Проверки после запуска, пределы области и испытанный откат | Учения по откату; инциденты связаны с запусками | Шаблоны безопасности встроены в платформу |
| Свидетельства ценности | Счёты и оценки | Сэкономленное время оценивается | Сэкономленное время выбирается и проверяется | Эффект, сбои и цена пересматриваются вместе | Портфель автоматизации управляется по ценности и риску |
Контрольный список
- У каждой автоматизации есть владелец, подтвердивший владение.
- Реестр перечисляет каждую автоматизацию с назначением, областью и правами.
- У каждой автоматизации есть проверка после запуска, подтверждающая намеренный результат.
- Запуски логируются с идентификаторами, связывающими с заявками и инцидентами.
- У каждой автоматизации есть предел области и испытанный способ отменить или приостановить её.
- Роль человека определена для каждого автоматизированного действия по риску.
- Сэкономленное время проверено датированной выборкой.
- Ручные вмешательства и инциденты, вызванные автоматизацией, сообщаются вместе с охватом.
- Неиспользуемые или бесхозные автоматизации пересматриваются и выводятся.
- У каждой метрики есть вектор манипуляции и ограждение, показанные рядом.
Промпты для ИИ
Постройте реестр автоматизаций из материала, который вы вставляете.
I will paste a list of scripts, scheduled jobs, and automations we run: [paste
list with any notes]. Build a table with columns: name, purpose, system affected,
owner (use only what I provided; write "unknown" otherwise), permissions (only if
given), last review (only if given), and the first question I should ask about it.
Do not invent owners, dates, or permissions. List your assumptions at the end.
Спроектируйте проверку после запуска и откат для одной автоматизации.
Our automation is [name], which does [description] on [systems]. It runs [how
often] with [permissions]. Propose a post-run check that confirms the intended
result, a scope limit that caps damage, a way to pause it, and a rollback
approach. Say what information a human approver would need if we added an
approval step. Do not assume tools we have not named. List your assumptions and
the questions I should answer.
Проверьте риск манипуляции панелью автоматизации.
We report these automation measures: [paste measures and definitions]. Our
context: [team size, tools, audience]. For each measure, list realistic ways it
could look better without helping anyone, propose a guardrail, and say how that
guardrail could be gamed. Do not invent benchmark values. List your assumptions.
Спланируйте проверку сэкономленного времени.
We claim [number] hours saved by automating [task]. Draft a short plan to verify
it by sampling: what to time, how many samples to take, how to include
maintenance and failure handling, and how to report uncertainty. Do not invent
figures; use placeholders for numbers I should collect. List assumptions.
Навыки ИИ
- Ранбук: используйте, чтобы документировать задачу до её автоматизации.
- Анализ первопричин: используйте, чтобы проанализировать инцидент, вызванный автоматизированным действием.
- Service Management Metrics skill: используйте, чтобы найти тему, охватывающую метрику, и её парное ограждение.
Главные выводы
- Счёты автоматизаций и сэкономленные часы описывают усилия и заявления, поэтому измеряйте эффект, сбои и откат.
- Каждой автоматизации нужны владелец, запись в реестре, проверка после запуска, предел области и способ отменить или приостановить.
- Выбирайте, где решает человек, по риску и проверяйте, что человек может решить хорошо.
- Проверяйте сэкономленное время датированными выборками и вычитайте цену поддержки и сбоев.
- Выводите автоматизации, у которых нет владельца, которые не используются или больше не нужны.
Источники и дополнительное чтение
- Wikipedia, Автоматизация.
- Wikipedia, Оркестрация (вычисления).
- Wikipedia, Инфраструктура как код.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, DevOps.
- Wikipedia, Закон Гудхарта.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.