Метрики наблюдаемости и телеметрии
Наблюдаемость есть способность задавать новые вопросы работающей услуге и получать ответы из её собственных сигналов, поэтому измеряйте, сколько услуги вы видите, насколько хороши сигналы, как быстро они ведут к пониманию и чего стоит телеметрия, а не считайте панели или объём данных.
Обзор и мотивация
Наблюдаемость есть свойство системы: насколько хорошо её внутреннее состояние можно понять по производимым ею выводам. На практике эти выводы называют телеметрией и обычно группируют в три вида. Логи суть записи отдельных событий. Метрики суть числовые измерения во времени, например частота запросов или доля ошибок. Трассы прослеживают один запрос через части распределённой системы. Многие команды добавляют профили, события с устройства пользователя и бизнес-события.
Мониторинг задаёт известные вопросы, например «выше ли доля ошибок порога?», и оповещает, когда ответ да. Наблюдаемость стремится позволить команде задавать вопросы, которых она не планировала, например «почему запросы из этого региона медленны для этого сегмента клиентов?». Нужны оба. Мониторинг охвачен в более ранних темах (см. тему 5.5, Метрики мониторинга и качества оповещений). Эта тема охватывает качество самих сигналов и практику понимания систем по ним.
У телеметрии есть цена и риски. Собирать всё дорого по хранению и деньгам, и это может захватить персональные или конфиденциальные данные. Собирать слишком мало оставляет команду слепой во время инцидента. Телеметрия также есть данные в смысле предыдущей темы (см. тему 10.8, Метрики аналитики и качества данных), так что у неё есть вопросы полноты, своевременности и происхождения. И поскольку инструменты ИИ читают телеметрию, чтобы резюмировать инциденты и предлагать причины, качество сигналов определяет, верно ли резюме.
Используемые термины. Сигнал есть поток телеметрии, например лог, метрика или трасса. Инструментирование есть код, производящий сигналы. Кардинальность есть число различных значений метки на метрике, и высокая кардинальность повышает цену. Индикатор уровня услуги (SLI) измеряет аспект услуги так, как его переживают пользователи (см. тему 5.2, SLI, SLO и бюджеты ошибок). Выборочное снятие (sampling) сохраняет только долю данных, что экономит цену и теряет подробности. Хранение есть то, как долго данные держатся. Корреляция означает связывание сигналов, описывающих один и тот же запрос или событие, через общие идентификаторы.
Ключевые принципы
- Инструментируйте для вопросов, а не для объёма. Выбирайте сигналы, отвечающие на вопросы об опыте пользователей и поведении системы.
- Измеряйте, что вы видите и чего не видите. Охват услуг и путей показывает слепые пятна.
- Сигналы должны быть связаны. Идентификаторы, соединяющие лог, трассу и метрику, делают понимание быстрым.
- Телеметрия есть цена и риск. Бюджетируйте её и держите персональные и конфиденциальные данные вне её, если нет причины и правила.
- Наблюдаемость служит людям. Измеряйте время до понимания и опыт людей на дежурстве.
- Открытые стандарты снижают привязку. Предпочитайте общие форматы инструментирования там, где они подходят, и проверяйте актуальные спецификации.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват инструментированием | Доля услуг и критических путей пользователя, выдающих согласованные основные сигналы | услуги или пути с логами, метриками и трассами, отвечающими согласованному стандарту / услуги или пути в каталоге услуг | процент | Каталог услуг и инвентарь платформы телеметрии | Мониторинг и управление событиями; управление конфигурацией услуг | Определение готовности для новых услуг | Раз в квартал |
| Полнота трасс | Доля выбранных запросов с непрерывной трассой от входа до последней зависимости | запросы, чья трасса охватывает все ожидаемые переходы / запросы в проверяемой выборке | процент | Платформа трассировки и выборочная проверка | Мониторинг и управление событиями | Проверка наблюдаемости в функции | Раз в месяц |
| Доля корреляции сигналов | Доля инцидентов, где логи, метрики и трассы удалось соединить по идентификатору | инциденты с работающим соединением в разборе хронологии / пересмотренные инциденты | процент | Разборы инцидентов и платформа трассировки | Управление инцидентами; управление проблемами | Действия из ретроспектив | Раз в квартал |
| Время до понимания | Время от обнаружения до записанного работающего объяснения причины | медиана и 85-й перцентиль (время записи первой работающей причины минус время обнаружения инцидента) для инцидентов с записанной причиной | минуты | Хронология инцидента и заметки разбора | Управление инцидентами | Разбор без поиска виновных | Раз в квартал |
| Стоимость телеметрии на услугу | Расходы на телеметрию, отнесённые к услуге, на единицу использования услуги | стоимость телеметрии, выделенная услуге / заданная единица использования, например 1000 запросов | валюта на единицу | Биллинг телеметрии и данные использования | Управление финансами | Цена как вход проектирования | Раз в месяц |
| Чувствительные данные в телеметрии | Число подтверждённых записей, содержащих данные, которых там быть не должно | подтверждённые случаи, найденные сканированием или пересмотром за период | число | Сканирования и пересмотры телеметрии | Управление информационной безопасностью | Определение готовности; рецензирование приватности | Раз в месяц |
| Инциденты слепых пятен | Инциденты, о которых первыми сообщили пользователи, при том что телеметрия не показала признаков | инциденты, о которых первыми сообщили пользователи, без связанного оповещения или сигнала / инциденты за период | процент | Записи об инцидентах и заметки разбора | Управление инцидентами; мониторинг | Действия из ретроспектив | Раз в квартал |
Охват инструментированием зависит от согласованного основного стандарта, например частоты запросов, доли ошибок, задержки и идентификатора трассы, указанного в реестре метрик. Время до понимания считает только инциденты с записанной причиной, поэтому инциденты без известной причины сообщаются отдельно.
Рекомендации
Решите, что видеть
1. Начинайте с путей пользователя и уровней услуги. Перечислите пути, которые важны, и индикаторы, показывающие, успешны ли пользователи. Инструментируйте их первыми, поскольку они связывают телеметрию с результатами (см. тему 5.2, SLI, SLO и бюджеты ошибок).
2. Согласуйте основной стандарт. Определите минимальные сигналы, которые выдаёт каждая услуга, и соглашения об именах и идентификаторах. Поместите стандарт в определение готовности для новых услуг.
3. Честно картируйте охват. Сравните каталог услуг с услугами, выдающими основные сигналы. Перечислите пробелы и их владельцев и сначала беритесь за те, что имеют наибольшее влияние на пользователей.
Сделайте сигналы полезными
4. Связывайте сигналы общими идентификаторами. Проводите идентификатор запроса или трассы через логи, метрики и трассы, чтобы человек мог перейти от медленного запроса к точным строкам лога. Проверяйте это на учениях.
5. Тестируйте инструментирование как код. Трасса, обрывающаяся на очереди, или лог с неверным часовым поясом тратят инцидент впустую. Проверяйте полноту на выбранных запросах и чините разрывы.
6. Контролируйте кардинальность и снятие выборки сознательно. Метки высокой кардинальности могут создавать большие затраты, а снятие выборки может отбросить редкое событие, которое вам нужно. Решите, где снимать, записывайте долю и сохраняйте полные данные для ошибок и медленных запросов, где это по карману.
7. Держите чувствительные данные вне. Решите, что не должно появляться в логах и трассах, например персональные данные, учётные данные, сведения о здоровье или платежах. Сканируйте их и исправляйте источник. Проверяйте обязательства у вашего юридического консультанта, поскольку эта книга не даёт юридических советов.
Измеряйте понимание
8. Измеряйте время до понимания, а не только время до исправления. Время от обнаружения до работающего объяснения показывает, насколько хорошо сигналы поддерживают людей. Пересматривайте самые долгие случаи, чтобы увидеть, какого сигнала не хватало.
9. Считайте слепые пятна. Инциденты, найденные пользователями первыми, суть самое ясное свидетельство пробела. По каждому спросите, какой сигнал показал бы его, и добавьте.
10. Пересматривайте панели и оповещения на использование. Выводите панели, которые никто не открывает, и оповещения, никогда не ведущие к действию (см. тему 5.5, Метрики мониторинга и качества оповещений). Меньший набор, которому люди доверяют, лучше стены графиков.
Управляйте ценой и стандартами
11. Бюджетируйте и относите цену телеметрии. Выделяйте цену услугам и следите за трендом. Задавайте хранение по ценности: подробные данные короткое время, резюме дольше, а то, что не имеет применения, удаляйте.
12. Предпочитайте открытые стандарты там, где они подходят. Общие форматы инструментирования и данных, такие как поддерживаемые проектом OpenTelemetry, облегчают смену инструментов. Проверяйте актуальную спецификацию и поддержку ваших инструментов до обязательств, поскольку стандарты и продукты меняются.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват инструментированием | Добавлять минимальный сигнал в каждую услугу, чтобы пройти стандарт; исключать трудные услуги из каталога | Полнота трасс и инциденты слепых пятен; пересматривать каталог на пропуски |
| Полнота трасс | Выбирать только простые запросы; считать частичные трассы полными | Определять проверяемую выборку по типу запроса; проверять охват зависимостей |
| Доля корреляции сигналов | Пересматривать только удачные инциденты; считать соединение, существующее на бумаге | Пересматривать случайную выборку инцидентов; проводить учения по соединению |
| Время до понимания | Записывать причину рано и приблизительно; оставлять причину пустой для трудных случаев | Пересматривать записи причин на качество; сообщать инциденты без причины отдельно |
| Стоимость телеметрии на услугу | Отбрасывать сигналы, чтобы срезать цену; переносить цену на другой аккаунт | Инциденты слепых пятен и время до понимания; сверять общие расходы |
| Чувствительные данные в телеметрии | Сканировать слишком узко; не сообщать находки | Охват сканирования и независимый пересмотр; отслеживать время удаления |
| Инциденты слепых пятен | Считать инцидент обнаруженным, когда оповещение сработало после сообщения пользователей; определять сигнал широко | Сравнивать метки времени первого сигнала и первого сообщения пользователя; выборочные пересмотры |
Здоровое чтение есть охват, растущий вместе с числом полных трасс и соединений, падающая доля инцидентов, найденных первыми пользователями, время до понимания, падающее без урезания сигналов, понятная и отнесённая цена телеметрии и быстро исправляемые находки чувствительных данных.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Собирать всё, хранить долго | Максимальная возможность расследования | Высокая цена и риск; трудно искать |
| Снимать выборку и хранить коротко | Ниже цена | Могут быть упущены редкие события и старые инциденты |
| Стандартное инструментирование по услугам | Единообразно; быстрее понимание | Усилия на внедрение; может не подходить каждой услуге |
| Инструментирование по выбору команд | Подходит локальным нуждам | Непоследовательно; трудно соединять сигналы |
| Резюме телеметрии от ИИ | Быстрый первый взгляд | Могут быть неверны; зависят от качества сигналов |
Вывод прост: держите богатые данные для ошибок и медленных запросов, снимайте выборку с рутинного и задавайте хранение по ценности. Скромный, последовательный, связанный набор сигналов лучше большой несвязанной груды.
Вопросы для обсуждения в команде
1. Во время нашего последнего инцидента что мы хотели знать и не могли выяснить? Это раскрывает недостающий сигнал. Попросите людей вспомнить вопрос и где они искали. Ждите ответов вроде «каких клиентов затронуло» или «что изменилось». В продолжение решите, кто добавит сигнал и как его проверить.
2. Для нашего самого важного пути пользователя как мы узнали бы, что он отказывает? Пройдите путь шаг за шагом. Спросите, какой сигнал показывает успех на каждом шаге и как скоро. Ищите шаги без сигнала. В продолжение добавьте индикатор для самого слабого шага.
3. Можем ли мы проследить один запрос от щелчка пользователя до базы данных и обратно? Попробуйте вживую. Заметьте, где обрывается трасса, например на очереди или вызове третьей стороны. Спросите, сколько времени уходит на поиск соответствующих строк лога. В продолжение исправьте самый большой разрыв.
4. Сколько мы тратим на телеметрию и что за это получаем? Многие команды не знают цену по услугам. Спросите, какие сигналы использовались в последнем квартале. Обсудите, что можно снимать выборкой или удалить без вреда. В продолжение выберите один сигнал для пересмотра.
5. Какая чувствительная информация может быть в наших логах и трассах сегодня? Поищите вместе примеры. Частые случаи суть адреса электронной почты, токены и поля свободного текста. Спросите, как она туда попала и кто может её читать. В продолжение договоритесь о правиле и сканировании.
6. Как мы используем инструменты ИИ на нашей телеметрии и кто проверяет, что они говорят? Прислушайтесь к непроверенным резюме инцидентов. Спросите, какие данные отправляются в инструмент и на каких условиях. Обсудите, как человек проверяет предложенную причину. В продолжение напишите короткое правило.
Четыре точки зрения
Продуктовые команды и команды поставки
Вы решаете, что выдаёт услуга. Добавляйте инструментирование при построении, включайте идентификатор, связывающий сигналы, и тестируйте его как часть работы. Относитесь к недостающей наблюдаемости как к дефекту, поскольку за неё заплатит следующий инцидент.
Команды услуг и эксплуатации
Вы используете телеметрию под давлением. Говорите команде, какие сигналы помогли, а каких не хватало, и держите оповещения привязанными к влиянию на пользователей. Отслеживайте время до понимания и инциденты слепых пятен и приносите их продуктовой команде.
Руководство и управление
Финансируйте наблюдаемость как часть услуги, с бюджетами на телеметрию и на исправление пробелов. Просите охват, инциденты слепых пятен и тренды цены, а не число панелей. Задайте правила для чувствительных данных и для использования инструментов ИИ на телеметрии.
Клиенты и пользователи
Вы часто первыми замечаете проблему, поэтому спрашивайте, как о ней сообщить и как быстро она будет связана с сигналами услуги. Ваши сообщения сокращают слепые пятна, и вам следует сказать, что было узнано. Спрашивайте, какая телеметрия о вас собирается и зачем.
На практике: пример из управления услугами
Средний интернет-магазин ведёт услугу оформления заказа, состоящую из восьми меньших услуг. Числа в этом примере иллюстративны. Клиенты сообщают о случайных сбоях при оплате, но панели показывают здоровые доли ошибок и нормальную задержку.
Команда измеряет. Охват инструментированием 6 из 8 услуг, отвечающих основному стандарту. Проверка 50 выбранных запросов оформления заказа показывает полноту трасс 62 %, потому что трасса обрывается на очереди сообщений и на вызове стороннего платёжного сервиса. В последних шести инцидентах доля корреляции сигналов составляет два из шести, поскольку логи используют идентификатор запроса, отличный от трасс. Инциденты слепых пятен составляют три из шести.
Команда проводит единый идентификатор запроса через очередь и логи, добавляет отрезок трассы вокруг платёжного вызова и инструментирует две недостающие услуги. Через месяц полнота трасс достигает около 90 % в выборочной проверке, а следующий инцидент получает работающее объяснение за 35 минут против нескольких часов раньше. Они также сканируют логи и находят адреса электронной почты клиентов в сообщении об ошибке, которые убирают у источника, и находки чувствительных данных падают до нуля в следующем месяце.
Появляется риск манипуляции. Менеджер просит поднять охват инструментированием, пометив две оставшиеся услуги как «вне области». Команда отказывается, потому что число инцидентов слепых пятен осталось бы высоким, и записывает пробел с владельцем. Что остаётся трудным: стоимость телеметрии на запрос оформления заказа выросла, а команда ещё не решила, как долго хранить трассы. План следующего квартала состоит в снятии выборки рутинных трасс и сохранении полных подробностей для ошибок.
Agile, ИИ, автоматизация и аналитика
Agile
Включайте наблюдаемость в определение готовности, чтобы каждый инкремент услуги можно было понять в продуктиве. Хорошая практика есть пересмотр недостающих сигналов последнего инцидента на регулярном разговоре об улучшении и добавление их как элементов бэклога. Осторожность в том, что работа по наблюдаемости часто откладывается ради функций, поэтому делайте её видимой и защищайте время на неё.
ИИ
ИИ может резюмировать телеметрию, коррелировать сигналы и предлагать причины, а самим функциям ИИ нужна телеметрия, такая как входы, выводы, задержка, цена и обратная связь пользователей. Парьте предложенные ИИ причины с проверкой человеком и сообщайте, как часто они были верны, и мониторьте функции ИИ на качество, а не только на доступность (см. тему 10.1, ИИ в измерении управления услугами). Осторожность в том, что промпты и ответы в логах могут содержать персональные данные, поэтому решите, что записывать, до начала.
Автоматизация
Автоматизируйте сбор, корреляцию и оповещение и автоматизируйте проверки охвата и чувствительных данных. Измеряйте сам конвейер телеметрии по потерянным данным и задержке, поскольку сломанный конвейер выглядит как здоровая система. Осторожность в том, что автоматическое исправление, действующее по сигналу, может скрыть причину, поэтому логируйте, что оно сделало.
Аналитика
Используйте телеметрию, чтобы отвечать на вопросы об опыте пользователей и поведении системы, с SLI, связанными с результатами. Решение, которое это информирует, состоит в том, куда инвестировать в сигналы и где снижать цену. Осторожность в том, что объём данных не есть понимание, а агрегированные метрики могут прятать пострадавших пользователей, поэтому проверяйте распределения и сегменты и показывайте число событий за каждой цифрой (см. тему 10.8, Метрики аналитики и качества данных).
Отраслевой взгляд
Стартап. Начните с нескольких сигналов на главном пути пользователя и идентификатора трассы в логах. Избегайте покупки большой платформы до прояснения вопросов и следите за ценой по мере роста использования.
Малый бизнес. Размещённые услуги часто дают ограниченную телеметрию. Спрашивайте поставщиков, что вы можете видеть, и ведите простую внешнюю проверку главного пути. Избегайте сбора персональных данных в логах.
Крупная компания. Многим командам и инструментам нужны общий стандарт, общие идентификаторы и центральное отнесение цены. Позволяйте командам добавлять сигналы в рамках стандарта и управляйте хранением и доступом централизованно.
Государство и публичный сектор. Правила о местоположении данных, хранении и доступе формируют, что вы можете собирать и где хранить. Документируйте потоки данных телеметрии и проверяйте обязательства у юридических консультантов (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты суть работа по инструментированию, платежи за платформу или услугу, хранение по сроку хранения и время персонала на поддержание стандартов и панелей. Цена телеметрии может быстро расти с объёмом и кардинальностью, поэтому бюджетируйте и относите её.
Отдача есть более быстрое понимание в инцидентах, меньше инцидентов, найденных первыми пользователями, и лучшие решения о том, где улучшать. Эти выгоды реальны, но их трудно оценить, поэтому избегайте выдумывания цифры. Сравнивайте собственное время до понимания и долю инцидентов слепых пятен до и после работы и указывайте допущения диапазонами (см. тему 7.7, Возврат инвестиций и бизнес-обоснование). Сторона риска есть цена утечки данных через телеметрию и цена телеметрии, которой никогда не пользуются.
Антипаттерны и ловушки
- Счёт панелей. Больше графиков не означает больше понимания. Измеряйте охват, соединения и время до понимания.
- Сбор всего навсегда. Цена и риск растут при малом использовании. Задавайте хранение по ценности.
- Несвязанные сигналы. Логи, метрики и трассы, которые нельзя соединить, замедляют каждый инцидент. Передавайте общие идентификаторы.
- Снятие выборки, отбрасывающее редкое событие. Нужный вам сбой есть тот, что вы отбросили. Сохраняйте ошибки и медленные запросы.
- Чувствительные данные в логах. Они распространяются и трудно удаляются. Сканируйте и исправляйте источник.
- Оповещения на каждый сигнал. Шум учит людей игнорировать оповещения. Оповещайте о влиянии на пользователей.
- Непроверенное доверие резюме ИИ. Они могут быть неверны, а сигналы неполны. Проверяйте по данным.
- Инструментирование как чужая работа. Люди, пишущие код, знают, что выдавать. Сделайте это частью работы.
Модель зрелости
| Измерение | Инициирование | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Охват и стандарт | Сигналы различаются по командам; слепые пятна неизвестны | Основные услуги инструментированы | Основной стандарт и охват отслеживаются относительно каталога | Инциденты слепых пятен пересматриваются, пробелы закрываются | Охват встроен в создание услуг и корректируется по влиянию на пользователей |
| Качество сигналов и связывание | Только логи; нет общих идентификаторов | Некоторые трассы и метрики | Общие идентификаторы; полнота трасс проверяется | Время до понимания пересматривается; проводятся учения | Сигналы адаптируются автоматически к задаваемым вопросам |
| Цена и управление | Цена неизвестна; нет правил данных | Цена видна в целом | Цена отнесена; правила хранения и чувствительных данных | Цена и находки данных пересматриваются по графику | Цена и риск телеметрии управляются по ценности между командами |
Контрольный список
- Основной стандарт сигналов написан и входит в определение готовности.
- Охват инструментированием отслеживается относительно каталога услуг.
- Идентификатор запроса или трассы связывает логи, метрики и трассы.
- Полнота трасс проверяется на выборке реальных запросов.
- Время до понимания записывается для инцидентов вместе с причиной.
- Инциденты слепых пятен считаются, и каждый ведёт к сигналу.
- Цена телеметрии отнесена к услугам, а хранение задано по ценности.
- Чувствительные данные в телеметрии сканируются и исправляются у источника.
- Существуют правила для инструментов ИИ, читающих телеметрию.
- У каждой метрики есть вектор манипуляции и ограждение, показанные рядом.
Промпты для ИИ
Спроектируйте основной стандарт сигналов.
Our service is [description], made of [number] components in [technologies]. Our
most important user journeys are [list]. Propose a core signal standard: the
minimum logs, metrics, and traces each component should emit, the naming and
identifier conventions, and how to check conformance. Do not recommend specific
vendors unless I name them. Mark assumptions and list questions I should answer.
Найдите пробелы наблюдаемости из разбора инцидента.
Here is a summary of a recent incident, with timeline and notes (personal data
removed): [paste]. Identify moments where the team lacked a signal, could not
link signals, or relied on a guess. For each, propose the signal or link that
would have helped, as a suggestion for the team to evaluate. Do not assert
causes that the text does not support. List what you could not judge and your
assumptions.
Спланируйте сканирование чувствительных данных в телеметрии.
We keep logs and traces in [tools]. Draft a plan to find sensitive data in them:
categories of data to look for, where to look, how to sample, how to report
findings, and how to fix at the source. Do not state legal requirements; list
questions for our legal adviser. List assumptions and what you would need access
to.
Проверьте риск манипуляции мерами наблюдаемости.
We report these observability measures: [paste measures and definitions].
Context: [team size, tools, audience]. For each measure, list realistic ways it
could look better without improving understanding, propose a guardrail, and say
how that guardrail could be gamed. Do not invent benchmark values. List your
assumptions.
Навыки ИИ
- Анализ аномалий: используйте, чтобы изучить необычные закономерности в телеметрии до решения о причине.
- Анализ первопричин: используйте, чтобы превратить сигналы и хронологии в проверенное объяснение.
- Соглашение об уровне услуг: используйте, чтобы связать индикаторы с соглашениями и целями, которые они поддерживают.
- Service Management Metrics skill: используйте, чтобы найти тему, охватывающую метрику, и её парное ограждение.
Главные выводы
- Наблюдаемость есть способность задавать новые вопросы работающей услуге, поэтому измеряйте охват, связанные сигналы и время до понимания.
- Инциденты, найденные пользователями первыми, суть самое ясное свидетельство слепых пятен, поэтому считайте их и добавляйте сигналы.
- Общие идентификаторы в логах, метриках и трассах делают понимание быстрым.
- Телеметрия стоит денег и может утекать чувствительными данными, поэтому бюджетируйте её, задавайте хранение по ценности и сканируйте чувствительное содержание.
- Проверяйте резюме телеметрии от ИИ по данным, поскольку они зависят от качества сигналов.
Источники и дополнительное чтение
- Wikipedia, Наблюдаемость (программное обеспечение).
- Wikipedia, Телеметрия.
- Wikipedia, Распределённая трассировка.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Управление логами.
- Wikipedia, Индикатор уровня услуги.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.