Обзор и мотивация

Большинство мер инцидентов описывают обычный плохой день: неудавшееся развёртывание, насыщенная база данных, шумный сосед. Непрерывность услуг описывает редкий, тяжёлый день, когда отказывает регион, портится хранилище данных, исчезает поставщик или шифровальщик шифрует всё хозяйство. Планирование непрерывности бизнеса есть дисциплина подготовки организации продолжать работу на приемлемом уровне сквозь такие события. В ITIL 4 практика называется управлением непрерывностью услуг и есть ИТ-взгляд на эту более широкую цель (см. соответствующую тему в сопутствующем Руководстве по управлению услугами).

Два термина несут основной вес. Целевое время восстановления (RTO) есть приемлемое время восстановления услуги после нарушения. Целевая точка восстановления (RPO) есть приемлемый объём потери данных, выраженный отрезком времени: RPO в один час означает, что потеря последнего часа записей терпима, а потеря большего нет. Обе идут из анализа влияния на бизнес (BIA), метода определения, какие виды деятельности важнее всего, что от чего зависит и чего стоит нарушение. Цели суть бизнес-решения с ценой, потому что более строгие цели требуют большей избыточности, большей автоматизации и большего времени на учения.

Трудность в том, что цель есть обещание о будущем событии, которого ещё не было. Честное свидетельство есть испытание. Восстановила ли команда услугу в пределах RTO на последнем учении? Отвечали ли восстановленные данные RPO? Были ли шаги плана теми шагами, которые команда действительно предприняла? Метрика непрерывности поэтому есть в основном измерение учений, а качество измерения зависит от того, насколько реалистичным было учение.

Команды Agile и инженерии надёжности сайтов (SRE) приносят сюда полезные привычки. Их системы меняются еженедельно, поэтому план, написанный один раз и подшитый, устаревает за месяцы. Ответ Agile состоит в том, чтобы держать восстановление как код (например, с помощью инфраструктуры как кода), часто репетировать и относиться к каждой репетиции как к источнику элементов бэклога. Хаос-инженерия и учения (game days) применяют ту же идею в меньшем масштабе: вызвать сбой намеренно, контролируемым образом, и наблюдать, что произойдёт. Взгляд SRE описан в книге Google Site Reliability Engineering, а более широкая область резюмирована в статье об инженерии надёжности сайтов.

Чем различаются взгляды

  • Взгляд ITIL. Управление непрерывностью услуг есть практика, задающая цели восстановления по BIA, проектирующая планы и доказывающая их испытаниями. Её результаты суть планы, отчёты об учениях и записанные находки. Стандарт ISO 22301 описывает систему менеджмента непрерывности бизнеса. По состоянию на октябрь 2026 года проверяйте текущую редакцию напрямую, если клиент или регулятор требует соответствия.
  • Взгляд Agile. Способность восстановления есть свойство продукта в определении готовности. История, добавляющая хранилище данных, не готова, пока не испытан путь его восстановления.
  • Взгляд SRE. Работа над надёжностью бюджетируется и измеряется. Переключение, учения по восстановлению и game days суть плановая работа с владельцами и находками, попадающими в бэклог.

Эта тема охватывает семь мер: восстановление относительно целей по времени и данным в испытаниях, охват и свежесть учений, восстановления из резервных копий, закрытие находок и актуальность планов. Реальные сбои находятся в метриках крупных инцидентов (см. тему 3.4, Метрики крупных инцидентов) и метриках доступности (см. тему 5.3, Метрики доступности). Цели, выраженные как пользовательские целевые показатели, находятся в теме об индикаторах и бюджетах (см. тему 5.2, SLI, SLO и бюджеты ошибок). «Время восстановления после неудавшегося развёртывания» исследовательской программы DORA есть гораздо меньшие часы (см. тему 2.8, Метрики DORA). Первопричины, выявленные испытаниями, принадлежат темам о проблемах и обучении (см. тему 4.1, Метрики управления проблемами, и тему 4.2, Метрики разборов и обучения).

Уровень (tier) есть класс услуг, сгруппированных по тому, как быстро они должны вернуться. Настольное учение (tabletop exercise) есть репетиция на основе обсуждения без изменений в системах. Game day есть практическая репетиция, в которой команда вызывает или имитирует сбой и наблюдает реакцию. Находка есть записанный разрыв между планом и тем, что произошло. Актуальность плана есть то, насколько хорошо план отражает услугу такой, какая она сегодня.

Ключевые принципы

  • Сначала испытайте, потом заявляйте. RTO или RPO подтверждается только восстановлением, которое действительно выполнено и замерено. Сообщайте цель и последний продемонстрированный результат рядом.
  • Измеряйте реалистичность, а не только успех. Восстановление пустой тестовой базы данных, прошедшее за минуты, мало говорит о восстановлении в размере продуктива. Записывайте область и условия каждого учения рядом с результатом.
  • Разбейте хозяйство на уровни и тратьте усилия по уровням. Критические услуги получают частые, реалистичные испытания. Услуги низких уровней получают более лёгкие проверки. Единая цель по частоте для всего тратит усилия или пропускает риск.
  • Рассматривайте находки как продукт учения. Ценный результат game day есть закрытый список разрывов. Испытание без находок либо превосходно, либо слишком мягко, и вам следует выяснить, что именно.
  • Описывайте услуги и ротации, никогда отдельных людей. Результаты учений описывают систему и план. Никого не ранжируют по тому, как быстро он восстановил учебную нагрузку.
  • Показывайте каждое учение отдельной строкой. Испытаний на услугу в год мало, поэтому средние вводят в заблуждение (см. тему 1.6, Статистическая грамотность для метрик услуг).

Определения метрик

Каждая метрика указывает часы или счёт, что исключено и источник данных. Каждой строке нужно письменное правило, прежде чем ей доверять. «Услуга уровня 1» ниже означает услугу в высшем уровне восстановления, определённом вашим собственным BIA.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля выполнения RTO Доля учений по восстановлению, в которых услуга была восстановлена в пределах заявленного RTO учения со временем восстановления <= RTO / проведённые учения. Часы запускаются при объявленном начале сбоя учения (момент внесения сбоя или объявления сценария) и останавливаются, когда услуга проходит согласованную проверку здоровья для реальных или синтетических пользователей. Настольные учения и учения без замеренного восстановления исключаются и считаются отдельно процент, с показанным числом учений Отчёт об учении, хронология из мониторинга, реестр услуг с RTO Управление непрерывностью услуг; управление доступностью Исход game day; время восстановления в показателях поставки По учению; сводка раз в квартал
Доля выполнения RPO Доля учений по восстановлению, в которых потеря данных осталась в пределах заявленного RPO учения с замеренным отрезком потери данных <= RPO / учения, восстанавливающие данные. Отрезок потери данных есть время между последней записью, присутствующей после восстановления, и моментом сбоя. Учения, не восстанавливающие состояние, исключаются процент, с показанным числом учений Отчёт об учении, сравнение восстановленных данных с источником или журналом записей Управление непрерывностью услуг; управление информационной безопасностью Учение по восстановлению как часть определения готовности По учению; сводка раз в квартал
Охват испытанного восстановления Доля услуг уровней 1 и 2, у которых было практическое испытание восстановления в пределах согласованного интервала испытаний услуги с подходящим испытанием внутри интервала / услуги в области. Подходящее испытание практическое (не только настольное) и восстанавливает услугу в тестовой или продуктивной среде. Интервал задаётся по уровню процент, по уровню Реестр услуг, календарь и отчёты учений Управление непрерывностью услуг; управление каталогом услуг График game day Раз в месяц
Дней с последнего успешного испытания восстановления Возраст самого недавнего пройденного испытания восстановления для каждой критической услуги дата отчёта минус дата последнего испытания, выполнившего и RTO, и RPO. Неудавшееся испытание не сбрасывает часы. Услуги, никогда не испытывавшиеся, показываются как «никогда», а не как ноль дни, по услуге, с выделением самой старой Отчёты об учениях, реестр услуг Управление непрерывностью услуг График game day; возраст рабочего элемента Раз в месяц
Доля успешных восстановлений из резервных копий Доля предпринятых восстановлений из резервной копии, завершившихся проверенными пригодными данными восстановления, завершившиеся и прошедшие проверку данных / предпринятые восстановления, по автоматическим и ручным испытаниям восстановления. Один успех задания резервного копирования исключается, потому что отработавшее задание не есть восстановление, которое сработало процент, по уровню данных Логи системы резервного копирования, результаты автоматической проверки восстановления Управление непрерывностью услуг; управление инфраструктурой и платформой Учение по восстановлению; критерии эксплуатационной пригодности в определении готовности Раз в неделю для автоматических испытаний; раз в месяц на пересмотре
Доля закрытия находок учений Доля находок учений по восстановлению, закрытых в согласованное время, с разбивкой по серьёзности находки, закрытые в пределах цели / находки, срок которых наступил в периоде. Часы запускаются, когда находка записана в отчёте об учении, и останавливаются при проверенном исправлении, то есть повторном испытании или пересмотре, его подтверждающем. Находки, принятые как риски названным владельцем, считаются отдельно процент, с числом просроченных находок Отчёт об учении, трекер задач Управление непрерывностью услуг; непрерывное улучшение Действия ретроспективы; возраст элемента бэклога Раз в месяц
Актуальность плана Доля планов непрерывности и ранбуков, пересмотренных после последнего существенного изменения их услуги или в пределах интервала пересмотра планы с датой пересмотра позже последнего существенного изменения и внутри интервала / планы в области. Существенное изменение означает запись об изменении, помеченную как меняющую архитектуру, хранилища данных, зависимости или поставщиков процент, с возрастом самого старого непересмотренного плана Репозиторий планов (система контроля версий), записи об изменениях, реестр услуг Управление непрерывностью услуг; управление изменениями (change enablement) Определение готовности включает обновление ранбука Раз в квартал

Часы RTO в учении отличаются от часов в реальном сбое, которые запускаются при воздействии (см. тему 3.4, Метрики крупных инцидентов), поэтому сравнивайте учения с учениями. Строго написанный по сценарию учебный сбой измеряет скорость репетиции, поэтому записывайте, сколько неожиданности он содержал.

Рекомендации

Задавайте цели, которые можно испытать

1. Выводите RTO и RPO из анализа влияния на бизнес и записывайте их рядом с услугой. BIA спрашивает бизнес, чего стоят час, день и неделя сбоя и какие данные он может позволить себе потерять. Записывайте ответы в реестр услуг, чтобы каждое испытание можно было сравнить с заявленной целью. Цели, выбранные одними инженерами, склонны быть либо недоступными по цене, либо не связанными с тем, что нужно клиентам.

2. Разбейте услуги на уровни и задавайте интервалы испытаний по уровням. Небольшое число уровней, возможно три или четыре, проще вести, чем отдельное правило для каждой услуги. Давайте высшему уровню самые частые и самые реалистичные испытания, а низшему лёгкую проверку, например периодическое восстановление выборки. Записывайте интервалы и пересматривайте их, когда меняется BIA.

3. Проверяйте, что цель подходит архитектуре. RPO в пять минут при ночной резервной копии есть противоречие, которое испытание выявит в худший момент. Сравните каждую цель с проектом резервного копирования, репликации и переключения до первого учения и записывайте любой разрыв как находку.

Испытывайте так, чтобы что-то выявлялось

4. Сочетайте настольные учения, учения по восстановлению и game days. Настольное учение дёшево и находит разрывы в ролях, контактах и решениях. Практическое учение по восстановлению находит разрывы в процедурах, правах и данных. Game day, вызывающий сбой и наблюдающий реакцию, находит разрывы в мониторинге, ранбуках и координации. Сообщайте каждый тип отдельно, чтобы серия лёгких настольных учений не выглядела как доказательство восстановления.

5. Замеряйте восстановление на данных размера продуктива. Восстановление, работающее на малой копии, может провалиться на реальном объёме из-за пропускной способности или лимитов хранилища. Где полномасштабные испытания слишком дороги для частого запуска, запускайте одно периодически и указывайте любую экстраполяцию. Записывайте размер данных вместе с результатом.

6. Проверяйте, что восстановленные данные пригодны. Добавьте автоматическую проверку после восстановления, например счёт строк, контрольную сумму или синтетическую транзакцию. Засчитывайте восстановление успешным, только когда эта проверка проходит.

7. Добавляйте неожиданность постепенно. Ранние учения можно объявлять и вести по сценарию. Более поздние должны скрывать детали сбоя и включать зависимости, такие как истёкшие учётные данные или недоступный поставщик. Записывайте уровень неожиданности, чтобы результаты читались в контексте.

Превращайте находки в изменения

8. Записывайте каждую находку с владельцем, серьёзностью и сроком. Game day даёт список: отсутствующее право, шаг ранбука, больше не соответствующий инструменту, монитор, который так и не сработал. Положите каждую в бэклог команды с той же видимостью, что и работа над функциями. Отслеживайте возраст открытых находок и долю, закрытую вовремя, и подтверждайте закрытие повторным испытанием там, где практично.

9. Связывайте находки с управлением проблемами и обучением. Находка, повторяющаяся на учениях, есть проблема в смысле ITIL (см. тему 4.1, Метрики управления проблемами). Пересматривайте каждое учение без поиска виновных, как разбор (postmortem), и отслеживайте действия до закрытия (см. тему 4.2, Метрики разборов и обучения).

Держите планы живыми

10. Держите планы и ранбуки под контролем версий и связывайте их с изменениями. Когда запись об изменении меняет архитектуру, хранилище данных или поставщика, требуйте пересмотра владеющего плана в той же работе (см. тему 4.3, Метрики управления изменениями). Измеряйте актуальность плана относительно последнего существенного изменения, а не только относительно календаря. План, пересматриваемый каждый квартал и игнорирующий прошломесячную миграцию, актуален лишь по названию.

11. Держите карту зависимостей честной. Порядок восстановления зависит от общих услуг, таких как идентификация, разрешение имён и хранилище секретов. Сверяйте карту с записями конфигурации и исправляйте пробелы, выявленные учениями (см. тему 7.4, Метрики качества конфигурации и CMDB).

12. Включайте поставщиков и вращайте дежурство по учениям. Просите у каждого критического поставщика его собственные свидетельства испытаний и договаривайтесь, как отрабатывать совместные шаги (см. тему 8.4, Метрики поставщиков и контрактов). Учения потребляют время, поэтому делите обязанность между ротацией и считайте её операционной нагрузкой (см. тему 5.7, Рутинная работа и метрики дежурств).

Векторы манипуляции и ограждения

Числа непрерывности легко приукрасить, потому что мало кто внимательно смотрит на учение, а настоящее испытание случается редко. Таблица парит каждую метрику со способом её подтасовки и проверкой, которая его ловит. Пары следуют форме, заданной в теме 1.2 (см. тему 1.2, Закон Гудхарта и психология метрик).

Метрика Как её искажают Парная метрика или практика-ограждение
Доля выполнения RTO Выбирать малый тестовый набор данных, лёгкий сценарий или отрепетированный сценарий; запускать часы поздно, после начала работы команды; ослаблять проверку здоровья, чтобы «восстановлено» наступало раньше; задавать щедрое RTO, чтобы каждое испытание проходило Записывать размер данных, неожиданность сценария и определение проверки здоровья с каждым результатом; сравнивать RTO с BIA; показывать каждое учение отдельной строкой, включая неудачи
Доля выполнения RPO Измерять потерю только для основной таблицы, а не для всего состояния; испытывать реплику, синхронную потому что нагрузка не идёт; переопределять RPO после пропущенного результата Проверять потерю данных по журналу записей по всем хранилищам в области; испытывать под реалистичной нагрузкой записи; вести журнал изменений целей с причинами
Охват испытанного восстановления Засчитывать настольные обсуждения как испытания; испытывать тривиально малую услугу, чтобы поднять процент; сокращать список в области, переклассифицируя услуги в более низкий уровень Требовать практические испытания для счёта уровня 1; сообщать охват, взвешенный по критичности услуги; проверять изменения уровней относительно BIA
Дней с последнего успешного испытания восстановления Повторно запускать лёгкое испытание, чтобы сбросить возраст; помечать частичное испытание как пройденное; сбрасывать дату после бумажного пересмотра Показывать область последнего пройденного испытания; показывать самый большой возраст и услуги, никогда не испытывавшиеся; требовать, чтобы выполнялись и RTO, и RPO
Доля успешных восстановлений из резервных копий Сообщать успех задания резервного копирования как успех восстановления; испытывать только копии, заведомо хорошие; проверять проверкой, которая не может не пройти Отслеживать восстановления случайно отобранных копий; требовать результат проверки данных; пересматривать саму проверку на каждом аудите
Доля закрытия находок учений Закрывать находки без исправления; понижать серьёзность, чтобы ослабить срок; делить одну находку на много лёгких; записывать мало находок с самого начала Проверять закрытие повторным испытанием; сообщать находки на учение рядом с долей закрытия, поскольку падающий счёт может означать более мягкие учения; пересматривать изменения серьёзности
Актуальность плана Обновлять дату пересмотра, не читая план; помечать изменения как несущественные; набивать план общим текстом, который никогда не устаревает Выборочно проверять планы, разбирая их с тем, кто их не писал; сравнивать долю пометки существенных изменений с историей архитектурных изменений; связывать актуальность с результатами испытаний

Здоровое чтение показывает несколько испытаний в квартал с честной вариацией: одни прошли с первой попытки, другие провалились и были повторены, а находки каждого появляются в бэклоге и закрываются в заявленное время. Идеальные оценки год за годом есть повод спросить, насколько трудны учения.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Частые малые автоматические испытания восстановления Дешёвое непрерывное свидетельство; рано ловит тихий отказ резервного копирования Не испытывает координацию, людей или полномасштабное восстановление
Ежегодное полномасштабное учение по переключению Реалистично; отрабатывает людей, поставщиков и зависимости вместе Дорого и редко; трудно повторить после исправления; несёт риск, если проводится в продуктиве
Настольные учения Низкая цена; находят разрывы в ролях и решениях; хороши для обучения Не доказывают, что технология работает; легко провести, ничему не научившись
Продуктивные game days с внесённым сбоем Высочайшая реалистичность; испытывают мониторинг и ранбуки как есть Нужны зрелые меры безопасности и поддержка руководства; могут навредить клиентам при небрежном проведении
Цели по уровням Тратят усилия там, где риск Назначения уровней могут дрейфовать и нуждаются в владельце

Практический ответ есть многослойная программа: дешёвые автоматические проверки восстановления постоянно, практические учения для каждой услуги уровня 1 с фиксированным интервалом, более крупное учение на более длинном цикле и настольные учения для решений и коммуникации. Указывайте интервалы, чтобы читатель мог судить, насколько свежи свидетельства.

Вопросы для обсуждения в команде

1. Когда мы в последний раз восстанавливали нашу самую важную услугу и что именно мы доказали? Попросите дату, размер данных, сценарий и результат и запишите их на доске. Ведущему стоит воздерживаться от оценок и сосредоточиться на разрыве между заявлением и свидетельством. Завершите, договорившись об одном испытании, которое закрыло бы самый большой разрыв.

2. Кто выбрал наши RTO и RPO и выбрал бы их бизнес снова сегодня? Проследите каждую цель до анализа влияния на бизнес или решения. Спросите, могла ли архитектура выполнить цель на бумаге и называлась ли когда-нибудь цена её выполнения. Договоритесь, кто подтвердит цели главных услуг с бизнесом и к какому сроку.

3. Чего нам стоило бы неудавшееся учение в репутации и определяет ли это, насколько трудны наши учения? Этот вопрос выявляет давление, делающее учения мягкими. Спросите, воспринимается ли неудавшееся испытание как провал команды или как успех учения.

4. Какие находки нашего последнего учения всё ещё открыты и почему? Прочитайте список вслух с возрастом и владельцами. По каждому просроченному элементу спросите, что его блокирует: конкурирующая работа, неясное владение, цена или убеждение, что риск приемлем. Цель в том, чтобы ни одна находка не лежала без владельца.

5. Что наш план предполагает такого, что больше не верно? Выберите один план и прочитайте его с тем, кто его не писал. Ищите выведенные инструменты, переименованные учётные записи и ушедших поставщиков. Спросите, как план будет обновляться при изменении услуги и кто заметит, если нет. Свяжите ответ с процессом изменений.

6. Какая зависимость остановила бы всё и испытывали ли мы когда-нибудь без неё? Общие услуги, такие как идентификация, разрешение имён, секреты и сама система вызовов, суть частые единые точки отказа. Попросите команду назвать их и описать последний раз, когда каждая была намеренно недоступна.

Четыре точки зрения

Продуктовые команды и команды поставки

Продуктовые команды владеют проектом, делающим восстановление возможным, поэтому встречают непрерывность как часть определения готовности для критических услуг: путь резервного копирования, процедура восстановления и работающий ранбук. Им следует проводить учения по восстановлению в собственном ритме, хранить код восстановления вместе с услугой и относиться к неудавшемуся учению как к элементу бэклога.

Команды услуг и эксплуатации

Команды эксплуатации проводят большинство учений и несут нагрузку подготовки. Им следует вести календарь учений, записывать хронологию по ходу учения и писать находки в тот же день. Результаты описывают услугу и план, и никого не ранжируют по тому, как быстро отдельный человек восстановил учебную нагрузку.

Руководство и управление

Руководители задают цели вместе с бизнесом и решают, сколько восстановления стоит купить. Им следует просить показать последний продемонстрированный результат рядом с каждой целью, возраст свидетельства и открытые находки и избегать награждения чистого листа. Органам управления следует ожидать небольшой стабильный набор мер непрерывности, связанный с реестром рисков и с регулируемой отчётностью там, где она применима (см. тему 8.2, Метрики рисков и контролей, и тему 8.5, Регулируемая и государственная отчётность).

Клиенты и пользователи

Клиенты редко видят непрерывность, пока она не понадобится, и тогда судят о ней целиком по исходу: как долго они были без услуги и уцелели ли их данные. Им выгодны ясные заявления о том, что обещано, на понятном языке, и честная коммуникация, когда инцидент задействует план. Где контракты включают обязательства по восстановлению, делитесь свидетельствами учений по запросу (см. тему 5.1, Метрики SLA, OLA и XLA).

На практике: пример из управления услугами

ИТ-отдел региональной больницы ведёт систему записи пациентов, архив медицинских изображений и службу обмена сообщениями персонала. Продуктовая команда из восьми человек поддерживает запись, а команда эксплуатации ведёт платформу. Все числа в этом примере иллюстративны.

Реестр отдела относит запись к уровню 1 с RTO 2 часа и RPO 15 минут. Квартальный отчёт показывает «долю выполнения RTO: 100 % по 4 учениям» и «охват испытанного восстановления: 100 %». Новый руководитель эксплуатации читает отчёты об учениях за числами. Три из четырёх учений были настольными, а единственное практическое восстановление использовало копию базы данных с примерно десятой частью продуктивных данных. Никто не восстанавливал резервную копию в чистую среду 14 месяцев.

Команда решает изменить то, что измеряется и испытывается. Она переопределяет охват испытанного восстановления так, чтобы считать только практические испытания, что снижает цифру до 33 % по трём услугам уровня 1. Она планирует восстановление записи в размере продуктива с автоматической проверкой счёта строк и синтетической транзакцией записи на приём. Прогон занимает 3 часа 40 минут при RTO в 2 часа, а восстановленные данные отстают на 40 минут от точки сбоя при RPO в 15 минут, потому что доставка журналов была приостановлена во время миграции и так и не возобновлена. Game day производит 9 находок: 2 высокой, 5 средней и 2 низкой серьёзности.

Решение, записанное в журнале, состоит в том, чтобы рассматривать промах как самый ценный результат года. Команда открывает работу по возобновлению доставки журналов с оповещением по её отставанию, по распараллеливанию восстановления и по переносу одного тома данных на более быстрое хранилище. RTO остаётся 2 часа, а команда добавляет документированный ручной запасной вариант для записи. Доля закрытия находок за первые 60 дней составляет 7 из 9 вовремя, остальные две приняты как риски названными владельцами.

Пойманный здесь риск манипуляции был тонким. Никто не подделал число: щедрый счёт настольных учений и малый тестовый набор данных сделали отчёт зелёным. Сработавшими ограждениями стали запись размера данных и типа учения с каждым результатом и практика чтения исходных отчётов об учениях. В следующем отчёте команда показывает каждое учение отдельной строкой, включая неудавшийся прогон.

Agile, ИИ, автоматизация и аналитика

Agile

Репетируйте восстановление малыми частыми учениями с заинтересованными сторонами и исправляйте то, что они выявляют. Осторожность в том, что учения по сценарию, всегда проходящие, дают ложное спокойствие.

ИИ

Услуги ИИ добавляют в план восстановления новые зависимости, такие как модели, векторные хранилища и сторонние API. Включайте их в охват испытанного восстановления и парьте время восстановления с проверкой правильности ответов после восстановления. Осторожность в том, что восстановленная услуга ИИ может работать на другой версии модели или потерять данные, поэтому проверяйте поведение, а не только доступность.

Автоматизация

Автоматизируйте проверку резервных копий и испытания восстановления и измеряйте автоматизацию по неудавшимся восстановлениям. Осторожность в том, что резервная копия, которая завершилась, не есть резервная копия, которая восстанавливается, поэтому испытывайте восстановление.

Аналитика

Сообщайте выполненные в испытаниях цели с датами последнего испытания и закрытые находки учений. Решение, которое это информирует, состоит в том, какое восстановление меньше всего доказано. Осторожность в том, что мало реальных восстановлений означает малые выборки, поэтому показывайте счёт.

Отраслевой взгляд

Стартап. Обычно есть одна продуктивная среда, малая команда и управляемый облачный провайдер. Самая ценная мера самая простая: восстанавливайте продуктивную базу данных из резервной копии в чистую среду каждый месяц, замеряйте время и проверяйте результат. Запишите RTO и RPO на одной странице.

Малый бизнес. ИТ часто отдано на аутсорсинг или ведётся одним-двумя людьми на размещённых услугах. Спросите поставщика письменно, какое восстановление он обязуется давать и какие свидетельства может показать, и раз в квартал испытывайте одно восстановление своих данных. Держите одностраничный план там, где его можно прочесть, когда основные системы не работают.

Крупная компания. Много услуг, поставщиков и общих платформ делают уровни и карту зависимостей необходимыми. Вкладывайтесь в центральный реестр услуг с целями, календарь учений, автоматическую проверку восстановления и единообразную отчётность, чтобы результаты сравнивались между командами.

Государство и публичный сектор. Обязанности по непрерывности могут вытекать из закона, аудита или политики, а публичная услуга может быть обязана работать во время чрезвычайных ситуаций. Свидетельства испытаний часто проверяются извне, поэтому храните отчёты об учениях, находки и записи о закрытии в форме, которую аудитор может прочесть. Закупки могут закрепить договорённости о восстановлении, поэтому включайте права на учения и свидетельства в контракты (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Причины вкладываться: цена тяжёлого сбоя, длящегося дольше, чем бизнес может выдержать, потеря данных, которые нельзя воссоздать, и обязательства перед клиентами, регуляторами и страховщиками, просящими свидетельств готовности. Работа над непрерывностью есть страхование, поэтому отдача есть избегнутый ущерб и уверенность лиц, принимающих решения, и её трудно выразить цифрой, не выдумав её. Описывайте её через закономерности, которые можно наблюдать: разрыв между заявленным и продемонстрированным временем восстановления, число находок высокой серьёзности, найденных на учениях, а не в реальных событиях, и время ответа на запрос клиента или аудитора о свидетельствах.

Затраты идут тремя группами: избыточность и инструменты, которых требуют цели, время людей на планирование, проведение и пересмотр учений и усилия по поддержанию планов и карт зависимостей актуальными.

В общей стоимости владения доминируют люди и более строгие уровни. Переход от RTO в 24 часа к 2 часам меняет проект и счёт, поэтому делайте этот компромисс явным с бизнесом. Малые частые автоматические испытания обычно стоят меньше одного крупного ежегодного события, потому что дефекты всплывают, пока их дёшево исправить.

Антипаттерны и ловушки

  • План на полке. Документ считается подготовкой, а никто его не пробовал. Вместо этого сообщайте дату и результат последнего практического испытания рядом с каждой целью.
  • Успех резервного копирования как успех восстановления. Задания сообщают зелёное, а данные нельзя восстановить. Вместо этого регулярно испытывайте восстановления и проверяйте данные, прежде чем засчитывать успех.
  • Отрепетированный театр. Учение написано по сценарию и ведётся авторами плана. Вместо этого добавляйте неожиданность постепенно.
  • Одна цель на всё. У каждой услуги RTO в четыре часа, потому что так сказал шаблон. Вместо этого разбейте услуги на уровни по анализу влияния на бизнес и задайте подходящие цели.
  • Находки, которые никогда не закрываются. Отчёт об учении перечисляет разрывы, а бэклог их никогда не видит. Вместо этого дайте каждой находке владельца и срок и проверяйте закрытие повторным испытанием.
  • Наказание за неудавшееся испытание. Команда, которую винят за пропущенный RTO, перестанет проводить трудные испытания. Вместо этого заранее договоритесь, что неудавшееся учение с хорошими находками есть хороший исход, и пересматривайте его без поиска виновных.
  • Устаревшие планы после быстрых изменений. Календарь управляет пересмотром, а архитектурные изменения проскальзывают. Вместо этого свяжите пересмотр плана с записями о существенных изменениях и измеряйте актуальность плана относительно них.

Модель зрелости

Измерение Инициирование Развитие Стандартизация Управление Оркестрация
Цели и уровни RTO и RPO не записаны или скопированы из шаблона Цели записаны для некоторых ключевых услуг Уровни и цели идут из анализа влияния на бизнес и находятся в реестре услуг Цели пересматриваются относительно продемонстрированных результатов и архитектуры Цели согласуются совместно с бизнесом и поставщиками и корректируются по мере изменения услуг
Испытания и свидетельства Восстановление никогда не испытывалось или испытывалось один раз после инцидента Разовые испытания восстановления некоторыми командами; результаты в личных заметках Интервалы испытаний по уровням с записанными областью, хронологией и результатом Результаты отслеживаются во времени, настольные учения, учения по восстановлению и game days сообщаются отдельно Учения между командами и с поставщиками с неожиданностью, планируемые по риску
Находки и обучение Разрывы замечаются неформально Находки перечисляются после некоторых учений У каждой находки есть владелец, серьёзность и срок Доля закрытия и возраст пересматриваются, повторное испытание подтверждает закрытие Находки питают общие платформы, контракты поставщиков и стандарты проектирования
Актуальность планов Планы написаны один раз Планы обновляются после инцидентов Планы под контролем версий с интервалом пересмотра Пересмотр связан с существенными изменениями и измеряется Планы и ранбуки испытываются как код и по возможности генерируются из определения услуги

Контрольный список

  • У каждой услуги уровня 1 есть письменные RTO и RPO, пришедшие из анализа влияния на бизнес.
  • Реестр услуг показывает уровень, цели и интервал испытаний каждой услуги.
  • Часы RTO и RPO, проверка здоровья и исключения записаны (см. тему 1.5, Источники данных и инструментирование).
  • Практические испытания восстановления, настольные учения и game days сообщаются как отдельные типы.
  • Каждое испытание восстановления записывает размер данных, сценарий, уровень неожиданности и замеренные время восстановления и потерю данных.
  • Восстановления из резервных копий испытываются автоматически, и проверка данных решает об успехе.
  • У каждой находки учения есть владелец, серьёзность, срок и место в бэклоге.
  • Пересмотр плана связан с записями о существенных изменениях, а самый старый непересмотренный план виден.
  • Карта зависимостей включает общие услуги, и хотя бы один сценарий убирает одну из них.
  • У каждой метрики этой темы есть названное ограждение и владелец в реестре метрик (см. тему 1.4, Управление метриками и ответственность за них).
  • Дежурство по учениям вращается, а затраченное время считается операционной нагрузкой.

Промпты для ИИ

Спроектируйте испытание восстановления и сопутствующие меры.

I want to test recovery of [service name], a [tier] service with a stated RTO of
[RTO] and RPO of [RPO]. Its main components are [list: data stores, queues,
compute, shared services] and its suppliers are [list]. Draft a test plan with a
realistic scenario, the event that starts the clock, the health check that stops
it, how to measure data loss against the RPO, the data size to use, what to
record, and the safeguards to prevent harm to production. Do not invent
benchmark times or claim that any objective is achievable. List your assumptions
and the questions I should answer to finish the plan.

Проверьте отчёты об учениях на льстивые свидетельства.

Here are summaries of our last [number] recovery exercises: [paste for each:
type, date, scope, data size, restore time, data loss, findings count]. Our
objectives are [RTO and RPO per tier]. Identify where the reported results
could overstate real recovery capability, such as small datasets, scripted
scenarios, tabletop-only coverage, or loose health checks. Suggest what extra
information to record and which guardrail metrics to pair with each result. Do
not invent benchmark values or assume facts I have not given. List your
assumptions.

Превратите заметки game day в находки и элементы бэклога.

Here are the raw notes from a game day on [service]: [paste notes and
timeline]. Extract each gap between the plan and what happened as a separate
finding with a short title, a description, a suggested severity using this scale
[severity scale], a candidate owner role (not a named person), and how we could
verify the fix. Group findings that may share a root cause. Do not invent events
that are not in the notes. List your assumptions and anything that needs
clarifying.

Проверьте актуальность плана относительно недавних изменений.

Here is the continuity plan for [service] last reviewed on [date]: [paste plan
or outline]. These are the material changes since then: [list changes to
architecture, data stores, dependencies, suppliers, and tooling]. Identify
steps, contacts, tools, and dependencies in the plan that the changes may have
made wrong, and list questions a reviewer should ask. Do not invent details
about our systems. List your assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему, определяющую метрику непрерывности, восстановления или учений, и ограждение, которое нужно с ней парить.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что отредактированная метрика непрерывности указывает свои часы, исключения и вектор манипуляции.

Главные выводы

  • Цель восстановления есть обещание, и только замеренное реалистичное учение показывает, можно ли его сдержать.
  • Сообщайте последний продемонстрированный результат и его возраст рядом с каждым RTO и RPO и показывайте каждое учение отдельной строкой.
  • Испытывайте восстановления, а не резервные копии: восстановление засчитывается, только когда данные проверены как пригодные.
  • Продукт учения есть закрытый список находок, поэтому отслеживайте их возраст и подтверждайте закрытие повторным испытанием.
  • Держите планы под контролем версий и привязывайте их пересмотр к существенным изменениям, а не только к календарю.
  • Измеряйте услуги и планы, никогда людей, и делайте неудавшееся учение с хорошими находками безопасным и уважаемым результатом.

Источники и дополнительное чтение

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
  5. ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
  6. Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Планирование непрерывности бизнеса.
  9. Wikipedia, Целевое время восстановления.
  10. Wikipedia, Целевая точка восстановления.
  11. Wikipedia, Анализ влияния на бизнес.
  12. Wikipedia, ISO 22301.
  13. Wikipedia, Резервное копирование.
  14. Wikipedia, Хаос-инженерия.
  15. Wikipedia, Инженерия надёжности сайтов.
  16. Wikipedia, Инфраструктура как код.