サービス継続のメトリクス
復旧計画は、演習がテストするまでは仮説である。したがって継続性のメトリクスは、棚に置かれた計画の数ではなく、実際に何が復旧したか、どれだけ速く、どれだけのデータが戻ったかを数えるべきである。
概要と動機
ほとんどのインシデントの測定値は、通常の悪い日を記述します。失敗したデプロイ、飽和したデータベース、うるさい隣人。サービス継続は、まれで深刻な日を記述します。リージョンが失敗する、データストアが破損する、供給者が消える、ランサムウェアが環境を暗号化する。事業継続計画(business continuity planning)は、そのような事象を通じて、組織が許容できる水準で提供し続けられるよう準備する規律です。ITIL 4では、このプラクティスはサービス継続管理と呼ばれ、そのより大きな目標のITサービスの見方です(姉妹書Service Management Guideの対応するトピックを参照)。
二つの用語が大部分の重みを担います。目標復旧時間(RTO:recovery time objective)は、中断後にサービスを復旧するまでの許容時間です。目標復旧時点(RPO:recovery point objective)は、期間として表現される許容されるデータ損失の量です。1時間のRPOは、直近1時間の書き込みの損失は許容でき、それ以上は許容できないことを意味します。どちらも事業影響度分析(BIA:business impact analysis)から来ます。これは、どの活動が最も重要か、何が何に依存するか、中断が何にコストをかけるかを特定する方法です。目標は価格を伴う事業上の判断です。より厳しい目標には、より多くの冗長性、より多くの自動化、より多くの演習の時間が要るからです。
難しさは、目標がまだ起きていない将来の出来事についての約束であることです。誠実な証拠はテストです。チームは直近の演習でRTO内にサービスを復旧したか。復旧したデータはRPOを満たしたか。計画のステップは、チームが実際に取ったステップだったか。したがって継続性のメトリクスは、主に演習の測定であり、測定の質は演習がどれだけ現実的だったかに依存します。
アジャイルとサイト信頼性エンジニアリング(SRE)のチームは、これに有用な習慣をもたらします。彼らのシステムは毎週変わるので、一度書かれてファイルされた計画は数か月で古くなります。アジャイルの対応は、復旧をコードとして保ち(たとえばInfrastructure as Codeで)、頻繁にリハーサルし、各リハーサルをバックログアイテムの源として扱うことです。カオスエンジニアリング(chaos engineering)とゲームデーは、同じ考えをより小さな規模で適用します。意図して、制御された形で失敗を引き起こし、何が起きるかを見ます。SREの見方はGoogleの『Site Reliability Engineering』に述べられており、より広い分野はサイト信頼性エンジニアリングの記事に要約されています。
見方の違い
- ITILの見方。 サービス継続管理は、BIAから復旧目標を設定し、計画を設計し、テストでそれを証明するプラクティスです。その成果物は、計画、演習のレポート、記録された所見です。ISO 22301規格は、事業継続マネジメントシステムを記述しています。2026年10月時点で、顧客や規制当局が適合を求める場合は、現行の版を直接確認してください。
- アジャイルの見方。 復旧能力は、完了の定義におけるプロダクトの性質です。データストアを加えるストーリーは、その復旧経路が試されるまで完了ではありません。
- SREの見方。 信頼性の仕事は、予算が付けられ、測定されます。フェイルオーバー、復旧の訓練、ゲームデーは、オーナーのいる予定された仕事であり、所見はバックログに入ります。
このトピックは、七つの測定値を扱います。テストでの時間とデータの目標に対する復旧、演習の網羅率と最近性、バックアップからの復旧、所見のクローズ、計画の最新性です。実際の停止は、重大インシデントのメトリクス(トピック 3.4「重大インシデントのメトリクス」を参照)と可用性のメトリクス(トピック 5.3「可用性のメトリクス」を参照)にあります。ユーザー向けの目標として表現された目標は、指標とバジェットのトピック(トピック 5.2「SLI、SLO、エラーバジェット」を参照)にあります。DORAの研究プログラムの「失敗したデプロイからの復旧時間」は、はるかに小さな時計です(トピック 2.8「DORAメトリクス」を参照)。テストが明らかにする根本原因は、問題と学びのトピックに属します(トピック 4.1「問題管理のメトリクス」とトピック 4.2「ポストモーテムと学習のメトリクス」を参照)。
ティア(tier)は、どれだけ速く復旧しなければならないかでグループ化されたサービスの分類です。机上演習(tabletop exercise)は、システムを変更しない、議論ベースのリハーサルです。ゲームデー(game day)は、チームが失敗を引き起こす、またはシミュレートし、対応を観察する、実践的なリハーサルです。所見(finding)は、計画と実際に起きたことの間の、記録されたギャップです。計画の最新性(plan currency)は、計画が今日のサービスをどれだけ反映しているかです。
主要な原則
- テストして、それから主張する。 RTOまたはRPOが検証されるのは、実際に行われ、時間が測られた復旧によってのみである。目標と、最後に実証された結果を並べて報告する。
- 成功だけでなく、現実性を測る。 数分で合格した空のテストデータベースの復旧は、本番規模の復旧についてほとんど語らない。各演習の範囲と条件を、結果の隣に記録する。
- 環境をティア分けし、ティアに応じて労力を使う。 重要なサービスには、頻繁で現実的なテストを。低ティアのサービスには、より軽い確認を。すべてに対する単一の頻度の目標は、労力を無駄にするか、リスクを見逃す。
- 所見を、演習の成果物として扱う。 ゲームデーの価値ある成果は、クローズされたギャップの一覧である。所見のないテストは、優れているか穏やかすぎるかのどちらかであり、どちらかを見つけるべきである。
- サービスとローテーションを記述し、個人は決して記述しない。 演習の結果はシステムと計画を記述する。誰も、訓練をどれだけ速く復旧したかで順位付けされない。
- 各演習を、独自の行として示す。 サービスあたり年間のテストは少ないので、平均は誤解を招く(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
メトリクスの定義
各メトリクスは、時計または件数、除外されるもの、データソースを挙げています。すべての行は、信頼される前に書面の規則が必要です。以下の「ティア1のサービス」は、自分たち自身のBIAで定義された最高の復旧ティアのサービスを意味します。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| RTO達成率 | 述べたRTO内にサービスが復旧された復旧演習の割合 | 復旧時間 ≦ RTOの演習 ÷ 実施した演習。時計は、宣言された演習の失敗の開始(注入時刻またはシナリオの宣言)で始まり、サービスが実際のまたは合成のユーザーに対する合意された健全性チェックに合格したときに止まる。机上演習と、時間を測った復旧のない演習は、除いて別に数える | パーセント、演習の数とともに | 演習のレポート、監視からのタイムライン、RTOを持つサービス台帳 | サービス継続管理、可用性管理 | ゲームデーの成果、デリバリーのメトリクスの復旧時間 | 演習ごと、四半期ごとに集約 |
| RPO達成率 | データ損失が述べたRPO内にとどまった復旧演習の割合 | 測定したデータ損失の期間 ≦ RPOの演習 ÷ データを復旧した演習。データ損失の期間は、復旧後に存在する最後の書き込みと失敗の瞬間との間の時間。状態を復旧しない演習は除く | パーセント、演習の数とともに | 演習のレポート、復旧したデータと元のデータまたは書き込みログとの比較 | サービス継続管理、情報セキュリティ管理 | 完了の定義の一部としての復旧の訓練 | 演習ごと、四半期ごとに集約 |
| テストされた復旧の網羅率 | 合意されたテスト間隔内に実践的な復旧テストを受けた、ティア1とティア2のサービスの割合 | 間隔内に適格なテストがあるサービス ÷ 範囲内のサービス。適格なテストとは、実践的(机上のみではない)で、テスト環境または本番環境でサービスを復旧するもの。間隔はティアごとに設定する | パーセント、ティア別 | サービス台帳、演習のカレンダーとレポート | サービス継続管理、サービスカタログ管理 | ゲームデーのスケジュール | 毎月 |
| 直近の成功した復旧テストからの日数 | 各重要なサービスの、最も最近の合格した復旧テストの経過期間 | レポート日 − RTOとRPOの両方を満たした最新のテストの日付。失敗したテストは時計をリセットしない。一度もテストされていないサービスは、ゼロではなく「なし」と示す | 日、サービスごと、最も古いものを強調 | 演習のレポート、サービス台帳 | サービス継続管理 | ゲームデーのスケジュール、作業アイテムの年齢 | 毎月 |
| バックアップからの復旧の成功率 | 検証された使えるデータで完了した、バックアップから試みた復旧の割合 | 完了してデータ検証チェックに合格した復旧 ÷ 試みた復旧。自動と手動の復旧テストにわたる。バックアップジョブの成功だけは除く。ジョブが実行されたことは、復旧が機能したことではないからである | パーセント、データのティア別 | バックアップシステムのログ、自動復旧検証の結果 | サービス継続管理、インフラとプラットフォーム管理 | 復旧の訓練、完了の定義の運用可能性の基準 | 自動テストでは毎週、レビューでは毎月 |
| 演習の所見のクローズ率 | 復旧演習の所見のうち、合意された時間内にクローズされたものの割合。重大度別 | 目標内にクローズされた所見 ÷ その期間に期限が来た所見。時計は所見が演習のレポートに記録されたときに始まり、検証された修正で止まる。検証された修正とは、それを確認する再テストまたはレビューを意味する。名前付きのオーナーによってリスクとして受容された所見は別に数える | パーセント、期限超過の所見の件数とともに | 演習のレポート、課題管理 | サービス継続管理、継続的改善 | レトロスペクティブのアクション項目、バックログアイテムの年齢 | 毎月 |
| 計画の最新性 | サービスの最後の重大な変更の後、またはレビュー間隔内にレビューされた、継続計画と手順書の割合 | 最後の重大な変更より後で、かつ間隔内のレビュー日を持つ計画 ÷ 範囲内の計画。重大な変更とは、アーキテクチャ、データストア、依存関係、供給者を変えるとフラグが付けられた変更レコードを意味する | パーセント、最も古いレビューされていない計画の年齢とともに | 計画のリポジトリ(バージョン管理)、変更レコード、サービス台帳 | サービス継続管理、変更実現 | 完了の定義に手順書の更新が含まれる | 四半期ごと |
演習のRTOの時計は、影響で始まる実際の停止の時計とは異なる(トピック 3.4「重大インシデントのメトリクス」を参照)ので、演習は演習と比較してください。厳密に台本のある演習は、リハーサルの速さを測るので、どれだけの驚きを含んでいたかを記録します。
推奨事項
テストできる目標を設定する
1. RTOとRPOを事業影響度分析から導き、サービスの隣に書く。 BIAは、事業に、1時間、1日、1週間の停止が何にコストをかけ、どのデータを失う余裕があるかを尋ねます。答えをサービス台帳に記録し、すべてのテストが述べた目標と比較できるようにします。エンジニアだけで選ばれた目標は、手が届かないか、顧客が必要とするものと無関係であるかのどちらかになりがちです。
2. サービスをティア分けし、ティアごとにテスト間隔を設定する。 おそらく三つか四つの少数のティアは、サービスごとに異なる規則を持つより運用しやすいものです。最上位のティアに最も頻繁で最も現実的なテストを与え、最下位のティアには標本の定期的な復旧のような軽い確認を与えます。間隔を書き下し、BIAが変わったときに見直します。
3. 目標がアーキテクチャに合うことを確認する。 夜間のバックアップで5分のRPOというのは、最悪の瞬間にテストが露呈させる矛盾です。最初の演習の前に、各目標をバックアップ、レプリケーション、フェイルオーバーの設計と比較し、ギャップを所見として記録します。
何かを明らかにする方法でテストする
4. 机上演習、復旧の訓練、ゲームデーを組み合わせる。 机上演習は安価で、役割、連絡先、判断のギャップを見つけます。実践的な復旧の訓練は、手順、権限、データのギャップを見つけます。失敗を引き起こして対応を観察するゲームデーは、監視、手順書、調整のギャップを見つけます。簡単な机上演習の連続が復旧の証明に見えないよう、種類ごとに別々に報告します。
5. 本番規模のデータで復旧の時間を測る。 小さなコピーで機能する復旧は、スループットやストレージの限界のために、実際のボリュームでは失敗しうるものです。完全な規模のテストが頻繁に行うには高コストすぎるなら、定期的に一度実行し、外挿を述べます。結果とともにデータサイズを記録します。
6. 復旧したデータが使えることを検証する。 行数、チェックサム、合成トランザクションのような、復旧後の自動チェックを加えます。そのチェックに合格したときにのみ、復旧を成功として数えます。
7. 段階的に驚きを加える。 初期の演習は告知され、台本があってもかまいません。後の演習は、失敗の詳細を伏せ、期限切れの認証情報や到達できない供給者のような依存関係を含めるべきです。結果が文脈の中で読めるよう、驚きの水準を記録します。
所見を変更に変える
8. すべての所見を、オーナー、重大度、期限とともに記録する。 ゲームデーは一覧を生みます。欠けている権限、ツールにもう合わない手順書のステップ、一度も発火しなかった監視。それぞれを、機能の仕事と同じ可視性でチームのバックログに入れます。未解決の所見の年齢と期限内にクローズされた割合を追跡し、実際的なところでは再テストでクローズを確認します。
9. 所見を問題管理と学びに結び付ける。 演習をまたいで再発する所見は、ITILの意味での問題です(トピック 4.1「問題管理のメトリクス」を参照)。ポストモーテムのように、各演習を非難なしにレビューし、アクションをクローズまで追跡します(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。
計画を生かし続ける
10. 計画と手順書をバージョン管理に置き、変更にリンクする。 変更レコードがアーキテクチャ、データストア、供給者を変えるときは、所有する計画が同じ仕事の中でレビューされることを求めます(トピック 4.3「変更実現のメトリクス」を参照)。計画の最新性を、カレンダーだけでなく、最後の重大な変更に対して測ります。先月の移行を無視する四半期ごとにレビューされる計画は、名前の上でしか最新ではありません。
11. 依存関係のマップを誠実に保つ。 復旧の順序は、アイデンティティ、名前解決、シークレットの保管のような共有サービスに依存します。マップを構成レコードに照らして突き合わせ、演習が明らかにするギャップを直します(トピック 7.4「構成とCMDB品質のメトリクス」を参照)。
12. 供給者を含め、演習の当番を持ち回りにする。 各重要な供給者に、独自のテストの証拠を求め、共同のステップをどう演習するかに合意します(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。演習は時間を消費するので、当番をローテーションで分担し、運用の負荷として数えます(トピック 5.7「トイルとオンコールのメトリクス」を参照)。
悪用の手口と防護柵
継続性の数字は、演習を詳しく見る人が少なく、本当のテストがまれにしか起きないため、良く見せやすいものです。表は、各メトリクスを、悪用される方法と、それを捉える確認と組にします。組み合わせは、トピック1.2に示された形に従います(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| RTO達成率 | 小さなテストデータセット、簡単なシナリオ、リハーサルされた台本を選ぶ、チームが始めた後に時計を遅く始める、「復旧」がより早く届くよう健全性チェックを緩める、すべてのテストが合格するよう寛大なRTOを設定する | 各結果とともに、データサイズ、シナリオの驚き、健全性チェックの定義を記録する。RTOをBIAと比較する。失敗を含め、各演習を独自の行として示す |
| RPO達成率 | すべての状態ではなく、主要なテーブルだけの損失を測る、負荷がかかっていないために同期しているレプリカをテストする、外れた結果の後にRPOを再定義する | 範囲内のすべてのデータストアについて、書き込みログに照らしてデータ損失を検証する。現実的な書き込み負荷の下でテストする。理由付きで目標の変更履歴を保つ |
| テストされた復旧の網羅率 | 机上の議論をテストとして数える、割合を上げるために些細に小さなサービスをテストする、サービスを下位のティアに再分類して範囲内の一覧を縮める | ティア1の数には実践的なテストを要求する。サービスの重要度で重み付けした網羅率を報告する。ティアの変更をBIAに照らして監査する |
| 直近の成功した復旧テストからの日数 | 年齢をリセットするために簡単なテストを再実行する、部分的なテストを合格とラベル付けする、紙のレビューの後に日付をリセットする | 直近の合格したテストの範囲を示す。最も古い年齢と一度もテストされていないサービスを示す。RTOとRPOの両方が満たされていたことを要求する |
| バックアップからの復旧の成功率 | バックアップジョブの成功を復旧の成功として報告する、良いと分かっているバックアップだけをテストする、失敗しえない確認で検証する | 無作為に抽出したバックアップの復旧を追跡する。データ検証の結果を要求する。各監査で確認そのものをレビューする |
| 演習の所見のクローズ率 | 修正なしに所見をクローズする、期限を緩めるために重大度を下げる、一つの所見を多くの簡単なものに分割する、最初から所見をほとんど記録しない | 再テストでクローズを検証する。減る件数はより穏やかな演習を意味しうるため、クローズ率の隣に演習あたりの所見を報告する。重大度の変更をレビューする |
| 計画の最新性 | 計画を読まずにレビュー日を更新する、変更を重大でないとして印を付ける、決して古くならない一般的な文章を計画に詰め込む | 計画を抽出し、書いていない人と一緒に通して確認する。重大な変更のフラグの率を、アーキテクチャの変更履歴と比較する。最新性をテストの結果に結び付ける |
健全な読みは、四半期あたり少数のテストと誠実なばらつきを示します。最初の試行で合格したもの、失敗して繰り返されたものがあり、それぞれの所見がバックログに現れ、述べた時間内にクローズされます。年々続く完璧なスコアは、演習がどれだけ難しいかを問う理由です。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 頻繁な小さな自動復旧テスト | 安価で継続的な証拠。静かなバックアップの失敗を早期に捉える | 調整、人、完全な規模の復旧をテストしない |
| 年次の完全な規模のフェイルオーバー演習 | 現実的。人、供給者、依存関係を一緒に演習する | 高価でまれ。修正後に繰り返しにくい。本番で行うとリスクを伴う |
| 机上演習 | 低コスト。役割と判断のギャップを見つける。訓練に良い | 技術が機能することを証明しない。何も学ばずに実施しやすい |
| 失敗を引き起こす本番のゲームデー | 最高の現実性。監視と手順書をそのままテストする | 成熟した安全策とリーダーシップの支えが要る。不注意に行うと顧客に被害を及ぼしうる |
| ティア分けした目標 | リスクのある場所に労力を使う | ティアの割り当てがずれることがあり、オーナーが必要 |
実際的な答えは、層になったプログラムです。常時の安価な自動復旧の確認、固定の間隔での各ティア1サービスの実践的な訓練、より長い周期でのより大きな演習、判断とコミュニケーションのための机上演習。読み手が証拠のどれだけ最近かを判断できるよう、間隔を述べます。
チームで話し合う問い
1. 最も重要なサービスを最後に復旧したのはいつで、正確には何を証明したか? 日付、データサイズ、シナリオ、結果を尋ね、ボードに書きます。ファシリテーターは判断を控え、主張と証拠の間のギャップに焦点を当ててください。最大のギャップを埋めるテストを一つ合意して終えます。
2. 私たちのRTOとRPOは誰が選び、事業は今日もそれを選ぶか? 各目標を、事業影響度分析または判断までたどります。アーキテクチャが紙の上で目標を満たせるか、満たすコストが述べられたことがあるかを尋ねます。上位のサービスの目標を事業と誰がいつまでに確認するかに合意します。
3. 失敗した演習は評判にどのくらいコストをかけ、それが演習の厳しさを形作っているか? この問いは、演習を穏やかにする圧力を浮かび上がらせます。失敗したテストが、チームの失敗として扱われるのか、演習の成功として扱われるのかを尋ねます。
4. 直近の演習の所見のうち、まだ未解決のものはどれで、なぜか? 年齢とオーナーとともに一覧を読み上げます。期限超過のそれぞれについて、何がブロックしているかを尋ねます。競合する仕事、不明確なオーナーシップ、コスト、あるいはリスクが許容できるという信念。狙いは、オーナーのいない状態にある所見がないことです。
5. 私たちの計画は、もう真でない何を前提にしているか? 計画を一つ選び、書いていない人と一緒に読みます。廃止されたツール、名前の変わったアカウント、去った供給者を探します。サービスが変わるときに計画がどう更新されるか、そうされないときに誰が気づくかを尋ねます。答えを変更プロセスに結び付けます。
6. どの依存関係がすべてを止めるか、それなしでテストしたことはあるか? アイデンティティ、名前解決、シークレット、ページングシステム自体のような共有サービスは、よくある単一障害点です。チームにそれらを挙げてもらい、それぞれが最後に意図して利用不能になったときのことを述べてもらいます。
四つの視点
プロダクトとデリバリーのチーム
プロダクトチームは、復旧を可能にする設計を所有するので、重要なサービスの完了の定義の一部として継続性に出会います。バックアップの経路、復旧の手順、機能する手順書。自分たち自身のリズムの一部として復旧の訓練を実行し、復旧のコードをサービスとともに保管し、失敗した訓練をバックログアイテムとして扱うべきです。
サービスと運用のチーム
運用チームは、ほとんどの演習を実行し、その準備の負荷を負います。演習のカレンダーを保ち、演習が進行する間にタイムラインを記録し、同じ日に所見を書くべきです。結果はサービスと計画を記述し、個人が訓練をどれだけ速く復旧したかで順位付けされることはありません。
リーダーシップとガバナンス
リーダーは、事業とともに目標を設定し、どれだけの復旧に購入する価値があるかを決めます。各目標の隣に、最後に実証された結果、証拠の年齢、未解決の所見を見せるよう求め、まっさらな書類を報いるのは避けるべきです。ガバナンスの組織は、リスク台帳と、該当する場合は規制対象の報告に結び付いた、継続性の小さく安定した測定値の集合を期待するべきです(トピック 8.2「リスクと統制のメトリクス」とトピック 8.5「規制対応・行政向け報告」を参照)。
顧客とユーザー
顧客は、重要になるまで継続性を目にすることはまれで、重要になったときには、結果、つまりどれだけ長くサービスなしにいたか、データが無事だったかで判断します。彼らが理解できる言葉で、何が約束されているかの明確な記述と、インシデントが計画を発動するときの誠実なコミュニケーションから恩恵を受けます。契約に復旧のコミットメントが含まれるところでは、求めに応じて演習の証拠を共有します(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。
実践:サービスマネジメントの例
地域の病院のIT部門が、患者のスケジューリングシステム、医用画像のアーカイブ、スタッフのメッセージングサービスを運営しています。8人のプロダクトチームがスケジューリングを維持し、運用チームがプラットフォームを運営しています。この例の数字はすべて例示です。
部門の台帳には、スケジューリングがティア1で、RTOが2時間、RPOが15分と記載されています。四半期レポートは「RTO達成率:4回の演習で100パーセント」と「テストされた復旧の網羅率:100パーセント」を示しています。新しい運用の責任者が、その数字の背後の演習のレポートを読みます。4回の演習のうち3回は机上演習で、唯一の実践的な復旧は、本番データの約10分の1を保持するデータベースのコピーを使っていました。14か月間、誰もバックアップをクリーンな環境に復旧していませんでした。
チームは、測定とテストの内容を変えることにします。テストされた復旧の網羅率を実践的なテストだけを数えるよう再定義し、三つのティア1サービス全体で33パーセントに下がります。スケジューリングの本番規模の復旧を予定し、行数の自動検証と合成の予約トランザクションを伴います。実行は、2時間のRTOに対して3時間40分かかり、復旧したデータは、15分のRPOに対して失敗の時点から40分遅れでした。移行中にログシッピングが停止され、再開されなかったためです。ゲームデーは9件の所見を生みます。重大度が高が2件、中が5件、低が2件。
ログに記録された決定は、この外れを、その年で最も価値のある結果として扱うことです。チームは、ログシッピングの遅れのアラートを伴ってそれを再開し、復旧を並列化し、データボリュームの一つをより速いストレージに移す仕事を開始します。RTOは2時間のままで、チームはスケジューリングのための文書化された手動のフォールバックを加えます。最初の60日の所見のクローズ率は、9件中7件が期限内で、残り二つは名前付きのオーナーによってリスクとして受容されました。
ここで捉えられた悪用のリスクは微妙でした。誰も数字を偽造していません。机上演習の寛大な計上と小さなテストデータセットが、レポートを緑にしたのです。機能した防護柵は、各結果とともにデータサイズと演習の種類を記録することと、背後の演習のレポートを読む実践でした。次のレポートで、チームは失敗した実行を含め、各演習を独自の行として示します。
アジャイル、AI、自動化、アナリティクス
アジャイル
小さな頻繁な演習で復旧をステークホルダーとともにリハーサルし、それが明らかにするものを直します。注意点は、常に合格する台本のある演習は、偽の安心を与えることです。
AI
AIサービスは、モデル、ベクトルストア、サードパーティのAPIのような新しい依存関係を、復旧計画に加えます。それらをテストされた復旧の網羅率に含め、復旧時間を、復旧後に答えが正しいことの確認と組にします。注意点は、復旧したAIサービスは別のモデルのバージョンで動くか、データを失うかもしれないため、可用性だけでなく振る舞いを検証することです。
自動化
バックアップの検証と復旧テストを自動化し、自動化を失敗した復旧で測ります。注意点は、完了するバックアップは復旧できるバックアップではないため、復旧をテストすることです。
アナリティクス
テストで満たした目標を、直近のテストの日付と、クローズした演習の所見とともに報告します。これが情報を与える判断は、どの復旧が最も実証されていないかです。注意点は、実際の復旧が少ないと標本が小さくなるため、件数を示すことです。
業種別の視点
スタートアップ。 通常、本番環境は一つ、チームは小さく、マネージドのクラウドプロバイダーがあります。最も価値のある測定値は最も単純なものです。毎月、バックアップから本番のデータベースをクリーンな環境に復旧し、時間を測り、結果を検証する。RTOとRPOを1ページに書きます。
中小企業。 ITはしばしばアウトソースされるか、ホスト型サービスの上で一人か二人が運営しています。供給者に、どんな復旧にコミットし、どんな証拠を示せるかを書面で尋ね、四半期に一度、自分たちのデータの復旧を一度テストします。主要なシステムが停止しているときに読める場所に、1ページの計画を保ちます。
大企業。 多くのサービス、多くの供給者、共有のプラットフォームにより、ティア分けと依存関係のマップが不可欠です。目標を持つ中央のサービス台帳、演習のカレンダー、自動復旧の検証、チーム間で結果を比較できる一貫したレポートに投資します。
政府・公共部門。 継続性の義務は、法律、監査、ポリシーから生じることがあり、公共サービスは緊急時にも動き続ける必要があるかもしれません。テストの証拠は外部でレビューされることが多いので、演習のレポート、所見、クローズの記録を、監査人が読める形で保ちます。調達は復旧の取り決めを固定しうるので、契約に演習の権利と証拠を含めます(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
投資の理由は、事業が耐えられるより長く続く深刻な停止のコスト、再現できないデータの喪失、そして備えの証拠を求める顧客、規制当局、保険会社への義務です。継続性の仕事は保険なので、見返りは避けられた損失と意思決定者の確信であり、数字を作らずに数字として表現するのは困難です。観察できるパターンを通じて記述します。述べた復旧時間と実証された復旧時間のギャップ、実際の事象ではなく演習で見つかった重大度の高い所見の数、顧客や監査人の証拠の依頼に答える時間。
コストは三つのグループに分かれます。目標が要求する冗長性とツール、演習を計画し、実行し、レビューする人の時間、計画と依存関係のマップを最新に保つ労力。
総所有コストは、人と、より厳しいティアに支配されます。24時間から2時間のRTOに移ることは設計と請求を変えるので、そのトレードオフを事業と明示します。小さく頻繁な自動テストは、欠陥が直すのが安い間に浮かび上がるため、一回の大きな年次イベントよりコストが低い傾向があります。
アンチパターンと落とし穴
- 棚の上の計画。 文書が備えとして数えられ、誰も試していない。代わりに、すべての目標の隣に、直近の実践的なテストの日付と結果を報告する。
- 復旧の成功としてのバックアップの成功。 ジョブは緑を報告するが、データは復旧できない。代わりに、定期的に復旧をテストし、成功を数える前にデータを検証する。
- リハーサルされた芝居。 演習が台本どおりで、計画の作者が実行する。代わりに、段階的に驚きを加える。
- すべてに一つの目標。 テンプレートがそう言ったので、すべてのサービスに4時間のRTOがある。代わりに、事業影響度分析からサービスをティア分けし、合う目標を設定する。
- 決してクローズされない所見。 演習のレポートはギャップを列挙するが、バックログはそれを見ることがない。代わりに、各所見にオーナーと期限を与え、再テストでクローズを検証する。
- 失敗したテストを罰する。 外れたRTOで非難されるチームは、厳しいテストの実行をやめる。代わりに、良い所見のある失敗した演習は良い成果だと事前に合意し、非難なしにレビューする。
- 速い変化の後の古くなった計画。 カレンダーがレビューを駆動し、アーキテクチャの変更がすり抜ける。代わりに、計画のレビューを重大な変更のレコードに結び付け、それらに対して計画の最新性を測る。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | 協調 |
|---|---|---|---|---|---|
| 目標とティア | RTOとRPOが書かれていないか、テンプレートからコピーされている | 一部の主要サービスに目標が書かれている | ティアと目標が事業影響度分析から来て、サービス台帳にある | 実証された結果とアーキテクチャに照らして目標がレビューされる | 目標が事業や供給者と共同で合意され、サービスが変わるにつれて調整される |
| テストと証拠 | 復旧が一度もテストされていないか、インシデントの後に一度だけテストされた | 一部のチームによるアドホックな復旧テスト。結果は個人のメモに保管 | 記録された範囲、タイムライン、結果を伴うティア別のテスト間隔 | 結果が傾向として追われ、机上演習、訓練、ゲームデーが別々に報告される | 驚きを伴う、リスクから予定されるチーム間と供給者との演習 |
| 所見と学び | ギャップが非公式に気づかれる | 一部の演習の後に所見が列挙される | すべての所見に、オーナー、重大度、期限がある | クローズ率と年齢がレビューされ、再テストがクローズを確認する | 所見が共有のプラットフォーム、供給者の契約、設計基準に供給される |
| 計画の最新性 | 計画は一度書かれたきり | インシデントの後に計画が更新される | バージョン管理にある計画とレビュー間隔 | レビューが重大な変更に結び付いて測定される | 計画と手順書がコードとしてテストされ、可能な限りサービスの定義から生成される |
チェックリスト
- 各ティア1サービスに、事業影響度分析から来た書面のRTOとRPOがある。
- サービス台帳が、各サービスのティア、目標、テスト間隔を示している。
- RTOとRPOの時計、健全性チェック、除外が書き下されている(トピック 1.5「データソースと計装」を参照)。
- 実践的な復旧テスト、机上演習、ゲームデーが別々の種類として報告されている。
- すべての復旧テストが、データサイズ、シナリオ、驚きの水準、測定した復旧時間とデータ損失を記録している。
- バックアップからの復旧が自動でテストされ、データ検証のチェックが成功を決める。
- 各演習の所見に、オーナー、重大度、期限、バックログ内の場所がある。
- 計画のレビューが重大な変更のレコードに結び付き、最も古いレビューされていない計画が見える。
- 依存関係のマップに共有サービスが含まれ、少なくとも一つのシナリオがその一つを取り除く。
- このトピックの各メトリクスに、メトリクス台帳に名前付きの防護柵とオーナーがある(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
- 演習の当番が持ち回りで、かかる時間が運用の負荷として数えられている。
AIプロンプト
復旧テストと、それに伴う測定値を設計する。
RTOが [RTO]、RPOが [RPO] と述べられた、[ティア] のサービスである [サービス名] の復旧をテストしたい。主なコンポーネントは [一覧:データストア、キュー、コンピュート、共有サービス]、供給者は [一覧] です。現実的なシナリオ、時計を始めるイベント、それを止める健全性チェック、RPOに対するデータ損失の測り方、使うデータサイズ、記録するもの、本番への被害を防ぐ安全策を含むテスト計画を起案してください。ベンチマークの時間を捏造したり、どの目標も達成可能だと主張したりしないでください。前提と、計画を仕上げるために私が答えるべき問いを列挙してください。
演習のレポートを、良く見せる証拠についてレビューする。
以下は直近の [数] 回の復旧演習の要約です:[それぞれについて種類、日付、範囲、データサイズ、復旧時間、データ損失、所見の数を貼り付け]。私たちの目標は [ティアごとのRTOとRPO] です。小さなデータセット、台本のあるシナリオ、机上のみの網羅、緩い健全性チェックなど、報告された結果が実際の復旧能力を過大に示しうる箇所を特定してください。記録すべき追加の情報と、各結果と組にする防護柵のメトリクスを提案してください。ベンチマークの値を捏造したり、私が与えていない事実を仮定したりしないでください。前提を列挙してください。
ゲームデーのメモを所見とバックログアイテムに変える。
以下は [サービス] のゲームデーの生のメモです:[メモとタイムラインを貼り付け]。計画と実際に起きたことの間のギャップを、短いタイトル、説明、この尺度 [重大度の尺度] を使った提案の重大度、候補のオーナーの役割(名前付きの人ではなく)、修正をどう検証できるかを備えた、別々の所見として抽出してください。根本原因を共有しうる所見をグループ化してください。メモにない出来事を捏造しないでください。前提と、明確化が必要なことを列挙してください。
最近の変更に対して計画の最新性を確認する。
これは [日付] に最後にレビューされた [サービス] の継続計画です:[計画またはアウトラインを貼り付け]。それ以降の重大な変更は次のとおりです:[アーキテクチャ、データストア、依存関係、供給者、ツールの変更の一覧]。変更によって間違いになりうる、計画内のステップ、連絡先、ツール、依存関係を特定し、レビュー担当者が尋ねるべき問いを列挙してください。私たちのシステムについての詳細を捏造しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:継続性、復旧、演習のメトリクスを定義するトピックと、組にする防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:編集した継続性のメトリクスが、時計、除外、悪用の手口を明記しているかを確認するときに使います。
要点
- 復旧の目標は約束であり、時間を測った現実的な演習だけが、それを守れるかを示す。
- 各RTOとRPOの隣に、最後に実証された結果とその年齢を報告し、すべての演習を独自の行として示す。
- バックアップではなく復旧をテストする。復旧が数えられるのは、データが使えると検証されたときだけである。
- 演習の成果物は、クローズされた所見の一覧なので、その年齢を追跡し、再テストでクローズを確認する。
- 計画をバージョン管理に置き、そのレビューをカレンダーだけでなく重大な変更に結び付ける。
- サービスと計画を測り、人は決して測らず、良い所見のある失敗した演習を、安全で尊重される結果にする。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
- ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
- Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Business continuity planning.
- Wikipedia, Recovery time objective.
- Wikipedia, Recovery point objective.
- Wikipedia, Business impact analysis.
- Wikipedia, ISO 22301.
- Wikipedia, Backup.
- Wikipedia, Chaos engineering.
- Wikipedia, Site reliability engineering.
- Wikipedia, Infrastructure as code.