概要と動機

可用性は、サービスマネジメントで最も引用される数字であり、最も正確に定義されていない数字の一つです。「先月のサービスは99.9パーセント利用可能だった」という記述は正確に聞こえますが、少なくとも四つの判断を隠しています。何がサービスに数えられたか、何が「利用可能」に数えられたか、どの時間帯が範囲内だったか、どの停止が除外されたか。二つのチームが同じ月の同じサービスを報告し、どちらも算術の誤りを犯していないのに、桁の違う数字を公表することがありえます。

このトピックは、それらの判断を明示します。稼働時間と停止時間の計算、ユーザーで重み付けした可用性、計画済みと計画外の停止、ナインの算術を扱います。サービスレベル指標(SLI)、サービスレベル目標(SLO)、エラーバジェット(トピック 5.2「SLI、SLO、エラーバジェット」を参照)と、サービスレベルの契約上の見方(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)の上に築かれています。それらのトピックは目標の選び方を述べます。このトピックは、目標と比較される数字をどう計算するかを述べます。

このトピックで使う用語

  • 可用性(Availability)は、サービスがユーザーの必要とするときに必要とすることを果たす能力で、通常は期間にわたるパーセンテージとして表されます。一般的な概念は高可用性(high availability)の記事に記述されています。
  • 停止時間(Downtime)は、サービスが利用できない期間です。このトピックは、停止時間の連続した一つのエピソードに停止(outage)を、サービスは動くが合意された品質を下回る期間に劣化(degradation)を使います。
  • 稼働時間(Uptime)は、測定窓の中での停止時間の補数です。時間ベースの可用性は、稼働時間を範囲内の総時間で割ったものです。
  • リクエストベースの可用性は、成功した有効なリクエストの割合なので、1時間にわたってリクエストの5パーセントに影響する失敗は、丸1時間の停止ではなく、1時間のトラフィックの5パーセントとして数えられます。
  • ユーザー重み付けの可用性は、リクエストベースの見方を、影響を受けたユーザーの数や重要性で失敗を重み付けして拡張したもので、たとえば生のリクエストの代わりに失敗したセッションや失敗した旅路を数えます。
  • サービスレベル合意(SLA)は顧客へのコミットメントであり、サービスレベル目標(SLO)は指標に対する社内の目標です。サービスレベル合意(service level agreement)とサービスレベル目標(service level objective)の記事が一般的な定義を与えています。
  • 計画済みの停止時間は、事前に告知され、変更実現を通じて承認された停止です。計画外の停止時間はそれ以外のすべてです。両者の境界は、可用性のレポートで最も争われる線の一つです。
  • 平均故障間隔(MTBF:mean time between failures)は、停止の間の平均稼働時間で、平均修復時間(mean time to repair)は復旧の平均時間です。どちらも平均なので、この本では分布として読みます(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • 合成監視(Synthetic monitoring)は、ユーザーのように振る舞い成功か失敗かを報告するスクリプト化されたプローブを使います。実ユーザー監視(Real user monitoring)は、実際のユーザーがサービスを使う際の体験を記録します。
  • ITILは、ITサービスマネジメントで最もよく知られたフレームワークです。ITIL 4では、可用性管理のプラクティスは、サービスが合意された水準の可用性を提供することを保証することに関わり、監視とイベント管理、インシデント管理、サービス継続管理と密接に連携します。

一つの数字だけでは決して十分でない理由

4分の停止が10回と、40分の停止が1回は、同じ停止時間の合計を生みますが、ユーザーにとって感じ方が異なり、異なる対応を要します。最初のパターンは壊れやすいサービスを指します。二つ目は、遅い検出や復旧を指します。そのため、ここのメトリクスは、それぞれに防護柵を持つ小さな集合として提示され、チームが最も多くのナインを競うことなく、可用性を誠実に議論できるようにしています。

ITILとアジャイルの見方の違い

ITILでは、可用性はサービスの管理された属性で、顧客と合意され、明確なサービス時間と計画メンテナンスなどの除外とともに、述べた目標に対してサービスレベル管理によって報告されます。

アジャイルとサイト信頼性エンジニアリング(SRE)の実践では、可用性は複数あるSLIの一つで、SLOと比較されます。Googleの『Site Reliability Engineering』は、時間ベースの可用性は単一のシステムに適し、リクエストの成功率は常に部分的に稼働している分散サービスに適すると述べています。また、追加のナインごとにコストが急に上がるため、100パーセントはほとんど正しい目標ではないとも述べています。

分母を定義するために、合意された範囲、時間、除外というITILの規律を使います。分子を定義し、結果をどうするかを決めるために、ユーザー中心の指標とエラーバジェットというSREの規律を使います。

主要な原則

  • 「利用可能」をユーザー側から定義する。 ユーザーがサインインできないのにヘルスチェックに応答するサービスは、重要な人々にとっては停止している。
  • 分母を書き下す。 何かを計算する前に、サービスの境界、範囲内の時間、タイムゾーン、測定の窓を述べる。
  • 計画済みと計画外の停止を別々に数える。 両方を一緒に報告し、一方が他方に隠れることを決して許さない。
  • 分散サービスには、リクエストベースとユーザー重み付けの測定値を優先する。 部分的な失敗は、完全な稼働でも完全な停止でもない。
  • ナインを分に換算する。 目標は、月あたり何分の失敗を許容するか人々が言えて初めて理解される。
  • ユーザーが必要とするナインの数を選ぶ。 その点を超えると、追加のナインは、返すより多くのコストがかかる。
  • サービスを記述し、人は決して記述しない。 可用性はサービスとそれを運営するチームに属し、個人のスコアでは決してない。

メトリクスの定義

各行は、その時計と境界を述べています。行が別に述べない限り、暦の時間を使います。測定値が分布を使う場合は、中央値と95パーセンタイルを報告し、窓に名前を付けます。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
時間ベースの可用性 範囲内の時間のうち、サービスが「稼働中」の書面の定義を満たした割合 (窓の範囲内の分 − 計画外の停止時間の分)÷ 窓の範囲内の分。時計は、のちにユーザーへの影響として確認された最初の失敗したプローブ、またはインシデントレビューに記録された確認済みの影響の開始で始まり、サービスが再び定義を満たしたときに止まる。合意されたサービス時間内の計画済みの停止時間は別に示し、合意されたサービス時間外の時間は分母から除く パーセント 合成監視の結果。影響の開始と復旧のタイムスタンプを持つインシデントのレコード 可用性管理、サービスレベル管理 単一のシステムの時間ベースのSLI(トピック 5.2「SLI、SLO、エラーバジェット」を参照) 毎月
リクエストベースの可用性 有効なリクエストのうち成功したものの割合 窓内の成功した有効なリクエスト ÷ 有効なリクエストの総数。有効なリクエストは、不正な形式のリクエストと呼び出し側が原因のクライアントエラーを除く。タイムアウトを含む、サービスが原因の失敗は失敗として数える。サービスごと、ユーザーの旅路ごとに報告する パーセント ロードバランサー、ゲートウェイ、またはアプリケーションのログとメトリクス 可用性管理、監視とイベント管理 SLOとエラーバジェットを伴う成功率のSLI(トピック 5.2「SLI、SLO、エラーバジェット」を参照) 毎日の傾向、毎月のレポート
ユーザー重み付けの可用性 影響を受けたユーザーや旅路で重み付けした可用性。ピーク時の停止は、夜間のものより重く数えられる 1 −(窓内の失敗したユーザーセッションまたは失敗した旅路 ÷ ユーザーセッションまたは旅路の総数)。定義された重要なステップが失敗した場合、セッションは失敗として数える。部分的な成功は、取り込まず、別の劣化の割合として報告する パーセント 実ユーザー監視、アプリケーションのセッションログ、アナリティクスのイベント 可用性管理、サービスレベル管理 トピック6の旅路ベースのSLIと体験の測定値(トピック 6.2「体験レベル合意」を参照) 毎月
計画外の停止時間 事前に承認された告知なしに、サービスが利用できなかった分数 変更実現を通じて開始前に告知され承認されなかった停止について、確認された影響の開始から確認された復旧までの、窓内の停止期間の合計。同じサービスで重なる停止は、合計せず統合する。合計の分、停止の件数、停止期間の中央値と95パーセンタイルとして報告する 分 影響の開始と復旧のタイムスタンプを持つインシデントのレコード インシデント管理、可用性管理 分布として読む復旧時間(トピック 3.3「インシデントの対応時間と解決時間」を参照) 毎月
計画済みの停止時間の割合 すべての停止時間のうち、事前に告知され承認された割合 窓内の計画済みの停止時間の分 ÷(計画済みと計画外の停止時間の分の合計)。停止が計画済みと数えられるのは、開始前に変更レコードを通じて承認され、その開始と終了の時刻がユーザーに伝えられた場合のみ。承認された窓を超える超過は、窓が終わった瞬間から計画外として再分類する パーセント 承認された窓を持つ変更レコード、インシデントのレコード、ステータスページの履歴 変更実現、可用性管理 ゼロダウンタイムのデプロイを好むリリースとメンテナンスの実践(トピック 4.3「変更実現のメトリクス」を参照) 毎月
停止の頻度と間隔 停止がどのくらいの頻度で始まり、その間にサービスがどのくらい稼働し続けるか 窓内に始まった停止の数。そして連続する各二つの停止について、最初の復旧から二つ目の開始までの稼働の分を、中央値と5パーセンタイルとして要約する。間隔が10未満のときは、単一の平均として報告しない 件数、分 インシデントのレコード、監視の履歴 インシデント管理、問題管理 変更失敗率と並ぶ安定性のシグナル(トピック 4.4「変更の失敗と手戻り」を参照) 毎月
劣化の割合 サービスは動いたが、合意された品質を下回った時間 レイテンシ、エラー、または正しさの指標が閾値を破った分のうち、すでに停止時間として数えた分を除いたもの ÷ 範囲内の分。閾値はサービスごとに、たとえばSLOに述べる パーセント 監視とSLIの測定 可用性管理、キャパシティとパフォーマンス管理 レイテンシのSLI(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照) 毎月
測定の網羅率 可用性の測定が、サービスのユーザー向けの振る舞いのどれだけを実際に観察しているか 稼働中のプローブまたは実ユーザー測定を持つ重要なユーザーの旅路 ÷ サービスの定義に列挙された重要なユーザーの旅路 パーセント サービスの定義、監視の設定 監視とイベント管理、可用性管理 オブザーバビリティの網羅率とアラートの品質(トピック 5.5「監視とアラート品質のメトリクス」を参照) 四半期ごと

データについての二つの注記です。5分ごとに確認するプローブは、2分の停止を分解できないので、数字の隣にプローブの間隔を記録し、インシデントのレコードの影響の開始の欄を使います(トピック 1.5「データソースと計装」を参照)。「稼働中」の定義が変わるたびに、傾向のグラフに印を付けます。

推奨事項

測定を定義する

1. パーセンテージの前に、サービスの定義を書く。 サービスの境界、重要なユーザーの旅路、範囲内の時間、タイムゾーン、窓(暦の月が通常)を列挙します。どの依存関係が数えられるかを述べます。決済プロバイダーが失敗してユーザーが支払えないなら、それはあなたの停止か。答えをメトリクス台帳に記録します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。可用性についての争いのほとんどは、このページについての争いで、停止の後ではなく事前に決着させるほうがはるかに安上がりです。

2. 「稼働中」を、サーバーの状態ではなく、ユーザーの成果として定義する。 サインインが壊れているのに成功を返すヘルスチェックは、間違ったものを測っています。「検索してアイテムを見る」「サインインする」「請求を提出する」のような少数の重要な旅路を選び、それぞれの成功をユーザーが認識する言葉で定義します。旅路をエンドツーエンドでプローブし、合意された閾値を超える遅い応答は、稼働中ではなく劣化として扱います。

3. 分散サービスにはリクエストベースの測定値を、サービスが本当にオンかオフかのときには時間ベースの測定値を使う。 グローバルなサービスが完全に停止することはまれなので、完全な失敗の分を数えると、実際の失敗のほとんどを無視します。可能なら両方を報告し、どちらが見出しで、なぜかを述べます。

4. 負荷が不均一なところにはユーザー重み付けを加える。 午前4時の10分の停止と、取引日の始まりの停止は、同じ継続時間でもコストが大きく異なります。失敗した分のセッションや取引で重み付けするか、ピーク時間帯の停止の分を別の数字として報告します。

5. 失敗のドメインの外から測る。 サービスと同じネットワークやリージョンの内側にあるプローブは、サービスとともに失敗するか、ユーザーが通る経路が壊れているのに成功を報告し続けます。合成プローブを少なくとも二つの独立した場所から実行し、実ユーザーのデータと照らして確認します。

計画済みと計画外の停止を誠実に扱う

6. 計画済みと計画外の停止時間を並べて報告する。 多くの合意は、計画メンテナンスを除外し、それは合理的です。ユーザーは依然としてそれを停止時間として体験するので、除外された分と計画済みの割合を見出しの隣に示します(トピック 4.3「変更実現のメトリクス」を参照)。

7. 計画済みというラベルを、得にくいものにする。 計画済みを、停止が始まる前に変更レコードを通じて承認され、開始と終了の時刻が事前にユーザーに伝えられたものと定義します。始まった後に告知された停止は計画外です。承認された窓を超える超過は、窓が終わった瞬間から計画外です。これら三つの規則が、ラベルが失敗の付け替えの手段になるのを防ぎます。

8. 計画済みの停止時間を縮める努力をする。 ローリングデプロイ、フィーチャーフラグ、ロックを伴わないスキーマ移行、ブルーグリーンのリリースにより、チームはサービスを止めずに変更できます。計画済みの停止時間の分を傾向として追跡し、それをゼロに近づけるには何が必要かを問います。

数字をうまく読む

9. ナインを分に換算して示す。 下の表は、30日の月(43,200分)と365日の年(525,600分)の算術を与えます。許容される分を、目標の隣のダッシュボードに置き、窓でこれまでに使った分を示します。人々は、「スリーナイン」よりも「月43分」について、より良い判断を下します。

可用性の目標 30日の月に許容される停止時間 365日の年に許容される停止時間
99パーセント 432分(7.2時間) 5,256分(87.6時間)
99.5パーセント 216分(3.6時間) 2,628分(43.8時間)
99.9パーセント 43.2分 525.6分(8.76時間)
99.95パーセント 21.6分 262.8分(4.38時間)
99.99パーセント 4.32分 52.56分
99.999パーセント 約26秒 約5.26分

値は、窓全体にわたって時計が動くことを前提にしています。合意されたサービス時間だけを測るなら、許容される分はそれに比例して縮むので、そう述べてください。

10. 追加のナインごとのコストと、依存関係の限界を尊重する。 SREの本は、信頼性のコストが追加のナインごとに急に上がること、目標はユーザーが必要とするものと事業が支払うものを反映すべきであることを述べています。サービスは、直列に必要とする依存関係より可用性が高くなることはまれです。三つの不可欠なコンポーネントがそれぞれ99.9パーセントを達成し、リクエストが三つすべてを必要とするなら、独立な場合には失敗の確率が足し合わされるため、組み合わせで期待できる最良の可用性はおおよそ99.7パーセントです。数字を約束する前に、掛け算をしてください。

11. 合計だけでなく、間隔と形を見る。 頻繁な短い停止は、まれな長い停止とは異なる対応を要します。長い停止を、検出と復旧(トピック 3.3「インシデントの対応時間と解決時間」を参照)と重大インシデントの見方(トピック 3.4「重大インシデントのメトリクス」を参照)に結び付けます。

12. エラーバジェットと問題レコードで、輪を閉じる。 可用性の目標は、チームの行動を変えるときに有用です。許容される停止時間の月次のバジェットがほぼ使い果たされたら、エラーバジェットのポリシーに述べられているように、リスクのある変更を遅くし、労力を信頼性の仕事に移します(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。同じ原因が再発するときは、問題レコードを開き、修正まで追跡します(トピック 4.1「問題管理のメトリクス」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
時間ベースの可用性 実際の旅路が失敗している間も稼働し続ける些細なページをプローブする、短い停止がチェックの間に落ちるようプローブの間隔を延ばす、範囲内の時間を縮める、停止を劣化として数える ユーザー重み付けの可用性と実ユーザー監視。数字の隣に述べるプローブの間隔。監視の記録に照らしたインシデントの抽出
リクエストベースの可用性 失敗を薄めるために、簡単なリクエスト(ヘルスチェック、キャッシュされた資産)を分母に数える、サーバーエラーをクライアントエラーとして分類する、ユーザーが失敗として体験した再試行を除外する リクエストごとではなく、重要な旅路ごとの成功率。除外の一覧のレビュー。ユーザーが報告したインシデントとの比較
ユーザー重み付けの可用性 ピーク時の失敗がほとんど重要でなくなるよう重み付けを選ぶ、壊れたステップがなお合格するほど緩く「成功した」セッションを定義する 重み付けの規則と旅路の一覧を公開する。停止中の苦情の量とサポートへの問い合わせとの比較
計画外の停止時間 後から停止を計画済みに再分類する、確認された影響の開始を遅らせる、短く見せるために一つの停止を二つに分ける 開始後に告知された停止は計画外という規則を伴う、計画済みの停止時間の割合。影響の開始を監視データと比較する
計画済みの停止時間の割合 超過や失敗が計画済みとして数えられるよう、変更を承認された窓として予約する、不要なメンテナンスを予定して計画済みの割合を水増しする 計画外として再分類される超過の分。変更失敗率と緊急変更の割合(トピック 4.4「変更の失敗と手戻り」を参照)
停止の頻度と間隔 件数を低く保つために、インシデントを統合する、あるいは長い間隔の後にのみ新しいインシデントを開く、短い停止が記録されないようアラートを抑制する 生の監視イベントに照らしたアラートとインシデントの抽出。監視の網羅率とアラートの品質(トピック 5.5「監視とアラート品質のメトリクス」を参照)
劣化の割合 遅いサービスが決して破らないほど緩い閾値を設定する、劣化した時間を稼働中と宣言する 数字の隣でレビューするレイテンシのパーセンタイルとユーザーが報告した遅さ(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)
測定の網羅率 網羅率が100パーセントと読めるよう、プローブしやすい旅路だけを列挙する、決して実行されないプローブでカバーされているとして旅路を数える サービスオーナーとユーザーと合意した旅路の一覧。四半期ごとに抽出するプローブの実行履歴

健全な読みは、チームが説明できる理由で動く数字を示し、計画済みと計画外の停止時間の両方が見え、ユーザー重み付けの数字が見出しに近いものです。苦情を伴う完璧な月には疑いを持ってください。時折の誠実な落ち込みは、記録の仕組みが機能していることを示します。

トレードオフ:長所と短所

手法 強み 弱み
時間ベースの可用性 単純で、広く理解され、契約と比較しやすい 部分的な失敗をすべてか無かとして扱う。いつ、誰がを無視する
リクエストベースの可用性 部分的な失敗を反映する。分散サービスにスケールする 有効なリクエストの確かな定義に依存する。簡単なトラフィックで薄められうる
ユーザー重み付けの可用性 ユーザーが体験したことに近い。ピーク時の失敗のコストを示す セッションや旅路のデータが要る。説明により労力がかかる
計画済みの停止時間を除外する 多くの合意に合う。事前の告知を報いる 実際の影響を隠しうる。ラベルの付け替えを招く
エラーバジェット付きの穏当な目標 信頼性とデリバリーの速度のバランスを取る バジェットが使い果たされたときに行動する規律が要る

散文での答えは、サービスに合う最も単純な測定値を選び、負荷が不均一なところにはユーザー重み付けを加え、あらゆる除外を明示することです。皆が理解する少し洗練されていない測定値は、誰も信頼しない洗練されたものよりも多くの良いことをします。

チームで話し合う問い

1. 私たちの最も重要なサービスにとって「利用可能」とは何を意味し、ユーザーは同意するか? 各自に、サービスが稼働中と数えられるためにユーザーができなければならないことを一文で説明してもらいます。答えを、書面の定義とダッシュボードに供給するプローブと比較します。ファシリテーターは、サインイン、検索、支払いがプローブでは動くが実際には失敗するといったギャップに耳を傾けてください。定義が名指ししなければならないユーザーの旅路に合意して終えます。

2. 先四半期の停止のうち、私たちの計算が除外したのはどれで、それは公正だったか? 停止を列挙し、それぞれを計画済み、計画外、除外と印を付けます。誰がいつ、それぞれの判断を下したかを尋ねます。ファシリテーターは、ユーザーならラベルに同意しなかったであろう事例を記録し、規則を引き締めるのに使ってください。

3. 私たちの目標は何分の停止時間を許容し、この窓で何分使ったか? ホワイトボード上で、目標を月と年の分に換算します。これまでに使った分と比較します。バジェットが20パーセントしか残っていなければ、チームが何を違うように行うかを尋ねます。これにより、抽象的な目標が具体的になり、数字がエラーバジェットのポリシーに結び付きます。

4. 私たちの測定は、ユーザーが感じる失敗をどこで見逃しうるか? プローブの場所、間隔、カバーする旅路、依存関係を見ていきます。すべてのプローブを通過しながら、ユーザーにとってサービスを壊す失敗は何かを尋ねます。加える新しいプローブを一つ、あるいは実ユーザーの測定値を一つ合意します。

5. 避けられる停止を計画していないか? 六か月にわたる計画済みの停止時間を見て、それぞれの停止を何が強いたかを尋ねます。ベンダーの要件のように避けられないものもあります。変えられるリリースや移行の方法から来るものもあります。最大の原因を取り除くには何が要るか、誰がその仕事を所有するかを尋ねます。

6. 見出しの数字が完璧に見えるとき、何が私たちにそれを疑わせるか? ダッシュボードと矛盾するシグナルに名前を挙げます。苦情の量、サポートへの問い合わせ、オンコールのチームの記憶。今、それらが存在するかを確認します。ダッシュボードに載せる比較を一つ合意します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、サービスを変更するたびに可用性に影響します。ゼロダウンタイムのデプロイを設計し、影響範囲を限定するためにフィーチャーフラグを使い、エラーバジェットをリリースの判断への入力として扱い、可用性をデプロイの測定値の隣で読めます(トピック 2.8「DORAメトリクス」を参照)。

サービスと運用のチーム

運用チームは、データを生むプローブ、インシデントのレコード、ローテーションを所有します。定義と除外の一覧を最新に保ち、影響の開始を誠実に記録し、実際のインシデントに照らして監視をレビューするべきです。可用性は、サービスとそのローテーションに属し、オンコールの一人のエンジニアには決して属しません(トピック 5.7「トイルとオンコールのメトリクス」を参照)。

リーダーシップとガバナンス

リーダーは、可用性のデータが率直であるかを決めるインセンティブを設定します。「なぜナインを一つ失ったのか?」と問うレビューは、チームに停止を除外の中に隠すことを教えます。チームが何を学んだか、どんな投資が停止を減らすかを尋ね、ユーザーが気づく以上のナインを求めないでください(供給者のコミットメントについては、トピック 8.4「サプライヤーと契約のメトリクス」を参照)。

顧客とユーザー

ユーザーは、来た目的を果たせたかで可用性を判断します。予告されたメンテナンスの窓は、不意打ちよりもはるかによく許容されます。誠実な開始と終了の時刻を載せたステータスページを与え、彼らのフィードバックを数字の隣で読んでください(トピック 6.2「体験レベル合意」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、ストアフロント、チェックアウトサービス、注文追跡サービスを運営しています。この例の数字は例示です。

チェックアウトチームは、月の時間ベースの可用性を99.95パーセントと報告し、これは21.6分の計画外の停止時間を許容します。ダッシュボードは99.96パーセントを示します。カスタマーサポートの責任者は、同じ月に支払いの失敗についてのサポートへの問い合わせが増えたため、不安を感じます。彼女はチームに、測定のレビューを求めます。

チームは三つの問題を見つけます。プローブは、完全な支払いの旅路ではなく、「チェックアウトに到達できる」ページを5分ごとに確認しています。リクエストベースのデータは、二晩にわたり、決済プロバイダーのタイムアウトが、それぞれ約50分間、支払い試行の約4パーセントを失敗させたことを示しますが、ページ自体は読み込まれたため、プローブは気づきませんでした。そして、承認された窓を18分超過したデータベースの移行が、全体が計画メンテナンスとして記録されていました。

チームは四つの変更を行います。完全な支払いの旅路の合成プローブを、二つの場所から1分間隔で加えます。支払いのステップに達したセッションを使って、リクエストベースとユーザー重み付けの数字を加えます。超過した分を計画外として再分類します。そして、計画済みの停止時間の割合と測定の網羅率をレポートに加えます。

修正した基準では、月は時間ベースの可用性99.93パーセント、リクエストベースの可用性99.90パーセント、ユーザー重み付けの可用性99.84パーセントを示します。失敗が夜のピークに落ちたからです。三つすべてが99.95パーセントの目標を外しており、これは居心地が悪いものです。チームとサポートの責任者は、以前の数字は寛大すぎたことに合意します。彼らは修正した定義をメトリクス台帳に書き込み、エラーバジェットのポリシーを発動します。次の月、チェックアウトへのリスクのある変更はバジェットが回復するまで待ち、チームは決済プロバイダーのタイムアウトについて問題レコードを開きます(トピック 4.1「問題管理のメトリクス」を参照)。

彼らが捉える悪用のリスクは、ラベルの付け替えです。あるマネージャーが、目標を守るために、超過を「延長メンテナンス」と呼ぶことを提案しました。超過が計画外になるという規則を伴う計画済みの停止時間の割合が、再分類を見えるようにし、チームは誠実な数字を維持しました。

アジャイル、AI、自動化、アナリティクス

アジャイル

可用性をユーザー側から定義し、サービスが変わるときに、ステークホルダーと定義をレビューします。注意点は、コンポーネントの高いナインの数は、ユーザーが通る旅路についてほとんど語らないことです。

AI

AIコンポーネントは、遅い、誤る、あるいは一部の入力でのみ利用できないというように、穏やかに失敗しうるもので、単純な稼働率はそれを見逃します。正しく適時な答えを持つリクエストの割合のような、品質を調整した見方を加え、ユーザーが報告した問題と組にします。注意点は、劣化したAIの答えを稼働中と数えると、数字を良く見せることです。

自動化

リクエストの結果を実トラフィックと合成プローブから自動で集め、プローブを網羅率で測ります。注意点は、ヘルスページを確認するプローブは、ユーザーがサインインできないときにも稼働中と言いうることです。

アナリティクス

時間ベースとリクエストベースの可用性を劣化の割合とともに報告し、測定の窓を述べます。これが情報を与える判断は、信頼性の仕事がどこでユーザーの助けになるかです。注意点は、まれな停止は年間のパーセンテージを不安定にするため、パーセンテージだけでなく、イベントを示すことです。

業種別の視点

スタートアップ。 小さなチームには、しばしば一つのサービスと少ない監視しかありません。最も重要な旅路への一つのプローブと、「稼働中」の一段落の定義から始めます。控えめな目標を選び、分に換算し、チームがまだ測れないナインを約束するのは避けます。

中小企業。 サービスはホスト型のツールといくつかのカスタムシステムであることが多く、可用性は供給者に依存します。ユーザーに影響する限りで供給者の停止を記録し、供給者が報告するものと比較し、集合を二つか三つの数字に保ちます。

大企業。 多くのサービス、多くのチーム、多くの供給者が、使用中の定義を増やします。許容される変種の短い一覧を伴う、可用性の標準の定義を一つ公開し、メトリクス台帳を最新に保ち、チーム間で比較する前に、計画済みと計画外の規則が同じであることを確認します。サービスは負荷と重要度が異なるため、チームのランキング表よりもサービスレベルのレポートを優先します。

政府・公共部門。 公共サービスには、法定のサービス時間、公表されたコミットメント、正式なクレジットを伴う契約がしばしばあります。書かれたとおりにそれらに対して報告し、その隣にユーザー重み付けの見方を示し、除外について率直であってください(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

主なコストは、サービスの定義と台帳を書く時間、失敗のドメインの外から重要な旅路をプローブする監視、計画済みと計画外の停止時間を分けられるようインシデント、変更、監視のデータを結合する労力です。実ユーザー監視は、ツールとストレージのコストを加えます。ほとんどの組織はすでにデータの一部を所有しているので、最初の投資は通常、定義に向かいます。

見返りは、より良い判断と争いの減少から来ます。ユーザー側から測るチームは、ヘルスチェックが見逃す失敗を見つけ、定義が一つなら合意の管理が容易になり、追加のナインのコストを、ユーザーにとってのその価値と比較できます。便益を、合意のレビューでの驚きの減少のようなパターンとして記述し、見出しとユーザー重み付けの数字の間のギャップのような、自分自身のベースラインを測ってください。他の組織の数字を借りてはいけません。

アンチパターンと落とし穴

  • 分なしでナインを引用する。 誰も許容される停止時間に翻訳できない目標は、判断を導けない。すべての目標の隣に、許容された分と使った分を示す。
  • 旅路ではなくサーバーを測る。 緑のヘルスチェックが、壊れたサインインの隣に座りうる。重要な旅路をエンドツーエンドでプローブし、実ユーザーのデータと比較する。
  • 計画済みのラベルに失敗を吸収させる。 主張しやすい計画済みの区分は、計画外の数字を空にする。停止の前に承認を求め、それを伝え、超過を再分類する。
  • サービスと時間帯にわたって平均する。 混ぜた数字は、重要なサービスと忙しい時間を隠す。サービス別に報告し、ユーザー重み付けの見方を加える。
  • 依存関係が許す以上のナインを約束する。 直列のコンポーネントは、その合成した可用性を超えられない。約束する前に掛け算をし、供給者に測定した数字を尋ねる。
  • 100パーセントを狙いとして扱う。 コストが急に上がり、変更が遅くなる。ユーザーの必要から目標を選び、エラーバジェットを使う。
  • チームや人をナインで順位付けする。 サービスは負荷と重要度が異なり、ランキング表はチームに停止を隠すことを教える。各サービスにそれ自身の傾向を示し、それ自身の目標と比較する。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
定義と時計 「稼働中」は監視ツールが示すものを意味し、停止の時刻は後で見積もられる 一部のサービスで書かれている。プローブとインシデントの時刻が食い違う サービスごとに、旅路、時間、除外、時計の規則を持つ書面の定義が一つある 定義が一定の頻度でレビューされ、変更が記録されてグラフに印される 定義が供給者や顧客と整合し、判断に情報を与えなくなれば見直される
測定の質 手作業のレポートまたは単一のヘルスチェック 一部のサービスにプローブ、一部のログにリクエストのデータ 重要な旅路への外側からのプローブと、標準のソースからのリクエストベースの数字 実ユーザーのデータからのユーザー重み付けの数字。網羅率を追跡し抽出する 測定値がチームと供給者の間で共有され、自動で突き合わされる
計画済みと計画外の扱い 区別なし。メンテナンスはその場限りで数える 一部のチームが計画済みのラベルを使い、規則が異なる 一つの規則:停止の前に承認され伝えられ、超過は再分類される 計画済みの割合を傾向として追い、減らす目標がある ゼロダウンタイムの変更が既定で、計画済みの停止時間はまれで交渉される
判断での利用 苦情の後に報告される 運用が毎月レビューする 目標が分で示される エラーバジェットのポリシーが仕事を変え、資金が付く 可用性、コスト、体験が一緒にトレードオフされる

チェックリスト

  • 各サービスに、重要なユーザーの旅路を名指しした「利用可能」の書面の定義がある。
  • すべての数字について、測定の窓、範囲内の時間、タイムゾーンが述べられている。
  • 除外の一覧が書き下され、レビューされ、見出しの隣に示されている。
  • 計画済みの停止時間には、承認された変更と事前の告知が要り、超過は計画外として数えられる。
  • プローブが、失敗のドメインの外から、述べた間隔で、重要な旅路に対して実行される。
  • リクエストベースまたはユーザー重み付けの数字が、時間ベースの数字の隣にある。
  • 各目標が、現在の窓で許容される分と使った分として示されている。
  • 合計だけでなく、停止の件数と期間のパーセンタイルが報告されている。
  • 目標を約束する前に、依存関係の可用性が掛け合わされている。
  • 定義の変更が記録され、傾向のグラフに印されている。
  • 可用性がサービス別に報告され、人別には決して報告されない。

AIプロンプト

サービスの可用性の定義を起案する。

[ユーザーグループ] が使う [サービスの種類] である [サービス名] の可用性の定義を書いています。重要なユーザーの旅路は [旅路の一覧] です。合意されたサービス時間は [時間とタイムゾーン] です。既知の依存関係は [一覧] です。監視は [プローブ、ログ、実ユーザーのデータ] からなります。

次を網羅した1ページの定義を起案してください:各旅路で何が稼働中に数えられるか、測定の窓、範囲内の時間、除外、計画済みと計画外の停止時間の規則、停止の時計の開始と停止、報告するメトリクス。目標やベンチマークの値を捏造しないでください。前提と、定義を仕上げるために私が答えるべき問いを列挙してください。

目標を許容される停止時間に換算し、検証する。

[サービス名] の目標は、[窓。例:30日の月] にわたって [可用性のパーセンテージ] です。範囲内の時間は [時間] です。不可欠な依存関係とその述べられた、または測定された可用性は [一覧、または「不明」] です。

範囲内の時間を使って、この目標が窓と1年について許容する停止時間を分で計算してください。次に、依存関係が直列に必要で独立に失敗すると仮定して、組み合わせの最良の可用性を見積もり、使った式を説明してください。私の入力が不確かで何も結論できない箇所に印を付けてください。私が与えていない依存関係の可用性の数字を提供しないでください。前提を列挙してください。

分類の問題がないか、ひと月の停止をレビューする。

以下は [月] の [サービス名] の停止のレコードです:[影響の開始、復旧時刻、計画済みまたは計画外のラベル、承認時刻、メモ付きのレコードを貼り付け。個人データは除去]。

各停止について、計画済みまたは計画外のラベルがこの規則に従っているかを確認してください:[規則を貼り付け]。影響の開始が遅く見えるレコード、一つの停止が分割または統合されているように見えるレコード、超過が再分類されるべきだったレコードを特定してください。パターンはサービスと原因別に要約し、人別には決してしないでください。データから判断できなかったことを教えてください。前提を列挙してください。

AIスキル

要点

  • 可用性は、「稼働中」、サービスの境界、時間、除外がユーザー側から書き下されて初めて意味を持つ。
  • リクエストベースとユーザー重み付けの測定値は、完全な失敗の分よりも、分散サービスと不均一な負荷をよく記述する。
  • 計画済みと計画外の停止時間を一緒に報告し、計画済みというラベルを得にくいものにする。
  • すべての目標を分に換算し、ナインの数を約束する前に、直列の依存関係を掛け合わせる。
  • 追加のナインごとに前のものよりコストがかかるので、ユーザーの必要から目標を選び、それに基づいて行動するためにエラーバジェットを使う。
  • サービスとローテーションを記述し、人は決して記述せず、すべての見出しの数字をユーザーの体験に照らして検証する。

参考文献とさらなる読書

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, High availability.
  7. Wikipedia, Downtime.
  8. Wikipedia, Service-level agreement.
  9. Wikipedia, Service-level objective.
  10. Wikipedia, Mean time between failures.
  11. Wikipedia, Mean time to repair.
  12. Wikipedia, Synthetic monitoring.
  13. Wikipedia, Real user monitoring.
  14. Wikipedia, ITIL.