第2部から第4部は、仕事がどう動くかを見ました。どれだけ速く流れるか、インシデントがどう扱われるか、変更がどう安全に行われるか。この部は、ユーザーが実際に体験する結果に目を向けます。頻繁に出荷しインシデントを素早く解決するサービスでも、遅い、間の悪いときに使えない、予測できない、ということがありえます。ユーザーがサービスを判断するのは、必要なときに動くかどうかであり、チームがどう組織されているかではありません。

ここで二つの伝統が出会います。ITILの実践は長く、プロバイダーと顧客の間の期待を定めるために、サービスレベル合意、目標、レポートを使ってきました。Googleの『Site Reliability Engineering』の書籍に示されたサイト信頼性エンジニアリングの実践は、サービスレベル指標、目標、エラーバジェットを使って、信頼性を変更のペースに対する明示的なエンジニアリングのトレードオフに変えます。両者は両立します。どちらもユーザーが気にすることから始め、測定可能な目標として表現し、目標がどのくらいの頻度で満たされたかの誠実な説明を必要とします。

この部全体を通して、繰り返されるリスクがあります。信頼性の数字は、良く見せるのが簡単です。都合のよい指標を選ぶ、厄介な期間を除く、ユーザーの旅路ではなくコンポーネントを測る。そのため、ここのすべてのトピックは、測定値の時計と境界に名前を付け、時間とレイテンシをパーセンタイル付きの分布として読み(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)、各測定値を防護柵と組にします(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。すべてのメトリクスは、サービス、チーム、システムを記述します。個人に順位を付けるものはなく、特にオンコールの測定値は、人を採点するためではなく、守るために存在します。

四つのレンズは、信頼性に特有の形で当てはまります。継続的デリバリーとエラーバジェットは、リスクを共有された、使える判断にします。AIコンポーネントは、停止するのではなく、遅い、あるいは誤るという形で穏やかに失敗しうるため、AIの経路の可用性には、品質の測定値をその隣に置く必要があります。自動化はテレメトリとアラートを供給し、見逃しと誤警報で自らも測られなければなりません。アナリティクスは、各数字の背後にある窓とイベントの数を示すべきです。

この部のトピック

  • 5.1 SLA、OLA、XLAのメトリクス:サービスレベル合意、運用レベル合意、体験レベル合意の測定値と、ウォーターメロンレポートが緑のダッシュボードの陰にトラブルをどう隠すか、どう避けるか。
  • 5.2 SLI、SLO、エラーバジェット:サービスレベル指標と目標、エラーバジェットのポリシー、バーンレート、ユーザーが気にすることからの指標の選択。
  • 5.3 可用性のメトリクス:稼働時間と停止時間の計算、ユーザーで重み付けした可用性、計画済みと計画外の停止、ナインの算術。
  • 5.4 キャパシティとパフォーマンスのメトリクス:使用率、飽和、レイテンシのパーセンタイル、余裕、需要の予測。
  • 5.5 監視とアラート品質のメトリクス:アラートの量、対処可能なアラートの率、誤検知、検出の網羅率、アラート疲れ。
  • 5.6 サービス継続のメトリクス:テストで満たした復旧時間と復旧時点の目標、テストの頻度、ゲームデーの所見、計画の最新性。
  • 5.7 トイルとオンコールのメトリクス:シフトあたりの呼び出し、時間外の負荷、時間に占めるトイルの割合、持続可能なローテーションの測定値。

これらのトピックの相互関係

最初の三つのトピックは、約束とその測り方を定義するため、この部の中核をなします。トピック5.1(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)は、プロバイダー、社内チーム、顧客の間の合意と、その合意を誠実にも誤解を招くものにもするレポートの実践を扱います。トピック5.2(トピック 5.2「SLI、SLO、エラーバジェット」を参照)は、そのエンジニアリング側の対応を供給します。ユーザー体験から引いた指標、それに対して設定した目標、リスクのために残された余地を見えるようにするエラーバジェット。トピック5.3(トピック 5.3「可用性のメトリクス」を参照)は、両方が依拠する算術を固定し、何が停止時間に数えられ、どのユーザーが影響を受けるかを含みます。

キャパシティとパフォーマンスは、可用性のすぐ後ろに位置します。技術的には稼働していても、飽和している、あるいは遅いサービスは、単純な稼働率の数字が見逃す形でユーザーを失望させます。トピック5.4(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)は、可用性を補うレイテンシのパーセンタイルと余裕の測定値を供給し、その需要予測は、目標が脅かされる前に早期の警告を与えます。

検出と復旧は、ユーザーが失敗のどれだけを体験するかを決めます。トピック5.5(トピック 5.5「監視とアラート品質のメトリクス」を参照)は、チームが問題を素早く、対処する価値のあるシグナルから知るかを問い、それは第3部の検出と復旧の時間に直接結び付きます。トピック5.6(トピック 5.6「サービス継続のメトリクス」を参照)は、より大きな何かがうまくいかないとき、チームが述べた限度内で復旧できるかを問い、その主張を前提とせず、テストします。

トピック5.7(トピック 5.7「トイルとオンコールのメトリクス」を参照)は、残りのための人間の防護柵として働きます。厳しい目標、ノイズの多いアラート、頻繁なインシデントは、すべてポケベルを持つ人々にのしかかります。シフトあたりの呼び出しとトイルの割合は、信頼性が持続不可能な労力で買われているときを明らかにし、第2部の計画外の仕事の測定値に結び戻ります。トピック5.5のアラート品質とトピック5.7のオンコールの負荷は、一対として読むべきです。貧弱なアラートは、重いローテーションのよくある原因だからです。

最後に、トピック5.2のエラーバジェットは、この部を第4部の変更に結び付けます。バジェットが健全なとき、チームはより自由にリリースできます。使い果たされたときは、変更と信頼性の仕事のバランスを取り直すべきです。第6部はそのうえで、この部の目標を満たしたことがユーザーをより良い状態にしたかを確認します。それは、緑のレポートだけでは答えられない問いです。