概要と動機

どのサービスにも、誰かが測っていようといまいと、すでに信頼性の水準があります。誰もそれを述べなければ、ユーザーはある水準を想定し、プロダクトチームは別の水準を想定し、運用チームは第三の水準を守ります。その違いは、障害の間に発覚します。このトピックは、サイト信頼性エンジニアリング(SRE:site reliability engineering)がそのギャップを埋めるために使う、三つの連結した考え方を扱います。サービスレベル指標、サービスレベル目標、エラーバジェットです。

サービスレベル指標(SLI:service level indicator)は、ユーザーが体験するサービスの一つの側面の測定です。典型的な側面は、リクエストが成功したか、どのくらいかかったか、返されたデータが新しかったか、正しかったかです。良いSLIは、定義された窓にわたる、有効なイベントの数に対する良いイベントの数という比として表されます。サービスレベル目標(SLO:service level objective)は、その比に対する期間の目標で、たとえば「ローリング28日間にわたって、有効なチェックアウトのリクエストの99.9パーセントが成功する」です。エラーバジェット(error budget)は、目標が失敗を許容するもの、つまり100パーセントからSLOを引いたものです。99.9パーセントでは、バジェットは有効なイベントの0.1パーセントです。

エラーバジェットは対話を変えます。サービスがバジェットをほとんど使っていないなら、チームにはより速くリリースし、リスクのある変更を試し、実験を行う余地があります。バジェットがほぼ尽きているなら、同じチームは機能の仕事を遅くし、バジェットが回復するまで信頼性に労力を費やします。判断は事前に合意された数字から来るので、会議で誰が最も上級か、最も説得力があるかに依存しません。

バーンレート(burn rate)は、ちょうど窓の終わりまでにすべてを使い切る速度に対する、バジェットが使われている速さです。バーンレート1は、バジェットがちょうど窓の終わりに尽きることを意味します。バーンレート10は、窓の10分の1で尽きることを意味します。バーンレートは、SLOからアラートへの橋で、問題が目標に何を払わせるかという観点で、どれだけ緊急かを語るからです。

アジャイルとITILの見方がここで出会い、関連する考え方に異なる語彙を使います。ITIL 4では、サービスレベル管理は、サービスレベルを設定し、測定し、報告するプラクティスであり、サービスレベル合意(SLA:service level agreement)は、プロバイダーと顧客の間の文書化された合意です(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。SLOは社内の目標で、通常SLAより厳しく、サービスを運営するチームが所有します。SLAはクレジットや違約金のような結果を伴います。SLOは判断の規則を伴います。自分たちのサービスを所有するアジャイルのチーム(「作った者が運用する」)は、SLOを使って、信頼性のコストを機能と同じバックログで見えるようにします。ITILのプラクティスに従うチームは、SLIを顧客が必要と言うことの測定可能な形として、SLOをSLAを守る作業上の目標として扱えます。

可用性(Availability)は最もなじみのあるSLIで、別の場所で詳しく扱います(トピック 5.3「可用性のメトリクス」を参照)。レイテンシ、正しさ、鮮度、スループットも候補です。技術は、集めやすいものからではなく、ユーザーが気にすることから指標を選ぶことにあります。サーバーのCPU使用率は集めやすく、顧客が支払えたかについてはほとんど語りません。支払いリクエストのうち2秒以内に完了した割合は、多くを語ります。レイテンシについては、平均ではなくパーセンタイル(percentile)を報告します。平均は、ユーザーが気づく遅い裾を隠すからです(トピック 1.6「サービスメトリクスのための統計リテラシー」とトピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)。

主要な原則

  • サーバーではなく、ユーザーから始める。 「私の支払いが通った」のような、人が認識できる体験を記述する指標を選び、そこから逆算して何を測るかを決める。
  • 100パーセント未満の目標は、判断であって、敗北の承認ではない。 完全な信頼性は達成できず、費用もまかなえず、ユーザーは通常、ある点を超えると違いを見分けられない。バジェットが、そのトレードオフを明示する。
  • 目標を、それに依存する人々と設定する。 SLOは、プロダクト、運用、顧客の間の交渉された合意であり、一つのチームだけで選ぶ数字ではない。
  • バジェットが尽きる前に、結果に合意する。 穏やかな週に書かれたエラーバジェットのポリシーは、ストレスの多い週にも守られる。障害の間に作られたポリシーは、争いの対象になる。
  • 一つ一つの揺らぎではなく、バーンでアラートを出す。 バジェットが目標を脅かすほど速く消費されているときだけ人を呼び出し、より遅いバーンはチケットに回す。
  • SLOはサービスを記述し、人は決して記述しない。 バジェットはサービスとそのチームに属する。エンジニアのスコアでは決してない。

メトリクスの定義

以下のメトリクスは、サービスのSLOの仕組みを記述します。最初の四つが実践の中核で、最後の二つは実践そのものの健全さを記述します。すべての時計と境界は、計算式の欄に述べています。「有効なイベント」とは、SLOの文書で合意された除外の後に、SLIに数えられるイベントです。たとえばチーム自身の負荷テストからのリクエストは除外されます。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
SLI達成率 一つのサービスの一つの指標について、有効なイベントのうち良かったものの割合 報告期間の開始から終了までの窓について、良いイベント ÷ 有効なイベント。SLOの文書で除外されたイベント(負荷テスト、SLOがそう定める場合は事前に告知された計画メンテナンス)は、分子と分母の両方から取り除く パーセント ロードバランサー、アプリケーション、合成プローブのテレメトリ。監視またはオブザーバビリティの基盤 サービスレベル管理、監視とイベント管理 運用可能性の完了の定義、サービスの健全性のステークホルダーレビュー 継続的、毎日と窓ごとに報告
SLOの遵守 SLIが、SLOの窓にわたって目標を満たしたか、直近の何窓でか 直近12か月で、SLI達成率が目標以上だった窓 ÷ 評価された窓。まだ開いている窓は除く 窓のパーセント SLI達成率の履歴 サービスレベル管理、継続的改善 信頼性についてのチームの目標または作業合意 毎月、四半期ごとの傾向
残りのエラーバジェット 現在の窓でまだ使われていないバジェットの部分 1 − (これまでの悪いイベント ÷ 窓全体で許容される悪いイベント)。許容される悪いイベント = (1 − SLO)× 窓全体の期待される有効なイベント。時計は窓の開始で始まり、窓の終了で止まる バジェットのパーセント SLI達成率と量の予測 サービスレベル管理、リスク管理 リリース準備の確認、計画された仕事への入力 毎日、毎週レビュー
バーンレート 均等に使う速度に対する、バジェットが使われている速さ (振り返り期間にわたる悪いイベント ÷ 有効なイベント)÷(1 − SLO)。振り返り期間は、たとえば1時間または6時間と述べる 比(1はちょうどバジェット通り) 細かい時間解像度のSLIテレメトリ 監視とイベント管理、インシデント管理 オンコールのアラート規則、スウォーミングの引き金 継続的、アラート規則で評価
バジェットポリシーの順守 エラーバジェットのポリシーの引き金に達したとき、合意された結果がどのくらいの頻度で適用されたか その期間に、合意された時間内にポリシーの行動が取られた引き金 ÷ その期間に達した引き金。記録された理由とともに正式に免除された引き金は、取り除かず、別に数える パーセント ポリシー文書、判断ログ、バックログの履歴 サービスレベル管理、変更実現 作業合意、レトロスペクティブのフォロースルー 四半期ごと
SLOの網羅率 現行のSLOと動作するSLIを持つ、重要なユーザーの旅路、または範囲内のサービスの割合 直近7日間にSLIのデータが届いたSLOを少なくとも一つ持つ、範囲内のサービスまたは旅路 ÷ 範囲内のサービスまたは旅路。「範囲内」はサービスカタログ(ITIL用語ではservice catalogue)に列挙される パーセント サービスカタログ、SLOの台帳、監視の設定 サービスカタログ管理、サービスレベル管理 チームのサービスオーナーシップの一覧 四半期ごと

バーンレートの振り返りとSLOの窓は選択です。ローリング28日の窓は、丸ごとの週を覆います。選択をSLOの文書に述べ、安定に保ちます。そうしないと、傾向が誤解を招きます。

推奨事項

ユーザーが気にすることから指標を選ぶ

1. 重要なユーザーの旅路から始める。 サービスが使う価値のあるものであるためにユーザーができなければならないことを、三つから六つ挙げます。たとえばサインイン、検索、支払い、明細のダウンロード。それぞれをユーザー側からの一文で書きます。そしてその文が真であったかを示すSLIを選びます。これにより、SLOは少数に保たれ、誰も読まない技術的な計器のカタログを防げます。

2. 各SLIを、有効なイベントに対する良いイベントとして表現する。 比は説明しやすく、集約しやすく、バジェットに変えやすいものです。「良い」は、ユーザーが受け入れる閾値で定義し、「有効」は、不正利用でブロックされたリクエストのように、合理的に処理できないトラフィックが文書化された形で除外されるように定義します。両方の定義をSLOの文書に書きます。ほとんどの意見の相違が隠れるのは分母だからです。

3. 実際的な範囲で、ユーザーにできるだけ近いところで測る。 サーバー側の成功率が完璧でも、ネットワークやクライアントの問題でサービスが使えなくなりえます。ロードバランサーやエッジで測り、最も重要な旅路には合成プローブやクライアント側の測定を加えます。各測定点にはコストと盲点があるので、各SLIがどれを使うかを記録します(トピック 1.5「データソースと計装」を参照)。

4. レイテンシにはパーセンタイルと閾値を使う。 「検索リクエストの95パーセントが800ミリ秒未満で完了」はSLIです。「平均レイテンシ」はそうではありません。少数の速いリクエストが多くの遅いリクエストを相殺しうるからです。役立つ場合は、中央値と99パーセンタイルのような二つの閾値を使います。遅い裾が、サービスの感じ方を形作るからです(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)。

人が擁護できる目標を設定する

5. 最初のSLOを、現在のパフォーマンスとユーザーの必要から設定し、それから引き締める。 数週間SLIを測り、ユーザーとサポートのスタッフにどの水準に気づくかを尋ね、サービスが今日、いくらかの余裕をもって満たせる目標を設定します。現在のパフォーマンスよりはるかに高く設定された目標は、恒久的な違反となり、人々は見るのをやめます。ユーザーが得ているものよりはるかに低く設定された目標は、品質が気づかれずに低下するのを許します。四半期後に見直します。

6. SLOをSLAより厳しく保ち、両者を分けておく。 顧客との合意が99.5パーセントを約束するなら、チームの目標は99.9パーセントかもしれず、契約上の線を越える前にバジェットが尽きます。SLOとSLAを同じ数字にしてはならず、一方を他方として報告してはなりません。合意は商業的、法的な文書で、目標はエンジニアリングの判断の規則です(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。

7. 依存関係を考慮する。 サービスは、穏やかに劣化しない限り、依存するものより信頼できることはありえません。供給者を含む主要な依存関係を挙げ、その実際のパフォーマンスが自分たちの目標に何を意味するかを問います。

バジェットを判断の道具として運用する

8. 必要になる前に、エラーバジェットのポリシーを書く。 ポリシーは、定義された消費の水準で何が起きるかを述べます。単純な版には三つの段階があります。バジェットが残っている間は通常運用、述べた割合が使われたときはリスクのある変更の追加レビューと信頼性の仕事の優先、使い切られたときはバジェットが回復するまで不要不急の機能リリースの停止。誰が例外を認められるか、どう記録されるかを名指しします。ポリシーが双方に等しく適用されるよう、プロダクトと運用の両方のリーダーが署名するべきです。

9. バジェットを意図して使う。 まったく触れられないバジェットは、目標が厳しすぎる、あるいはチームが慎重すぎることを示唆します。余ったバジェットを、実験、より速いリリースの頻度、カナリアのロールアウト、限られた公開で本番でテストできるフィーチャートグル(feature toggle)に使い、ユーザーの一部しか影響を受けない間に問題を捉えるためカナリアリリース(canary release)を使います。一貫して触れられないバジェットは、目標がユーザーの必要に合っているかを問う促しとして扱います(トピック 4.5「リリースとデプロイのメトリクス」を参照)。

10. 複数のバーンレートでアラートを出す。 1時間以内にバジェットの大きな割合を使うほど高い率のような速いバーンは、人を呼び出します。数日以内にバジェットを使い果たす穏やかな率のような遅いバーンは、勤務時間中のチケットを作ります。二つ以上の振り返りの窓を使うことで、突然の障害と遅い漏れの両方を捉え、バジェットをほとんど使わない短い揺らぎでの呼び出しを減らします。『Site Reliability Workbook』のSLOでのアラートの章がこのパターンを説明しており、閾値は、コピーするのではなく、自分のサービスに合わせて調整すべきです(トピック 5.5「監視とアラート品質のメトリクス」を参照)。

11. インシデント、問題、学びをバジェットに結び付ける。 インシデントの後、その継続時間と影響とともに、どれだけのバジェットを消費したかを記録します。その数字を使って、問題レコードとフォローアップのアクションを優先順位付けします(トピック 4.1「問題管理のメトリクス」とトピック 4.2「ポストモーテムと学習のメトリクス」を参照)。バジェットのコストはまた、重大インシデントのレビューに、非常に異なる失敗を比較する共通の単位を与えます(トピック 3.4「重大インシデントのメトリクス」を参照)。

実践を誠実に、生きたものに保つ

12. 四半期ごとにSLOを現実に照らしてレビューする。 SLOを、サポートへの問い合わせ、苦情、満足度の結果と比較します。SLOが緑なのにユーザーが不満なら、SLIが間違っているか、目標が緩すぎます。SLOが赤なのに誰も不満を言わないなら、目標が厳しすぎるかもしれません。各変更とその理由を記録し、傾向のグラフに変更を示します(トピック 6.2「体験レベル合意」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
SLI達成率 失敗が消えるまで「有効」なイベントを狭める(再試行されたリクエストやエラーのクラス全体を除外するなど)、最も健全なコンポーネントだけを測る、有利な場所からだけプローブする SLIの定義と除外を、変更履歴とともにSLOの文書で公開する。SLIを、サポートへの問い合わせとユーザーの苦情と比較する。除外されたイベントとその量の定期的なレビュー
SLOの遵守 常に合格するほど目標を低く設定する、悪い期間の後に窓の長さを変える、違反をメンテナンス期間として再定義する ユーザーの意見を取り入れて設定し、予定に従ってレビューされる目標。文書で固定された窓。除外の数と窓への計画外の変更を、遵守とともに報告する
残りのエラーバジェット 悪いイベントを除外として再分類する、許容される悪い数が大きく見えるよう期待される量を水増しする、窓を早期にリセットする 窓の終わりの実際の量から計算される許容される悪いイベント。バジェットの隣に示される除外されたイベントの量。事前に固定された窓の日付
バーンレート バーンが決して引き金を引かないようにアラートの閾値を調整する、速いバーンが平均化されて消えるほど長い振り返りを使う 過去のインシデントを使ったアラートの網羅性テスト(「この規則は呼び出したか?」)。対処可能なアラートの率と見逃した検出の数(トピック 5.5「監視とアラート品質のメトリクス」を参照)
バジェットポリシーの順守 例外を日常的に認める、決して届かない引き金のポリシーを書く、形だけの信頼性チケットをポリシーの行動として数える 例外を別に数えてレビューする。その期間の例外の割合。完了した信頼性の仕事(トピック 4.1「問題管理のメトリクス」を参照)
SLOの網羅率 割合を上げるためにすべてのサービスに些細なSLOを加える、データが流れていないのに旅路を網羅済みと数える SLIデータの鮮度の確認(データが直近7日間に届いた)。SLOが副次的なエンドポイントではなく、重要な旅路をカバーしているかのレビュー

健全な読みは、ユーザーの報告に沿うSLI、時に外れ、時に余裕をもって満たされる目標、そして意図して使われるバジェットを示します。ポリシーは引き金に達したときに適用され、例外はまれで記録され、定義のあらゆる変更がグラフに見えます。常にバジェットの100パーセントが残っているサービスや、常に違反しているサービスは、賞賛や非難ではなく、目標についての対話に値します。どんな単一の数字も、問いへの促しであることを忘れないでください(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

トレードオフ:長所と短所

手法 強み 弱み
ユーザーの旅路のSLI ユーザーが感じることに合う。数が少ない。エンジニアでない人に説明しやすい エンドツーエンドで計装する労力が要る。まだユーザーに達していない内部の障害を見逃しうる
コンポーネントまたはリソースのSLI(CPU、メモリ、キューの深さ) 集めるのが安い。診断とキャパシティに有用 ユーザー体験の代理として貧弱。重要でないアラートを多く生む
ローリング窓 滑らか。月末の崖がない。常に最新 暦の月より経営層に説明しにくい。悪い日が窓全体にわたって残る
バーンレートによるアラート 目標が本当に危うい時に呼び出す。誤警報が少ない 設定とテストがより複雑。閾値をサービスごとに調整する必要がある

少数のSLIを選び、ユーザーとともに設定し、変更のペースをバジェットに決めさせてください。正しい厳しさは、ユーザーを満足させ続ける最も緩い目標です。追加の「ナイン」ごとに、前のものよりコストがかかるからです。

チームで話し合う問い

1. このサービスのユーザーは何ができる必要があり、できないとき、どうやってそれを知るか? 各自に、ダッシュボードを見ずに、ユーザーがサービスで行う最も重要な三つのことを書いてもらいます。一覧を比較し、プロダクト、運用、サポートの間の違いに注意します。そして、それらの旅路のうち、現在SLIを持つものはどれかを尋ねます。ファシリテーターは、測定のない重要な旅路と、どの旅路も記述しない測定を探してください。

2. SLOが99.9パーセントで、それを満たしたら、ユーザーは満足するか、どうやってそれを知るか? 現在のSLOを、直近の四半期のサポートへの問い合わせ、苦情、満足度の結果の隣に置きます。それらが一致するかを尋ねます。SLOが緑でユーザーが不満なら、SLIか目標に手を入れる必要があります。ユーザーが満足していてSLOが赤なら、目標は誰も必要としない厳しさかもしれません。目標と体験を近づけるアクションを一つ合意します。

3. エラーバジェットが尽きたら、実際に何を違うように行うか? 現在のエラーバジェットのポリシーを声に出して読み、なければ一緒に起案します。誰が何を止め、誰が例外を認める権限を持つかを尋ねます。ファシリテーターは、一般的な意図ではなく、不要不急のリリースの停止や、名前の挙がった人々の信頼性の仕事への異動のような、具体的なアクションを求めてください。守られると誰も信じないポリシーは、ポリシーがないより悪いものです。

4. バジェットに余裕があったから、最後にリスクを取ったのはいつか? チームがバジェットを使っているのか、守っているだけなのかを話し合います。直近の四半期を見ます。リリースが遅い間に、バジェットがほぼ手つかずだった期間があったか。安全だと知っていたら、チームが何を試しただろうかを尋ねます。この問いは過度の慎重さを浮かび上がらせ、答えはしばしば、チームがバジェットをうまく使えるようにするカナリアリリース、トグル、より速いパイプラインを指します。

5. 直近の悪いインシデントに間に合って鳴ったアラートはどれで、無駄に鳴ったのはどれか? 直近の重要なインシデントを取り、アラートの履歴をそれに対して再生します。届いた呼び出し、影響が始まってからどのくらい後だったか、ほとんどバジェットを使わないイベントのために届いた呼び出しがいくつかを数えます。バーンレートのアラートのほうがうまくいっただろうかを話し合います。目標は、誰がオンコールだったかについての非難の議論ではなく、それぞれにオーナーのいる、アラートの変更の短い一覧です。

6. 各SLOを誰が所有し、最後に意図して変更したのはいつか? SLOを列挙し、それぞれの隣にチームまたは役割としてオーナーを書きます。それぞれが最後にレビューされた時期と、何が変わったかを尋ねます。一年間誰も手を触れていないSLOは、もう判断に情報を与えていないしるしです。それぞれのレビュー日に合意し、役に立たなくなったSLOを廃止する権利を誰が持つかに合意します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、どれだけ速く動くかについての明確な規則を得ます。バジェットが残っているときは、より頻繁にリリースし、より大胆な変更を試せます。低いときは、長い交渉なしに、信頼性の仕事をバックログに載せます。どの旅路が重要かを知っているので、指標の選択を手伝うべきで、新しい機能を、最初からSLIを念頭に計装するべきです(トピック 2.8「DORAメトリクス」を参照)。バジェットは、それを使って計画するチームの資源であり、隠す数字では決してありません。

サービスと運用のチーム

運用チームは、SLOを使って、何が呼び出しに値し、何が朝まで待てるかを決めます。バーンレートによるアラートはノイズを減らし、オンコールの仕事をユーザーが感じることに結び付けます(トピック 5.7「トイルとオンコールのメトリクス」を参照)。SLIの定義を誠実に保ち、その背後のテレメトリを維持し、インシデントと問題のレコードにバジェットのコストを記録します。

リーダーシップとガバナンス

リーダーは三つの問いを投げかけるべきです。目標は何か、バジェットはどれだけ残っているか、尽きたら何をするか。彼らはエラーバジェットのポリシーに署名し、ポリシーが減速を告げるときにチームを支えます。SLOの遵守をボーナスの測定値にすることは避けます。定義の絞り込みと緩い目標の設定を招くからです。

顧客とユーザー

顧客は、目標が自分たちの必要を反映し、サービスがそれに対してどう機能しているかを見られるときに恩恵を受けます。遅さや停止への許容度はタスクや時間帯によって異なるので、目標を設定するときに相談されるべきです。満足度や労力のような体験の測定値は、SLOが彼らの感じることを捉えているかを確認します(トピック 6.1「顧客満足度のメトリクス」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者には、チェックアウトチーム、プラットフォームチーム、サービスデスクがあります。チェックアウトサービスは事業上重要です。この例の数字はすべて例示です。

チームは、「注文の支払い」の旅路について一つのSLIを定義します。ロードバランサーで測定した、2秒以内に成功を返した有効な支払いリクエストの割合です。有効なリクエストは、チーム自身の負荷テストと、不正対策サービスが設計上拒否するリクエストを除きます。SLOはローリング28日で99.9パーセントです。窓には1,200万件の有効なリクエストが期待されるので、バジェットは12,000件の悪いリクエスト(0.1パーセント)です。プロダクトの責任者とプラットフォームの責任者が署名したエラーバジェットのポリシーには三つの水準があります。バジェットの50パーセントが使われたときは、リスクのある変更に第二のレビュー担当者とカナリアのロールアウトが必要。75パーセントでは、次の計画の対話で信頼性の仕事が優先される。100パーセントでは、バジェットが回復するまで不要不急の機能リリースが停止される。

窓の10日目に、チームはこれまでに期待される約4,285,714件のうち7,800件の悪いリクエストを見ます。SLI達成率は約99.82パーセント、バジェットの65パーセントが使われ、窓は36パーセントしか経過していません。その期間のバーンレートは約1.8で、このペースではバジェットは15日目頃に尽きます。悪いデプロイが失敗のうち5,000件を占めていました。インシデントのレコードは失敗が22分続いたことを示し、重大インシデントのレビューはパイプラインのチェックの欠落を特定し、インシデントのバジェットのコストは問題レコードに記録されます(トピック 4.1「問題管理のメトリクス」を参照)。

チームはポリシーに従います。第二水準のアクションがすぐに適用され、リスクのある変更にカナリアのロールアウトが必要となり、計画会議はパイプラインのチェックを作業キューの先頭に移します。プロダクトオーナーは、緊急でないプロモーション機能の停止を受け入れます。28日目までにバジェットの94パーセントが使われ、チームは目標の範囲内で窓を終えます。

悪用のリスクは、レビューで現れます。小売業者の検索サービスを運営する別のチームは、その四半期に99.95パーセントと報告しましたが、サービスデスクは「検索が動かない」という問い合わせの増加を記録していました。調査するとプラットフォームチームは、検索チームが「有効」を再定義して5秒以内に再試行されたリクエストを除外しており、それが多くの実際の失敗を取り除いていたことを見つけました。レビューは元の定義を復元し、その四半期を修正して報告し、二つの防護柵を加えました。定義のあらゆる変更は理由とともにSLOの文書に記録され、SLI達成率は毎月サポートへの問い合わせと比較されます。変更はノイズを減らすために行われたので、誰も嘘をついていませんでした。したがって、修正は叱責ではなく、より明確な定義でした。

アジャイル、AI、自動化、アナリティクス

アジャイル

エラーバジェットは、信頼性をプロダクトのステークホルダーとの共有の判断に変え、チームが使えるリスクの量を示すことで、継続的デリバリーに合います。目標を定期的にレビューしてください。注意点は、ユーザーと合意されていないSLOは推測であることです。

AI

AI機能には、可用性だけでなく、正しさとレイテンシのような独自の指標が必要で、目標は、間違った答えをどう数えるかを述べるべきです。AIの可用性を、抽出によって測る品質の指標と組にします。注意点は、速く間違った答えを返すサービスは、ユーザーを失望させながら、可用性のSLOを満たしうることです。

自動化

指標とバーンレートをテレメトリから自動で計算し、一つ一つの揺らぎではなくバーンレートでアラートを出します。アラート自体を、見逃しと誤警報で測ります。注意点は、バジェットの自動の凍結は有用な仕事を止めうるため、ポリシーに人による判断を残すことです。

アナリティクス

ユーザーが感じる指標を選び、各指標の背後にある窓とイベントの数を示します。これが情報を与える判断は、いつ変更を遅くするか、信頼性に投資するかです。注意点は、短い窓はバジェットの変動が大きくなるため、窓を述べることです。

業種別の視点

スタートアップ。 最も重要な旅路に対する、エッジで測定した一つのSLOと、1ページに収まる単純なポリシーから始めます。数十のSLOのための基盤を構築しないでください。バジェットは、小さなチームが金曜日に出荷するかをめぐる議論を減らす助けになります。

中小企業。 小さな事業は、ホスト型のツールや供給者に頼ることが多く、SLIは供給者のステータスのデータや単純な外部プローブから来るかもしれません。供給者のサービスレベルを書面で読み、自分たちの必要に照らして確認します。

大企業。 多くのサービス、チーム、供給者が、一貫性の重要性を高めます。リーダーが定義をめぐって争うことなく比較と集約ができるよう、SLOの文書の共有テンプレート、共通の台帳、達成率とバジェットを計算する標準の方法を提供します。SLOはサービスのチームが所有し、台帳は中央で管理します。

政府・公共部門。 サービスはしばしば法定の、あるいは公表された目標を満たす必要があり、失敗は公に報告されることがあります。契約上または法定のコミットメントを社内の目標から分け、社内のSLOがより厳しいことを確認します。SLIの定義、除外、データの系譜を監査のために文書化し、アクセシビリティと、別のプロバイダーを選べないユーザーのために計画します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

動機は、信頼性についての議論を減らし、より良い判断を下すことです。目標がなければ、信頼性の仕事は、最も声の大きい人の強さで機能と競合します。目標とバジェットがあれば、トレードオフは見え、事前に合意され、ユーザーは必要なだけ信頼できるサービスを得て、チームはその点を超える信頼性にお金を払わずにすみます。

コストには四つの部分があります。第一は設計:旅路、指標、目標を選び、ポリシーを書くワークショップ。第二は計装:適切な場所のテレメトリ、プローブ、イベントを達成率とバジェットに変えるパイプライン(トピック 1.5「データソースと計装」を参照)。第三は運用:アラート規則、ダッシュボード、四半期ごとのレビュー、定義を最新に保つ時間。第四は、ポリシーが機能の仕事を止めるときの機会費用で、これは合意を守るコストであり、圧力が来る前に合意する理由です。

見返りは、チームが自分で追跡できるパターンに現れます。対処を要しなかった呼び出しの減少、リリースするかどうかの議論の短縮、重大インシデントの後ではなくバジェットが尽きる前に予定される信頼性の仕事、顧客にとっての驚きの減少。ローテーションあたりの呼び出しや、最大のインシデントが消費したバジェットの割合のような、チーム自身の数字を前後で比較して、便益を記述してください。

アンチパターンと落とし穴

  • SLOが多すぎる。 数十の目標は注意を散らし、どれが重要か誰も言えなくなる。重要なユーザーの旅路から始め、残りは廃止する。
  • SLOがSLAに等しい。 一つの数字を両方として報告すると、安全マージンがなくなり、エンジニアリングの規則と商業的な約束が混ざる。目標を合意より厳しく保つ。
  • 決して強制されないポリシー。 バジェットが尽きても何も変わらなければ、実践は信頼性を失う。リーダーにポリシーへ署名させ、あらゆる例外を理由とともに記録する。
  • バジェットを人のスコアカードとして使う。 使ったバジェットでエンジニアやオンコールのスタッフに順位を付けると、人々はインシデントを隠し、定義を狭める。バジェットをサービスに帰属させ、原因をシステムのレベルで議論する(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
  • あらゆる落ち込みでアラートを出す。 生の症状で呼び出すと、アラート疲れを生み、人々に呼び出しを無視するよう教える。バーンレートで呼び出し、遅いバーンはチケットに送る。
  • 設定して忘れる。 誰もレビューしないSLOは、ユーザーの必要から離れていく。四半期ごとのレビューを予定し、何がなぜ変わったかを記録する。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
指標と目標 信頼性が言葉で記述される。サーバーの稼働率が報告される 一部のチームがSLIを定義する。目標はまちまちでまれにしかレビューされない 重要なユーザーの旅路に、共有テンプレートで文書化されたSLIとSLOがある SLOが傾向として追われ、ユーザーのフィードバックと照らして確認され、証拠をもとに引き締めや緩和がされる SLOが顧客や供給者と合意され、依存するサービスや契約と整合している
エラーバジェットとポリシー バジェットなし。信頼性と機能は議論で決まる 少数のサービスでバジェットが計算されるが、合意された結果はない 定義された引き金を持つ、プロダクトと運用が署名した書面のポリシー ポリシーの順守を測り、例外をレビューし、バジェットがリリース計画に情報を与える 依存関係を共有するチーム間でバジェットの判断が調整される。状況の変化に応じてポリシーが見直される
アラートと対応 生のリソースに対する閾値のアラート。呼び出しが多い 一部のバーンレートのアラート。閾値は例からコピーされる 主要なSLOの複数窓のバーンレートのアラートと、遅いバーンのチケット アラートの品質を測り、過去のインシデントを使って調整する サービスの連鎖にわたってアラートが整合し、共同のレビューが改善を駆動する

チェックリスト

  • サービスの重要なユーザーの旅路が列挙され、それぞれがユーザー側から書かれている。
  • 各SLIが、除外を書き下した上で、有効なイベントに対する良いイベントとして定義されている。
  • レイテンシのSLIが、平均ではなく、パーセンタイルと述べた閾値を使っている。
  • 各SLOが、目標、窓、SLIが測定される場所を述べている。
  • SLOがどのSLAよりも厳しく、両者が別々に報告されている。
  • エラーバジェットのポリシーがあり、プロダクトと運用のリーダーが署名し、誰が例外を認められるかを名指ししている。
  • バーンレートのアラートが少なくとも二つの振り返り期間を使い、遅いバーンは呼び出しではなくチケットを作る。
  • 各インシデントのレコードが、それが消費したバジェットを示している。
  • SLI達成率が毎月、サポートへの問い合わせと満足度の結果と比較されている。
  • すべてのSLOに、オーナー(チームまたは役割)とレビュー日があり、変更が理由とともに記録されている。
  • SLOの結果が、個人の順位付けや報奨に使われていない。

AIプロンプト

ユーザーの旅路から候補のSLIを起案する。

[サービス名] を運営しており、[ユーザーの種類] が [重要なユーザーの旅路の一覧] を行うために使っています。測定できるのは [測定点の一覧。例:ロードバランサー、アプリケーションのログ、合成プローブ] です。各旅路について、有効なイベントに対する良いイベントとして書いた一つか二つの候補のSLIを、「良い」「有効」「除外」の提案される定義とともに提案してください。各測定点の強みと盲点に注意してください。目標値やベンチマークを捏造せず、ユーザーが何を許容するかを私に尋ねてください。前提を列挙してください。

エラーバジェットのポリシーを起案する。

[窓] にわたるSLOが [目標] の [サービス名] のエラーバジェットのポリシーの起案を手伝ってください。ステークホルダーは [プロダクトの役割] と [運用の役割] です。引き金の水準、各水準でのアクション、誰が例外を認められ、どう記録されるか、ポリシーがどうレビューされるかを提案してください。1ページに収め、人のスポンサーが必要な判断に印を付けてください。他の組織からの閾値を捏造せず、選択肢とトレードオフを示してください。前提を列挙してください。

SLOの悪用リスクをレビューする。

これは [サービス名] のSLOの文書です:[SLIの定義、除外、目標、窓、変更履歴を貼り付け]。SLIが絞り込まれる、窓や目標が変更される、あるいはイベントが除外されて、結果がユーザー体験より良く見えるようになりうる方法を特定してください。それぞれのリスクに、防護柵のメトリクスまたはプラクティスを提案してください。意図を決めつけないでください。前提と、私が答えるべき問いを列挙してください。

AIスキル

要点

  • ユーザーが行うことから少数のSLIを選び、それぞれを有効なイベントに対する良いイベントとして表現する。
  • 100パーセント未満のSLOはリスクについての判断であり、エラーバジェットはその判断が変更のために残す余地である。
  • エラーバジェットのポリシーを事前に書き、リーダーシップのレベルで署名し、あらゆる例外を記録する。
  • 複数の振り返りの窓でバーンレートのアラートを出し、呼び出しが目標への本当のリスクを反映するようにする。
  • 定義を守る:あらゆる変更を記録し、SLIの結果をユーザーの報告と比較する。
  • バジェットをサービスとチームに帰属させ、個人には決して帰属させず、各SLOを少なくとも四半期ごとにレビューする。

参考文献とさらなる読書

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  4. "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
  5. "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Site reliability engineering.
  9. Wikipedia, Service level indicator.
  10. Wikipedia, Service-level objective.
  11. Wikipedia, Service-level agreement.
  12. Wikipedia, Availability.
  13. Wikipedia, Percentile.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Canary release.