トイルとオンコールのメトリクス
サービスの信頼性は、それを世話するローテーションの水準を超えない。したがって、ローテーション全体について、割り込み、夜間の負荷、反復的な手作業に失われる時間の割合を測り、数字を予防と自動化への資金付けに使い、人を比較するためには決して使わない。
概要と動機
信頼性はしばしばシステムの観点から語られます。可用性、レイテンシ、エラー率。真夜中にユーザーがいるすべてのサービスの背後には、システムが失敗したときに応答する人間のシステムがあります。その人間のシステムには限界があります。あまりにも頻繁に呼び出される、あまりにも多くの人を起こす、あるいは週の大半を手作業の反復的なタスクに費やすローテーションは、遅くなり、より多くの間違いを犯し、やがて人を失います。第5部の他のメトリクスは、それらをつなぎとめている人々が去る直前まで、健全に見えることがあります。
二つの考え方がこのトピックを整理します。第一はオンコール(on-call)の仕事です。通常の勤務パターンの外で、アラートに応答できるよう連絡が取れて準備のできている人々のローテーション。呼び出し(page)は、通常、ポケベル、電話、プッシュ通知を通じて、対応者に割り込むアラートです。シフト(shift)はオンコール当番の一区間で、たとえば一日、一週間、一晩です。ローテーション(rotation)は、順番にシフトを担当する人々のグループです。第二の考え方はトイル(toil)で、ソフトウェアエンジニアリングの方法でサービスを運営する規律であるサイト信頼性エンジニアリング(SRE)の用語です。Googleの『Site Reliability Engineering』では、トイルとは、本番サービスの運用に結び付いた運用の仕事で、手作業で、反復的で、自動化可能で、戦術的で、永続的な価値がなく、サービスに比例して増える傾向があるものです。会議のようなオーバーヘッドと同じではなく、誰かが嫌う仕事というだけでもありません。
ITIL 4には「トイル管理」というプラクティスはありません。この内容は複数のプラクティスにまたがっています。インシデント管理と、監視とイベント管理が、呼び出しを生みます。問題管理は、それらを生み続ける原因を取り除きます。サービスリクエスト管理とデプロイ管理が、反復的な手作業の多くを生みます。人材とタレントの管理と継続的改善が、人の側面を所有します。アジャイルの対応物は、計画外の仕事と持続可能なペースについてのチームの作業合意と、サービスを作るチームがそのポケベルの一部も担うというDevOpsの習慣です。
ここでの測定値は、負荷と持続可能性についてです。インシデントの対応は他のトピック(トピック 3.3「インシデントの対応時間と解決時間」とトピック 3.4「重大インシデントのメトリクス」を参照)に、個々のアラートの品質も同様です(トピック 5.5「監視とアラート品質のメトリクス」を参照)。このトピックは、サービスを動かし続けることがローテーションの人々にどれだけのコストをかけるか、そのコストが持続可能かを問います。
これが信頼性とともにある理由
疲労には運用上の結果があります。睡眠不足(sleep deprivation)は判断と反応時間を低下させ、インシデントの開始時に疲れている対応者は、診断に時間がかかり、最初の間違いを直す間に二つ目の間違いを犯しやすくなります。アラーム疲れ(alarm fatigue)は、アラートが多すぎることの関連する効果です。人々は一つ一つを緊急として扱わなくなります。燃え尽き症候群(occupational burnout)は、持続した過負荷の長期的な帰結で、離職、病欠、関与の低下として現れ、それらは遅く、高コストで、元に戻しにくいものです。ローテーションの持続可能性を測らずにサービスの信頼性を測るチームは、結果だけを見て、原因の一部を無視しています。
このトピックは、ローテーション、シフト、サービスを記述し、個人に順位を付けることは決してありません。ITILの見方はインシデントとサービスから、SREの見方は人の時間のコストから、アジャイルの見方は計画された仕事のためのキャパシティから始まります。
主要な原則
- 人ではなく、ローテーションを測る。 負荷をサービス、シフト、ローテーションの位置別に報告する。人の呼び出しの件数は引いたシフトに依存し、ランキング表は人々に割り込みを隠すことを教える。
- 割り込みの長さだけでなく、いつ起きるかを数える。 午前3時の5分の呼び出しは、一晩の睡眠を犠牲にしうる。
- トイルを狭く定義し、チームに分類させる。 トイルは特定の種類の仕事であり、人々が嫌う仕事の同義語ではない。
- 負荷を、投資へのシグナルとして扱う。 高い呼び出しの量やトイルの割合は、サービス、ツール、人員の水準に手を入れる必要があるという証拠である。
- すべての負荷の測定値を、品質の測定値と組にする。 呼び出しの減少が良い知らせなのは、インシデントが依然として検出される場合だけである。
- 分布を示し、データをまずローテーションと共有する。 平均的なシフトは、少数のひどい夜を隠し、オンコールの人々は、数字が自分たちの体験に合っているかの最良の判断者である。
メトリクスの定義
表は中核の集合を与えます。すべての時間または件数の測定値は、どこで始まりどこで止まるか、何が除外されるかを述べています。「時間外(out-of-hours)」は、分散ローテーションの人々が異なる現地時間を持ちうるため、週末と祝日を含む、現地時間での書面の窓として、ローテーションごとに一度定義する必要があります。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| シフトあたりの呼び出し | 一つのシフトの間にローテーションに届いた呼び出しの数 | シフトの開始から終了の間に届いた呼び出しの件数を、同じアラートグループの重複した呼び出しを5分以内にまとめた後に、シフトごとに一つ数える(まとめる窓はチームの設定)。テストの呼び出しと誤って送られた呼び出しは除く。シフト全体の中央値と90パーセンタイルに加え、最も忙しいシフトを報告する | シフトあたりの呼び出し | ページングツール、オンコールのスケジュール | インシデント管理、監視とイベント管理 | 計画外の仕事のポリシー、持続可能なペース | 毎週レビュー、毎月の傾向 |
| 時間外の呼び出しの割合 | 書面の勤務の窓の外に届く呼び出しの割合 | その期間に、勤務の窓の外に届いた呼び出し ÷ 届いたすべての呼び出し。窓はローテーションごとに現地時間で設定する。祝日は窓の外として数える | パーセント | ページングツール、ローテーションのカレンダー | インシデント管理、監視とイベント管理 | 対応可能性についての作業合意 | 毎月 |
| 夜間の割り込み率 | 守られた睡眠の窓に、少なくとも一件の呼び出しがあるシフトの頻度 | 守られた睡眠の窓(たとえばチームが設定する現地時間の22時から7時)に少なくとも一件の呼び出しがあったシフト ÷ その期間のすべてのシフト。人による対応なしに自動で確認応答された呼び出しは除く | シフトのパーセント | ページングツール、確認応答のログ | インシデント管理、人材とタレントの管理 | 持続可能なペース、チームの健全性チェック | 毎月 |
| 時間に占めるトイルの割合 | ローテーションの勤務時間のうち、トイルに費やされた割合 | ローテーションがトイルと分類された仕事に対して記録した時間 ÷ ローテーションが記録した総勤務時間。月にわたって。会議、研修、休暇は、分子と分母の両方から除く。分類は、チームが適用するトイルの六つの特徴に従う | 時間のパーセント | 時間のサンプリングまたは作業追跡システムのタスクラベル、チームの分類レビュー | 継続的改善、デプロイ管理、サービスリクエスト管理 | 計画外の仕事の割合、計画された仕事でのキャパシティの配分 | 毎月、分類の四半期ごとのレビュー |
| 発生源別のトイル | 手動の再起動、アクセス依頼、証明書の更新、チケットのトリアージなど名前付きの発生源にわたるトイルの時間の分布 | 各発生源のトイルの時間 ÷ トイルの総時間。上位五つの発生源と「その他」のグループを列挙する。時間に占めるトイルの割合と同じ除外 | 発生源別のトイル時間のパーセント | 時間のサンプリングまたは作業追跡システムのタスクラベル | 問題管理、サービスリクエスト管理 | 改善アイテムのバックログ | 四半期ごと |
| 繰り返される呼び出しの率 | 述べた窓の中で以前にローテーションを呼び出したことのある状態が原因の呼び出しの割合 | アラートグループまたは原因コードが30日以内の以前の呼び出しと一致する呼び出し ÷ その期間のすべての呼び出し。原因コードはクローズ時に対応者が設定する。未設定のコードは別に報告する | パーセント | ページングツール、インシデントのレコードの原因コード | 問題管理、インシデント管理 | レトロスペクティブのアクション、技術的負債のバックログ | 毎月 |
| ローテーションの深さ | 埋めるべき役割の数に比べて、ポケベルを分担する資格のある対応者の数 | オンコールの準備を完了し、シフトに就ける人数 ÷ ローテーションの周期あたりのシフトの枠の数。休暇と出向は、可用性を減らす。ローテーションごとの比として報告し、個人別には決して報告しない | 比 | ローテーションのスケジュール、準備のチェックリスト | 人材とタレントの管理 | 機能横断のチーム、スキルマトリクス | 四半期ごと |
| 取り除かれたトイル | 自動化または設計の変更によって、ローテーションの仕事から取り除かれた繰り返されるトイルの時間 | 変更前の発生源の月次トイル時間の見積もり − 変更後の同じ値。提供後少なくとも二周期にわたって測る。一度きりの整理で節約された時間は除く | 月あたりの時間 | 前後の時間のサンプリング、改善チケット | 継続的改善、問題管理 | 提供された改善アイテム | 四半期ごと |
呼び出しの件数は、インシデントではなく割り込みの件数です。一つのインシデントが十数件の呼び出しを生みうるからです。時間に占めるトイルの割合は、誠実な記録に依存するので、合意された見積もりとして扱います。
推奨事項
数える前に、用語を定義する
1. 何が呼び出し、シフト、時間外に当たるかを書き下す。 チームは、同じ言葉の下で異なるものを数えます。呼び出しは、あらゆる通知、人に届くものだけ、あるいは行動を要するものだけかもしれません。定義を一つ選び、重複をまとめる窓を述べ、勤務の窓を現地時間で記録します。これがなければ、ツールが再設定されたときに数字が変わり、傾向が誤解を招きます。
2. トイルが何かを、自分たちのサービスの例とともに合意する。 SREの本の六つの特徴から始めます。例と非例の短い一覧を書きます。たとえば、固まったジョブの再起動(トイル)、新しい復旧ツールの設計(エンジニアリング)、計画会議(オーバーヘッド)。意見の相違が現れたら、一覧を見直します。
3. トイルの割合をどう測るかを選び、その限界を受け入れる。 安価な選択肢は、時間のサンプリング、作業追跡システムのタスクラベル、隔週の短い見積もりです。どれも正確ではないので、オーバーヘッドの最も少ないものを選び、一四半期実行し、絶対値よりも傾向を判断します。
ローテーションにかかる負荷を測る
4. シフトあたりの呼び出しを分布として報告する。 平均的なシフトは、ローテーションが感じることを隠します。中央値、90パーセンタイル、最も忙しいシフトを示し、そのシフトで何が起きたかのメモを加えます。静かな中央値とひどい裾は、少数の悪い夜を意味し、それは着実にビジーなローテーションとは異なる問題です。パーセンタイルの読み方はトピック 1.6「サービスメトリクスのための統計リテラシー」を参照してください。
5. 量の隣にタイミングを置く。 時間外の呼び出しの割合と夜間の割り込み率は、負荷がいつ降りかかるかを示します。勤務時間中の5件の呼び出しは煩わしさです。午前0時から5時の間の5件は、別のコストです。両方を同じページに示します。
6. 人の間ではなく、シフトの間の広がりを見る。 繰り返されるシフト(たとえば週末や月曜の引き継ぎ)が呼び出しの大半を集めるローテーションは、負荷が均等なものとは異なる修正を要します。シフトの位置と曜日別に呼び出しの割合を報告します。データが名前付きの個人別に報告されると、ランキングとして読まれることが予想されるので、その見方は作らないでください。
7. 重大インシデントの負荷を別に数える。 重大インシデントは、一晩で通常の月より多くの割り込みを生みうるものです。一つの出来事が傾向を歪めないよう、独自の行として報告します(トピック 3.4「重大インシデントのメトリクス」を参照)。
負荷を原因と修正に結び付ける
8. 呼び出しを問題に結び付け、繰り返しを追跡する。 繰り返される呼び出しの率は、負荷のどれだけがすでに知られている原因から来るかを示します。高い繰り返しの率は、より速い対応ではなく、問題管理のための論拠です。繰り返される上位の原因を問題のバックログに送り、リンクを記録します(トピック 4.1「問題管理のメトリクス」とトピック 4.6「技術的負債と既知のエラー」を参照)。
9. トイルの発生源に順位を付け、最大のものに取り組む。 発生源別のトイル時間のパレート図(Pareto chart)は、通常、少数の発生源が時間の大半を占めることを示します。最大のものを選び、設計で取り除けるか、自動化できるか、原因を所有するチームに渡せるかを決め、機能の仕事のように予定します。ステップの自動化よりも、必要性を取り除くことを優先します。自動化されたステップも維持しなければならないからです。
10. 書かれた自動化ではなく、取り除かれたトイルを測る。 誰も使わない自動化は、何も取り除きません。少なくとも二周期にわたって前後のトイルの時間を測り、自動化を構築、維持する労力を記録します。これが誠実な見返りであり、仕事を取り除かずにスクリプトを加えるだけの「自動化」のプログラムを防ぎます。ユーザーによる自動化の採用については、トピック 3.7「セルフサービスと自動化のメトリクス」を参照してください。
システムを持続可能に保つ
11. ローテーションの限度をチームの合意で設定し、それからローテーションの深さを見る。 一人がどのくらいの頻度でオンコールになれるか、連続何夜が許容できるか、悪い夜の後にどんな休息が続くかに合意します。ローテーションの深さは、ローテーションが合意した限度に十分な資格のある人を持っているかを示します。名目上は8人でも、他の人がまだ準備できていない、あるいは休暇中のために実質3人のローテーションは、名簿が何と言おうと、限度を満たしません。
12. 数字を使って、具体的なものを求める。 負荷の数字は依頼を支えます。人員の変更、トイルを返済するために機能の仕事から割いた時間、アラートの閾値の変更、あるいは廃止。依頼を数字の隣に述べないと、人々は記録をやめます(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| シフトあたりの呼び出し | 件数が下がるようアラートの閾値を上げる、またはアラートを黙らせる、無関係なアラートを一つの呼び出しにまとめる、誰も見ていないチケットのキューに呼び出しを移す | 検出の網羅率と、監視が見逃した顧客が報告したインシデント(トピック 5.5「監視とアラート品質のメトリクス」を参照)。検出までの時間(トピック 3.3「インシデントの対応時間と解決時間」を参照) |
| 時間外の呼び出しの割合 | 勤務の窓をより広く再定義する、呼び出しを減らさずに時間内に移るようジョブとデプロイを再スケジュールする、呼び出しを「低緊急」として再分類する | 割合の隣に総呼び出し量。変更管理下にある書面の勤務の窓。何が動いたかのレビュー |
| 夜間の割り込み率 | 確認応答を朝まで遅らせる、呼び出しを自動で確認応答する、人に届いた呼び出しだけを数える | 時間帯別の確認応答までの時間(トピック 3.3「インシデントの対応時間と解決時間」を参照)。人による対応のない呼び出しを別に報告する。夜間の顧客への影響 |
| 時間に占めるトイルの割合 | トイルを「エンジニアリング」や「プロジェクトの仕事」として再分類する、費やしたより少なく記録する、説明しやすいものだけにラベルを付ける | ローテーションの外の誰かによる、分類されたアイテムの定期的な監査。週がどう感じられたかについてのチーム自身の見方。計画された改善の仕事に費やした時間の割合 |
| 発生源別のトイル | 大きな発生源を複数の小さなものに分割して、どれも目立たなくする、発生源を名指ししないまま「その他」に残す | 「その他」のグループの上限(たとえばトイル時間の5分の1未満。チームの設定)。毎四半期の「その他」のアイテムの抽出 |
| 繰り返される呼び出しの率 | 一致を見逃すよう、毎回新しい原因コードで呼び出しをクローズする、すべてが別個になるまで原因コードを広げる、窓を長くまたは短くする | 抽出に対する原因コードの監査。インシデントをまたぐ同じアラートグループの再発(トピック 4.1「問題管理のメトリクス」を参照) |
| ローテーションの深さ | 準備を完了していない人を数える、まれにしか対応できない人を数える、名簿を水増しする | 名目上のプールが実際にカバーしたシフトの割合。名前なしで報告する、枠別の実際のシフト数。準備のチェックリストの完了 |
| 取り除かれたトイル | 一度きりの整理を繰り返される節約として数える、自動化を構築し維持する労力を無視する、前後の比較なしに節約を主張する | 二周期にわたって測る前後の時間。自動化の維持の労力。その後の四半期にわたる時間に占めるトイルの割合 |
健全な読みは、中央値のシフトが静かで、最悪のシフトがまれで、夜間の呼び出しが少なく、繰り返される呼び出しの割合が減り、トイルの割合が、再分類ではなく発生源の除去によって下がるローテーションです。そこに至る労力も示します。計画に現れ、資金が付き、提供された改善の仕事。呼び出しの件数が下がる一方で、顧客が監視の捉えなかったインシデントをより多く報告するなら、数字は目をそらすことで良くなっています。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| ページングツールから呼び出しを数える | 自動で、安く、争いにくい | 割り込みを数えるが、そのコストは数えない。アラートの調整は負荷を変えずに件数を変える |
| トイルの時間のサンプリング | 控えめな労力で妥当な精度 | 規律が要る。小さな標本はノイズが多い |
| ローテーションのレベルのレポート | 仕事の組織に合う。広く共有しても安全 | 苦労している人を隠しうる。その隣に支えになる対話の経路が要る |
| トイルの硬い上限(たとえばSREの本の、トイルを時間の50パーセント未満に保つという狙い) | 対応を引き起こす明確なシグナル | 再分類によって数字を満たせる。上限には経営層の後押しが要る |
中心的な緊張は、受容と投資の間にあります。高い負荷を重要なサービスの通常の代償として扱い、人々にそれを吸収するよう求めるのは簡単で、誰も強制する権限のない上限を設定するのも簡単です。抜け道は、すべての測定値を判断と組にすることです。チームが止まり行動を取る閾値、そのアクションの名前付きのオーナー、再び見る日付。ローテーションのレベルの数字は安全で、時に粗すぎます。誰かが苦労しているなら、対話はその人とそのマネージャーに属し、その人自身の週の説明を使います。
チームで話し合う問い
1. 先四半期の最も忙しいシフトはどう感じられ、数字はそれについて何と言っているか? グラフの前に、物語から始めます。オンコールだった人々にシフトを説明してもらい、それをシフトあたりの呼び出しと夜間の割り込みの数字と比較します。数字が体験を過小に示すなら、何が欠けているかを見つけます。記録されていない通話や、呼び出しの後に行った仕事など。その一覧を、次の測定の改善として取り込みます。
2. 私たちのチームで何がトイルで、何がそうでないと言うか? 最近のタスクを五つか六つボードに載せ、各自に六つの特徴に照らして、トイル、エンジニアリング、オーバーヘッドに分類してもらいます。意見の相違を予想し、有用なものとして扱います。意見の相違が、定義が曖昧な箇所を示すからです。次の四半期の作業上の定義に合意し、それぞれの例を二つ書き留めます。仕事が楽しいかを議論するのは避けます。問いは、それが手作業で、反復的で、自動化可能かどうかだからです。
3. 可能なら最初に削除したいアラートやタスクはどれか? 皆が恐れているアラートや繰り返されるタスクを挙げてもらい、それから何がそれを取り除くのを妨げているかを尋ねます。修正のコスト、欠けているオーナー、あるいはそれが必要だという信念。ファシリテーターは、取り除くのが安く、そのオーナーがその場にいない仕事を探してください。次の計画の回のために一つのアイテムを選んで終えます。
4. 今日実際にシフトに就ける人は何人で、どんな限度にコミットする気があるか? 準備を誠実に数えます。誰が訓練を受け、誰が対応でき、誰に制約があるか。結果を名目上のローテーションの規模と比較します。グループが許容できると考えるオンコールの頻度と連続した夜の数を尋ね、現在の実践がそれを満たしているかを確認します。
5. 来四半期までに呼び出しの件数を半分に減らしたら、単に聞くのをやめただけではないとどうやって分かるか? この問いは防護柵についてです。サービスが改善せずに呼び出しの件数が下がりうる方法を、グループに列挙してもらいます。閾値を上げる、アラートを統合する、発生源を無視する。それから、それが起きていたら、顧客の報告と検出の測定値に何が見えるかを尋ねます。防護柵に合意し、量と同じページに置きます。
6. これらの数字は誰が見て、私たちはそれで何をしてほしいか? 負荷の測定値の道筋を、ローテーションからマネージャーとリーダーまでたどります。各読み手がどんな結論を導きそうか、いずれかの見方がランキングとして読まれうるかを尋ねます。上に行く形に合意します。ローテーションのレベル、文脈付き、依頼を添えて。個人が特定されうることへの懸念に注意します。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、リリースする変更を通じてオンコールの負荷の多くを生みます。作ったものを運営するチームは、リリースとそれに続く呼び出しの関連を見ることができます。キャパシティプランニングにトイルとオンコールの仕事を含め、トイルの除去を通常のバックログの仕事として予定し、速さの隣で変更の品質を見るべきです(トピック 2.8「DORAメトリクス」を参照)。
サービスと運用のチーム
運用チームは、最も頻繁にポケベルを持ち、人的コストを最初に見ます。定義を所有し、時間のサンプリングやラベル付けを運用し、ローテーションのレベルの数字を公開し、上位のトイルの発生源と繰り返される原因を、証拠とともにオーナーのチームに持ち込むべきです。彼らのリスクは、プロ意識から負荷を静かに吸収することです。夜と週の冷静で事実に基づく記録は、不満よりも助けを求める効果的な依頼であり、その記録を、対応した人々の順位付けに変えてはなりません。
リーダーシップとガバナンス
リーダーは、人員、優先順位、トイルの仕事に資金を付けるかを決めます。高いトイルの割合を悪いパフォーマンスとして読むリーダーは、チームに再ラベルによってそれを下げることを教えます。それを、組織が資金を付けないと選んだ仕事への請求書として読むリーダーは、誠実なデータと計画を得ます。ガバナンスは、ローテーションの負荷の限度と、それを超えたときの目に見える対応を期待するべきです(トピック 9.2「満足度とウェルビーイングのメトリクス」を参照)。
顧客とユーザー
ユーザーはローテーションを見ませんが、その効果を感じます。疲れた対応者による診断の遅れ、直されない原因による繰り返されるインシデント、サービスを知っていた人々の離脱。ユーザーが多くのタイムゾーンにまたがるところでは、彼らの時間外の必要がローテーションを形作り、それをカバーするコストは、サービスレベルの対話の正当な話題です(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、注文基盤、顧客アカウントサービス、倉庫との連携を運営しています。二つのプロダクトチームと小さな運用グループからなる6人のエンジニアのローテーションが、週ごとのオンコールのシフトを分担します。この例の数字はすべて例示です。
月次のレビューは、シフトあたりの呼び出しの中央値9件、90パーセンタイル31件を示します。最も忙しいシフトは58件でした。呼び出しの約半分は時間外に届き、四半期の8シフトのうち6シフトに、22時から7時の間の呼び出しが含まれていました。時間のサンプリングは、トイルが勤務時間の55パーセントを占めることを示唆します。
最も忙しいシフトは、倉庫との連携での証明書の期限切れと重なり、一晩で22回ローテーションを呼び出しました。バッチサーバーの一つのディスク容量のアラートが、呼び出しの約4分の1を占め、ほとんどは一時ディレクトリを手で空にしてクローズされました。繰り返される呼び出しの率は41パーセントです。パレートの見方は、手動の証明書の更新、ディスクの整理、アクセス依頼が、トイルの時間の大半を占めることを示します。
チームは、次の四週間に三つのアイテムを取り込みます。証明書の更新の自動化、満杯の一時ディレクトリの原因の修正、アクセス依頼をアイデンティティチームが所有するセルフサービスのフォームに移すこと。作業合意が、一人あたり4シフトに1回の限度と、3件以上の呼び出しのあった夜の後の休息日を設定します。ローテーションの深さは、合意した必要8人に対して6人なので、第三のチームの2人のエンジニアが準備の研修を始めます。
悪用のリスクは、次のレビューで現れます。シフトあたりの呼び出しは中央値4件、90パーセンタイルは12件に下がりました。あるマネージャーは喜びます。チームのメンバーが、ディスクのアラートの閾値が20ポイント引き上げられ、バッチサーバーが呼び出しなしに二度満杯になったと指摘します。バッチ注文の遅れについての顧客が報告したインシデントは増えました。防護柵である、監視が見逃した顧客が報告したインシデントが、それを捉えました。閾値の変更は元に戻され、ディレクトリの整理は修正として予定され、チームは、あらゆる閾値の変更を理由とともに記録し、一か月後にレビューするという規則を加えます。次の四半期のトイルの割合は38パーセント(例示)で、サンプリングの方法を隣に添えて報告されます。
アジャイル、AI、自動化、アナリティクス
アジャイル
持続可能なペースにはオンコールのローテーションが含まれるので、チームと一定の頻度でその負荷をレビューし、予防に資金を付けます。注意点は、呼び出しを減らす目標が、アラートを黙らせることにつながりうることです。
AI
AIは呼び出しの要約、手順書のステップの提案、アラートのトリアージができ、それがトイルを下げる一方で、その出力を確認、修正する新しいトイルを加えることもあります。AIを監督する時間をトイルに含め、呼び出しの件数を睡眠とウェルビーイングのシグナルと組にします。注意点は、自動の最初の対応が、依然としてリスクを負う人々から呼び出しを隠しうることです。
自動化
仕事が反復的なところでトイルの除去を自動化し、取り除かれたトイルと、自動化が引き起こしたインシデントを測ります。注意点は、オーナーなしに作られた自動化が、オンコールの仕事の新しい発生源になることです。
アナリティクス
各数字の背後にある呼び出しの件数を添えて、負荷をローテーション別に報告し、人別には決して報告しません。これが情報を与える判断は、予防にどこで投資するかです。注意点は、ポケベルのデータには非公式な割り込みが含まれないため、短いアンケートと組み合わせることです。
業種別の視点
スタートアップ。 小さなチームには正式なローテーションがなく、全員が常にオンコールで、コストが見えないことがよくあります。呼び出しと夜間の起床をスプレッドシートで数え、最大の反復的なタスクを三つ書き留めます。自分自身でポケベルを持つ創業者は、コミットメントの勲章ではなく、事業のリスクです。
中小企業。 一人か二人がITのすべてを運営していることがあります。ツールを必要としないものを測ります。時間外の電話、繰り返されるタスク、取れない休暇。マネージドサービスプロバイダーは、契約が対応時間と時間帯を述べていれば、ローテーションの一部を担えます。ローテーションの深さはしばしば1で、それが主なリスクです。
大企業。 規模は、フォロー・ザ・サンのローテーション、共有のプラットフォーム、複数の供給者をもたらします。測定値を一度定義し、リージョンごとに現地の勤務の窓を設定し、非常に異なるサービスを持つローテーションにわたって平均するのは避けます。一部の国の雇用規則はオンコール当番を制限し、休息期間を要求するので、それらはローテーションの限度に属します。
政府・公共部門。 サービスは、法令や契約によって24時間体制のカバーを要することがあり、人員は調達と等級によって縛られます。ローテーションの限度と休息の規則は雇用契約で規定されることが多いので、それらに対して測り、超えたときに報告します。公的な説明責任は、率直な報告をより価値あるものにし、より難しくします。負荷のデータのための安全な経路を築き、それが個人ではなくシステムと人員を記述することを明示します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、サービスの品質を守り、熟練した人々を保つことです。疲れた対応者は診断が遅く、経験豊富な人が去ると、知識も一緒に去ります。人を置き換えることには、採用、オンボーディング、学習期間中の生産性の低下という実際のコストがあり、組織は自分の記録からそれらのコストを見積もれます。トイルはまた、改善からキャパシティを奪います。時間の大半を手作業の運用に費やすチームは、それを生むインシデントを減らせません。
測定値のコストは控えめです。ページングツールはすでに呼び出しを数えており、時間のサンプリングは、隔週に一人あたり数分です。より大きなコストは、所見に基づいて行動することです。トイルを取り除くエンジニアリングの時間、持続可能なローテーションのための人員、レビューの時間。自動化の維持を、コストとして数えてください。維持されない自動化されたステップは、明日のインシデントになるからです。
見返りは、既知の原因からの呼び出しの減少、夜間の割り込みの減少、改善の仕事に返されたトイルの時間、ローテーションからの離職の減少、より速い診断として現れます。普遍的な数字は当てはまらないので、自分たちのものを見積もってください。トイルの発生源について、月の時間に財務と合意した負荷込みの時間単価を掛け、それを取り除く労力と比較し、二周期後にレビューします。ローテーションの持続可能性については、ローテーションからの離職と長期の欠勤を記録し、時間とともに負荷の測定値と比較し、そのつながりを証明された原因ではなく検証すべき仮説として扱います。数字が必要なところでは、見積もりとして述べ、入力を示します(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 呼び出しで人に順位を付ける。 システムの測定値をパフォーマンスのスコアに変え、対応者にシフトを避け、割り込みを隠すよう教える。ローテーション、シフトの位置、サービス別に報告する。
- アラートを黙らせて呼び出しを減らす。 件数は下がり、検出は弱まる。量を検出と顧客が報告したインシデントと組にし、あらゆる閾値の変更をレビューする。
- すべてをトイルと呼ぶ。 会議や難しい問題を含むほど広い定義は、シグナルを破壊する。六つの特徴を使い、例の一覧を保つ。
- 権限の裏付けのないトイルの目標。 判断を引き起こせない上限は、人々が議論する数字になる。超えたときに何が起き、誰が決めるかを事前に合意する。
- 理解する前に自動化する。 自動化は、貧弱なプロセスを固め、維持を加えうる。まず必要性を設計で取り除けるかを問い、その後で取り除かれたトイルを測る。
- 異なるサービスにわたって平均する。 安定したサービスと壊れやすいサービスの平均は、どちらも記述しない。各サービスとローテーションを別々に示す。
- 測って行動しない。 対応のない負荷の数字は、データが重要でないと人々に教える。すべての所見に、判断、オーナー、レビュー日を添える。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 定義とデータ | 呼び出しとトイルが感覚で記述され、共通の定義がない | 一部のローテーションが呼び出しを数える。トイルは議論されるが測定されない | 呼び出し、シフト、時間外、トイルの書面の定義が一つあり、ページングのデータがツールで集められる | 分布とタイミングを傾向として追う。トイルを毎月サンプリングして監査する | チームと供給者にまたがって定義がレビューされ、答えの価値に合わせてサンプリングの労力が調整される |
| ローテーションの持続可能性 | 非公式。同じ少数の人がポケベルを吸収する | 名簿はあるが、限度は議論されても書かれていない | 頻度と休息の書面の限度。ローテーションの深さが分かっている | 限度を監視し、違反をアクションとともにレビューする | ローテーションがチームと供給者の間で共有され、サービスが変わるにつれて負荷が均衡される |
| 数字の利用 | 非難に使われるか、無視される | マネージャーに示される | まずローテーションに、それが支える判断とともに示される | 防護柵と組になり、資金の付いた変更につながる頻度でレビューされる | 人員とサービスの範囲を計画するため、リーダーやパートナーと共有される |
チェックリスト
- 呼び出し、シフト、時間外の窓、まとめる窓が書面で定義されている。
- トイルに、自分たちのサービスの例と非例を伴う書面の定義がある。
- シフトあたりの呼び出しが、中央値、高いパーセンタイル、最も忙しいシフトとして報告されている。
- 時間外の呼び出しの割合と夜間の割り込み率が、量の隣に報告されている。
- 負荷がローテーション、シフトの位置、サービス別に報告され、名前付きの個人別には決して報告されない。
- 時間に占めるトイルの割合が、方法を書き下した上で、予定に従ってサンプリングされている。
- 上位五つのトイルの発生源と、繰り返される呼び出しの上位の原因が、改善のバックログにある。
- ローテーションの限度と休息の規則がチームの合意にあり、ローテーションの深さが四半期ごとに確認されている。
- すべての負荷の測定値に、検出と顧客が報告したインシデントを含む防護柵が同じページにある。
- 各レビューが、判断、オーナー、日付で終わる。
- 閾値とアラートの変更が理由とともに記録され、一か月後にレビューされる。
AIプロンプト
ローテーションの負荷をレビューし、パターンを探す。
[サービスまたはサービス群] のオンコールのローテーションの運営を手伝っています。ローテーションは [数] 人で、シフトの長さは [長さ] です。勤務の窓は [時間とタイムゾーン]、守られた睡眠の窓は [時間] です。以下は [期間] の匿名化したページングデータで、列は [列の一覧] です:
[名前を除いたデータを貼り付け]
シフトあたりの呼び出しの分布、時間外の呼び出しの割合、夜間の割り込みのあるシフトの割合を述べてください。最も忙しいシフト、繰り返されるアラートグループ、曜日やシフトの位置によるパターンを指摘してください。ローテーションとサービスのレベルでのみ報告し、人別には決して報告しないでください。ベンチマークの値や目標を捏造しないでください。前提と、データから判断できなかったことを列挙してください。
タスクをトイル、エンジニアリング、オーバーヘッドに分類する。
私たちのチームは [サービス] を運営しています。トイルを、手作業で、反復的で、自動化可能で、戦術的で、永続的な価値がなく、サービスとともに増える仕事と定義しています。以下はおおよその時間付きの最近のタスクの一覧です:[一覧を貼り付け]。
各タスクについて、トイル、エンジニアリング、オーバーヘッドのどれに当たるかを述べ、六つの特徴のどれを満たす、または満たさないかを挙げてください。境界のタスクに印を付け、それを決めるのにどんな追加情報が要るかを述べてください。節約を捏造せずに、各トイルの発生源が設計で取り除けるか、自動化できるか、オーナーのチームに渡せるかを提案してください。前提とチームへの問いを列挙してください。
私たちの負荷のメトリクスについて、悪用の手口と防護柵を起案する。
[ローテーション名] について、次のオンコールとトイルのメトリクスを報告しています:[定義付きのメトリクスの一覧]。それらは [判断] を支えるために [読み手] に示されます。データは [ページングツール、作業追跡システム、アンケート] から来ます。
各メトリクスについて、ローテーションが良くなることなく改善しうる現実的な方法を列挙し、それぞれを明らかにする防護柵のメトリクスまたはプラクティスを提案してください。それから、防護柵自体がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提と、私が引き締めるべき定義を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:ダッシュボードにオンコールまたはトイルの測定値を加えるときに、関連するトピックと防護柵を探すために使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの編集が、すべてのメトリクスを悪用の手口と防護柵と組にしたままかを確認するときに使います。
要点
- ローテーションにかかる負荷を、シフト、サービス、時間帯別に測り、その上の人々に順位を付けることは決してしない。
- 夜間の呼び出しは勤務時間中の呼び出しよりコストがかかるので、割り込みの数だけでなく、いつ起きるかを数える。
- 六つの特徴を使ってトイルを狭く定義し、単純な方法で時間に占める割合を見積もり、傾向を判断する。
- 呼び出しとトイルの発生源を、問題の仕事と、自動化または設計の変更に結び付け、実際に取り除かれたトイルを測る。
- すべての負荷の測定値を、検出や顧客が報告したインシデントなどの防護柵と組にし、より低い数字が目をそらすことで買えないようにする。
- 重い負荷を、判断、オーナー、レビュー日を伴う、投資への依頼として扱う。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Eliminating Toil", https://sre.google/sre-book/eliminating-toil/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Being On-Call", https://sre.google/sre-book/being-on-call/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018. Chapter "Eliminating Toil", https://sre.google/workbook/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident management.
- Wikipedia, Sleep deprivation.
- Wikipedia, Alarm fatigue.
- Wikipedia, Occupational burnout.
- Wikipedia, Pareto chart.