SLA、OLA、XLAのメトリクス
サービスレベル合意は顧客に約束されたことを伝え、運用レベル合意は社内のチームが互いに何を負うかを伝え、体験レベル合意はサービスを使う人々が実際により良い状態になっているかを伝える。したがって三つすべてが必要であり、緑の壁としてではなく、誠実に報告する必要がある。
概要と動機
サービスレベル合意(SLA:service level agreement)は、サービスが何を提供するかについての、サービスプロバイダーと顧客の間の文書化された約束です。稼働時間、可用性、プロバイダーがインシデントにどれだけ速く対応し解決するか、リクエストをどれだけ速く履行するか。ITIL 4(所有者が発行したフレームワークの2019年版。現在はPeopleCert傘下のAXELOS)では、サービスレベル管理(service level management)のプラクティスが、これらの目標を定義し、監視し、報告します。運用レベル合意(OLA:operational level agreement)は、その社内版です。同じ組織内のチーム間、たとえばサービスデスクとネットワークチームの間で、顧客向けのSLAを満たせるよう、各々が何をどれだけ速く行うかについての合意です。支援契約(underpinning contract)は、外部の供給者について同じ役割を果たします(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。
体験レベル合意(XLA:experience level agreement)は、三つの中で最も新しいものです。人々がサービスをどう体験するか、たとえば仕事をどれだけ容易に終えられたか、やり取りをどう感じたか、サービスが目標の達成に役立ったかという観点で、合意された成果を記録します。この考え方がサービスマネジメントの実践で広がったのは、ユーザーが不満でもSLAは満たされうるからです。このトピックは、三つの合意とそのレポートを扱います。体験をどう測るかの深さはトピック 6.2「体験レベル合意」に、目標のエンジニアリング側の対応物はトピック 5.2「SLI、SLO、エラーバジェット」に属します。
アジャイルと信頼性の三つの概念が、これらの合意の隣にあります。サービスレベル指標(SLI:service level indicator)は、サービスの測定された性質で、たとえば正常に処理されたリクエストの割合です。サービスレベル目標(SLO:service level objective)は、SLIに対する社内の目標で、通常、顧客に約束されたものより厳しいものです。サイト信頼性エンジニアリング(SRE:site reliability engineering)の実践は、SLOとそこから導かれるエラーバジェットを、プロダクトと運用の共有の判断の道具として扱います。SLAは契約であり、SLOはエンジニアリングの狙いであり、SLIは測定です。三つを分けておくことで、契約上の違約条項が日々のエンジニアリングの判断を導くのに使われるという、よくある混乱を避けられます。
この系統には、ウォーターメロンレポートという有名な失敗があります。外側は緑で、内側は赤いレポートです。すべてのSLAの行が満たされたと表示されるのに、顧客は不満です。測定値が顧客の気にすることではなくプロバイダーが確実に達成できることのために選ばれた、平均が悪い裾を隠した、あるいは最悪の待ちの間、時計が停止されたからです。対策は、一部は技術的(パーセンタイル、誠実な時計、ユーザー中心の指標)で、一部は社会的(対話として交渉され、一定の頻度でレビューされ、チームへの評決ではなくサービスについての問いとして読まれる合意)です。測定値が目標になることについてのより広い警告は、トピック 1.2「グッドハートの法則とメトリクスの心理学」にあります。
アジャイルのチームは目標とバジェットで考え、ITILのサービスレベル管理者は合意とレビューで考えます。両者は噛み合います。合意が成果を述べ、目標と指標がチームが約束を守る方法であり、体験の測定値がそれが意味を持ったことを確認します。
最後に一つの用語です。パーセンタイル(percentile)は、観測値の述べられた割合がそれを下回る値です。解決時間の85パーセンタイルは、チケットの85パーセントが解決された時間です。ほとんどのSLAの目標はパーセンタイルまたは割合として書かれるため、パーセンタイルの計算方法と、そこに何が含まれるかが、このトピックの核心です(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
主要な原則
- 成果を顧客と合意し、それから測る。 合意は、顧客が必要とし、プロバイダーが維持できることの交渉された記述で、顧客の言葉で書かれ、一緒にレビューされる。
- 分布と割合を報告し、単一の平均は決して報告しない。 目標を満たす平均の解決時間が、非常に遅れた仕事の長い裾の上に載っていることがある。パーセンタイル、母集団、件数を述べる。
- 時計を誠実にする。 すべての目標に、開始イベント、停止イベント、停止条件の一覧がある。時計の規則を公開し、各停止がどのくらいの頻度で使われるかを報告する。
- 合意を階層化する。 SLAはOLAと供給者の契約の上に築かれ、チーム内で設定する目標は外に対する約束より厳しくあるべきである。どの階層のギャップも、最上位では違反として現れる。
- すべての運用の測定値を、体験の測定値と組にする。 目標は満たされているのに体験が悪い、あるいはその逆であることは、レポートで最も有用なシグナルである。
- ニアミスを数える。 限度の直前で終わった仕事は、はるかに余裕をもって終わった仕事よりも、リスクについて多くを語る。
- チームとサービスについて報告し、人については決して報告しない。 合意は、サービスやチームが何にコミットするかを記述する。個人に順位を付ける方法ではない。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| SLA達成率 | その期間に、述べたSLAの目標を満たした測定対象(インシデント、リクエスト、または時間の窓)の割合 | 目標を満たしたアイテム ÷ 測定されたアイテム。時計は合意で定義された記録時刻(たとえばチケット作成)で始まり、定義された停止イベント(たとえば復旧確認)で止まる。除外:重複としてキャンセルされたアイテムと、計画メンテナンスなどの合意された除外内の時間。割合の隣に件数を報告する | パーセント、nとともに | ITSMツールのタイムスタンプ。時間ベースの目標では監視データ | サービスレベル管理、インシデント管理、サービスリクエスト管理 | ローリング窓でのサービスレベル目標の達成(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | 毎月、社内向けには毎週の見方も |
| ニアミスの割合 | 目標を満たしたが、許容時間の最後の10分の1の間に終わったアイテムの割合 | 目標時間の90パーセント以上で終わり、かつ目標内にとどまったアイテム ÷ 目標を満たしたアイテム。SLAと同じ時計。時間の窓には該当しない(目標までの時間の測定値にのみ適用される) | パーセント | ITSMツールのタイムスタンプ | サービスレベル管理 | フローチャートで、サービスレベルの期待に近い仕事の割合(トピック 2.1「フロー指標」を参照) | 毎月 |
| 時計の停止の割合 | チケットの総経過時間のうち、SLAの時計を止める状態で過ごした時間の割合 | 範囲内のアイテムについて、停止時間の合計 ÷ 開始から停止までの総経過時間。停止状態を使わなかったアイテムは除く。停止状態別に報告する | パーセント | ITSMツールのステータス履歴 | サービスレベル管理、インシデント管理 | フローの見方でのブロックされた時間と待ち時間(トピック 2.4「バリューストリームのメトリクス」を参照) | 毎月 |
| OLA達成率 | 二つのチーム間の社内の引き継ぎのうち、OLAの目標を満たしたものの割合 | OLAの目標内に完了した引き継ぎ ÷ 受け取った引き継ぎ。時計は受け手のチームに割り当てられたときに始まり、返すかクローズしたときに止まる。除外:誤って再割り当てされたアイテム(別に数える) | パーセント、nとともに | ITSMツールの割り当て履歴 | サービスレベル管理、インシデント管理 | チーム間の引き継ぎの待ち時間とブロックされた仕事(トピック 9.3「協働と引き継ぎのメトリクス」を参照) | 毎月 |
| 引き継ぎの待ち時間(85パーセンタイル) | アイテムが、作業が始まる前に受け手のチームのキューで待つ時間 | 受け手のチームへの割り当てから、そのチームによる最初に記録された行動までの時間の85パーセンタイル。除外:顧客を待っているアイテム | 時間または分 | ITSMツールの割り当てと活動の履歴 | サービスレベル管理、インシデント管理 | フローの見方でのキュー時間(トピック 2.3「仕掛かり作業と待ち行列」を参照) | 毎週 |
| 旅路別の体験スコア | 新しいノートパソコンの入手や障害からの復旧など、定義された旅路をサービスがどう支えたかについての、顧客またはユーザーの評価 | その期間に完了した旅路の、固定の尺度でのアンケート評価の平均と分布。回答率と回答者の構成を報告する。除外:部分的なアンケート。単一の平均ではないので、分布を示す | 評価の尺度、回答率とともに | 短いやり取り後のアンケート。ITSMツールからの旅路のイベント | サービスレベル管理、顧客満足のプラクティス(トピック 6.1「顧客満足度のメトリクス」を参照) | 顧客のフィードバックとアウトカムの測定値 | 毎月、各回を示す |
| ウォーターメロンのギャップ | SLAが満たされたと読める一方で、体験の測定値またはユーザーへの影響の測定値が悪く読める、報告期間またはサービスの割合 | SLA達成率が目標以上で、体験が合意された水準を下回るサービス(または期間) ÷ SLA達成率が目標以上のサービス(または期間)。体験の水準は、期間が採点される前に合意されていなければならない | 緑のサービスのパーセント | SLA達成率と体験スコアを併せて | サービスレベル管理、継続的改善 | 結果とアウトカムを照らしたレトロスペクティブ | 四半期ごと |
| 合意の網羅率と最新性 | SLA、OLA、供給者の契約が存在し、合意された間隔内にレビューされた、稼働中のサービスの割合 | 三つの階層すべてが文書化され、間隔内にレビューされたサービス ÷ サービスカタログの稼働中のサービス。間隔は組織が設定する。除外:廃止中のサービス | パーセント | サービスカタログ(ITIL自身の綴りではservice catalogue)と合意の台帳 | サービスレベル管理、サービスカタログ管理、サプライヤー管理 | 定期的な頻度でレビューされる、作業合意とチーム憲章 | 四半期ごと |
推奨事項
合意を整える
1. 各SLAを顧客の言葉で書き、一つの成果に結び付ける。 「ロックアウトされた従業員がすぐに仕事に戻れる」のような、顧客が必要とすることから始め、それから測定値を選びます。意味のある少数の目標を持つ短い合意は、誰も読まない長いものに勝ります。各目標の時計を書き留めます。開始イベント、停止イベント、停止条件です(トピック 3.3「インシデントの対応時間と解決時間」を参照)。
2. 目標を、述べた母集団とともに、パーセンタイルまたは割合として述べる。 「優先度2のインシデントの90パーセントを4時間以内に復旧」は、「平均の復旧が2時間未満」よりも多くを語ります。何が数えられるかに合意します。どの優先度、どの時間帯、どのリクエストの種類か。件数をすべての割合とともに示し、8件のインシデントの月が、800件の月のように読まれないようにします。
3. OLAをSLAから導き、それぞれに名前付きのオーナーチームを与える。 顧客の目標から逆算します。顧客に4時間以内の復旧が約束されているなら、OLAは、検出、トリアージ、引き継ぎ、修正の余地を残さなければなりません。各OLAを、受け手のチーム、期待される対応時間、紛争の経路を持つ、短い相互の合意として書きます。OLAはチームが計画するのを助けるために存在するので、関係が許す限り軽く保ちます。
4. 目標を、約束より厳しく保つ。 顧客に見える違反の前に悪い週が気づかれ是正されるよう、社内のSLOをSLAより厳しい水準に設定します(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。SLAを財務と法務が気にする下限として、SLOをエンジニアが舵取りに使う数字として扱います。エラーバジェットを、プロダクトと運用が機能の仕事と信頼性の仕事の間で決める方法として使います。
誠実に測る
5. 時計の規則を公開し、停止について報告する。 緑のレポートへの最もよくある道は、プロバイダーが待っているのに使われる「顧客待ち」のような、寛大な停止状態です。停止状態別に時計の停止の割合を報告し、毎月停止されたチケットを抽出し、時計を止めるべきだったと顧客が同意するかを問います。許される停止の理由の一覧を短く保ち、合意に書き込みます。
6. 目標の隣に、分布全体を示す。 達成率の隣に、中央値、85または95パーセンタイル、最悪の十分位を置きます。一律95パーセントの達成は、何日もかかった仕事の裾を隠しえます(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
7. ニアミスと違反の原因を追跡する。 ニアミスの割合は、緑の数字にどれだけ運が含まれるかを教えます。違反が起きたら、原因の区分と、それがキャパシティ、引き継ぎ、供給者、定義のどれの問題だったかを記録します。最大の区分を問題管理に結び付けます(トピック 4.1「問題管理のメトリクス」を参照)。
8. 達成だけでなく、OLAのキューを測る。 85パーセンタイルの引き継ぎの待ち時間は、SLAの違反が現れるずっと前に、仕事がどこで停滞するかを示します。送り手と受け手の両方のチームと共有し、その間のフローの性質として説明します。対話はキューについてであり、その中の人々についてではありません(トピック 2.3「仕掛かり作業と待ち行列」を参照)。
体験を加え、ギャップを閉じる
9. 各SLAを、同じ旅路の体験の測定値と組にする。 やり取りの後に、それが機能したか、どれだけ大変だったかについての短い質問をユーザーにし、回答率と回答者の構成を報告します。どの水準が十分に良いとされるかを事前に合意し、XLAが後から作られた数字ではなく、交渉された成果になるようにします(トピック 6.2「体験レベル合意」とトピック 6.1「顧客満足度のメトリクス」を参照)。
10. ウォーターメロンのギャップを報告し、所見として扱う。 体験が悪いのにSLAが満たされる頻度を追跡します。上昇するギャップは、SLAの測定値がユーザーの気にすることから離れつつあることを教え、正しい対応は、食い違いを説明することではなく、測定値を見直すことです。顧客の代表者が出席する場で、四半期ごとにレビューします。
11. 合意を予定に従ってレビューし、誰も使わないものは廃止する。 各合意を、サービスカタログ、供給者の契約、実際の仕事に照らして確認します。稼働中の合意の小さな集合のほうが、報告しやすく、悪用しにくくなります。
12. 各サービスを、三つの階層を組み合わせた一つのビューで報告する。 各サービスについて、SLA達成率、分布、OLAの引き継ぎの待ち、体験スコア、未解決の改善の仕事を一つのページに示します。状態は、サービスオーナーが選んだ色ではなく、データから導きます。ページを顧客とチームに公開します(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| SLA達成率 | 目標を簡単に設定する、チケットを早期にクローズして後で再オープンする、優先度を下方に再分類する、難しい事例を「対象外」として除外する | 再オープン率と優先度の再分類率。顧客とともに読むクローズされたチケットの抽出。四半期ごとの除外一覧のレビュー |
| ニアミスの割合 | 限度の1分前に時計を止め、その後記録なしに作業を続ける、チケットを二つの短いものに分割する | 最後の顧客との接触から復旧確認までの時間。インシデントあたりの紐づけられた、または子チケットの数 |
| 時計の停止の割合 | 顧客を待っていないチケットで停止状態を使う、仕事を数えられない状態に移す | 抽出で監査する停止の理由。顧客によって覆された停止の割合。停止されたチケットの体験スコア |
| OLA達成率 | 時計を再開させるために引き継ぎを送り手に突き返す、作業を始めずにアイテムを受理済みとする | アイテムあたりの突き返しの回数と、チーム間の復旧までの総時間。エンドツーエンドのSLAの結果 |
| 引き継ぎの待ち時間(85パーセンタイル) | 待ちを隠すためにチームのキューではなく個人に割り当てる、形だけの最初の行動を記録する | 最初の行動の質を抽出する。割り当てから最初の顧客に見える更新までの時間 |
| 旅路別の体験スコア | 満足しているユーザーにだけアンケートを送る、誘導する質問をする、回答者に高い評価を付けるよう指導する | 母集団に照らした回答者の構成。スコアの隣に示す回答率。レビューで読む自由記述のコメント |
| ウォーターメロンのギャップ | ギャップが小さいままになるよう体験の水準を低く設定する、体験の測定値が下がったときにそれを変える | 事前に合意された体験の水準と、理由付きで記録された変更。分布全体の傾向 |
| 合意の網羅率と最新性 | 実際のレビューなしに合意をレビュー済みと印を付ける、骨組みだけの文書をSLAとして数える | レビューの証拠(出席者、変更、決定)。実際の内容と顧客の承認について読む合意の抽出 |
健全な読みは、理解できる理由で動く達成率、少なく説明のついているニアミス、合意された一覧の範囲にとどまる停止、それを所有するチームによって議論される引き継ぎの待ち、そしてSLAとほぼ一致する体験の測定値を示します。二つが食い違うところでは、チームはすでに原因のメモと改善アイテムを持っています。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 違約金付きの契約上のSLA | 明確で、強制でき、法的に認められる | 時計のゲームと防御的なレポートを促す。違約金が関係を悪化させうる |
| 違約金なしで定期的にレビューするSLA | 信頼と誠実なデータを築く。学びに焦点を当てる | 供給者が目標を継続的に外すときの交渉力が弱い |
| すべてのチーム間の詳細なOLA | 期待が明確で、紛争が少ない | 官僚主義。チームが顧客の時計ではなく自分の時計を最適化する |
| 共有のエンドツーエンドの目標を持つ軽いOLA | 協力を促す。書類が少ない | 紛争を解決するために、信頼と良好なキューの可視性が要る |
| SLAにXLAを加える | サービスが人々を助けているかを示す | アンケートのデータはノイズが多く遅い。帰属がより難しい |
合意を小さく保ち、分布を報告し、体験のデータを使って運用のデータを確認してください。数字についての意見の相違の大半が生じる、時計の規則と引き継ぎに労力を費やします。
チームで話し合う問い
1. SLAのレポートがすべて緑なら、ユーザーはサービスについて何と言うと予想するか? グループに、数か月緑のままのサービスを一つ挙げてもらい、それからユーザーが自由記述や苦情で実際に言っていることを集めます。二つを比較します。ファシリテーターは、測定値と実際の体験の間のギャップを探し、達成しやすいという理由で選ばれた測定値に注意してください。
2. 私たちの時計はどこで止まり、それは誰が決めたか? 重要な目標の一つについて、開始、停止、停止の規則を見ていき、それぞれを誰が書いたかを尋ねます。停止状態にあるチケットの割合を見て、顧客が同意するかを問います。引き締めるか明確にする規則を一つ決めます。
3. 私たちのOLAのうち、チームが計画するのを助けているのはどれで、単に責任を割り当てているのはどれか? 社内の合意を列挙し、それぞれを誰がいつ読むかを尋ねます。OLAを外した後に何が起きるかを話し合います。キューについての対話か、落ち度の探し出しか。狙いは、議論をチーム間の仕事のフローのほうへ向けることです。簡素化するか廃止するOLAを一つ選びます。
4. 私たちの緑のどれだけが運か? 最も重要な目標のニアミスの割合を示します。来月に難しい事例が少し増えた、あるいは動ける人が少し減ったらどうなるかを話し合います。チームに余裕があるか、それがどこにあるかを尋ねます。
5. 今は測っていないが、顧客が私たちに約束してほしいことは何か? 顧客の代表者かユーザーに、自分たちの言葉で何が大切かを述べてもらいます。たとえば、人に連絡が取れること、初日の前にノートパソコンを受け取れること。二つか三つの成果を取り込みます。どれが短いアンケートの質問、またはすでにデータにあるイベントになりえるか、グループがどう良い水準に合意するかを決めます。
6. SLAの測定値がユーザーの気にすることから離れたら、どうやって分かるか? ウォーターメロンのギャップをシグナルとして話し合い、誰がそれを見ているかを尋ねます。合意がどのくらいの頻度でレビューされ、顧客が出席しているかを考えます。レビューの日付と、チケットの抽出と最新の体験の結果を含む、持ち込む証拠に合意します。
四つの視点
プロダクトとデリバリーのチーム
自分たちのサービスも運営するデリバリーのチームは、自分たちの目標とエラーバジェットを通じてSLAを満たし、SLAの違約金や顧客のエスカレーションが計画された仕事に割り込むときにコストを感じます。SLOをSLAより厳しく保ち、SLAを日々の目標ではなく安全のための下限として扱うべきです(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。
サービスと運用のチーム
運用チームは時計を担います。開始、停止、停止条件の明確な規則、受け手のキューを名指しする共有のOLA、引き継ぎの待ちの可視性が必要です。違反の原因を率直に報告し、問題とキャパシティの仕事への入力として使うべきです(トピック 4.1「問題管理のメトリクス」を参照)。原因を直す代わりに時計で結果を説明するよう求める圧力には抵抗するべきです。
リーダーシップとガバナンス
リーダーは、SLAのレポートを使って、コミットメントが満たされているか、どこに投資するかを見ます。分布、時計の停止の割合、ニアミスの割合、ウォーターメロンのギャップを求め、途切れない緑の連続には好奇心を持って接するべきです。違反の分析に続く改善の仕事に資金を付け、誠実な報告を非難から守ることは、目標そのものよりも重要です(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
顧客とユーザー
顧客は、合意が自分たちの感じることを記述してほしいと考えます。問題がどれだけ素早く直るか、どのくらいの頻度で再発するか、助けてくれる人に連絡が取れるか。彼らは合意のレビューの一部であり、緑のレポートが自分たちの体験に合わないときにそう言える方法を持つべきです。違反の理由と計画された修正を添えた、読みやすい1ページの要約は、達成率の長い表よりも多くの信頼を築きます。
実践:サービスマネジメントの例
地域の病院のIT部門が、病棟のスタッフが使う臨床スケジューリングシステムを支えています。サービスオーナー、サービスデスク、アプリケーションチーム、インフラチームが毎月会合します。以下の数字はすべて例示です。
SLAは、24時間、週7日のサービスで、優先度2のインシデント(病棟に影響する機能の部分的な喪失)の90パーセントを、チケット作成から計測して4時間以内に復旧すると約束しています。月次レポートは、36件のインシデントで94パーセントの達成(例示)を示し、十分に緑です。優先度2のクローズごとに送られる体験アンケートの回答率は41パーセント(例示)で、評価の中央値は5段階で3であり、サービスオーナーと病棟のマネージャーがXLAとして合意した4という水準を大きく下回っています。ウォーターメロンのギャップは、三か月連続で見えています。
チームは分布を見ます。復旧の中央値は1時間40分(例示)ですが、95パーセンタイルは3時間50分(例示)で、ニアミスの割合は31パーセント(例示)です。「達成」したインシデントのほぼ三分の一が、許容時間の最後の10分の1で終わっています。時計の停止の割合を見ると、経過時間の22パーセント(例示)が「顧客待ち」の状態で過ごされています。停止された10件のチケットの抽出では、4件で病棟が返信していたのに次のシフトまでチケットが停止されたままで、他の3件ではアプリケーションチームがインフラチームを待っていました。インフラのキューの85パーセンタイルの引き継ぎの待ち時間は、30分(例示)のOLAに対して2時間10分(例示)で、その引き継ぎのOLA達成率は58パーセント(例示)です。
決定は実際的です。「顧客待ち」は顧客への文書化された依頼の後にのみ使えるよう時計の規則を変更し、時計は次の返信で再開します。病棟の時間帯にインフラのキューへのオンコールの経路を加え、より小さなOLAに合意し、一か月後にレビューします。体験の測定値とウォーターメロンのギャップを月次の1ページのレポートに加え、病棟のマネージャーをレビューに招きます。また、SLAが危うくなる前にチームが問題に気づけるよう、社内のSLOを、インシデントの95パーセントを4時間以内に復旧という、より厳しいものに下げます。
二か月目に、悪用のリスクが現れます。停止の規則の変更後、達成率は89パーセント(例示)に下がり、マネージャーがサービスデスクに「優先度を再確認する」よう求めます。チームは優先度2から優先度3への格下げの急増に気づき、達成率を再分類率と再オープン率と組にし、あらゆる優先度の変更にレコードへの理由を求めます。三か月目に、達成率は91パーセント(例示)、95パーセンタイルは低くなり、ニアミスの割合は下がり、体験の評価の中央値は3.8(例示)に上がります。ギャップは、仕事が改善したために狭まり、数字は信頼できます。
アジャイル、AI、自動化、アナリティクス
アジャイル
サービスレベルをステークホルダーと合意し、定期的にレビューして、サービスが進化するにつれて、目標がユーザーの必要とするものに従うようにします。注意点は、何年も放置された固定の目標は、過去を測っていることです。
AI
AIは違反を要約し、どのチケットが目標を外すかを予測し、エスカレーションを提案できます。達成率を体験スコアとウォーターメロンのギャップと組にし、どの予測が正しかったかを記録します。注意点は、目標を守るためのAIの後押しが、人々に時計を止める、あるいは優先度を付け替えるよう促しうるため、停止の使用を監査することです。
自動化
達成率をイベントのタイムスタンプから計算し、停止の規則を見えるようにします。自動エスカレーションを、誤ったエスカレーションと見逃した違反で測ります。注意点は、顧客待ちのような状態での自動の停止は、悪用への容易な道であることです。
アナリティクス
達成率をニアミスとパーセンタイルとともに報告し、その隣に体験スコアを示します。これが情報を与える判断は、どの合意を再交渉するかです。注意点は、少ないチケット数での達成率は変動が大きいため、各パーセンテージの背後の件数を示すことです。
業種別の視点
スタートアップ。 小さな会社には、正式なSLAがまったくなく、少数の初期の顧客への非公式な約束しかないことがよくあります。サービスの時間、対応の目標、パーセンタイルで述べた復旧の目標を挙げた1ページを書き、チーム内にSLOを保ちます。顧客との対話がXLAの代わりになるので、最も重要な三人の顧客が毎月言うことを書き留めます。
中小企業。 小さなITチームは通常、外部の供給者に大きく依存しているため、社内のOLAよりも支援契約のほうが重要です。各供給者のコミットメントが、自分たちのユーザーに与えるSLAと少なくとも同じ厳しさであることを確認し、供給者の実際のパフォーマンスを追跡します(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。達成率、ニアミス、短いユーザーアンケートを含む、単純な月次のページで十分です。
大企業。 大きな組織には、合意の台帳と網羅率のメトリクスが要ります。集約が意味を持つよう、サービス間で時計の規則と定義を標準化します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。何百もの緑の行が、ユーザーが深刻に困っている少数のサービスを隠す、管理層向けの集約でのウォーターメロン効果に注意します。
政府・公共部門。 公的機関には、法定のサービス基準、SLAを契約に固定する調達規則、結果を公表する義務がしばしばあります。公表される測定値を明確で検証可能に保ち、時計の規則と証拠を監査のために保持し、市民をレビューに声を持つ顧客として扱います(トピック 8.5「規制対応・行政向け報告」を参照)。契約が硬直しているところでは、契約の文言を変えずに、その隣に体験の測定値を加えます。
ビジネスケース:動機、ROI、TCO
より良い合意のメトリクスのケースは、信頼のため、そして無駄な労力を避けるためのケースです。ユーザーの感じ方に合ったレポートは、エスカレーションと紛争を減らし、誰の数字が正しいかについての月次の議論を短くし、リーダーが重要な仕事に資金を付けられるようにします。明確なOLAは、長い復旧の最大の寄与要因の一つである引き継ぎの遅れを減らします。早期に捉えられたウォーターメロンのギャップは、顧客との関係や契約の更新がうまくいかなくなる、より大きなコストを避けます。
コストは控えめです。合意を書きレビューする時間、信頼できる時計と引き継ぎのデータ(トピック 1.5「データソースと計装」を参照)、短いアンケート、月次のレビュー。総コストは合意の数とともに増えるので、より少なく単純な合意のほうが所有するのに安上がりです。
見返りは、驚くような違反の減少、レポートの説明に費やす時間の減少、より情報に基づいた投資の選択として現れます。これらを計算ではなく、観察して時間とともに比較するパターンとして扱います。月次のレビューの労力を、自分たちの組織での一件のエスカレートした紛争、あるいは一件の失われた更新のコストと、自分たちのデータを使って比較してください(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 平均だけを報告する。 平均は、遅れた仕事の長い裾を隠す。パーセンタイル、ニアミスの割合、件数を報告する。
- 達成しやすいものを中心にSLAを書く。 快適さのために選ばれた目標は、常に緑のレポートを与える。顧客が必要とすることから始め、ギャップを公然と示す。
- 数字を良くするために時計を止める。 寛大な停止状態は、SLAを作り話にする。停止の規則を公開し、抽出を監査し、停止の割合を報告する。
- 武器としてのOLA。 次のチームを責めるために使われるOLAは、チームに仕事を突き返すことを教える。外れをキューについての情報として扱い、フローを直す。
- 違約金に駆動されるレポート。 重い違約金は、防御的な分類と時計をめぐる紛争を促す。違約金は控えめに使い、再オープン率と再分類率と組にする。
- 回答率のない体験データ。 小さく自己選択された標本の高いスコアは誤解を招く。すべての結果の隣に、回答率と回答者の構成を示す。
- 誰もレビューしない合意。 古くなった合意は、もう存在しないサービスを記述する。レビューを予定し、使われないものは廃止する。
- チームの合意からの個人の目標。 チームのSLAを個人のノルマに分割すると、慌ただしいクローズと順位付けにつながる。合意をサービスとチームのレベルに保つ。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | 協調 |
|---|---|---|---|---|---|
| 合意の設計 | 口頭の約束やコピーしたテンプレート。習慣で選んだ目標 | 一部の書面のSLA。OLAはまれ。チームによって時計が異なる | 成果ベースの目標、パーセンタイル、書面の時計の規則を伴う短いテンプレート | 合意が顧客とともに一定の頻度でレビューされ、SLOに結び付く | SLA、OLA、供給者の契約、SLOの階層が、状況の変化に合わせて一緒に調整される |
| 測定の質 | 手作業の集計。平均。文書化されない停止 | 一部のサービスでツールによる達成。停止の使用がレビューされない | 定義とデータソースが一つ。分布と停止の割合を示す | ニアミス、違反の原因、引き継ぎの待ちを傾向として追い、抽出する | チームと供給者にまたがるデータが突き合わされる。判断に情報を与えなくなれば定義が見直される |
| 体験との結び付き | SLAに結び付いたユーザーのフィードバックなし | 一部のサービスでアドホックなアンケート | 主要な旅路の短いアンケート。回答率を示す | 体験の目標を顧客と合意し、ウォーターメロンのギャップを報告する | 体験と運用の測定値が、顧客との共有の改善の仕事を導く |
| 改善での利用 | 苦情の後に報告される | 違反がチームの会議で議論される | オーナーとアクションを伴う月次のレビュー | 違反の原因が、資金の付いた改善と問題の仕事に供給される | 顧客、供給者、チームが同じビューから一緒に改善を計画する |
チェックリスト
- 各SLAが、成果、パーセンタイルまたは割合としての目標、母集団を述べている。
- すべての目標に、開始イベント、停止イベント、許される停止条件が書かれている。
- 顧客向けの各SLAに、その範囲に収まるOLAまたは供給者の契約があり、それぞれに名前付きのオーナーチームがある。
- 社内の目標が、約束されたSLAの目標より厳しい。
- レポートが、分布、件数、ニアミスの割合、時計の停止の割合を示している。
- 停止されたチケットとクローズされたチケットの抽出が、毎月読まれている。
- 各主要サービスに、合意された水準を持つ体験の測定値があり、回答率が示されている。
- ウォーターメロンのギャップが追跡され、顧客の代表者とともにレビューされている。
- 合意が予定に従ってレビューされ、使われなければ廃止されている。
- 合意のメトリクスが、個々の人の順位付けに使われていない。
AIプロンプト
SLAの時計と文言の問題をレビューする。
これは [サービス] のSLAの文言です:[合意の文言を貼り付け]。目標は [目標の一覧] で、[ツール] で測定されています。開始イベント、停止イベント、停止条件のあいまいさ、平均が長い裾を隠しうる箇所、顧客が私たちと違って読みうる文言を特定してください。より明確な文言と、顧客に尋ねるべき問いを提案してください。ベンチマークの値や法的な結論を捏造しないでください。前提を列挙してください。
二つのチーム間のOLAを起案する。
[サービス] の [SLAの目標] というSLAを支えるために、[送り手のチーム] と [受け手のチーム] の間の短い運用レベル合意が必要です。典型的な引き継ぎは [説明] で、キューは [キューの名前またはツール] です。目的、期待される対応、時計の規則、紛争を解決する方法、見直しの日付を含む、1ページのOLAを起案してください。トーンは協力的に保ち、私が求めない限り違約金を提案しないでください。目標値を捏造せず、私に尋ねてください。前提を列挙してください。
データからウォーターメロンのギャップを探す。
以下は [期間] の [サービスの一覧] のSLA達成率と体験の測定値の要約です:[表を貼り付け]。SLAが満たされたと読め、体験が悪いと読めるサービスを特定し、時計の停止、優先度の再分類、選びの悪い測定値など、調査すべきありうる説明を提案してください。それぞれについて、問いと、読むべきチケットの小さな抽出を提案してください。原因を決めつけたり、しきい値を捏造したりしないでください。前提を列挙してください。
XLAのための短い体験アンケートを設計する。
[対象者] の [旅路。例:新しいノートパソコンの入手] の体験の測定値を加えたいと考えています。[数] 個の中立的な質問、いつどのように送るかの計画、回答率と回答者の構成の報告方法を起案してください。答えに偏りを生みうる文言に印を付け、[顧客の代表者の役割] と目標の水準をどう合意するかを提案してください。ベンチマークのスコアを捏造しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:SLAの行の背後にあるメトリクスを定義するトピックと、その隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの編集が、テンプレート、時計の規則、悪用の表を整合させているかを確認するときに使います。
要点
- SLAは顧客への約束、OLAはチーム間の約束、XLAは合意された体験の成果であり、それぞれに独自の測定値とオーナーが要る。
- 平均と静かな停止が、貧弱なサービスの上に緑のレポートを作るので、パーセンタイル、件数、ニアミス、時計の停止の割合を報告する。
- OLAをSLAから導き、社内の目標を約束より厳しく保つ。
- すべてのSLAを、同じ旅路の体験の測定値と組にし、ウォーターメロンのギャップを、行動すべき所見として報告する。
- 顧客を同席させて、予定に従って合意をレビューし、誰も使わないものは廃止する。
- すべての合意のメトリクスを、個人ではなく、サービスとチームのレベルに保つ。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Service-level agreement.
- Wikipedia, ITIL.
- Wikipedia, Operational-level agreement.
- Wikipedia, Service level indicator.
- Wikipedia, Service level objective.
- Wikipedia, Site reliability engineering.
- Wikipedia, Percentile.