サービスメトリクスのための統計リテラシー
チケットやフローのデータは、偏り、でこぼこで、しばしば薄い。そのため、平均ではなく中央値と高いパーセンタイルを報告し、すべての率の背後にいくつのアイテムがあるかを述べ、誰かが反応する前に通常のばらつきと本当の変化を切り分ける。
概要と動機
サービスのメトリクスの多くは、ダッシュボード上の一つの数字として届きます。平均解決時間、目標内に解決したインシデントの割合、今週クローズしたチケット数。一つの数字は正確に感じられます。しかし、たいていは雑多なイベントの集まりを圧縮した要約であり、その圧縮が、読み手に何が見えるかを決めます。本書でいう統計リテラシーとは、要約を誠実に保つ小さな習慣の集まりです。データの形に合う要約を選び、その背後にどれだけのデータがあるかを知り、本当の変化とノイズを見分けることです。
最初の問題は、サービスデータの形です。解決時間、サイクルタイム、待ち時間などの時間の測定値は、ゼロで下限があり、右側に長い裾を持ちます。ほとんどのアイテムは速く終わり、少数が非常に長くかかります。このようなデータは歪んで(skewed)おり、算術平均は裾のほうへ引っ張られるため、詰まった1件のチケットが、100件の日常的なチケットよりも平均を大きく動かすことがあります。アイテムを並べたときの真ん中の値である中央値(median)は、はるかに影響を受けません。パーセンタイル(percentile)はそれを一般化したもので、85パーセンタイルとは、アイテムの85パーセントがその範囲内で終わる値です。この種の所要時間は、値の対数が左右対称になる対数正規分布(log-normal distribution)でモデル化されることがよくあります。教訓は、偏ったデータでは「典型」と「平均」が異なる、ということです。
二つ目の問題は、標本の大きさです。四半期に優先度1のインシデントを12件解決し、「83パーセントが目標内」と報告するチームが述べているのは、12件中10件のことです。もう1件の未達があれば、数字は8ポイント動きます。誠実な記述には件数が含まれ、しばしば範囲も含まれます。信頼区間(confidence interval)は、データから計算される範囲で、真の値が観測値からどのくらい離れうるかを表します。区間は標本が小さいと広く、大きいと狭く、これは12件のインシデントの四半期に対する正しいメッセージです。
三つ目の問題は、ばらつきです。どのプロセスも、何も変わっていなくても週ごとに揺れる数字を生み出します。1920年代に製造品質に取り組んだウォルター・シューハートは、この日常的な揺れと、調べる価値のあるシグナルを切り分け、管理図(control chart)を私たちに残しました。このような図をプロセスに適用することを、統計的工程管理(statistical process control)といいます。この最後の誤りの一部は平均への回帰(regression toward the mean)です。極端な値の後には、それほど極端でない値が続きやすく、ひどい週の翌週は、誰が何をしたかにかかわらず回復のように見えるのです。
カンバンガイドがサイクルタイムのパーセンタイルと作業アイテムの年齢を使うような、アジャイルのフローの実践は、すでに分布と、可能性として表現される予測を求めています(トピック 2.1「フロー指標」を参照)。ITIL 4では、測定とレポートのプラクティスと継続的改善のプラクティスのどちらも、見かけどおりの意味を持つ測定値に依存し、サービスレベル管理は、現実的なばらつきに照らして設定された目標に依存します。統計リテラシーは、両者の下にある共有の層です。それはトピック1.2「グッドハートの法則とメトリクスの心理学」の防護柵も支えます。分布全体を示すチームには、操作された平均を隠す場所が少なくなるのです。
共通原因によるばらつきはプロセスに組み込まれており、特殊原因によるばらつきは、変わった、あるいはうまくいかなかった特定の何かに由来します。サービスレベルアグリーメント(SLA)は顧客への文書化された約束であり、サービスレベル目標(SLO)は測定値の目標です。
主要な原則
- 要約を形に合わせる。 所要時間には中央値とパーセンタイルを使い、判断が重要なときは分布全体を示す。平均は、ほぼ左右対称のデータや、コストのような合計のために取っておく。
- すべての率に件数を添える。 分子と分母のない割合は、証拠の付いていない主張である。定めた最小件数を下回るときは、率ではなく生のアイテムを示す。
- 通常のばらつきはニュースではない。 反応する前に、測定値の通常の範囲を知る。すべての動きではなく、シグナルに応答する。
- 不確かさは答えの一部である。 予測は可能性(「アイテムの85パーセントが9日以内に終わる」)として、推定は範囲として表現し、偽の精度に抵抗する。
- 分布を、仕事を所有するチームに見せる。 生のアイテムとヒストグラムは例外的な事例を見えるようにし、静かな操作を難しくする。
- 相関、選択、タイミングが、多くの「改善」を説明する。 他に何が変わったか、データから誰が外れたか、出発点が異常に悪くなかったかを問う。
- 統計は釣り合いを保つ。 チームに必要なのは、一貫して使う少数の手法であって、統計学の講義ではない。すべてのグラフを平易な言葉で説明する。
メトリクスの定義
以下のメトリクスは、メトリクスの実践の統計的品質と、サービスの仕事の分布を記述します。時間の測定値は各行に記された時計を使い、定義は後続のトピックで再利用されることを意図しています(トピック 3.3「インシデントの対応時間と解決時間」とトピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 解決時間の中央値 | その期間に解決されたインシデントの、真ん中の解決時間 | その期間に解決されたインシデントについての(解決のタイムスタンプ − 作成のタイムスタンプ)の50パーセンタイル。時計はチケットの作成で始まり、解決で止まる。一時停止は差し引かず、別に報告する。キャンセルされたチケットと重複チケットは除く | 時間または日 | ITSMツールのステータス履歴 | インシデント管理、測定とレポート | サイクルタイムの中央値 | 毎週または毎月 |
| 高パーセンタイルの解決時間 | ほとんどのインシデントが解決される時間。パーセンタイルに名前を付ける | 上と同じ経過時間の85(または95)パーセンタイル。解決されたアイテムが20件以上ある場合のみ計算し、それ以外は生のアイテムを列挙する | 時間または日 | ITSMツールのステータス履歴 | インシデント管理、サービスレベル管理 | サイクルタイムのパーセンタイル予測 | 毎週または毎月 |
| 最も古い未解決アイテムの年齢 | まだ開いている最も古いアイテムの年齢と、高パーセンタイルより古いアイテムの数 | 未解決アイテムについて、現在時刻 − 作成のタイムスタンプ。一時停止は差し引かない。顧客待ちのものを含め、サービスのキュー内のすべての未解決アイテムを数える | 日 | ITSMツールまたは課題管理 | インシデント管理、問題管理 | 作業アイテムの年齢 | 毎週 |
| 率の報告の網羅率 | 報告される率のうち、分子、分母、最小件数の確認を示しているものの割合 | 件数と標本の印付きで報告された率の数 ÷ 報告された率の数。その期間のレビュー資料に公開された率のみを数える | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート | ワーキングアグリーメント | 四半期ごと |
| 管理図のシグナル率 | 測定値の管理図上の点のうち、チームの書面の規則に従って特殊原因によるばらつきを示すものの割合 | 規則に従って印が付いた点の数 ÷ プロットされた点の数。直近20点以上について。規則はあらかじめ固定され、記録される | パーセント | 管理図ツールまたはスプレッドシート | 継続的改善 | プロセスのレトロスペクティブでの検査 | 毎月 |
| 区間の幅 | 見出しの率に付した不確かさの範囲の幅 | 台帳で名前を付けた方法による、その期間の見出しの率の区間の上限 − 下限 | パーセントポイント | ITSMの件数から計算 | サービスレベル管理 | 計画での予測の範囲 | 毎月 |
契約が平均を指定している場合は、契約上の数字を報告し、その隣に中央値とパーセンタイルを示してください。
推奨事項
時間のデータを誠実に要約する
1. 中央値と、名前を付けた高パーセンタイルを一つ既定にする。 解決時間、サイクルタイム、履行時間については、中央値と85または95パーセンタイルを併せて公開し、パーセンタイルをメトリクスの名前に書き込みます。中央値は典型的なものを教え、高パーセンタイルは顧客に合理的に約束できるものを教えます。約束のために数字を一つ選ばなければならないなら、パーセンタイルを選びます。
2. 要約だけでなく形も示す。 解決時間をクローズ日に対してプロットしたヒストグラムや散布図は、どんな要約にも現れないまとまり、長い裾、急な変化を見せます。図と数字が食い違うときは、図を信じ、数字を調べます。
3. 最も古い未解決アイテムの年齢を加える。 終わった仕事のパーセンタイルは過去を向いており、まだ詰まっているものをすべて無視します。最も古い未解決アイテムと、すでに高パーセンタイルより古い未解決アイテムの数を報告します(トピック 2.1「フロー指標」を参照)。これは、難しいアイテムが放置されて年を取る間に改善して見える平均に対する、最も有用な唯一の是正策です。
小さな標本と不確かさを尊重する
4. すべての率と一緒に件数を公開する。 「83パーセント」ではなく「12件中10件が目標内に解決」と書きます。定めた件数より少ないアイテムに基づく率は、件数または元のアイテムとして示す、という規則を加えます。しきい値は判断です。書き留め、見直し、どこにも適用します。
5. 見出しの率と予測には区間を使う。 失敗する変更の割合のような比率については、チームが合意した方法で信頼区間を計算し、その方法を台帳に記します。デリバリーの予測では、標本に基づく範囲(たとえば「週あたり8〜14件の可能性が高い」)のほうが、単一のスループットの数字よりも、計画する人に多くを伝えます。区間が広すぎて判断に情報を与えられないなら、そう述べます。
シグナルとノイズを区別する
6. 行動の対象とする測定値に管理図を描く。 単純な個別値の図は、各点を時間順にプロットし、データから計算した中心線と限界線を引き、限界の外にある点や中心の片側に続く連を示します。週ごとの解決時間の中央値と週ごとの件数から始めます。シグナルの規則(たとえば、限界を超えた点、片側に8点連続)を一度書き下して固定し、チームが図を自分たちの感覚に合わせて規則を調整しないようにします。
7. シグナルに行動し、共通原因のばらつきは放っておく。 点が限界の内側にあるときは、その説明を求めてはいけません。プロセスは通常どおり振る舞っているのです。シグナルが現れたら、その週に何が変わったかを問います。リリース、人員の欠員、供給者の障害、新しい区分。プロセスが安定しているのに満足できないなら、改善はシステムの変更であって、赤い週を迎えた誰かとの対話ではありません。
8. 極端な期間の後には、平均への回帰を予期する。 一年で最悪の月に取り組みを始めたなら、偶然によっていくらかの改善が続きます。取り組みの手柄とする前に、より長いベースライン、変化しなかった類似のサービス、または管理限界と比較してください。二点の前後比較は、最も弱い形の証拠です。
原因と選択について慎重に推論する
9. データに何が欠けているかを問う。 アンケートの回答は、答えることを選んだ人から来ます。クローズされたチケットは、まだ開いているものを除きます。結論を出す前に、誰または何が不在かと、それが結果をどう傾けうるかを列挙します。
10. 定義の変更は意図して行い、グラフに印を付ける。 新しいステータスモデル、新しい優先度のマトリクス、新しい区分の一覧は、仕事を変えずにデータを変えます。各変更をグラフに注記し、その後で管理限界を再開します(トピック 1.5「データソースと計装」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 解決時間の中央値 | 簡単なチケットを先にクローズして難しいものを開いたままにする。チケットを複数の簡単なものに分割する。顧客待ちの状態で時計を止める | 高パーセンタイルの解決時間と最も古い未解決アイテムの年齢。一時停止状態で過ごした時間の割合。紐づけられたチケットの率 |
| 高パーセンタイルの解決時間 | 結果を良く見せるパーセンタイルを選ぶ、またはレポートの間で変える。長い事例を「外れ値」として除外する、または再分類する | 台帳で固定されたパーセンタイル。理由付きの除外アイテムの一覧。最も古い未解決アイテムの年齢 |
| 最も古い未解決アイテムの年齢 | 最も古いアイテムを解決せずにクローズまたは統合する。別のキューや区分に移す | 再オープン率。最も古いクローズ済みアイテムの抽出監査。キュー間の移動の件数 |
| 率の報告の網羅率 | 小さな文字で件数を付けながら、見出しは相変わらず割合から始める。決して作動しないほど最小件数を低く設定する | 台帳ではなく実際のダッシュボードをレビューする。最小件数を区間の幅と併せてレビューする |
| 管理図のシグナル率 | シグナルが消えるように、限界を広げる、規則を加える、ベースラインを再開する。測定値を変えることで点を動かす | 規則と限界を変更履歴付きで台帳に保存する。生のヒストグラムと比較する |
| 区間の幅 | 狭い範囲になる方法や期間を選ぶ。標本を増やすために、異なるサービスをまとめる | 台帳に方法を明記する。サービス別の内訳を求めに応じて提供する。まとめた結果とまとめない結果を比較する |
健全な読みでは、中央値とパーセンタイルがユーザーの体験と同じ方向に動き、古いアイテムの短い一覧が静かに再分類されることなく縮み、率が件数とともに現れます。管理図のシグナル率は低く、ゼロではないはずです。一度もシグナルを出さない図はシグナルを出せない可能性があり、常にシグナルを出す図は、不安定なプロセスか、選び方の悪い規則を反映しています。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 解決時間の平均 | 単純で、多くの契約に合い、合計しやすい | 裾に支配される。顧客が典型的に体験することを隠す |
| 中央値と高パーセンタイル | 外れ値に強い。顧客への約束を支える | 少し説明が要る。パーセンタイルが安定するにはアイテム数が要る |
| 件数のない生の率 | コンパクトで馴染みがある | 小さな標本を隠し、読み過ぎを招く |
| 件数と区間を伴う率 | 不確かさに誠実。過剰反応を抑える | 決定的でなく見える。区間の方法に合意が要る |
| 管理図 | シグナルとノイズを切り分ける。いつ行動するかを導く | 十分な点数と安定した定義が必要。限界が誤読または操作されうる |
| 前後の比較 | 手早く、伝えやすい | 平均への回帰と同時に起きた変化に弱い |
年に数件のインシデントしかないサービスでは、安定する統計はなく、正しい方法は一件ずつ読むことです。件数の多いデスクでは、分布を意識した測定値は安価で、明らかに優れています。件数と判断の重大さで選んでください。
チームで話し合う問い
1. 現在のダッシュボードの数字のうち、偏ったものの平均はどれで、中央値と95パーセンタイルは何を示すか? 最もよく見られる時間の測定値を選び、会議の前に同じアイテムの集合で三つすべてを計算します。平均が語る物語が、ユーザーの言うことと合っているかを尋ねます。最後に、どの要約を見出しにし、他をどこに載せるかを決めます。
2. 最もよく引用される割合の背後に、いくつのアイテムがあり、件数を書いてもそれを引用し続けるか? リーダーシップが最もよく読む三つの割合を挙げます。それぞれの隣に、直近の期間の分子と分母を書きます。もう1件の成功や失敗が数字に何をするかを尋ねます。それを下回れば率ではなくアイテムを示す、最小件数を決めます。
3. 最後に改善を取り組みの手柄にしたのはいつで、そのとき他に何が事実だったか? 最近の成功談を選びます。その測定値が最悪だったのはいつか、より長い履歴はどう見えるか、比較できるサービスも改善したかを尋ねます。口調は好奇心を保ってください。
4. 主要な測定値の通常の範囲はどこで、ある週が異常だと誰が言えるか? 一つの測定値の直近20週以上の値をプロットして中心線と限界線を引くか、おおまかに計算します。範囲の内側にあったのにチームが反応した週はどれかを尋ねます。誰が図を所有し、シグナルの規則がどこに書かれているかを決めます。
5. 私たちのデータには、誰または何が欠けているか? 測定値の情報源を列挙します。クローズされたチケット、アンケートの回答、監視対象のサービス、タイムスタンプを持つツール。それぞれについて、誰が外れ、なぜかを尋ねます。各ギャップを、修正か注意書きとして記録します。
6. 広い範囲や「まだ分からない」を、言い訳に聞こえないようにリーダーシップへ説明するにはどうするか? 実際の例で言い回しをリハーサルします。「12件のインシデントで70〜95パーセント。次の四半期の後に狭まると見込んでいる」。読み手が何を決める必要があるか、範囲が判断を変えるかを尋ねます。会議の中で短い台本を書きます。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、サイクルタイムとスループットを予測に使い、平均よりもパーセンタイルに基づく予測から最も恩恵を受けます(トピック 2.1「フロー指標」を参照)。可能性を伴う範囲として述べた予測は、日付よりも擁護しやすいものです。一つの期間の変化を傾向として読むことには抵抗してください(トピック 2.5「デリバリー予測と計画のメトリクス」を参照)。
サービスと運用のチーム
運用チームは、チケットのデータとインシデントの時計を所有しているため、中央値、パーセンタイル、最も古い未解決アイテムを公開し、一時停止の規則を説明するのに最も適した立場にあります。週ごとの件数と解決時間を管理限界付きでグラフにし、欠陥のあるリリースのような本当の変化を悪い週と区別するべきです。インシデントの少ないサービスでは、率を計算する代わりに、一件ずつレビューするべきです(トピック 3.3「インシデントの対応時間と解決時間」を参照)。
リーダーシップとガバナンス
リーダーは、チームが何を見せるかを形作る問いを投げます。あらゆる揺れに「なぜこれは上がったのか?」と尋ねることは、組織にノイズを説明し、隠すことを教えます。リーダーは、動きが通常の範囲の内側か、数字の背後にいくつのアイテムがあるか、プロセスで何が変わったかを尋ねるべきです。ガバナンスの組織は、見出しの率に件数を求めることができます。
顧客とユーザー
顧客は平均ではなく、個々の事例を体験します。5週間かかった一件のリクエストを覚えていて、平均2日という数字はその記憶を癒しません。パーセンタイルの約束(「リクエストの10件中9件を3営業日以内に」)は、平均時間よりも顧客の心の中のモデルに合います。アンケート結果は回答数とともに示し、自由記述のコメントは数字と併せて読むべきです(トピック 6.1「顧客満足度のメトリクス」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者に、サービスデスクと、そのウェブショップを支える運用チームがあります。以下の数字は例示です。
リーダーシップは月次の見出しを目にします。「インシデントの平均解決時間は9.1時間から7.4時間に短縮した」。運用の責任者は、それを確認し、次の目標である6時間の計画を示すよう求められます。同意する前に、彼女はアナリストに元のアイテムを取り出してプロットするよう頼みます。月内の240件のインシデント(例示)のうち、中央値は2.5時間、85パーセンタイルは14時間、5日より古くてまだ開いているものが9件です。前月の中央値は2.6時間でした。平均が下がったのは、前月からの非常に長い三つのインシデント(うち一つは11日経過)がたまたま期間の早いうちに解決されたことと、パスワードリセットのチケットの一団が、すぐクローズされるリクエストの種類に再分類されたからでした。
チームは直近26週の週ごとの中央値をグラフにします。中心線は2.6時間付近にあり、過去二か月のすべての点は限界の内側です。見出しの低下はシグナルではありません。第2週の再分類がグラフの途中で定義を変えたため、チームはそこに印を付け、その時点から限界を再開します。
三つの変更を決めます。月次レポートは、中央値、85パーセンタイル、最も古い未解決アイテムを、それぞれの背後のインシデント数とともに示します。提案されていた6時間の平均の目標は、新しい定義の下で一四半期のデータを得てから設定する、パーセンタイル目標についての対話に置き換えられます。チームはまた、9件の古いインシデントを、それぞれオーナーと次の手順を付けて一覧にします。
チームが捉える悪用のリスクは、次のレビューで現れます。マネージャーが、最も古いアイテムの数字を健全に見せるために、最も古い9件のインシデントを「もはや再現できない」としてクローズすることを提案します。台帳が最も古い未解決アイテムの年齢を、再オープン率と、古いクローズの抽出監査と組にしているため、チームは提案されたクローズのうち三つを読み、二つがまだ生きていることを見つけて、開いたままにします。最も古いアイテムの数字は、もう一か月居心地の悪いままです。それは意図した振る舞いです。
アジャイル、AI、自動化、アナリティクス
アジャイル
頻繁なデリバリーは多くの小さな標本を生み、変化を見るには良いのですが、一つひとつの標本は小さいものです。有用なプラクティスは、ローリングウィンドウの管理図を示し、定期的なレビューで、あらゆる揺れではなくシグナルだけを議論することです。注意点はノイズに反応しないことです。落ち込みのたびに進路を変えるチームは、どの変更の効果も見ることがありません。
AI
AI支援の仕事は、最初の応答が速くなる一方で品質のばらつきが大きくなるように、分布全体をずらすことがよくあります。前後をパーセンタイルと最も古いアイテムで比較し、速さを品質の測定値と組にします。注意点は、モデルの変更が傾向の途中でデータを変えうることなので、モデルとプロンプトの変更をグラフに印してください。
自動化
中央値、高パーセンタイル、件数、区間の計算と表示を自動化し、正しい形が既定になって誰も手で再計算しないようにします。自動化自体にも、標本の大きさと失敗率の報告が必要です。注意点は、偏ったデータに対するしきい値の自動通知が誤報を生むことなので、固定の数字ではなく管理限界に基づいて通知してください。
アナリティクス
率の背後にいくつのアイテムがあるかを必ず述べ、件数が少ないときは区間を示します。予測は単一の日付ではなく範囲として使います。注意点は、統計的有意性は実際的な重要性を意味せず、小さな標本は本当の問題を隠しうることなので、数字を実際のアイテムを読むことと組み合わせてください。
業種別の視点
スタートアップ。 件数が少ないため、ほとんどの率は少数のアイテムでできていて、区間は広くなります。統計を計算する代わりに、インシデントを一件ずつ読み、一、二の測定値の簡単な週ごとのグラフを保ち、三点から傾向を宣言することは避けてください。件数が増えるにつれて、習慣がすでに根付くよう、早めに中央値とパーセンタイルに移ります。
中小企業。 ITを運営する人がデータも所有し、標本は通常小さいものです。まれなイベントにはパーセンテージではなく件数を報告し、自分たち自身のより長い履歴と比較してください。ベンダーの「応答時間」の時計が実際に何を測っているかを確認します。
大企業。 件数が分布を意味のあるものにしますが、異なるサービスを混ぜた集約も促します。同種のものを比較し、定義と使ったパーセンタイルを公開し、チームが同じ測定値を三通りに計算しないよう、グラフと計算の規則の共有ライブラリを保ちます。
政府・公共部門。 契約と法定の報告は、平均やしきい値のパーセンテージを固定していることが多く、その定義は交渉の余地がありません。必要な数字を定義どおりに正確に報告し、その横に中央値、パーセンタイル、件数を示して、監督機関が全体像を見られるようにします。公的な精査は、誠実な不確かさをより価値あるものにします。自信過剰な数字は撤回のコストが高いからです(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
要約の規則に合意し、エクスポートからヒストグラムと管理図を作り、レポートのテンプレートに件数を加えるのには数時間かかり、更新を保つのにサイクルごとに数分かかります。ほとんどのツールはすでにパーセンタイルを計算できます。より大きなコストは、一つの心地よい数字に慣れた人々との対話です。
見返りは、より良い判断と、無駄な反応の減少です。チームは、悪い週の後に組織を作り直すことをやめ、偶然の改善を取り組みの手柄にすることをやめ、顧客の半分が体験していない平均を約束することをやめます。数字を借りてはいけません。昨年の判断が覆された頻度と、翌期間に消えた「改善」の数を数え、その数でケースの大きさを測ってください。
アンチパターンと落とし穴
- 偏った所要時間の平均。 平均は裾に引きずられ、ユーザーが感じることを隠す。中央値と名前を付けた高パーセンタイルを報告し、最も古い未解決アイテムを示す。
- ごく小さな標本からの割合。 3件からの「100パーセント」は逸話である。件数を示し、最小件数の規則を適用する。
- あらゆる揺れへの反応。 赤い週を追い回すことは労力を無駄にし、チームにノイズを説明することを教える。管理限界と書面のシグナルの規則を使う。
- 前後比較による証明。 二点では、介入を偶然や平均への回帰から切り分けられない。より長いベースラインと比較対象を使う。
- グラフ上でゴールポストを動かす。 限界、規則、定義を後から変えると、どんなグラフも物語に合ってしまう。規則を固定し、変更を記録し、注記する。
- 既定での外れ値の除外。 最も長い事例は、たいてい顧客が覚えているものだ。書面の理由がある場合にのみ除外し、除外したものを列挙する。
- 偽の精度。 12件から83.3パーセントと報告することは、データにない知識を暗示する。誠実に丸め、範囲を示す。
- 異なる仕事をまとめる。 パスワードリセットとデータセンター障害を混ぜた時間は、どちらも記述しない。先に分割する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 時間データの要約 | 平均のみ | 一部のチームが中央値を示す | 中央値と名前付きのパーセンタイル、最も古い未解決アイテムが標準である | 分布を防護柵付きでレビューし、傾向として追う | パーセンタイルの約束が顧客や供給者と合意され、データの変化に応じて見直される |
| 標本の大きさと不確かさ | 件数なしで率が引用される | 一部のレポートに件数が示される | すべての率に件数と最小件数の規則がある | 見出しの率に区間があり、方法は台帳にある | 不確かさが顧客と公開で共有され、チーム横断の計画で使われる |
| ばらつきと因果 | あらゆる変化が説明される | 限界付きの少数のグラフ | 主要な測定値に、書面の規則を持つ管理図がある | シグナルが計画的な調査を引き起こす。取り組みはベースラインに照らして確認される | サービス横断で共有されたグラフのライブラリ。順位付けなしでチーム間のベースラインを比較する |
チェックリスト
- すべての時間の測定値が、平均だけでなく、中央値と名前を付けた高パーセンタイルを報告している。
- 最も古い未解決アイテムの年齢と、高パーセンタイルを超えるアイテムの数が報告されている。
- 報告されるすべての率が、分子と分母を示している。
- 最小件数の規則が書き下され、すべての率に適用されている。
- 見出しの率と予測が範囲を示し、方法が台帳に明記されている。
- チームが行動の対象とする三つの測定値に、書面のシグナルの規則を持つ管理図がある。
- 定義の変更がグラフに注記され、台帳に記録されている。
- 除外されたアイテムが理由とともに列挙されている。
- 改善の主張は、繰り返される前に、より長いベースラインに照らして確認されている。
- 各メトリクスの悪用の手口と防護柵が台帳にある(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
AIプロンプト
要約がデータに合っているかを確認する。
[サービス] の [期間] における [測定値。例:インシデント解決時間] の値が [件数] 個あります。時計は [開始イベント] で始まり、[停止イベント] で止まります。一時停止は [扱い方] です。値は下に貼り付けます。
分布の形を説明し、平均、中央値、[パーセンタイル。例:85パーセンタイル] と [第二のパーセンタイル。例:95パーセンタイル] を計算し、どの要約が典型的な事例を最もよく表し、どれが顧客への約束を支えるかを教えてください。データの誤りに見える値を指摘してください。ただし、取り除かないでください。ベンチマークの値を捏造しないでください。前提と、データから判断できなかったことを列挙してください。
[個人情報を除いた値を貼り付け]
率をその不確かさとともに表現する。
私たちのチームは、[サービス] の [期間] について、[率の名前] を [分母] 件中 [分子] 件として報告しています。これを件数とともに示す方法を示し、成功がもう1件多い、または少ない場合に数字がどれだけ変わるかを平易な言葉で説明し、[方法、または「あなたが推奨して名前を付ける方法」] を使って信頼区間を計算してください。技術者でないリーダーにも分かる言い回しと、率の代わりにアイテムを示す最小件数の規則を提案してください。比較用の数字を捏造しないでください。方法とそれが必要とするデータの条件を含め、前提を列挙してください。
変化がシグナルかノイズかを判断する。
[サービス] の [測定値] の連続する [毎週または毎月] の値が [件数] 個あります。[期間] に変化がありました:[介入、リリース、定義変更の説明]。中心線と限界線を持つ管理図をプロットまたは記述し、次のシグナルの規則を適用して、どの点がシグナルかを教えてください:[規則の一覧。例:限界を超えた点が一つ、片側に8点連続]。その変化が通常のばらつきと区別できるか、また平均への回帰や定義変更など、除外すべき他の説明は何かを述べてください。因果関係を主張しないでください。前提と、役立つ追加データを列挙してください。
[値を貼り付け]
AIスキル
- サービスマネジメントメトリクスのスキル:時間または率のメトリクスを公開する前に、そのトピックと組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:トピックに加えた統計的な測定値が、定義、時計、悪用の手口、防護柵を備えているかを確認するときに使います。
要点
- サービスの所要時間は偏っているため、中央値と名前を付けた高パーセンタイルを報告し、最も古い未解決アイテムの年齢を加える。
- すべての率に件数を添え、小さな標本は、自信ありげな割合ではなく、アイテムまたは範囲として示す。
- 一週間に反応する前に、管理図で測定値の通常の範囲を知る。
- 二点で測った改善は疑う。平均への回帰と定義の変更が、その多くを説明する。
- 誠実な不確かさは報告の強みであり、グッドハート型の悪用に対する防護柵である(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
- 手法は釣り合いを保つ。平易な言葉で説明される少数の一貫した方法は、説明されない多数の方法よりチームの役に立つ。
参考文献とさらなる読書
- Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
- Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
- Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
- Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Skewness.
- Wikipedia, Median.
- Wikipedia, Percentile.
- Wikipedia, Log-normal distribution.
- Wikipedia, Confidence interval.
- Wikipedia, Control chart.
- Wikipedia, Statistical process control.
- Wikipedia, Regression toward the mean.