メトリクスの定義と計算式のリファレンス
この付録は、内容のトピックで定義されたすべての測定値を、部とトピックごとにまとめて列挙します。各項目は、属するトピックからの定義、計算式、単位、データソース、関連するITILのプラクティス、アジャイルの対応物、頻度に加えて、悪用の手口と組になる防護柵を持ちます。各トピックの「メトリクスの定義」と「悪用の手口と防護柵」の二つのセクションから生成されるので、属するトピックが権威です。ここでの項目がそのトピックと異なる場合は、トピックが優先され、この付録は再生成されます。
このリファレンスの使い方
- 採用する前に調べる。 測定値をダッシュボードに加える前に、悪用の手口と防護柵を含めてその項目を読み、防護柵をそれと一緒に採用します(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
- チーム、サービス、システムを測る。 どの項目も、個人をランク付けするためにあるのではありません(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
- 判断は属するトピックに従う。 ここでの計算式は短いものです。用語の定義、標本抽出の注意点、実践の例は、属するトピックにあります。
- 自分たち自身の変種を記録する。 組織が定義を変えた場合は、その変更と理由をメトリクスのカタログに記録します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。メトリクスカードが役立ちます(トピック 12.4「テンプレート」を参照)。
- 例示の数字には印が付いている。 この付録にはベンチマークの値は含まれません。どの数字も、自分たち自身のベースラインから来ます。
第1部:測定の基礎
1.1 なぜサービスマネジメントを測定するのか
属するトピック:(トピック 1.1「なぜサービスマネジメントを測定するのか」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 判断に紐づくメトリクスの割合 | 報告されたメトリクスのうち、文章の問いと、情報を与える対象の判断が名前付きで存在するものの割合 | 問いと判断が記録されているメトリクスの数 ÷ 四半期末にダッシュボードで報告されているメトリクスの数 | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | レトロスペクティブのアクション、ワーキングアグリーメント | 四半期ごと | 割合を上げるために、後付けですべてのメトリクスにもっともらしい問いと判断を書く | 判断ログを抽出して調べる。そのメトリクスのおかげで何が変わったかを尋ね、記入された日付をメトリクスが初めて現れた日付と照合する |
| ベースラインの網羅率 | 合意した中核の測定値それぞれについて、開始値が記録されている対象サービスとチームの割合 | 直近12か月以内にベースラインが記録されたサービスと測定値の組の数 ÷ 対象範囲内のサービスと測定値の組の総数(カタログ外のサービスは除く) | パーセント | サービスカタログとメトリクス台帳 | サービスレベル管理、測定とレポート | ステークホルダーレビュー、チームのダッシュボード | 四半期ごと | ベースラインを一度記録したきり更新しない、または都合のよい静かな期間を選ぶ | ベースラインごとに期間とサンプルサイズの明記を求める。サービスの大きな変更後にベースラインを見直す |
| 測定の工数 | メトリクスを手作業で収集、整形、報告するのに費やしたスタッフの時間 | その月に手作業での収集と報告に記録された時間(所見に基づく対応に費やした時間は除く) | チーム1つあたり月ごとの時間 | 時間のメモまたは短いチームアンケート | 測定とレポート | レトロスペクティブの時間予算 | 四半期ごと | 収集作業を記録せずに行う、または供給者に移すことで、帳簿から外す | 報告にかかる時間についての短いアンケートと比較する。レビューに供給者の工数も含める |
| レビュー時のデータの古さ | グループが議論のために集まった時点で、最新のデータ点がどれだけ古いか | レビュー会議のタイムスタンプ − ダッシュボード上の最新データ点のタイムスタンプ。メトリクスごとに計算し、中央値と85パーセンタイルで報告する | 日 | ダッシュボードの更新ログ | 測定とレポート | ステークホルダーレビュー | レビューごと | 元の記録が古いままなのに、会議の直前にダッシュボードだけを更新する | 更新時刻に加えて、元のシステムにある最新レコードの古さも報告する |
| 改善のやり切り率 | メトリクスのレビューから生まれた改善アクションのうち、合意した期間内に完了、または意図的にクローズされたものの割合 | 起票から90日以内に完了、または理由付きでクローズされたアクションの数 ÷ その期間に起票されたアクションの数(起票日は改善台帳に記録された日付から数える) | パーセント | 継続的改善の台帳またはバックログ | 継続的改善 | レトロスペクティブのアクション項目 | 四半期ごと | 割合を満たすために「もはや関係がない」という理由でアクションをクローズする、またはアクションを些細な断片に分割する | クローズされたアクションの理由を四半期ごとにレビューし、そのアクションが狙った測定値が動いたかを追跡する |
1.2 グッドハートの法則とメトリクスの心理学
属するトピック:(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 防護柵の網羅率 | 報告されるメトリクスのうち、名前付きで追跡される防護柵を持つものの割合 | 防護柵のあるメトリクスの数 ÷ 報告されたメトリクスの数 | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | ワーキングアグリーメントのレトロスペクティブ | 四半期ごと | 防護柵を紙の上で指名するだけで、追跡はしない | 台帳をレビューする。防護柵の最新の値が同じダッシュボードに現れている場合にのみ、数に入れる |
| 再オープン率 | 所定の期間内に再オープンされた、クローズ済みチケットまたは作業アイテムの割合 | 14日以内に再オープンされたアイテムの数 ÷ その期間にクローズされたアイテムの数 | パーセント | ITSMツールまたは課題管理のステータス履歴 | インシデント管理、問題管理 | 完了の定義、流出した欠陥 | 毎月 | 再オープンせずにチケットをクローズして新しいものを起票する。再オープンが期間外になるよう期間を長くする | 重複および紐づけられたチケットの率。複数のチケットにまたがる同じ原因の再発 |
| 定義変更の件数 | ある期間におけるメトリクス定義またはステータスのワークフローの変更の数(理由付き) | 定義変更ログのエントリ数 | 件数 | メトリクス台帳の変更ログ | 測定とレポート | ワーキングアグリーメント | 四半期ごと | 件数を低く保つために変更を記録しない。誰にも知らせずにワークフローを変える | レビューのたびに、ツール内のステータスモデルと台帳を比較する |
| メトリクスの利用率 | 報告されたメトリクスのうち、その期間に判断で引用されたものの割合 | 記録された判断で引用されたメトリクスの数 ÷ 報告されたメトリクスの数 | パーセント | 判断ログまたはレビューのメモ | 継続的改善 | レトロスペクティブのアクション | 四半期ごと | 形式として、判断ログですべてのメトリクスを引用する | その引用によって何が変わったかを尋ねる。ログを抽出して調べる |
| 認識のギャップ | 同一サービスについての、満足度アンケートの結果とチケット由来のサービスレベルとの差 | アンケート由来の割合 − 追跡システム由来の割合 | パーセントポイント | アンケートツールとITSMツール | サービスレベル管理 | ステークホルダーレビューのフィードバック | 四半期ごと | 満足しているユーザーだけに調査する。良いやり取りの後の時刻に調査を誘導する | アンケートの回答率と回答者の構成。自由記述のコメントをレビューで読み上げる |
1.3 アウトプットよりアウトカム:何を測るかを選ぶ
属するトピック:(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| アウトカムの網羅率 | 報告されるメトリクスのうち、メトリクス台帳で、特定の顧客またはサービスに関する書面のアウトカムに結び付けられているものの割合 | アウトカムとの結び付きが書面で存在するメトリクスの数 ÷ その期間に報告されたメトリクスの数。定期レポートに載るメトリクスのみを数え、単一のチームが保持する作業用ビューの測定値は除く | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | プロダクトゴールとデリバリーゴール | 四半期ごと | 結び付きが紙の上に存在するように、すべてのメトリクスにあいまいなアウトカムの文(「サービスを改善する」)を書く | 台帳を抽出して調べる。文は人またはサービスと変化に名前を付ける必要がある。その測定値のおかげで判断が下されたかを確認する |
| 機能の採用率 | リリース後の所定の期間内に、新規または変更された機能を使った対象ユーザーの割合 | リリースから30日以内にその機能を使った対象ユーザー(重複なし)の数 ÷ その期間の対象ユーザー(重複なし)の数。時計は一般提供の開始時に始まる。社内のテストアカウントと、その機能に到達できなかったユーザーは除く | パーセント | プロダクト分析、サービスカタログの利用ログ | サービスデザイン、リリース管理 | ステークホルダーレビューのフィードバック、プロダクトのアウトカム測定 | リリース後3か月は毎月、その後は四半期ごと | 強制された、または自動的な初回の使用を採用として数える。対象ユーザーの範囲を狭める。機能をデフォルトにして、選ばれずに「使われた」ことにする | その機能のユーザーの間でのタスク完了率または満足度。30日後と90日後の利用の定着。自由記述コメントを読む |
| 再問い合わせ率 | 以前の問い合わせがクローズされた後の所定の期間内に、同じユーザーから同じサービスについて寄せられた問い合わせの割合 | クローズされた問い合わせから14日以内の、同じユーザーによる同じサービスについての新規問い合わせの数 ÷ その期間にクローズされた問い合わせの数。時計はクローズ時に始まる。計画済みのフォローアップとして開かれた問い合わせは除く | パーセント | ITSMツールの問い合わせとチケットの履歴 | サービスデスク、インシデント管理 | 流出した欠陥、完了の定義 | 毎月 | 別のチャネルで新しいリクエストを起こすようユーザーに告げる。関係のない問い合わせの重複としてクローズする。期間内の再問い合わせを避けるためにクローズを遅らせる | 同じサービスのチャネル別の問い合わせ。クローズメモの抽出レビュー。ユーザーが報告する「問題が解決した」率 |
| 先行指標の検証率 | 使用中の先行指標のうち、レビュー期間中に、結び付いた遅行指標の動きに先立って動いたものの割合 | 遅行指標に対する先行が確認された先行指標の数 ÷ 使用中の先行指標の数。文書化されたレビューの中で、少なくとも四期間のデータに基づいてチームが判断する。四期間に満たない指標は除く | パーセント | メトリクス台帳と傾向の履歴 | 継続的改善 | 実験に関するレトロスペクティブのアクション | 年2回 | 非公式な確認の後に先行指標を有効と宣言する。アウトカムと一緒に自明に動く指標を選ぶ | プロットしたデータを伴う書面のレビュー記録。サイクルごとに、チーム外の誰かに一つの結果への異議を唱えてもらう |
| 効果レビューの完了率 | 資金が付いた変更や改善のうち、意図したアウトカムが、合意した遅れの後にその測定値に照らしてレビューされたものの割合 | 計画されたレビュー日から90日以内にアウトカムのレビューが完了した変更の数 ÷ その期間にレビュー日が来た変更の数。リリース前に取り下げられた変更は除く | パーセント | 変更レコード、改善台帳、レビューのメモ | 継続的改善、変更実現 | ステークホルダーレビュー、プロダクトインクリメントのレビュー | 四半期ごと | 名目だけのレビューを開く。常に達成されるよう、意図したアウトカムを後付けで設定する | レビューのアウトカムを、変更に資金が付いたときの記述と比較する。計画の変更につながったレビューの割合を追跡する |
1.4 メトリクスのガバナンスとオーナーシップ
属するトピック:(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| オーナーシップの網羅率 | 報告されるメトリクスのうち、名前付きで現役のオーナーがいるものの割合 | 期末時点でその役割に就いているオーナーがいる報告メトリクスの数 ÷ 期末時点の報告メトリクスの数。一つのチームの非公開ボード内でのみ使われるメトリクスは除く | パーセント | メトリクス台帳 | 測定とレポート | ワーキングアグリーメント | 四半期ごと | 100パーセントに到達するために、マネージャーやメーリングリストをオーナーに指名し、メトリクスを説明も変更もできる人が誰もいない | 各オーナーに、直近の数字の動きを一つ説明してもらう。一週間以上答えがなかった問い合わせを追跡する |
| 定義の鮮度 | 報告されるメトリクスのうち、合意した間隔内に定義がレビューされたものの割合 | 直近6か月以内にレビュー日があるメトリクスの数 ÷ 報告メトリクスの数。時計は最後に記録されたレビューで始まり、期末で止まる | パーセント | メトリクス台帳の変更ログ | 測定とレポート、継続的改善 | レトロスペクティブのアクション | 四半期ごと | 定義を読まずにレビュー日だけを更新する | 四半期ごとに三つのエントリを抽出し、書面の定義とツールの実際の設定を比較する |
| 情報源の適合 | 報告されるメトリクスのうち、名前付きのちょうど一つの情報源から計算されているものの割合 | 権威ある情報源が一つで、既知の並行計算がないメトリクスの数 ÷ 報告メトリクスの数。並行計算は、ダッシュボードとレポートの抽出調査で見つける | パーセント | 台帳と、ダッシュボードおよびレポートの抽出 | 測定とレポート、サービスレベル管理 | メトリクスの完了の定義 | 四半期ごと | ある情報源を権威あるものと宣言しながら、スプレッドシートが出回り続けて数字が食い違う | 同じメトリクスについてレポートの抽出で見つかった、異なる数字の数を数える。差異をレビューですり合わせる |
| 廃止率 | ある期間に廃止または統合されたメトリクスの数の、報告メトリクスに対する割合 | その期間に廃止または統合されたメトリクスの数 ÷ 期首の報告メトリクスの数。非公開のチームビューに移されたメトリクスは、報告の集合から廃止されたものとして数える | パーセント | メトリクス台帳の変更ログ | 継続的改善 | レトロスペクティブのアクション | 四半期ごと | 規律があるように見せるために、取るに足らない、または使われていないメトリクスを廃止する。新しいものとして数えられるよう、メトリクスの名前を変える | 廃止ログを見て、何が取り除かれたかを確認する。報告メトリクスの総数と、判断との結び付きの数字も併せて追跡する |
| アクセスレビューの鮮度 | 制限されたメトリクスのビューのうち、読み手の一覧が間隔内にレビューされたものの割合 | 直近6か月以内に読み手のレビューがある制限ビューの数 ÷ 制限ビューの数。組織全体に公開されているビューは除く | パーセント | アクセス一覧またはBIツールの権限のエクスポート | 情報セキュリティ管理、測定とレポート | ワーキングアグリーメント | 半年ごと | 既存の読み手の一覧を読まずに承認する | 一覧を現在のチームの所属と役割と比較する。見つかった削除の件数を報告する |
| 判断との結び付き | 報告されるメトリクスのうち、台帳で、情報を与える対象の判断に結び付けられているものの割合 | 判断または問いが記録されているメトリクスの数 ÷ 報告メトリクスの数。結び付きは、その判断が直近12か月以内に下された場合にのみ数える | パーセント | メトリクス台帳と判断ログ | 継続的改善 | ステークホルダーレビューと改善の成果 | 四半期ごと | 欄を満たすために、「サービスを改善する」のようなあいまいな判断を書く | 日付付きの判断または問いを求め、そのメトリクスが実際に参照されたかを判断ログの抽出で確認する |
1.5 データソースと計装
属するトピック:(トピック 1.5「データソースと計装」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 情報源の網羅率 | 対象範囲内のサービスとチームのうち、イベントが自動でメトリクスストアに届くものの割合 | 自動フィードがあるサービスまたはチームの数 ÷ 対象範囲内のサービスまたはチームの数。「対象範囲」はメトリクス台帳に列挙されている | パーセント | メトリクス台帳とパイプラインの設定 | 測定とレポート、サービス構成管理 | ツールに関するチームのワーキングアグリーメント | 四半期ごと | ほとんどイベントを運ばないフィードでも、接続したらサービスを網羅したと数える。難しいサービスを対象範囲から外す | カバーされたサービスごとのイベント量を、既知の活動と比較する。対象範囲の一覧をサービスカタログと照合してレビューする |
| タイムスタンプの完全性 | クローズされた作業アイテムのうち、メトリクスの時計に必要なすべてのタイムスタンプを持つものの割合 | 必要な状態変化のタイムスタンプがすべてそろっているクローズ済みアイテムの数 ÷ その期間にクローズされたアイテムの数。まだ開いているアイテムは除く | パーセント | ITSMツールまたは課題管理の履歴 | インシデント管理、サービスリクエスト管理 | ボードまたはワークフローの履歴 | 毎月 | 検証を満たすために、必須のタイムスタンプをクローズ時刻で埋める | 連続する状態間のギャップの分布。クローズされたアイテムを抽出し、時刻がもっともらしいか確かめる |
| 遡及記録率 | 事後に記録された状態変化の割合。イベントの時刻と入力された時刻の差で測る | イベント時刻より24時間を超えて後に入力された状態変化の数 ÷ その期間の状態変化の数。時計はイベントで始まり、入力で止まる | パーセント | 追跡システムの監査証跡、またはパイプラインのイベント時刻と入力時刻の対比 | 変更実現、インシデント管理 | 完了の定義 | 毎月 | しきい値のすぐ内側で変更を入力する。しきい値を広げる。すべての変更を一括更新で記録する | 時間帯別の入力時刻のパターン。自動化によるものと手作業によるものの変更の割合。一括編集の監査 |
| データの鮮度 | ダッシュボードが閲覧される時点で、最新のデータがどれだけ古いか | 閲覧時刻 − 読み込まれた最新のイベント時刻。中央値と95パーセンタイルを報告する | 時間 | パイプラインの実行ログとダッシュボードの読み込みログ | 測定とレポート | ステークホルダーレビューの準備 | 毎週 | 最新のイベントの時刻ではなく、最後の更新の時刻を表示する | 最新のイベント時刻をダッシュボードに表示する。フィードが新しいイベントを届けないときに通知する |
| 突合の差異 | 同じ件数についての二つの情報源の食い違い | 二つの件数の差の絶対値 ÷ 記録システムの件数。期間と範囲を固定する | パーセント | 記録システムとレポート層 | サービスレベル管理、財務管理 | リリースレポートの確認 | 毎月 | 突合が合う期間や範囲を選ぶ。原因を見つけずに、元に合わせてレポート層を調整する | 期間と範囲をあらかじめ固定する。見つけた原因を記録し、四半期ごとにレビューする |
| ステータスモデルのずれ | 使われている異なるステータス名や遷移の数の、文書化されたモデルとの比較 | その期間に観測された、文書化されていないステータスまたは遷移の数(件数)。文書化されたものは除く | 件数 | 追跡システムのワークフロー設定とイベント履歴 | 継続的改善 | ワークフローに関するワーキングアグリーメント | 四半期ごと | 指摘されないように、既存のステータスを新しい意味で再利用する。記録せずにステータスを追加する | レビューのたびに、ワークフローの設定を台帳と比較する。珍しい状態にあるアイテムを抽出して読む |
| アンケートの回答率 | 招待された人のうち、アンケートを完了した人の割合 | 完了した回答の数 ÷ 配信された招待の数。不達の招待は除く | パーセント | アンケートツール | サービスレベル管理、顧客体験 | ステークホルダーレビューと改善のフィードバック | アンケートの回ごと | 回答しそうな人だけを招待する。満足しているユーザーにリマインダーを送る。回答を偏らせる報酬を提供する | 回答者の構成をユーザー全体と比較する。回の別の回答の分布。レビューで自由記述コメントを読む |
1.6 サービスメトリクスのための統計リテラシー
属するトピック:(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 解決時間の中央値 | その期間に解決されたインシデントの、真ん中の解決時間 | その期間に解決されたインシデントについての(解決のタイムスタンプ − 作成のタイムスタンプ)の50パーセンタイル。時計はチケットの作成で始まり、解決で止まる。一時停止は差し引かず、別に報告する。キャンセルされたチケットと重複チケットは除く | 時間または日 | ITSMツールのステータス履歴 | インシデント管理、測定とレポート | サイクルタイムの中央値 | 毎週または毎月 | 簡単なチケットを先にクローズして難しいものを開いたままにする。チケットを複数の簡単なものに分割する。顧客待ちの状態で時計を止める | 高パーセンタイルの解決時間と最も古い未解決アイテムの年齢。一時停止状態で過ごした時間の割合。紐づけられたチケットの率 |
| 高パーセンタイルの解決時間 | ほとんどのインシデントが解決される時間。パーセンタイルに名前を付ける | 上と同じ経過時間の85(または95)パーセンタイル。解決されたアイテムが20件以上ある場合のみ計算し、それ以外は生のアイテムを列挙する | 時間または日 | ITSMツールのステータス履歴 | インシデント管理、サービスレベル管理 | サイクルタイムのパーセンタイル予測 | 毎週または毎月 | 結果を良く見せるパーセンタイルを選ぶ、またはレポートの間で変える。長い事例を「外れ値」として除外する、または再分類する | 台帳で固定されたパーセンタイル。理由付きの除外アイテムの一覧。最も古い未解決アイテムの年齢 |
| 最も古い未解決アイテムの年齢 | まだ開いている最も古いアイテムの年齢と、高パーセンタイルより古いアイテムの数 | 未解決アイテムについて、現在時刻 − 作成のタイムスタンプ。一時停止は差し引かない。顧客待ちのものを含め、サービスのキュー内のすべての未解決アイテムを数える | 日 | ITSMツールまたは課題管理 | インシデント管理、問題管理 | 作業アイテムの年齢 | 毎週 | 最も古いアイテムを解決せずにクローズまたは統合する。別のキューや区分に移す | 再オープン率。最も古いクローズ済みアイテムの抽出監査。キュー間の移動の件数 |
| 率の報告の網羅率 | 報告される率のうち、分子、分母、最小件数の確認を示しているものの割合 | 件数と標本の印付きで報告された率の数 ÷ 報告された率の数。その期間のレビュー資料に公開された率のみを数える | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート | ワーキングアグリーメント | 四半期ごと | 小さな文字で件数を付けながら、見出しは相変わらず割合から始める。決して作動しないほど最小件数を低く設定する | 台帳ではなく実際のダッシュボードをレビューする。最小件数を区間の幅と併せてレビューする |
| 管理図のシグナル率 | 測定値の管理図上の点のうち、チームの書面の規則に従って特殊原因によるばらつきを示すものの割合 | 規則に従って印が付いた点の数 ÷ プロットされた点の数。直近20点以上について。規則はあらかじめ固定され、記録される | パーセント | 管理図ツールまたはスプレッドシート | 継続的改善 | プロセスのレトロスペクティブでの検査 | 毎月 | シグナルが消えるように、限界を広げる、規則を加える、ベースラインを再開する。測定値を変えることで点を動かす | 規則と限界を変更履歴付きで台帳に保存する。生のヒストグラムと比較する |
| 区間の幅 | 見出しの率に付した不確かさの範囲の幅 | 台帳で名前を付けた方法による、その期間の見出しの率の区間の上限 − 下限 | パーセントポイント | ITSMの件数から計算 | サービスレベル管理 | 計画での予測の範囲 | 毎月 | 狭い範囲になる方法や期間を選ぶ。標本を増やすために、異なるサービスをまとめる | 台帳に方法を明記する。サービス別の内訳を求めに応じて提供する。まとめた結果とまとめない結果を比較する |
1.7 測定フレームワーク
属するトピック:(トピック 1.7「測定フレームワーク」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| ゴールへの追跡可能性 | 報告されるメトリクスのうち、書面のゴールと問いにたどれるものの割合 | ゴールと問いが記録されているメトリクスの数 ÷ 報告されたメトリクスの数 | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | デリバリーゴール、プロダクトゴール | 四半期ごと | 記録を完全に見せるために、メトリクスがすでに存在してからゴールと問いを書く。どんなメトリクスも正当化するあいまいなゴール | 四半期ごとに五つのエントリを抽出し、その問いが別のメトリクスにつながりえたかを尋ねる。読み手と判断が名指しされているかを確認する |
| 主要な成果のスコア分布 | 主要な成果の期末スコアの広がり。各帯に入る割合として示す | 各スコア帯(たとえば0.0〜0.3、0.4〜0.6、0.7〜1.0)にある主要な成果の数 ÷ その期間にスコア付けされた主要な成果の数。記録された理由とともに取り下げられた主要な成果は除く | 帯ごとのパーセント | OKR追跡ツールまたはチームの文書 | 継続的改善、サービスレベル管理 | 四半期の計画、レビュー | 四半期ごと | スコアが1.0付近に固まるよう、簡単な主要な成果を書く。寛大に再採点する。うまくいかない主要な成果を、理由を記録せずに取り下げる | 理由付きで取り下げた主要な成果の数。主要な成果を前の期間のアウトカムと比較する。野心の中央値をリーダーシップとレビューする |
| 視点の網羅率 | バランススコアカードの四つの視点のうち、現在の値を持つ測定値が少なくとも一つあるものの割合 | 直近の期間に測定値が報告された視点の数 ÷ 4 | パーセント | スコアカードまたはダッシュボード | 測定とレポート、サービスバリューシステムのガバナンス | ステークホルダーレビュー(顧客と学習の視点) | 四半期ごと | 網羅されたことにするために、視点に形だけの測定値を加える。動きようのない測定値を選ぶ | 各視点の測定値が過去一年に値を変えていて、書面の判断が付いているかを確認する |
| 指標のレビュー経過日数 | 各KPIの定義と目標が最後にレビューされてからの時間 | 報告日 − 最後のレビュー日。時計は最後に記録されたレビューで始まり、報告日で止まる。中央値と最も古いものを報告する | 日 | メトリクス台帳の変更ログ | 継続的改善、測定とレポート | レトロスペクティブのアクション | 四半期ごと | 指標を読まずにレビューを記録する。日付だけを変える | 各レビューに書面の結果(維持、変更、廃止)を求め、ログを抽出して調べる |
| CSFからKPIへの網羅率 | 重要成功要因のうち、現在報告されているKPIが少なくとも一つあるものの割合 | 現在のKPIを持つCSFの数 ÷ そのサービスまたはプラクティスに定義されたCSFの数 | パーセント | プラクティスまたはサービスの文書、メトリクス台帳 | ITILのプラクティスガイドにおけるCSFとKPIの手法 | 完了の定義、ワーキングアグリーメント | 四半期ごと | 完全な網羅率に到達するために、CSFと無関係なKPIを割り当てる。失敗を示せないKPIを選ぶ | 各組について、どの読みがCSFの失敗を示すかを尋ねる。一度も赤になったことのないKPIを探す |
1.8 ITIL 5の測定と価値の成果
属するトピック:(トピック 1.8「ITIL 5の測定と価値の成果」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 資産のオーナー網羅率 | 一覧にあるサービス、デジタルプロダクト、プラットフォーム、AIシステムのうち、名前付きで現役のオーナーがいるものの割合 | 直近12か月以内にオーナーが確認された項目の数 ÷ 資産マップ上の項目数。期末時点で数える | パーセント | サービスカタログ、構成レコード、資産マップ | サービスカタログ管理、ガバナンス | プロダクトオーナーとチーム憲章 | 四半期ごと | マネージャーや配布リストをすべてのオーナーに指名する。難しい項目をマップから外す | オーナー自身によるオーナーの確認と、マップを契約やクラウドアカウントと比較する探索 |
| アウトカムの記述の網羅率 | サービスとプロダクトのうち、書面のアウトカムと、名前付きの証拠シグナルが少なくとも一つあるものの割合 | 直近12か月以内にレビューされたアウトカムの記述と証拠シグナルを持つサービスとプロダクトの数 ÷ 資産マップ上のサービスとプロダクトの数 | パーセント | サービスカタログとレビューのメモ | サービスレベル管理、継続的改善 | プロダクトゴールと受け入れ基準 | 四半期ごと | 「効率を改善する」のようなあいまいな文を書く。一つのアウトカムをサービス全体にコピーする | アウトカムを顧客と抽出し、彼らがそれを認識するかを尋ねる。アウトカムの証拠の古さ |
| アウトカムの証拠の古さ | 各アウトカムについての最新の証拠レビューの古さ | アウトカム全体にわたる(期末日 − 最後の証拠レビューの日付)の中央値と85パーセンタイル | 日 | レビューログ | 測定とレポート | ステークホルダーとの定期レビュー | 四半期ごと | レビューせずにレビュー日だけを更新する。簡単なアウトカムだけをレビューする | 抽出したレビューのメモを読む。シグナルが実際に動いた、または横ばいだったアウトカムの割合を報告する |
| AIシステムの棚卸し網羅率 | 把握しているAI対応の機能とシステムのうち、オーナー、人によるレビューの時点、リスク台帳のエントリの三つを持つものの割合 | 三つすべてを持つAIシステムの数 ÷ 直近の探索で見つかったAIシステムの数 | パーセント | AIの棚卸しとリスク台帳 | リスク管理、ガバナンス | AI機能の完了の定義 | 四半期ごと | チームが申告することにしたシステムだけを数える。AI機能を普通のソフトウェアに分類する | 独立した探索。ベンダーと契約の記録と比較する |
| 主張の検証率 | 計画や方針で使われるITIL 5の記述のうち、所有者自身の刊行物にたどれるものの割合 | 日付付きの所有者の出典を持つ記述の数 ÷ その期間の意思決定文書で使われたITIL 5の記述の数 | パーセント | 検証ログ | ナレッジ管理、ガバナンス | n/a。組織レベルのプラクティスで、直接のアジャイルの対応物はない | 四半期ごと | ベンダーのページを所有者として引用する。出典を読まずに主張を検証済みと記録する | ログのエントリの抽出を出典のページと照合する。所有者のみを出典とする規則 |
第2部:フローと継続的デリバリーのメトリクス
2.1 フロー指標
属するトピック:(トピック 2.1「フロー指標」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 仕掛かり作業(WIP) | 開始されたがまだ終了していない作業アイテム | 開始のタイムスタンプが設定され、終了のタイムスタンプが空のアイテムの数。定めた時点(たとえば各日の終わり)で数える。まだ開始されていないバックログのアイテムと、終了したアイテムは除く | アイテム | 課題管理またはITSMツールの状態履歴 | インシデント管理、サービスリクエスト管理、変更実現 | WIPの制限、進行中のチームバックログ | 日次のスナップショット、毎週レビュー | 開始として数えられないよう、アイテムを最後の瞬間までバックログや「準備完了」の列に置く。アイテムをクローズして再オープンする。仕事をボードの外に隠す | ボードのアイテムを受け取ったリクエストと突合する。ボードをチームの実際の仕事に照らして抽出する。最初の列にあるアイテムの年齢を追跡する |
| スループット | 単位時間あたりに終了した作業アイテム | 終了のタイムスタンプがその期間(たとえば暦の週、月曜から日曜)に入るアイテムの数。終了後に再オープンされたアイテムは、新しいアイテムである場合に限り再度数える | アイテム/週 | 課題管理またはITSMツールの状態履歴 | インシデント管理、サービスリクエスト履行 | スループット、完了したアイテム | 毎週 | アイテムを小さな断片に分割する。終わる前にアイテムをクローズする。簡単なアイテムを先に選ぶ | アイテムの大きさの分布と再オープン率を見る。最近のアイテムに結び付く流出した欠陥とインシデントを数える。終了した仕事の種類の構成をレビューする |
| 作業アイテムの年齢 | 未終了のアイテムが進行中だった経過時間 | 進行中のアイテムについて、現在時刻 − 開始のタイムスタンプ。時計は停滞(ブロック)した時間も進む。まだ開始されていないアイテムは除く | 日 | 課題管理またはITSMツールの状態履歴 | インシデント管理、問題管理 | 作業アイテムの年齢、毎日のチームチェックイン | 日次、各チームチェックインでレビュー | 古くなったアイテムを「完了」や新しい状態に移して時計をリセットする。古いアイテムを黙ってキャンセルする。古いアイテムの新しいコピーを作る | 後戻りする状態移動とキャンセルされたアイテムを監査する。キャンセルされたアイテムとその年齢を報告する。年齢の限度付近で作られた重複を確認する |
| サイクルタイム | 終了したアイテムの、開始から終了までの経過時間 | 終了のタイムスタンプ − 開始のタイムスタンプ。暦日で、両端を含む。時計は、開始状態への最初の移動で始まり、終了状態への移動で止まる。中央値と85、95パーセンタイルを報告する | 日 | 課題管理またはITSMツールの状態履歴 | インシデント管理、サービスリクエスト履行、変更実現 | サイクルタイム、アイテムの所要時間 | 毎週、直近8〜12週のローリング期間 | 仕事がほぼ終わってから初めて「進行中」に移すことで、時計の開始を遅らせる。レビューやリリースの前に完了とすることで、時計の終了を早める | 開始時刻を最初のコミットや最初の活動と比較する。「完了」とリリースの間の時間を報告する。終了したアイテムを抽出して、本当に完了しているかを確認する |
| SLEの達成率 | 終了したアイテムのうち、チームのサービスレベル期待値を満たしたものの割合 | サイクルタイムがSLE以下の終了アイテムの数 ÷ その期間に終了したすべてのアイテムの数。まだ開いているアイテムは除く | パーセント | サイクルタイムから導出 | サービスレベル管理 | サービスレベル期待値 | 毎月 | 寛大なSLEを設定する。難しいアイテムを「特別」として除外する。限度内に収めるためにアイテムをクローズする | SLEを過去データのパーセンタイルに保ち、四半期ごとにレビューする。除外したアイテムとその理由を報告する。95パーセンタイルと最も古い未解決アイテムを読む |
| ブロック時間の割合 | 進行中の日数のうち、アイテムがブロックの印を付けられて過ごした割合 | ブロック状態のアイテム日数 ÷ 進行中のアイテム日数。その期間にわたって。どちらの時計も開始のタイムスタンプで始まる | パーセント | 課題管理のフラグまたはITSMツールのブロック状態 | インシデント管理、問題管理、供給者管理 | ブロッカー、毎日のチームチェックインで挙げられる障害 | 毎週 | 割合が低く見えるよう、ブロックにフラグを決して付けない。遅れを説明するために、すべてをブロックと印する | ブロックの割合を進行中アイテムの年齢と比較する。ブロックの理由を区分別にレビューする。ブロックされたアイテムを抽出して、各理由を確認する |
2.2 リードタイム、サイクルタイム、フロー効率
属するトピック:(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| リードタイム | リクエストの到着から、依頼者への提供までの経過時間 | 作業アイテムごとに、提供のタイムスタンプ − リクエスト到着のタイムスタンプ。時計はリクエストが記録されたときに始まり、依頼者が結果を使えるようになったときに止まる。まだ開いているアイテムと、提供前にキャンセルされたアイテムは除き、別に数える | 日または時間 | ITSMツールまたは課題管理の履歴 | サービスリクエスト管理、インシデント管理、変更実現 | チームボード上のリードタイム、リクエストからリリースまでの時間 | 毎週、毎月レビュー | 時計の開始を遅らせるためにリクエストのレコードの作成を遅らせる。時計を再開するためにアイテムをクローズして再オープンする。一つのリクエストを多数の小さなものに分割する | 抽出して、リクエストのレコードをメールやチャットの最初の連絡と比較する。再オープン率を追跡する。リクエストごとのアイテムの大きさと数を追跡する |
| サイクルタイム | チームが仕事に着手した瞬間から、それが終わる瞬間までの経過時間 | 作業アイテムごとに、終了のタイムスタンプ − 開始のタイムスタンプ。時計は作業中の状態への最初の移動で始まり、完了状態への最初の移動で止まる。開始前と完了状態の後の時間は除く | 日または時間 | 追跡システムまたはボードの状態履歴 | インシデント管理、サービスリクエスト管理、変更実現 | サイクルタイム(トピック 2.1「フロー指標」を参照) | 毎週 | 最後になって初めてアイテムを「進行中」に移すことで時計の開始を遅らせる。ほぼ完了するまでアイテムをボードに載せない。それだけでは価値を届けない断片に仕事を分割する | 未解決アイテムの作業アイテムの年齢(トピック 2.1「フロー指標」を参照)。完了したアイテムを依頼者が使えるか確認する。リードタイムとサイクルタイムを比較する |
| タッチタイム | 人または自動化が、そのアイテムに能動的に取り組んでいる時間 | アイテムが、能動的な作業に分類された状態で過ごした区間の合計。待機状態、ブロック状態、キュー状態は除く | 時間 | 追跡システムの状態履歴。各状態を能動的か待機かに分類する | インシデント管理、サービスリクエスト管理 | バリューストリームマップの処理時間 | 毎月の抽出 | 待機状態を能動的に分類する。忙しく見せるために活動を記録する | 分類を四半期ごとにチームとレビューする。アイテムを抽出して、記録された活動をコミット、コメント、カレンダーと比較する |
| 待ち時間 | アイテムがキューにある、ブロックされている、または一時停止している時間 | 作業アイテムごとに、サイクルタイム − タッチタイム。開始が記録されていないアイテムはn/a | 日または時間 | 追跡システムの状態履歴 | インシデント管理、サービスレベル管理 | ボード上の待ち時間またはブロック時間 | 毎月 | 待ち時間が測られない隙間に落ちるよう、新しいステータスを作る。待っているアイテムをワークフロー外のステータスに移す | 文書化されていないステータスと遷移を数える(トピック 1.5「データソースと計装」を参照)。抽出で、サイクルタイムがタッチタイムと待ち時間の和に等しいことを確認する |
| フロー効率 | サイクルタイムのうち、能動的な作業に費やされた割合 | その期間に終了したアイテムについての、タッチタイムの合計 ÷ サイクルタイムの合計。状態履歴が欠けているアイテムは除き、別に数える | パーセント | 追跡システムの状態履歴 | 継続的改善、サービスリクエスト管理 | リーン実践のフロー効率 | 毎月 | 待機を能動的に再分類する。抽出に速いアイテムだけを選ぶ。比率を上げるために簡単なアイテムを先に終える | 変更ログ付きで状態の分類を固定する。すべての終了アイテムで計算する。85パーセンタイルのサイクルタイムと未解決アイテムの年齢とともに報告する |
| 時計の一時停止の割合 | サイクルタイムのうち、正式なサービスの時計が一時停止していた割合 | その期間に終了したアイテムについての、一時停止の長さの合計 ÷ サイクルタイムの合計。一時停止は、書面の時計の規則で定義されたステータスである | パーセント | ITSMツールのステータス履歴 | サービスレベル管理、インシデント管理 | ブロックまたは保留の列の時間 | 毎月 | SLAを満たすために、内部の引き継ぎのように、顧客に依存しない理由で正式なサービスの時計を一時停止する | 一時停止の理由を抽出して監査する。経過時間とSLAの時間を並べて報告する。顧客自身の解決時間の見方をレビューする(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照) |
2.3 仕掛かり作業と待ち行列
属するトピック:(トピック 2.3「仕掛かり作業と待ち行列」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 仕掛かり作業 | 合意した境界の内側で、開始されたがまだ終了していないアイテムの数 | スナップショット時点で「進行中」のステータスにあるアイテムの数。最初の作業ステータスより前のバックログや「準備完了」のキューにあるアイテムと、すでに完了したアイテムは除く | アイテム | 課題管理またはITSMツールのステータス履歴 | インシデント管理、サービスリクエスト管理 | ボード上のWIP数 | 日次のスナップショット、毎週レビュー | 制限内に収めるためにアイテムを「保留」や「待機」のステータスに移す。小さく見えるようにアイテムを分割する。ボードの外で作業を始める | 保留ステータスにあるアイテムの数とその年齢。ボードを実際の仕事と照合して抽出する。進行中の最も古いアイテムを報告する |
| キューの長さ | 作業の開始を待っている、または段階間で待っているアイテムの数 | スナップショット時点で待機ステータス(たとえば「新規」「トリアージ待ち」「レビュー待ち」)にあるアイテムの数。ブロックされたアイテムは別に報告し、加えない | アイテム | 追跡システムまたはITSMのステータス履歴 | インシデント管理、変更実現 | ボードの準備完了の列とキューの列 | 日次のスナップショット、毎週レビュー | アイテムをクローズして再オープンする。入口で新しいアイテムを断る。待機ステータスの名前を変えて数から外す | キューの長さの隣に再オープン率と拒否率を置く。メトリクスのレビューごとにステータスの定義をレビューする |
| キュー時間 | 作業が始まる前に、アイテムが段階ごとに待つ経過時間 | 時計はアイテムが待機ステータスに入ったときに始まり、次の能動的なステータスに入ったときに止まる。「顧客待ちでブロック」のステータスにある時間は除外し、独立した数字として報告する。中央値と85パーセンタイルを報告する | 時間または日 | 追跡システムまたはITSMツールのステータス遷移のタイムスタンプ | サービスデスク、インシデント管理、変更実現 | バリューストリームの待ち時間、キューの列にある時間 | 毎週 | 作業の準備ができてからレコードを作成することで時計の開始を遅らせる。ブロックまたは顧客待ちのステータスで時計を一時停止する。開かれただけのアイテムを進行中と印する | ブロックと一時停止ステータスにある時間の分布。開始後に作成されたアイテムの割合。短いアンケートによる、依頼者が報告する待ち時間 |
| 到着率と退出率 | 期間あたりにシステムに入るアイテムと出るアイテム、およびその差としての正味のキューの増加 | 到着 = その期間に境界に入るアイテム、退出 = その期間に完了するアイテム、正味の増加 = 到着 − 退出。再オープンされたアイテムは、チームがそう定義する場合にのみ到着として数える | アイテム/週 | 追跡システムまたはITSMの作成と解決のタイムスタンプ | 監視とイベント管理、インシデント管理 | スループットと累積フロー図 | 毎週 | 退出を増やすためにアイテムを素早くクローズする。両方の件数を増やすために一つのリクエストを多数に分割する。重複を到着として数える | クローズされたアイテムの品質と再オープンの測定値(トピック 3.3「インシデントの対応時間と解決時間」を参照)。アイテムの大きさの分布。顧客のアウトカムの確認 |
| チームの負荷率 | 計画された、また予想される仕事が消費するチームのキャパシティの割合 | その期間に予想される需要の時間(到着数 × アイテムあたりの平均労力)÷ 休暇と固定された約束を除いた利用可能なキャパシティの時間。チームは労力の見積もり方を述べる。個人は決して報告しない | パーセント | キャパシティ計画、追跡システムの労力履歴、当番表 | キャパシティとパフォーマンスの管理、人材管理 | 計画された仕事におけるチームのキャパシティ | 毎月、および各計画イベント | 余裕があるように見せるために労力を過小に見積もる、または人員を正当化するために需要を過大に述べる。都合のよい期間の比率を報告する | アイテムごとの見積もりと実績の労力を比較する。比率を、傾向と割り込みの割合とともに示す。見積もりの方法のピアレビュー |
| WIP制限の超過率 | ある段階またはシステム全体が、合意したWIP制限を超える日の割合 | WIPが制限を超えた日数 ÷ その期間の営業日数。チームが理由付きで意図的な例外を記録した日は、別に報告する | 日のパーセント | 日次のWIPスナップショットと例外ログ | 継続的改善、インシデント管理 | WIP制限のワーキングアグリーメント | 毎週 | 超過を止めるために制限を引き上げる。アイテムをボードの外に移して超過を隠す。例外を気軽に認める | 例外の件数と理由。日付付きの制限の変更履歴。超過率の隣にサイクルタイムのパーセンタイル |
| リトルの法則の整合率 | 三つのフローの数字が互いに一致しているかの確認 | その期間の平均WIP ÷(1日あたりの退出数 × 日数での平均サイクルタイム)。同じ境界と期間で。1に近い比率は定義が整合していることを、1から遠い比率は境界または時計が不整合であることを意味する | 比率 | 他のフロー指標と同じ追跡システムのデータ | 測定とレポート | レトロスペクティブでのフロー指標の健全性の確認 | 毎月 | 比率が1に近づくまで境界や期間を調整する。長く存在するアイテムを外れ値として除外する | 境界と期間をあらかじめ固定する。除外したアイテムとその数を公開する。境界の変更を理由とともにレビューする |
2.4 バリューストリームのメトリクス
属するトピック:(トピック 2.4「バリューストリームのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| バリューストリームのリードタイム | 顧客のリクエストから、顧客が結果を使えるようになるまでの経過時間 | 提供確認の時刻 − リクエストが記録された時刻。キャンセルまたは取り下げられたアイテムは除く。中央値と85、95パーセンタイルを報告する | 日 | パイプラインや履行システムの提供イベントと結合したITSMツールのレコード | サービスリクエスト管理、変更実現 | チームボード上のリードタイム | 毎月 | 時計の開始を、たとえばリクエストではなくトリアージに遅らせる。顧客が使える前にアイテムをクローズする。一つのリクエストを複数の小さなものに分割する | メトリクス台帳に書かれた固定の時計の規則。顧客による提供の確認。再オープンされたアイテムと紐づく子アイテムの数 |
| 処理時間 | アイテムが能動的に作業されている時間。段階ごと、およびストリームについて | 段階ごとに、アイテムが能動的な状態にある区間の合計。キュー、承認待ち、ブロックされた状態は除く | 時間または日 | 追跡システムのステータス履歴。状態が粗すぎる場合は時間記録 | インシデント管理、サービスリクエスト管理 | 「進行中」の列にあるサイクルタイム | 毎月 | 処理時間を上げてストリームを効率的に見せるために、遊休やブロックの状態を能動的として記録する。または忙しく見せるために、待ちを作業として記録する | アイテムの抽出の観察。処理時間を、存在する場合は時間記録と比較する。状態の定義をチームとレビューする |
| 待ち時間 | アイテムが能動的な作業の間に座っている時間。段階ごと、およびストリームについて | その段階の経過時間 − その段階の処理時間。キュー、承認、引き継ぎ、ブロック時間を含む | 日 | 追跡システムのステータス履歴とITSMツールの状態変化 | 変更実現、サービスデスク | キューの列にある時間、ブロック時間 | 毎月 | 待ちを、脇の会話、スプレッドシート、時計を止める「保留」のステータスのような、追跡されない状態に移す | 一時停止およびブロックのステータスの使用を報告する。チケットの年齢を段階のタイムスタンプと比較する。システム外の待ちについてアイテムを抽出する |
| プロセス効率 | リードタイムのうち、処理時間である割合 | 同じアイテムについての、段階全体の処理時間の合計 ÷ バリューストリームのリードタイム。まだ開いているアイテムは除く | パーセント | 処理時間とリードタイムから導出 | 継続的改善 | フロー効率 | 四半期ごと | 測定対象のアイテムを優先処理してリードタイムを縮める、または比率を上げるために処理時間を水増しする | 比率の隣にリードタイムと処理時間を示す。優先処理の割合を報告する。比率そのものに目標を設定しない |
| 完全かつ正確な割合(段階) | 段階が受け取るアイテムのうち、修正、補完、差し戻しなしで使えるものの割合 | 受け取ったままで受け入れられたアイテムの数 ÷ その期間に受け取ったアイテムの数。理由を問わず差し戻されたアイテムは受け入れられなかったものとして数える | パーセント | 追跡システムまたはITSMツールの差し戻しと再オープンのイベント、抽出した受け入れレビュー | サービスリクエスト管理、変更実現、問題管理 | 準備完了の定義、手戻り率 | 毎月 | 差し戻しを減らすために、受け取る段階が受け入れの基準を下げる、あるいは送る段階が非公式な回避策で仕事を通す | 書面の受け入れ条件。下流の欠陥と手戻りの件数。受け入れたアイテムの抽出を第三者がレビューする |
| 累積した完全かつ正確な割合 | すべての段階をきれいに通過するアイテムの割合 | 一つのストリームと期間についての、各段階の%C/Aの値の積(たとえば0.90 × 0.85 × 0.95)。ストリーム外の段階は除く | パーセント | 段階の値から導出 | 継続的改善 | パイプライン全体の流出した欠陥と手戻り率 | 四半期ごと | 差し戻しが段階の内部で起き、引き継ぎの数から消えるように段階を統合する。有利な段階の一覧を選ぶ | 段階の一覧をあらかじめ固定する。段階の変更を判断ログで報告する。ストリーム全体の手戻り率と比較する |
| 引き継ぎ回数 | アイテムがチームまたはキューの間を渡される回数 | リクエストから提供までの、アイテムごとの担当チームまたはキューの変更回数。中央値と85パーセンタイルを報告する | 件数 | ITSMツールまたは追跡システムの割り当て履歴 | サービスデスク、サービスリクエスト管理 | チーム間の依存関係 | 四半期ごと | 担当変更として数えられないよう、アイテムを共有のキューや包括的なオーナーに再割り当てする。複数にまたがる一つの「チーム」に引き継ぎを隠す | キューと役割で数える。抽出したアイテムの割り当て履歴を読む。アイテムごとの再割り当て数を追跡する |
| タクトタイム比 | ストリームのペースが需要に合っているか | 完了の間の観測された間隔の中央値 ÷ タクトタイム。タクトタイムは、利用可能な稼働時間を、同じ期間に要求されたアイテム数で割ったもの。1を超える比率は、ストリームが需要より遅いことを意味する | 比率 | 受付キューからの需要数と完了イベント | キャパシティとパフォーマンスの管理、サービスレベル管理 | 需要に対するスループット、予測 | 四半期ごと | 延期または拒否された需要を、需要がなかったものとして数える。部分的な完了を完了として数える | 比率の隣に、需要、拒否された需要、バックログの年齢を報告する。顧客が確認したときにのみ完了を数える |
2.5 デリバリー予測と計画のメトリクス
属するトピック:(トピック 2.5「デリバリー予測と計画のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 予測の的中率 | 実際の結果が示された範囲に入った予測の割合 | 実際の結果が示された範囲内だった予測の数 ÷ 行われた予測の数 | パーセント | 予測ログとデリバリーの記録 | キャパシティとパフォーマンスの管理、継続的改善 | 計画の対話における予測の精度 | 毎月 | すべての予測が当たるように非常に広い範囲を述べる。事後に再予測する | 予測の範囲の幅。当初の予測をログに残す。範囲を同僚の履歴と比較する |
| 予測の範囲の幅 | 予測の中央値に対する、示された範囲の広さ | (上限 − 下限)÷ 予測の中央値 | 比率 | 予測ログ | キャパシティとパフォーマンスの管理 | 不確実性の円錐の収束 | 毎月 | 自信があるように見せるために範囲を狭める | 予測の的中率。範囲を記録された履歴から築くことを求める |
| デリバリーゴールの成功率 | その期間について述べられたデリバリーゴールのうち、アウトカムで判断して達成されたものの割合 | 達成されたゴールの数 ÷ 設定されたゴールの数 | パーセント | ステークホルダーと合意したゴールの記録 | サービスレベル管理、継続的改善 | ステークホルダーとのアウトカムレビュー | 毎月、またはゴールのリリースごと | 簡単なゴールを設定する。事後にゴールを再定義する。アウトプットをアウトカムとして数える | ステークホルダーがアウトカムを判断する。ゴールの文言をログに残す。提供した変更の利用データを確認する |
| スコープの変更率 | 予測が行われた後に、追加、削除、再見積もりされた、約束済みの仕事の割合 | 予測の後に追加または削除されたアイテムの数 ÷ 当初の予測に含まれていたアイテムの数 | パーセント | 作業追跡システムの変更履歴 | 変更実現、サービスレベル管理 | フィードバックに応じたバックログの適応 | 毎月 | 妥当な変更を拒むことでスコープを凍結する。アイテムを再見積もりしてスコープの変更を隠す | ステークホルダーの応答性への満足度。変更の理由を記録する |
| キャパシティの配分 | チームのキャパシティのうち、変更、運用の仕事、改善に費やされた割合 | 各区分で完了したアイテムまたは時間 ÷ 完了したすべてのアイテムまたは時間 | パーセント | 仕事の種類を持つ作業追跡システム | キャパシティとパフォーマンスの管理、インシデント管理 | 仕事の種類の分布 | 毎月 | 運用の仕事を改善として誤ってラベルする。ボードの外で作業して運用の負荷を隠す | インシデントとリクエストの記録と突合する。アイテムを抽出して種類を確認する |
| スループットの安定性 | 週ごとのスループットのばらつき | 週ごとのスループットの標準偏差 ÷ 週ごとのスループットの平均 | 比率 | 作業追跡システム | キャパシティとパフォーマンスの管理 | フローの予測可能性 | 毎月 | 件数を上げるためにアイテムを些細な断片に分割する。終えずにアイテムをクローズする | アイテムの大きさの分布。再オープン率。届けた価値を抽出して確認する |
| ローカルなベロシティ | 一つのチームの、計画期間あたりの、自分自身の見積もりの単位での完了した仕事 | その期間に完了の定義を満たしたアイテムの見積もりの合計 | チームが定義するポイント | 作業追跡システム | キャパシティとパフォーマンスの管理 | チームのキャパシティ計画の補助 | 計画期間ごと | 見積もりを水増しする。ポイントを主張するためにストーリーを分割する。チームを比較する | チームの非公開に保つ。スループットとサイクルタイムと比較する。目標を設定しない |
2.6 バックログとリファインメントのメトリクス
属するトピック:(トピック 2.6「バックログとリファインメントのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| バックログの大きさ | ある時点における、名前付きバックログの未解決アイテムの数 | スナップショット日に、ステータスが未解決または準備完了のアイテムの数。進行中のアイテムとクローズされたアイテムは除く | アイテム | 課題管理またはITSMツールのスナップショット | インシデント管理、サービスリクエスト管理、問題管理 | プロダクトバックログ、入力キュー | 毎週 | 陳腐化したものとしてアイテムを一括でクローズする、忙しく見せるためにアイテムを分割する、脇の一覧やスプレッドシートに仕事を隠す | 出た理由付きのバックログの廃棄率。ツールを実際のリクエストの一覧と定期的に比較する。取り下げたアイテムについての顧客のフィードバック |
| バックログの年齢 | 未解決アイテムがどのくらい待ったかの分布 | 各未解決アイテムについて、スナップショット日 − バックログに入った日付。中央値、85パーセンタイル、最も古いアイテムを報告する | 日 | 課題管理またはITSMの作成とステータスの履歴 | インシデント管理、問題管理、継続的改善 | バックログの健全性、古いアイテムのレビュー | 毎週 | 古いアイテムを複製または再作成して入った日付をリセットする、バックログ間でアイテムを移す、時計を変えるために再起票ではなく再オープンする | 複製および移動したアイテムの監査。最も古いアイテムのレビュー。年齢を、紐づくレコード全体で最初の作成から測る |
| 準備のできた仕事の深さ | チームの先に、準備のできた仕事がどれだけあるか | 準備完了の定義を満たすアイテムの数 ÷ 直近6期間の、期間あたりの完了アイテムの平均数 | 週 | 課題管理の準備完了フラグとスループットの履歴 | ビジネス分析、サービスリクエスト管理 | 準備完了の定義、リファインメント | 計画期間ごと | 確認せずにアイテムを準備完了にする、価値の低い仕事の詳細なアイテムを書いて深さを水増しする | 準備完了の定義に照らして読んだ準備完了アイテムの抽出。仕事が始まるときの手戻りまたはリファインメントへの差し戻し率 |
| リファインメントの網羅率 | 近い将来の窓のうち、準備ができている割合 | 次の2週間の期間二つ分(または順序の上位N件)の予想される仕事のうち、準備完了の定義を満たすアイテムの数 ÷ その窓のアイテムの数 | パーセント | 課題管理の順序、準備完了フラグ、計画された仕事 | ビジネス分析、変更実現(計画された変更について) | プロダクトバックログのリファインメント | 計画期間ごと | 数字を満たすために準備完了フラグを立てる、数えられるアイテムを減らすために窓を狭める | 計画の後に差し戻されたアイテムの数。デリバリーゴールの成功率と期間中のスコープ変更(トピック 2.5「デリバリー予測と計画のメトリクス」を参照) |
| バックログの流入と流出の比率 | アイテムが出ていくより速く到着しているか | その期間にバックログに加えられたアイテムの数 ÷ 同じ期間に完了または廃棄でバックログから取り除かれたアイテムの数。1を超える比率は増加を意味する | 比率 | 課題管理またはITSMの作成と解決のイベント | インシデント管理、サービスリクエスト管理、キャパシティとパフォーマンスの管理 | 到着率と退出率 | 毎週 | 流出を押し上げるために簡単なアイテムを素早くクローズする、流入を抑えるために入口で新しいアイテムを断る | 最も古いアイテムの年齢。廃棄率。理由なしに拒否されたリクエストの割合。顧客が報告する満たされないニーズ |
| バックログの廃棄率 | 提供されずに取り除かれて出ていくアイテムの割合 | 「やらない」「重複」「陳腐化」としてクローズされたアイテムの数 ÷ その期間にバックログを出たすべてのアイテムの数。完了としてクローズされたアイテムは除く | パーセント | 課題管理の解決欄 | 継続的改善、問題管理(既知のエラーのレビュー) | バックログの刈り込み、プロダクトオーナーによる順序付け | 毎月 | 大きさを縮めるために、ユーザーがまだ求めているアイテムを廃棄する、あるいは数字を穏やかに見せるために廃棄を避ける | 廃棄されたアイテムの抽出を、依頼者とレビューする。廃棄されたアイテムの再オープンおよび再起票率 |
| 目標を超過したサービスバックログ | 合意した応答または解決の範囲より古い未解決のサービスアイテムの割合 | 経過時間がサービス目標を超えている未解決アイテムの数 ÷ キュー内のすべての未解決アイテムの数。時計は記録時から進み、書面の定義が認める状態でのみ一時停止する | パーセント | サービスレベルの時計を持つITSMツール | サービスレベル管理、インシデント管理、サービスリクエスト管理 | 緊急レーン、サービスレベル期待値 | 日次または週次 | 顧客待ちの状態で時計を一時停止する、優先度を下げる、期間をリセットするためにクローズして再オープンする | 一時停止状態で過ごした時間の割合。再オープン率(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。クローズされたチケットのユーザー満足度 |
2.7 プルリクエストとコードレビューのメトリクス
属するトピック:(トピック 2.7「プルリクエストとコードレビューのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 最初のレビューまでの時間 | プルリクエストがレビュー可能になってから、人による最初の実質的な応答までの待ち | 時計はプルリクエストがドラフトを離れる、または準備完了で開かれたときに始まり、作者以外の人による最初のレビューコメント、変更依頼、承認で止まる。ボットと作者のコメント、およびラベルの変更だけのものは除く。中央値と85パーセンタイルを営業時間で報告する | 営業時間 | バージョン管理プラットフォームのイベント履歴 | ソフトウェアの開発と管理、変更実現 | レビューの応答性に関するワーキングアグリーメント、仕掛かり作業のフロー | 毎週 | 最初の応答として手早く「良さそうです」や絵文字を投稿する、ボットや親しいレビュー担当者を割り当てる、誰かがあらかじめ見ることに同意してから初めてプルリクエストを準備完了にする | マージ後の修正率。コメントのない承認の抽出。最初の応答が実質的であることをワーキングアグリーメントで求める |
| レビューのサイクルタイム | レビュー可能になってからマージまでの全時間 | 時計はプルリクエストがレビュー可能になったときに始まり、マージで止まる。マージされずにクローズされたプルリクエストは除き、別に数える。中央値と85パーセンタイルを営業時間で報告する | 営業時間 | バージョン管理プラットフォームのイベント履歴 | デプロイ管理、変更実現 | チームボードのレビュー段階のサイクルタイム | 毎週 | レビューを待たずにマージする、早く通すために変更を小さな断片に分割する、時計をリセットするためにプルリクエストをクローズして再オープンする | クローズして再オープンされたプルリクエストの数。レビューラウンド。マージ後の修正率。承認を求める保護されたブランチの規則 |
| プルリクエストの大きさ | プルリクエストにおける変更の量 | 追加された行 + 削除された行。リポジトリの無視規則に挙げられた、生成ファイル、ロックファイル、ベンダーコード、純粋な名前変更は除く。マージされたプルリクエストごとの中央値と85パーセンタイルを報告する | 変更行数 | バージョン管理プラットフォームの差分統計 | ソフトウェアの開発と管理 | 小さなバッチサイズ、ストーリーの分割 | 毎週 | ファイルを数から除外する、単独では理解できない断片へ一つの変更を分割する、生成コードで大きさを水増しする | 無視規則を四半期ごとにレビューする。分割した断片が単独でビルドされテストを通過することを確認する。最小と最大のものの抽出を読む |
| レビューラウンド | マージまでの、作者のプッシュとレビュー担当者の応答のループの回数 | マージされたプルリクエストごとの、別個の「変更依頼」またはコメントとプッシュのサイクルの数。最初の提出はラウンドゼロ、自動チェックの失敗は除く。中央値と85パーセンタイルを報告する | 件数 | バージョン管理プラットフォームのレビューとプッシュのイベント | 継続的改善、ソフトウェアの開発と管理 | レビュー段階の手戻りのシグナル、完了の定義 | 毎週 | 数を低く保つために最初のパスで承認する、痕跡が残らないよう議論をチャットに移す、作者がラウンドを隠すために多数の修正を一つのコミットにまとめてプッシュする | マージ後の修正率。ラウンドゼロのプルリクエストの抽出。議論をプルリクエストに保つ |
| レビュー負荷の集中 | レビューの仕事がチームにどれだけ不均一に広がっているか | ローリング4週間にわたる、チームの完了したレビューのうち、最も忙しい二人のレビュー担当者が扱ったものの割合。自分のプルリクエストのレビューとボットのレビューは除く。チームについて報告し、名前では決して報告しない | パーセント | チームに集約したバージョン管理プラットフォームのレビューイベント | 継続的改善、ナレッジ管理 | 共有されたコードオーナーシップ、集団でのオーナーシップ | 毎月 | 数を広げるためにレビューを多数の小さな承認に分割する、時間はあるが知識のない人にレビューを割り当てる | 危険な領域についてレビュー担当者の知識をレビューする。領域別のマージ後の修正率を見る。メトリクスをチームのレベルに保つ |
| 滞留したプルリクエストの数 | チームが合意した上限より長く開いているプルリクエスト | まだ開いていてドラフトでない、レビュー可能になってからの年齢がチームの上限を超えるプルリクエストの数。スナップショット時点で数える。ドラフトは除く | 件数 | バージョン管理プラットフォームの未クローズのプルリクエスト一覧 | 変更実現、継続的改善 | 作業アイテムの年齢、WIPの制限 | 毎週 | 滞留したプルリクエストをマージせずにクローズする、隠すためにドラフトに変換する、滞留の上限を引き上げる | マージされずにクローズされたプルリクエストの数。長期間のドラフトの数。上限を四半期ごとにチームとレビューする |
| マージ後の修正率 | マージされたプルリクエストのうち、その後まもなく修正の変更が続くものの割合 | マージ後14日以内に、同じ変更に紐づく修正、リバート、ホットフィックスが続いたマージ済みプルリクエストの数 ÷ その期間のマージ済みプルリクエストの数。そうラベル付けされた計画済みのフォローアップの仕事は除く | パーセント | バージョン管理の履歴、紐づく課題、インシデントまたは変更のレコード | 変更実現、インシデント管理 | 品質の作り込み、完了の定義 | 毎月 | 紐づけなしに新しい作業アイテムの下に修正を記録する、修正の仕事を計画済みのフォローアップとラベルする、修正を窓の外に遅らせてメトリクスを避ける | インシデントと変更失敗のデータと比較する。フォローアップのアイテムの抽出。使われたラベルの監査 |
2.8 DORAメトリクス
属するトピック:(トピック 2.8「DORAメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 変更のリードタイム | コミットされた変更が本番に届くまでの時間 | 時計は変更の最初のコミット(または、定義に述べられていれば、メインブランチへのマージ)で始まり、本番へのデプロイが成功裏に完了したときに止まる。その期間にデプロイされた変更の中央値と85パーセンタイルを報告する。デプロイされなかった変更は除き、仕掛かり作業として別に報告する | 時間または日 | デプロイのパイプラインと結合したバージョン管理 | デプロイ管理、リリース管理、変更実現 | サイクルタイム、本番までのリードタイム | 毎週またはリリースごと、毎月レビュー | 最初のコミットではなくマージで始めるなど、時計の開始を遅らせる、長期ブランチへ早期にマージする、難しい変更を「コードではない」として除外する、中央値を引き下げるために些細な変更をパイプラインに流す | パーセンタイルと仕掛かり作業の年齢。固定された書面の時計の開始。四半期ごとに最も遅い10パーセントの変更の抽出。変更の大きさの分布 |
| デプロイ頻度 | チームが本番にデプロイする頻度 | その期間のアプリケーションの成功した本番デプロイの数 ÷ その期間の日数。失敗またはロールバックされたデプロイは成功の数から除く。テスト環境へのデプロイは除く | 1日または1週間あたりのデプロイ数 | デプロイのパイプラインのイベントログ | デプロイ管理、リリース管理 | 継続的デリバリー、各インクリメントの終わりでのリリース | 毎週 | 一つの変更を多数の些細なデプロイに分割する、変更のないビルドを再デプロイする、ステージングへのデプロイや空の設定変更を数える | デプロイごとの変更の大きさ。ユーザーに見える変更を含むデプロイの割合。隣に変更失敗率と手戻り率 |
| 失敗したデプロイからの復旧時間 | デプロイが本番の失敗を引き起こしたとき、復旧にかかる時間 | 時計は失敗が検出または報告されたとき(毎回同じ規則)に始まり、ユーザーにとってサービスが復旧したときに止まる。その期間の失敗したデプロイの中央値と85パーセンタイルを報告する。デプロイが原因でないインシデントは除く | 分または時間 | デプロイのイベントと監視のアラートに結合したインシデントの記録 | インシデント管理、サービス継続管理 | 復旧までの時間、復旧の作業 | 失敗ごと、毎月レビュー | 時計を遅く始める、インシデントを早くクローズする、部分的な修正の後に失敗を新しいインシデントとして再分類する、「失敗」の重大度のしきい値を上げる | 述べた窓内の同じインシデントの再発。時計の開始を監視のアラートから取る。顧客が報告する影響の継続時間 |
| 変更失敗率 | 是正が必要な失敗を引き起こした本番デプロイの割合 | ホットフィックス、ロールバック、パッチ、インシデント対応が必要だったデプロイの数 ÷ その期間のすべての本番デプロイの数。失敗をそのデプロイに結び付ける規則は書き下され、毎回同じように適用される | パーセント | インシデント、ロールバック、ホットフィックスのデプロイに結合したデプロイのイベント | 変更実現、インシデント管理 | 完了の定義、流出した欠陥 | 毎月 | インシデントをデプロイに結び付けない、完全な障害を引き起こす失敗だけを数える、失敗が外に出るよう窓を広げる、前方修正して新しい変更と呼ぶ | 毎四半期、インシデントの抽出をデプロイのログと照合してレビューする。デプロイとの結び付きが記録されたインシデントの割合を追跡する。デプロイの手戻り率 |
| デプロイの手戻り率 | 本番デプロイのうち、ユーザーに見える問題を直すために計画外に行われたものの割合 | 本番の問題への対応として行われた計画外のデプロイの数 ÷ その期間のすべての本番デプロイの数。たまたま修正を含む計画されたデプロイは除く。「計画外」の規則は書き下される | パーセント | デプロイの理由でタグ付けされた、インシデントまたは欠陥のレコードに紐づくパイプラインのログ | 変更実現、問題管理 | 計画外の仕事、計画外にリリースされたバグ修正 | 毎月 | 修正を計画された仕事とラベルする、修正をスケジュールされたリリースにまとめる、修正を遅らせて修正のデプロイを避ける | 追跡システムからの欠陥と流出した欠陥の件数。未解決の本番欠陥の年齢。デプロイの抽出でのタグの監査 |
2.9 運用作業と計画外作業
属するトピック:(トピック 2.9「運用作業と計画外作業」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 計画外の仕事の比率 | 完了した作業アイテムのうち、件数で、期間の開始時点の計画になかったものの割合 | 期間が始まった後にボードまたはバックログに入った、その期間に完了したアイテムの数 ÷ その期間に完了したすべてのアイテムの数。時計は計画のイベントで始まり、期間の終わりで止まる。キャンセルされたアイテムと、まだ開いているアイテムは除く | パーセント | アイテムの作成時刻と計画のスナップショットを持つ課題管理 | インシデント管理、サービスリクエスト管理 | スコープの変更、作業アイテムの種類 | 毎月 | 計画済みとして数えられるよう、計画のスナップショットに遅れてアイテムを加える、緊急の仕事を追跡せずに数えられないようにする、計画の未達を言い訳するために計画済みのアイテムを計画外とタグ付けする | タイムスタンプ付きの固定された計画のスナップショット。未分類の件数。毎四半期、クローズされたアイテムの抽出を読み、タグを実際に起きたことと比較する |
| キャパシティ配分の遵守 | 実際の労力が、変更の仕事、運用の仕事、改善の仕事の間で述べられた配分にどれだけ近いか | 各区分について、実際の割合と合意した割合の差の絶対値を合計して半分にする。実際の割合は、その区分の完了したアイテム(チームが記録する場合は記録した労力)÷ 完了したすべてのアイテム。区分のないアイテムは、落とさず別に報告する | パーセントポイント | 課題管理の仕事の種類の欄と、存在する場合は時間の記録 | 継続的改善、キャパシティとパフォーマンスの管理 | キャパシティの配分またはキャパシティ計画 | 毎月 | 合意した配分に合わせてアイテムを区分間で移す、割合を動かすために一つのアイテムを複数に分割する、チームがすでに達成している配分を選ぶ | ワーキングアグリーメントに書かれた固定の区分の定義。区分に照らしたアイテムの説明の抽出。計画したコミットメントの信頼性 |
| 割り込み率 | 計画外の要求がチームに届く頻度、また計画された仕事をしている人々に届く頻度 | その期間にチームが受けた割り込みの数 ÷ その期間の営業日数。割り込みとは、チームの受付チャネルに記録された、すでに計画にあるものではないチケット、ページ、メッセージの依頼、頼み事。同じ根本の要求の重複は一度だけ数える | 割り込み/営業日 | 受付チャネルのログ、ITSMのキュー、アラートのシステム、チームの割り込みログ | インシデント管理、サービスリクエスト管理、監視とイベント管理 | 割り込みログまたはチームのワーキングアグリーメント | 毎週 | 割り込みを、ログに届かない静かな頼まれ事に変える、複数の要求を一つのエントリにまとめる、人が頼むのを妨げる | ログを受付チャネルのトラフィックとアラートの履歴と比較する。ログがチームの実感に合っているかをレトロスペクティブで尋ねる |
| 緊急対応の率 | 完了したアイテムのうち、緊急レーンを使ったものの割合 | その期間に緊急レーンに入った、その期間に完了したアイテムの数 ÷ その期間に完了したすべてのアイテムの数。時計はアイテムが緊急と印されたときに始まり、完了で止まる。作業開始前にレーンから格下げされたアイテムは別に数える | パーセント | ボードのレーンの履歴または優先度の欄の履歴 | インシデント管理、変更実現(緊急変更) | 緊急のサービスクラス | 毎月 | 規律があるように見せるために緊急の仕事をレーンの外に置く、速さを得るためにすべてをそこに入れる、緊急を「重要」の意味に再定義する | 入り口のテストを伴うレーンの制限。レビューでテストを満たした緊急アイテムの割合。計画された仕事の押し出し |
| 計画された仕事の押し出し | 計画外の仕事の場所を空けるために押し出された、または放棄された計画アイテムの数 | その期間に、期間から取り除かれた、延期された、または「計画外の仕事に押し出された」という理由が記録されて未完了になった計画アイテムの数(件数)。ゴールが変わったために取り除かれたアイテムは除く | アイテム数 | 理由の欄を持つボードの変更履歴 | 変更実現、継続的改善 | デリバリーゴールの保護、スコープの交渉 | 毎月 | 押し出しを意図的なスコープの変更として記録する、理由なしに計画済みのアイテムを静かに失敗させる、押し出されそうな計画アイテムを避ける | 取り除かれた、または未完了のすべてのアイテムに理由の欄を必須にする。計画したコミットメントの信頼性。レトロスペクティブで理由をレビューする |
| 繰り返される計画外の仕事の割合 | 計画外のアイテムのうち、遡及期間内の以前の計画外のアイテムと原因が一致するものの割合 | 遡及期間(たとえば90日)内の以前のアイテムと同じ問題レコード、アラート規則、原因タグに紐づく、その期間に完了した計画外のアイテムの数 ÷ その期間に完了したすべての計画外のアイテムの数。原因タグのないアイテムは、未分類の件数として別に報告する | パーセント | ITSMのインシデントと問題のレコード、追跡システムの原因タグ | 問題管理、既知のエラー管理 | レトロスペクティブのアクション項目、繰り返される欠陥のタグ | 毎月 | 繰り返しが隠れるよう粗い原因タグを使う、何も繰り返されないよう細かいものを使う、紐づけを消すために問題レコードをクローズする | 原因タグの分類を四半期ごとにレビューする。未分類の件数。問題レコードのクローズ後の再発の確認 |
| 計画したコミットメントの信頼性 | チームがその期間に計画したアイテムのうち、その期間に終えたものの割合 | その期間に終えた計画アイテムの数 ÷ 期間の開始時点の計画アイテムの数。開始後に追加されたアイテムは、どちらの数からも除く | パーセント | 計画のスナップショットと追跡システムの完了履歴 | サービスレベル管理、変更実現 | 予測の信頼性 | 毎月 | すべてを終えるために小さく計画する、見積もりに余裕を上乗せする、部分的なアイテムを完了として数える、期間の始まる前に難しいアイテムを落とす | 計画したアイテムの大きさと価値の時間経過での比較。デリバリーゴールのアウトカムの確認。計画外の仕事の比率。計画が臆病なときに高い値が健全と読まれないように |
第3部:サービスデスク、インシデント、リクエストのメトリクス
3.1 サービスデスクのメトリクス
属するトピック:(トピック 3.1「サービスデスクのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 問い合わせの量 | デスクが受けた問い合わせの数。チャネルと期間別 | その期間に作成された問い合わせの数。チャネル別。内部のテスト用の問い合わせ、メールの重複した自動返信、デスクが発信した電話は除く | 件数 | 電話またはチャットのプラットフォームのログ、ITSMツールの問い合わせレコード | サービスデスク | バックログのリファインメントにおける需要のシグナル | 毎週 | エージェントが、数えられないチャネルにユーザーを誘導して記録を妨げる、あるいはキューを忙しく見せるために一つの問い合わせを複数に分割する。マネージャーがより低い量を目標にする | 100ユーザーあたりの問い合わせ率と、電話の件数とチケット数の定期的な突合。すべてのチャネルを数えるという固定の規則 |
| 問い合わせ率 | 対象とする人口の大きさに対する問い合わせ。成長を問題と取り違えないために | その期間の問い合わせ数 ÷ その期間のアクティブユーザーまたはアクティブアカウント数。100ユーザーあたりに換算する。ユーザー数は同じ期間から取り、「アクティブ」の定義は書き留める | 100ユーザーあたりの問い合わせ | 問い合わせレコードとID管理またはライセンスのシステム | サービスデスク、サービスレベル管理 | プロダクトレビューでの利用で調整した需要 | 毎月 | 率が良く見えるよう、事後に分母が選ばれる(たとえば「アクティブ」の広い定義) | 「アクティブユーザー」の書面で日付のある定義と、率の隣に示す生の件数 |
| 応答までの時間 | 問い合わせがキューに入ってから、人または自動応答が対応するまでの待ち | 時計は問い合わせがキューに入ったときに始まり、人による最初の応答で止まる。放棄された問い合わせはこの測定値から除き、放棄率で数える。中央値と85パーセンタイルを報告する | 秒(電話、チャット)、分または時間(メール、ポータル) | 電話のプラットフォーム、チャットのプラットフォーム、ITSMツールのタイムスタンプ | サービスデスク | 応答性に関するワーキングアグリーメント | レビューの時間帯は日次、傾向は毎週 | 問い合わせが自動挨拶や静かなキューへの転送で応答される、あるいは通話が取られて保留にされる。メールに、応答として数えられる自動返信が付く | 時計を人による最初の応答と定義し、隣に放棄と再問い合わせを追跡する |
| 放棄率 | 誰かが対応する前に、ユーザーによって終了された問い合わせの割合 | 人による最初の応答の前にユーザーが終了した問い合わせの数 ÷ キューに入った問い合わせの数。短い猶予期間(定義に述べる。たとえば5秒)内に終了した問い合わせは、偶発的なものとして除く | パーセント | 電話のプラットフォーム、チャットのプラットフォーム | サービスデスク | サービスレビューでの遅延のコストのシグナル | 毎週 | キューに入る前に発信者を切断する、猶予期間を延ばす、コールバックの申し出を応答された問い合わせとして数える | 応答までの時間のパーセンタイル、コールバックの完了率、公開された猶予期間 |
| 処理時間 | デスクが問い合わせに費やす時間 | 時計は人が対応を始めたときに始まり、問い合わせを終えたとき(問い合わせ後の記録作業を含む)に止まる。ユーザーを待つ時間は、定義がそう述べる場合にのみ含める。問い合わせの種類別に分けて、中央値と85パーセンタイルを報告する | 分 | 電話のプラットフォーム、チャットのプラットフォーム、ITSMツールの作業ログ | サービスデスク、インシデント管理 | リファインメントとキャパシティ計画における労力のシグナル | 毎週 | 通話を急ぐ、早期に転送する、問題が解決する前に終える、記録を薄く残す、時計が除外する問い合わせ後の時間に仕事を移す | 初回問い合わせでの解決、再問い合わせ率、チームによる記録の品質の抽出レビュー |
| 初回問い合わせでの解決率 | 初回の問い合わせで解決され、同じ件についての後の問い合わせがなかった問い合わせの割合 | 問い合わせの最中に解決され、再問い合わせの窓内に同じユーザーから同じ問題についての再問い合わせが続かなかった問い合わせの数 ÷ 対象となる問い合わせの数。紹介だけが必要な通話と、デスクが解決を期待されない通話は除く | パーセント | ITSMツールの解決と紐づけの項目、収集される場合はユーザーの確認 | サービスデスク、インシデント管理 | 完了の定義の確認。最初の接点での解決 | 毎月 | 結果にかかわらず通話中にチケットをクローズする、「同じ件」を狭く読む、難しい問い合わせを「解決を期待されない」と分類する | 再問い合わせ率、ユーザーによる一問の確認、チームによる除外の定期的な監査 |
| 再問い合わせ率 | 解決された問い合わせのうち、同じ件についての別の問い合わせが続いたものの割合 | 同じユーザーから同じサービスまたは問題についての別の問い合わせが、再問い合わせの窓(たとえば7日。定義で設定)内に続いた問い合わせの数 ÷ 以前の期間に解決された問い合わせの数。新しい問題についての問い合わせは除く | パーセント | ITSMツールの紐づけと再オープンの履歴、問い合わせレコード | サービスデスク、インシデント管理 | 流出した欠陥の率 | 毎月 | ユーザーにフォローアップのために新しいチケットを開くよう頼む、あるいは紐づかないよう、フォローアップを別の区分で記録する | ツールの紐づけの規則、紐づかない繰り返しの問い合わせの抽出監査、ユーザーが報告する解決 |
3.2 インシデントの件数と優先度
属するトピック:(トピック 3.2「インシデントの件数と優先度」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| サービス別のインシデント件数 | ある期間にサービスについて開かれたインシデントの数 | オープンの時刻が期間内にあるインシデント。影響を受けたサービスに帰属させる。サービスリクエスト、親レコードに統合された重複、誤って起票されたものとしてキャンセルされたレコードは除く | 件数 | ITSMツールのインシデントのレコード | インシデント管理 | チームごとの本番の欠陥または計画外の作業アイテム | 毎週、毎月レビュー | インシデントをリクエストとして記録する、関係のないチケットを統合する、ユーザーが報告するのを妨げる、重複を「故障なし」としてクローズする | インシデントの量の隣にユーザーが報告した問い合わせの量とリクエストの量。サービスデスクの満足度と放棄。故障のように読めるリクエストの抽出 |
| 正規化したインシデント率 | サービスの利用に対するインシデント | その期間に開かれたインシデント ÷ 同じ期間と範囲の利用の測定値(アクティブユーザー、セッション、取引。サービスごとに選んで記録)× 1,000。利用の測定値は、インシデントのツール以外の情報源から得る | 利用単位1,000あたりのインシデント | ITSMツールと、アナリティクスまたは監視からの利用データ | インシデント管理、サービスレベル管理 | リリースまたはユーザーあたりの欠陥密度 | 毎月 | 最良の数字になる分母を選ぶ、期間の間で利用の定義を変える | 登録簿に記録された、サービスごとの固定の利用の測定値。率の隣に生の件数を示す |
| 優先度の構成 | 開かれたインシデントのうち、各優先度のレベルが占める割合 | オープン時に記録された優先度のインシデント ÷ その期間に開かれたすべてのインシデント。各レベルについて示す。再分類されたインシデントは、オープン時の優先度で数え、クローズ時の優先度でもう一度示す | レベルごとのパーセント | 優先度の変更履歴を含むITSMツール | インシデント管理 | 欠陥の重大度の分布、サービスクラスの構成 | 毎月 | 穏やかに見せるために優先度を下げる、あるいは注目を得るために上げる、応答目標を避けるために低い優先度を割り当てる | 優先度の再分類率。影響と緊急度のマトリクスに照らした月次の抽出レビュー。顧客が報告する影響 |
| 優先度の再分類率 | オープンとクローズの間に優先度が変わったインシデントの割合 | その期間にクローズされたインシデントのうち、クローズ時の優先度がオープン時の優先度と異なるものの数 ÷ その期間にクローズされたインシデントの数 | パーセント | ITSMツールの監査証跡 | インシデント管理 | 欠陥バックログの再トリアージ率 | 毎月 | 変えるべきときに優先度を変えず、率を安定して見せる、目標に合わせるためにクローズ時にだけ変える | インシデントの最中に影響が変わったレコードの抽出。インシデントのタイムラインのレビュー |
| 区分の集中 | 最大の区分が占めるインシデント量の割合 | 件数上位五つの区分のインシデント ÷ その期間の分類されたすべてのインシデント。未分類のインシデントは、それ自体の割合として別に報告する | パーセント | ITSMツールの区分とサービスの欄 | インシデント管理、問題管理 | コンポーネントまたはエピック別の欠陥のまとまり | 毎月 | 包括的な区分を使う、集中を隠すために大きな区分を複数に分割する | 未分類および「その他」のレコードの割合。区分の一覧の定期的なレビュー。解決メモと照らした区分の確認 |
| 繰り返しインシデント率 | 述べた窓内に、同じサービス、構成アイテム、区分で再発したインシデントの割合 | 直前の窓(たとえば30日。一度設定して記録)内に、同じサービス、CI、区分で以前にクローズされたインシデントがある、その期間のインシデント ÷ その期間に開かれたインシデント。再オープンされたレコードは、繰り返しではなく再オープンとして数える | パーセント | ITSMツールとCMDBのリンク | インシデント管理、問題管理 | リグレッションまたは流出した欠陥の率 | 毎月 | リンクを避けるために異なる言い回しやCIで新しいインシデントを開く、再オープンを避けるために早くクローズする | 近い重複レコードを文章とサービスでレビューする。再オープン率。問題レコードへのリンク率 |
| 再オープン率 | クローズされたインシデントのうち、再オープンされたものの割合 | その期間にクローズされ、のちに述べた窓(たとえば7日)内に再オープンされたインシデント ÷ その期間にクローズされたインシデント | パーセント | ITSMツールのステータス履歴 | インシデント管理 | 再オープンされた欠陥、手戻り | 毎月 | 再オープンせず新しいチケットを開くよう頼む、再オープンを避けるためにチケットを遅くクローズする | 最近クローズされたものを参照する新しいチケットの数。顧客による解決の確認。クローズまでの時間の分布 |
| 監視で検出された割合 | ユーザーが報告する前に、最初に監視によって起票されたインシデントの割合 | 最初のイベントが自動アラートであるインシデント ÷ その期間に開かれたすべてのインシデント。アラートから人が開いたインシデントは、アラートの時刻で数える | パーセント | ITSMツール、監視との連携 | 監視とイベント管理、インシデント管理 | アラート起点と顧客報告の欠陥 | 毎月 | 自動でインシデントを開く騒がしいアラートを作る、人にユーザーの報告をアラートとラベルし直させる | 実行可能なアラートの割合などのアラート品質の測定値(トピック 5.5「監視とアラート品質のメトリクス」を参照)。インシデントの情報源の監査 |
3.3 インシデントの対応時間と解決時間
属するトピック:(トピック 3.3「インシデントの対応時間と解決時間」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 検出までの時間 | 組織が知る前に、故障がどれだけの間ユーザーに影響したか | 時計はユーザーへの影響の最初の瞬間(監視データ、またはレビューで記録された確認済みの影響開始から取る)に始まり、最初のアラートまたはユーザーの報告で止まる。サービスごとに中央値と95パーセンタイルで報告する。開始が分からないインシデントは、落とさず、数えて別に報告する | 分 | 監視とアラートのプラットフォーム、影響開始の欄を持つインシデントのレコード | インシデント管理、監視とイベント管理 | オブザーバビリティとアラート品質の作業(トピック 5.5「監視とアラート品質のメトリクス」を参照) | 毎月 | 影響の開始を実際より遅く設定する、より少ない故障がインシデントに数えられるようアラートのしきい値を広げる、監視が捉えたインシデントだけを数える | 監視ではなくユーザーが最初に報告したインシデントの割合。影響開始の推定を監視データと照らした定期レビュー |
| 確認応答までの時間 | 上がったアラートまたはチケットが、人が所有するまでにどれだけ待つか | 時計はアラートが発火したか、チケットが記録されたときに始まり、名前付きの人またはチームがそれを引き受けたときに止まる。自動割り当ては時計を止めない。優先度別に中央値と95パーセンタイルで報告する | 分 | ページングのツール、ITSMツールの割り当て履歴 | インシデント管理、サービスデスク | SREの輪番におけるオンコールの応答 | 毎月 | 時計を止めるために自動割り当てや自動確認応答を行う、アラートを確認して何もしない | 同じインシデントについての最初の応答までの時間と復旧までの時間。その後の活動がない、確認応答されたアラートの抽出 |
| 最初の応答までの時間 | ユーザーが、人による最初の有用な返信をどれだけ待つか | 時計はインシデントが記録されたときに始まり、報告に対処する人による最初のメッセージまたは行動で止まる。自動確認応答と定型の受領は除く。営業時間の時計を述べる | 分または営業時間 | ITSMツールのコミュニケーションログ | サービスデスク、インシデント管理 | ワーキングアグリーメントのような、ユーザーへのタイムリーなフィードバック | 毎週 | 時計を止めるために、定型や一語の返信を送る | 最初の返信の実質を抽出してレビューする。再問い合わせとアンケートのコメント |
| 復旧までの時間 | ユーザーが動くサービスを持たなかった時間 | 時計はユーザーへの影響の開始で始まり、回避策やロールバックによるものを含め、ユーザーが再びサービスを使えるようになったときに止まる。後で原因が直されても延長されない。優先度とサービス別に中央値と95パーセンタイルで報告する | 分または時間 | 影響開始と復旧のタイムスタンプを持つインシデントのレコード、監視 | インシデント管理 | DORAの言葉での復旧までの平均時間。分布として読む(トピック 2.8「DORAメトリクス」を参照) | 毎月 | ユーザーが使える前にサービスが復旧したと宣言する、症状を抑え込んで復旧する、障害を計画メンテナンスとして記録する | 窓内の再発。復旧時間後のユーザーが報告する影響。事後にラベルし直されたインシデントの割合 |
| 解決までの時間 | インシデントのレコードがクローズされるまでどれだけ開いていたか | 時計はインシデントが記録されたときに始まり、復旧とユーザーの確認または公正な待ちの後にクローズされたときに止まる。「顧客待ち」にある時間は、見出しから差し引かず、別の報告される割合として示す。優先度別に中央値と95パーセンタイルで報告する | 時間または営業時間 | ITSMツールのステータス履歴 | インシデント管理 | 計画外の仕事のサイクルタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎月 | チケットを「顧客待ち」や「保留」に移す、一度の連絡の試みの後にクローズする、親を早くクローズするためにインシデントを子に分割する | 一時停止状態にある時間の割合。再オープン率。最も古い未解決インシデントの年齢。クローズのメモの抽出を読む |
| 最も古い未解決インシデントの年齢 | 最も長く開いているインシデントがどれだけ開いているか | 各未解決インシデントについて、現在時刻 − 記録された時刻。優先度別に最も古い数件を列挙する。一時停止状態は差し引かない | 日 | ITSMツールの未解決インシデントの一覧 | インシデント管理 | チームボード上の作業アイテムの年齢(トピック 2.1「フロー指標」を参照) | 毎週 | 最も古いチケットをクローズして再起票する、一覧から外すために問題やリクエストに再分類する | 重複を元に紐づけ、紐づけられた年齢を報告する。各期間に問題またはリクエストに変換されたインシデントの数 |
| 能動的な時間の割合 | インシデントの経過時間のうち、待ちではなく能動的な作業に費やされた割合 | 能動的な状態にあった時間の合計 ÷ その期間にクローズされたインシデントについての、記録からクローズまでの総時間。能動的な状態とは、人がインシデントに取り組んでいる状態で、待機状態は定義に列挙する | パーセント | ITSMツールのステータス履歴 | インシデント管理 | フロー効率(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと | 時間を能動的に印するために、短く無意味な作業を記録する、労力なしに能動的な状態に移る | 能動的な時間を復旧時間のようなアウトカムと比較する。作業メモの抽出 |
| 再割り当て回数 | 復旧前にインシデントの担当チームが何回変わるか | 記録から復旧までの担当グループの変更回数。中央値と、三回以上のインシデントの割合として要約する。サービスと優先度別に数え、エージェント別には決して数えない | 件数 | ITSMツールの割り当て履歴 | インシデント管理、サービスデスク | 引き継ぎ回数(トピック 9.3「協働と引き継ぎのメトリクス」を参照) | 毎月 | 引き継ぐ代わりに同じチームの下で再オープンする、ツールに引き継ぎが現れないよう脇のチャネルで仕事を渡す | 復旧までの時間とユーザー満足度。仕事がチーム間でどう動くかの定期的な観察 |
3.4 重大インシデントのメトリクス
属するトピック:(トピック 3.4「重大インシデントのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 重大インシデントの件数 | ある期間に宣言された重大インシデント。サービス別 | 宣言基準を満たしてその期間に宣言されたインシデントの数。宣言の時刻で数える。最初の1時間以内に格下げされたインシデントは別に列挙し、除外する | 四半期あたりの件数 | 重大インシデントのフラグを持つITSMツールのインシデントレコード | インシデント管理 | チームまたはサービスの健全性レビュー | 毎月の報告、四半期の傾向 | 宣言のしきい値を上げる、インシデントを「高」の優先度に置き続けて宣言されないようにする、一つの出来事を複数のレコードに分割する、あるいは複数を一つにまとめる | 固定されバージョン管理された基準。高影響の通常のインシデントの四半期ごとの抽出。件数の隣に宣言までの時間と顧客への影響を追跡する |
| 重大インシデントの継続時間 | 顧客が影響を受けた時間 | インシデントごとに、サービス復旧の時刻 − 影響開始の時刻。影響開始は、監視の最も早い証拠か最初のユーザーの報告のいずれか早いほう。部分的な復旧は独自のイベントとして記録し、完全な復旧が時計を止める | インシデントごとの分 | 監視のタイムライン、ITSMツールのインシデントのタイムライン | インシデント管理、サービスレベル管理 | デリバリーのメトリクスにおける復旧までの時間(トピック 2.8「DORAメトリクス」を参照) | インシデントごと。長い窓の中央値と最大値は四半期ごと | 影響開始をより遅い時刻に戻す、ユーザーがまだ失敗しているのに「復旧」と宣言する、クローズして新しいレコードを再オープンする | 監視から取った影響開始。ユーザー向けの指標による復旧の確認。再オープンされ紐づけられたレコードを一つのインシデントとして数える |
| 宣言までの時間 | 影響の開始から重大インシデントの宣言までの遅れ | インシデントごとに、宣言の時刻 − 影響開始の時刻。宣言されなかったインシデントは、通常の高影響のインシデントの四半期ごとのレビューで見つけ、宣言の時刻をn/a(宣言されず)として含める | インシデントごとの分 | 監視のタイムライン、ITSMツールの監査証跡 | インシデント管理、監視とイベント管理 | チームのワーキングアグリーメントにおけるエスカレーションの準備完了の定義 | インシデントごと | 速く見せるためにあらゆるものを早く宣言する、あるいは宣言を影響開始まで遡及する | 宣言されたインシデントのうち、のちに格下げされた割合。宣言の時刻の監査証跡。生の監視に照らしたタイムラインの抽出 |
| 顧客への影響 | 何人のユーザーと、どれだけの利用が影響を受けたか | インシデントごとに、影響を受けたユーザー(または失敗したリクエスト)× 影響を受けた分数。影響の窓の間にサービスを使おうとしたユーザーのみを数える。計画メンテナンスは除く | ユーザー分、または失敗したリクエスト | サービスのテレメトリ、サポートの問い合わせの記録 | サービスレベル管理、インシデント管理 | ユーザー向けのサービスレベル指標(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | インシデントごと | 「影響を受けた」の定義を狭める、チケットを起こしたユーザーだけを数える、稼働し続けた依存先を測る | 問い合わせに加えてテレメトリから導出した影響。インシデントのレビューでレビューされる平易な言葉の影響の記述 |
| コミュニケーションのタイムリーさ | 影響を受ける関係者に、時間どおりに伝えたか | 宣言後、顧客向けの最初の通知が目標内に出た重大インシデントの割合と、合意した間隔内に送られた予定された更新の割合。時計は宣言で始まる。社内のみのメッセージは除く | インシデントのパーセント、更新のパーセント | ステータスページの履歴、ITSMツールのコミュニケーションログ | インシデント管理、サービスレベル管理 | チームのワーキングアグリーメントにおけるステークホルダーへのコミュニケーション | インシデントごと。四半期の要約 | 時計を始めるために曖昧な通知を投稿する、内容のない更新を送る、社内のメッセージを数える | 更新の抽出の内容確認。明確さについての顧客のフィードバック。顧客向けの通知のみを数える |
| レビュー完了のタイムリーさ | レビューが役に立つほど早く行われたか | 復旧後、合意した営業日数内にレビューが公開された重大インシデントの割合。時計は最初の下書きではなく、公開で止まる。まだ窓の内側にあるインシデントは除く | パーセント | レビューのリポジトリ、ITSMツール | 継続的改善、問題管理 | 改善のフォローアップ | 四半期ごと | 期日を満たすために薄い文書を公開する、レビューを「不要」と宣言する | 抽出した同僚によるレビューの質の確認(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。免除されたレビューの割合を示す |
| アクション項目のやり切り | レビューのアクションが完了したか | 期日までに完了したレビューのアクション ÷ その期間に期日が来たレビューのアクション。「やらない」としてクローズされたアクションは、隠さず、理由とともに別に数える | パーセント、期限超過の件数 | レビューに紐づく課題管理 | 継続的改善、問題管理 | レトロスペクティブからのバックログアイテム | 毎月 | クローズしやすい曖昧または些細なアクションを書く、作業をせずにアクションをクローズする、「やらない」にラベルし直す | アクションの質の抽出。クローズされたアクションをシステムの変更に照らして検証する。「やらない」の割合と理由をレビューする |
| 繰り返される重大インシデントの率 | 同じ原因の再発 | その期間の重大インシデントのうち、記録された原因が過去12か月の以前の重大インシデントと一致するもの ÷ その期間の重大インシデント。一致は原因の欄で行い、手作業でレビューする | パーセント。件数も示す | レビューの記録、問題レコード | 問題管理 | バックログの予防作業 | 四半期ごと | 異なる言い回しを選んで各原因を新しいものとして記録する、あるいはすべてを「ヒューマンエラー」に帰す | 定義付きの短い原因の分類。インシデント外の誰かによる原因の欄のレビュー。システムの説明なしに「ヒューマンエラー」を原因として受け入れない |
3.5 サービスリクエスト履行のメトリクス
属するトピック:(トピック 3.5「サービスリクエスト履行のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| リクエストの履行時間 | リクエストを提供するまでの経過時間。カタログ項目ごとに中央値と95パーセンタイルで示す | 時計はユーザーがリクエストを提出したときに始まり、ユーザーが提供を確認した、または提供が記録されたときに止まる。ユーザーが取り消したリクエストは除く。ユーザーを待つ時間は除かず、別に報告する | 営業日または時間 | ITSMツールのリクエスト履歴 | サービスリクエスト管理 | チームボードのサイクルタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎週、毎月傾向を追う | ユーザーが原因かにかかわらず「ユーザー待ち」で時計を一時停止する、提供前にリクエストをクローズして新しいものとして再オープンする、一つのリクエストを複数の小さなものに分割する | 一時停止理由の抽出監査を伴う、項目別の一時停止時間の割合。再オープン率。クローズ前のユーザーによる提供の確認 |
| 目標内の履行 | カタログ項目について合意した目標内に提供されたリクエストの割合 | 目標内に履行されたリクエストの数 ÷ その期間に履行されたリクエストの数。時計は上記のとおり。まだ開いているアイテムは除き、代わりにバックログの年齢に数える | パーセント | ITSMツールのリクエスト履歴、カタログ項目の目標の表 | サービスレベル管理 | サービスレベル期待値 | 毎月 | 目標をより簡単に再定義する、終わったリクエストだけを数えて古い未解決のものを無視する、目標の集合に素早い項目を選り好みする | 未解決のリクエストのバックログの年齢。目標の変更を理由とともにメトリクス台帳に記録する。目標の集合が量ですべての項目をカバーする |
| リクエストのバックログと年齢 | 未解決のリクエストの数と、最も古いものの古さ。カタログ項目ごと | 期末の未解決のリクエストの数(件数)。各未解決リクエストの年齢 = 報告日 − 提出日。件数、年齢の中央値、最も古い年齢を報告する | 件数と日 | ITSMツールの未解決リクエストのキュー | サービスリクエスト管理 | 仕掛かり作業と古くなる作業アイテム(トピック 2.3「仕掛かり作業と待ち行列」を参照) | 毎週 | 古いリクエストを「応答なし」や「古い」としてクローズする、数えられるキューから出るよう、リクエストを別のキューや区分に移す | 提供されずにクローズされたリクエストの理由別の件数。区分とキューの移動を月次の会議でレビューする |
| 承認の待ち時間 | リクエストが承認を待つ時間 | 時計は承認が求められたときに始まり、承認または却下されたときに止まる。承認のステップがないリクエストは除く | 時間 | ITSMツールの承認ログ | サービスリクエスト管理、変更実現 | ブロック時間、またはボード上の「待機」の列 | 毎月 | 自分の時間を少なくするために、承認者が読まずに承認する、記録された待ちが短くなるよう、依頼者がシステムの外で承認者を催促する | 方針に照らした承認済みリクエストの抽出レビュー。承認された項目の再オープン率とセキュリティ上の例外。項目ごとの承認ステップ数 |
| カタログ項目別のリクエスト量 | 各項目について提出されたリクエストの数と、全リクエストに占める割合 | その期間の項目ごとの提出されたリクエスト。特定された場合は、重複として再提出されたリクエストを除く。件数と全体に占める割合を報告する | 件数とパーセント | ITSMツールのリクエストレコード | サービスカタログ管理 | バックログを形作るための需要分析 | 毎月 | カタログを見つけにくくしたりリクエストを妨げたりして量を減らす、リクエストをインシデントや「一般的な問い合わせ」に再分類する | カタログのユーザー満足度。「その他」と分類された問い合わせの割合。サービスの採用データ(トピック 6.3「サービス導入とカタログのメトリクス」を参照) |
| 自動化の割合 | 提出後に手作業の手順なしで履行されたリクエストの割合 | 自動化によってエンドツーエンドで履行されたリクエスト ÷ その期間に履行されたリクエスト。履行のいずれかの手順で人が触れたリクエストは手作業として数える。方針が求める場合、人による承認は手作業の履行の手順には数えない | パーセント | ITSMツールの履行レコードと自動化プラットフォームのログ | サービスリクエスト管理、サービスバリューチェーンにおける自動化 | 完了の定義における自動化 | 毎月 | 割合を上げるために些細な項目を自動化する、人が手作業でまだ確認するスクリプト化されたリクエストを自動化として数える、手作業の手順を別のチケットに隠す | 量と取り除いた実作業時間で重み付けした割合。自動化の失敗と手作業への切り戻し率。「自動化」されたリクエストをエンドツーエンドでたどる抽出 |
| リクエストの再オープン率 | 結果が誤っていた、または不完全だったために、ユーザーが再オープンまたは再起票した履行済みリクエストの割合 | 履行から7日以内に、同じユーザーが同じ項目で再オープンまたは再起票したリクエスト ÷ その期間に履行されたリクエスト。7日の窓はチームが書き留める例 | パーセント | ITSMツールのリクエスト履歴 | サービスリクエスト管理 | 手戻り率、欠陥の流出 | 毎月 | 再オープンを難しくして妨げる、新しいリクエストを起こすようユーザーに言ってカウンターをリセットする | 窓内の同じユーザーによる同じ項目の繰り返しのリクエスト。項目別のユーザー満足度。通知から再オープンできるようにする |
3.6 ナレッジマネジメントのメトリクス
属するトピック:(トピック 3.6「ナレッジマネジメントのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| ナレッジのリンク率 | 解決された時点で、少なくとも一つのナレッジ記事が紐づけられている解決済みケースの割合 | その期間に解決され、少なくとも一つの記事が紐づいたケース ÷ その期間に解決されたケース。解決日で数える。重大インシデント、重複としてクローズされたケース、人の作業なしに自動クローズされたケースは除く | パーセント | ITSMツール:ケースと記事のリンクのテーブル | ナレッジマネジメント、インシデント管理 | 学んだことを取得することを含む完了の定義 | チームは毎週、レビューは毎月 | クローズ前にすべてのケースに、しばしば一般的な、あるいは非常に人気のある記事を何でも付ける、事後に一括でリンクする | リンクされたケースの月次の関連性の抽出。同じ少数の記事に向かうリンクの割合。解決のタイムスタンプに対するリンクのタイムスタンプ |
| 再利用比率 | 記事へのリンクのうち、そのケースの間に作成されたものではなく、既存の記事を指すものの割合 | ケースが開く前から存在していた記事へのリンク ÷ その期間の解決済みケースで作られたすべての記事へのリンク。ケースがクローズした後に加えられたリンクは除く | パーセント | ITSMツール:ケースの開始日に対する記事の作成日 | ナレッジマネジメント、継続的改善 | 手戻りより再利用、コードベースとそのドキュメントの共有オーナーシップ | 毎月 | ケースごとに新しい記事を作ってすぐにリンクし、次回に再利用として数えられるようにする、あるいは比率が完璧に見えるよう決して作成しない | 定期的な検索で見つかる重複記事の率。「記事が存在しなかった」という理由でクローズされたケースの割合 |
| 記事の鮮度 | 使用中の記事のうち、述べたレビューの窓内にレビューされた、あるいは使われて正しいと確認されたものの割合 | レビューまたは確認された使用の日付が窓内にある使用中の記事 ÷ 使用中の記事。記事は、直近12か月(チームの選択)にケースに紐づけられたか読み手に閲覧されていれば使用中。下書きと廃止された記事は除く | パーセント | ナレッジベースのメタデータと閲覧ログ | ナレッジマネジメント、サービスデスク | ドキュメントのバックログのリファインメント、レトロスペクティブのアクション | 毎月 | 確認せずに記事をレビュー済みと印する、些細な編集でレビュー日をリセットする、レビューしやすい記事だけを数える | 最近レビューされた記事を実際のサービスに照らして試す抽出。同じ記事の役に立った率と書かれたコメント |
| ゼロ件検索の率 | ナレッジの検索のうち、記事が一つも返らないものの割合 | 結果ゼロの検索 ÷ すべての検索。ボットや自動チェックによる検索は除く。1分以内に繰り返された検索は一度として数える | パーセント | ナレッジベースまたはポータルの検索ログ | ナレッジマネジメント、サービスデスク、サービスリクエスト管理 | 満たされないユーザーのニーズの発見、バックログの入力 | 毎週 | どんなクエリにも一致する曖昧な、あるいは包括的な記事を加える、キーワードを詰め込む、扱いにくい検索語をログから除外する | クリックスルーの後、短い窓内に同じ話題で問い合わせがあるか。役に立った率。上位の検索語を手で読む |
| 役に立った率 | 記事が役に立ったと述べる読み手のフィードバックの割合。回答率とともに示す | その期間の記事についての、役に立った票 ÷(役に立った票 + 役に立たなかった票)。回答率 = フィードバックの票 ÷ 記事の閲覧数 | パーセント。回答率とともに | ナレッジベースのフィードバックウィジェットと閲覧ログ | ナレッジマネジメント、顧客体験 | ドキュメントについてのステークホルダーレビューのフィードバック | 毎月 | 満足している読み手にだけ投票を促す、役に立たなかったという選択肢を隠す、チーム内から投票する | 率とともに示す回答率と回答者の構成。書かれたコメント。記事を読んだ後の問い合わせ率 |
| 公開までの時間 | 記事の下書きが作成されてから、レビューされて読み手に見えるようになるまでの経過時間 | 時計は下書きの作成で始まり、公開(または最初に承認された可視状態)で止まる。「保留、プロダクトのリリース待ち」の状態にある時間は除く。中央値と85パーセンタイルで報告する | 日(中央値と85パーセンタイル) | ナレッジベースのワークフロー履歴 | ナレッジマネジメント | 開始から完了までの作業アイテムのリードタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎月 | 時計を止めるために薄いスタブを公開する、記事を断片に分割する、時計が除外する状態に下書きを移す | 最近公開された記事の関連性と役に立った率。除外された状態にある下書きの数と年齢 |
| 貢献の広がり | 記事の作成と改善が、名前を挙げずに測ったチーム全体にどう広がっているか | その期間に記事を作成または改善した個別の貢献者 ÷ その期間にケースを解決したチームのメンバー。チームについてのみ報告し、名前の一覧としては決して報告しない | パーセント | チームの所属に結合したナレッジベースの編集履歴 | ナレッジマネジメント、継続的改善 | 集団でのオーナーシップ、ペアリングとスウォーミング | 四半期ごと | 全員が貢献者に見えるよう、些細な編集をする、ノルマを満たすために一文を加えるよう頼む | 抽出した編集の大きさと実質。貢献された記事の再利用と役に立った率。レポートに名前を載せない |
3.7 セルフサービスと自動化のメトリクス
属するトピック:(トピック 3.7「セルフサービスと自動化のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| セルフサービスの成功率 | セルフサービスのセッションのうち、スタッフへの連絡なしにユーザーのニーズが満たされたものの割合 | 完了したアウトカム(リクエストが提出され履行された、記事が役に立ったと印された、リセットが完了した)で終わり、7日以内に同じニーズについてスタッフが対応する問い合わせがなかったセッション ÷ タスクを開始したすべてのセッション。時計はポータルでの最初の意味のある操作で始まり、完了または放棄で止まる。ボットのトラフィック、テストアカウント、単なる閲覧は除く | パーセント | ポータルとIDのログ、チケットシステム、セッション分析 | サービスリクエスト管理、ナレッジマネジメント | 顧客フィードバックのループ、アウトカムに基づく受け入れ基準 | 毎月 | 完了したフォームやページの閲覧を成功として数える、点数が下がったときに「役に立ちましたか」の促しを取り除く、難しい話題を分母から除外する | フォールスルー率と、人が読むクローズされたセッションの抽出。分母の規則を報告する |
| 見積もられたデフレクション率 | レベル0で解決されたと見積もられる、そうでなければスタッフに届いたはずの需要の割合 | セルフサービスの変更の前後、またはホールドアウトグループに対する、サービスのアクティブユーザー1,000あたりの問い合わせ率を比較し、既知の需要の変化で調整する。方法を明示した見積もりとして述べる。別のチャネルに移った問い合わせは除く | パーセント(見積もり) | チケットシステム、ユーザー母数の数、実験またはコホートのデータ | サービスデスク、インシデント管理 | 対照群を伴う実験、A/Bテスト | 四半期ごと | 問い合わせの経路を隠す、問い合わせの前に手順を加える、原因にかかわらず、チケットが減ったことをすべてデフレクションとして分類する | アクティブユーザー1,000あたりの問い合わせ、影響を受けるサービスのユーザー満足度、数字の隣に書かれた方法 |
| フォールスルー率 | 失敗したセルフサービスの試みのうち、同じニーズについてスタッフが対応する問い合わせで終わるものの割合 | 同じユーザーによる同じ話題の、放棄または不成功のセルフサービスのセッションから7日以内に開かれたスタッフ対応の問い合わせ ÷ 不成功のセッション。時計はセッションの終了で始まる。無関係な問い合わせは除く | パーセント | ユーザーと話題でチケットシステムに結合したポータルのログ | サービスデスク、ナレッジマネジメント | 完了の定義におけるエスカレーションの経路、サポートからのフィードバック | 毎月 | 戻りが範囲外になるよう照合の窓を短く定義する、フォローアップの問い合わせを重複としてクローズする | すべてのチャネルを通じた繰り返しの問い合わせ率。戻ってきた問い合わせの抽出のレビュー |
| セルフサービスの採用(ポータルファーストの割合) | 対象のリクエストとインシデント報告のうち、セルフサービスのチャネルで起票されたものの割合 | ポータル、ボット、APIで作成されたアイテム ÷ セルフサービスの経路を提供するカタログ項目のすべてのアイテム。セルフサービスの経路が存在しないアイテムは除く | パーセント | チケットシステムのチャネル欄、カタログの設定 | サービスリクエスト管理、サービスカタログ管理 | リリース後の採用の追跡 | 毎月 | 適合にかかわらずすべてのリクエストをポータルに強制する、電話で作成されたチケットをポータルのチケットにラベルし直す | セルフサービスの成功率とユーザーの労力。使えるポータルの経路のないリクエストの割合 |
| 自動化の網羅率 | 対象の繰り返し可能な仕事のうち、手作業の手順なしに自動化によって完了したものの割合 | 自動化されたフローでエンドツーエンドに完了したアイテム ÷ 自動化可能と判断された種類のすべてのアイテム。書面の候補一覧に挙げられている場合にのみ、その種類を自動化可能として数える。一度きりの仕事と、自動化が拒否したアイテムは除く | パーセント | チケットシステム、自動化プラットフォームのログ、候補一覧 | サービスリクエスト管理、デプロイ管理 | 完了の定義の自動化、コードとしてのパイプライン | 毎月 | 候補一覧に簡単な項目を選ぶ、些細なタスクで分母を増やす、部分的に手作業のフローを自動化として数える | 毎四半期にレビューされる書面の候補一覧。自動化の失敗と手戻りの率。残るアイテムの手作業の時間 |
| 自動化の失敗と手戻りの率 | 自動化された実行のうち、失敗した、手作業の修復が必要だった、あるいはのちに修正された結果を生んだものの割合 | エラーになった、ロールバックされた、あるいは7日以内に手作業の修正が続いた自動化された実行 ÷ すべての自動化された実行。時計は実行の開始で始まる。計画されたドライランは除く | パーセント | 自動化プラットフォームのログ、チケットシステム、変更レコード | 変更実現、インシデント管理 | 変更失敗率、ビルドとテストの安定性 | 毎週 | 手作業の修復を数から除外する、失敗した実行が成功するまで黙って再試行させる、失敗を「計画されたドライラン」とラベルする | フローに紐づけられたインシデントとアラートの記録。失敗した実行の検出までの時間。結果の抽出監査 |
| リクエストの種類ごとの手作業の時間 | 自動化の候補であるリクエストの種類に、スタッフが費やした労力 | その期間に、その種類のアイテムにスタッフが記録した実作業の分。アイテムごとの中央値と85パーセンタイルとして要約する。時間が記録されていない場合は抽出で見積もる。待ち時間は除く | アイテムあたりの分 | 時間の抽出、チケットの作業ログ | サービスリクエスト管理 | トイルの追跡、バリューストリームの無駄 | 四半期ごと | 手作業に見えるアイテムの時間を記録しない、時間を別の区分に割り当てる、静かな日だけを抽出する | 書かれてレビューされた抽出の計画。同じ種類のサイクルタイムとキューの年齢と比較する |
| レベルの分布(シフトレフトの割合) | サポートの連鎖のどこでアイテムが解決されるか | その期間の解決済みのすべてのアイテムに対する、各レベル(0、1、2、3)で解決されたアイテムの割合。レベルは、実作業を行った最高の階層。トリアージ前にキャンセルされたアイテムは除く | レベルごとのパーセント | チケットシステムの解決グループと割り当て履歴 | インシデント管理、サービスデスク | スウォーミングとエスカレーションのパターン、機能横断のチーム | 毎月 | エスカレーションを再分類する、あるいはレベル1でアイテムをクローズしてレベル2で新しいアイテムとして再オープンして、レベル1で解決される割合を上げる | 再オープン率と紐づけられたチケットの率。解決の質の抽出。レベル別の顧客満足度 |
第4部:問題、変更、リリースのメトリクス
4.1 問題管理のメトリクス
属するトピック:(トピック 4.1「問題管理のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 開かれ、クローズされた問題 | オープン状態に出入りする問題レコードの流れ。サービス別 | その期間に開かれた数と、その期間にクローズされた数。それぞれクローズコード(修正済み、リスクの受容、重複、再現不可)別。重複は示すが、「修正済み」の数からは除く | 期間あたりの件数 | ITSMの問題レコード | 問題管理 | バックログへの流入とスループット | 毎月 | 多くの些細なレコードを開く、一つの問題を複数に分割する、一覧を片付けるためにレコードを重複や「再現不可」としてクローズする | クローズコードの構成。修正後の再発率。毎四半期のクローズされたレコードの抽出を読む |
| 問題のバックログの年齢 | 未解決の問題がどのくらい待っているか | 各未解決の問題について、スナップショット日 − レコードの作成日。未解決の問題の中央値と85パーセンタイル、および最も古いものを、優先度別に報告する | 日 | ITSMの問題レコード | 問題管理 | ボード上の作業アイテムの年齢 | 毎月 | 修正なしに最も古いレコードをクローズする、時計をリセットするために新しいレコードとして再オープンする、問題をリクエストに再分類する | 新しいレコードを元に紐づけ、最初のレコードからの年齢を報告する。理由別のクローズの一覧。リスクの受容のレビュー |
| インシデントと問題のリンク率 | 問題または既知のエラーが期待されるところで、それを指すインシデントの割合 | その期間に、問題または既知のエラーに紐づいたインシデント ÷ その期間の、優先度が高以上、再オープン、または繰り返しの区分のインシデント。ユーザーエラーや重複としてクローズされたインシデントは除く | パーセント | ITSMのインシデントと問題のレコード | インシデント管理、問題管理 | レトロスペクティブでのパターンの発見 | 毎月 | 率を上げるために、すべてのインシデントを曖昧な包括的な問題にリンクする | 最大の五つの問題を指すリンクの割合。本物の一致かを確認するリンクの抽出。リンクされた症状の再発 |
| 根本原因までの時間 | 診断される問題が、記録された原因に達するまでにかかる時間 | 時計は問題レコードの作成で始まり、原因が記録され二人目の人がレビューしたときに止まる。原因なしでクローズされた問題は除き、別に数える。中央値と85パーセンタイルを報告する | 日 | ITSMの問題レコードとその監査証跡 | 問題管理 | スパイクまたは調査のタイムボックス | 毎月 | 時計を止めるために、素早く浅い原因を記録する、「ヒューマンエラー」と名付ける、二人目のレビュー担当者を省く | 修正後の再発率。「ヒューマンエラー」だけを受け入れない原因の分類。証拠に照らした原因の抽出のレビュー |
| 既知のエラーの再利用率 | インシデントが届いたときに、既知のエラーがどのくらいの頻度で使われるか | 紐づけられた既知のエラーまたはその回避策で解決されたインシデント ÷ その時点で存在した既知のエラーと症状が一致するその期間のインシデント。一致する既知のエラーのないインシデントは除く | パーセント | ITSMのインシデントのリンク、ナレッジ記事の利用 | ナレッジマネジメント、問題管理 | チームの手順書またはプレイブックの利用 | 毎月 | インシデントがクローズされた後に加えられたリンクを数える、サービスのすべてのインシデントに既知のエラーを加える | インシデントのクローズからリンクまでの時間。エントリが役立ったかについての対応者のフィードバック。90日使われていないエントリのレビュー |
| 恒久的な修正までの時間 | 診断から、修正が本番で稼働するまで、問題がどのくらい露出するか | 時計は原因が記録されたときに始まり、紐づけられた修正の変更が実施され確認されたときに止まる。リスクの受容としてクローズされた問題は除き、別に数える。中央値と85パーセンタイルを報告する | 日 | 問題レコード、変更レコードまたはパイプラインのデプロイイベント | 問題管理、変更実現 | 修正アイテムのサイクルタイム | 毎月 | 修正が検証される前に変更を実施済みと印する、作業を避けるためにリスクの受容としてクローズする | 修正後の再発率。オーナーとレビュー日付きのリスク受容の一覧。時計が止まる前の検証の手順 |
| 修正後の再発率 | 修正された問題のうち、紐づけられた症状が戻ったものの割合 | コホートの四半期に修正済みとしてクローズされた問題のうち、修正の稼働から90日以内に一致する新しいインシデントがあったもの ÷ その四半期に修正済みとしてクローズされた問題。90日の窓は例で、グラフに明記する | パーセント | ITSMのインシデントと問題のレコード、デプロイイベント | 問題管理、継続的改善 | 流出した欠陥またはリグレッションの率 | 四半期ごと | 再発が一致しないよう症状を狭く定義する、修正がより早いコホートに入るようクローズの窓を広げる、リンクを遅らせる | 所有するチーム外の誰かによる原因の分類のレビュー。インシデントのリンク率。あらかじめ述べた固定の窓 |
| 回避策のみの割合 | 回避策だけで保護されている既知の問題の割合 | 修正が予定されていない、既知のエラー状態の未解決の問題 ÷ 既知のエラー状態の未解決の問題。名前付きのオーナーとレビュー日のあるリスク受容の問題は、別のグループとして示す | パーセント | ITSMの問題レコード | 問題管理、リスク管理 | 技術的負債の台帳 | 毎月 | 本当の日付のない仮の修正を予定する、問題をリスクの受容に移す、問題の優先度を下げる | 遅れた予定の修正の年齢。名前付きの幹部オーナーとレビューされるリスク受容の一覧。問題ごとの繰り返しインシデントのコスト |
4.2 ポストモーテムと学習のメトリクス
属するトピック:(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| レビューの網羅率 | 対象となる出来事のうち、完了したレビューを受けたものの割合 | 合意した窓内にレビューが公開された対象の出来事 ÷ その期間にクローズされた対象の出来事。対象の出来事とは、書面の引き金を満たすもの。窓の内側にあり期末にまだ開いている出来事は除く | パーセント | レビューのリポジトリに結合したITSMツールのインシデントのレコード | インシデント管理、問題管理 | 定期的なチームの振り返り、チームのワーキングアグリーメント | 毎月 | 引き金を狭める、出来事が引き金の外に落ちるよう重大度を下げる、チェックを付けるために一行の「レビュー」を提出する | レビューの質のスコア。インシデントの重大度の件数を顧客が報告する影響と比較する。格下げの監査 |
| レビューの質のスコア | 公開されたレビューが短い書面の基準を満たしているか | 抽出のうち、チェックリストの項目を少なくとも [合意した数] 満たすレビュー ÷ 抽出したレビュー。抽出は、毎四半期に無作為に引いた固定数のレビューで、所有するチーム外の誰かが採点する | パーセント | 採点シートを伴う、レビューのリポジトリの四半期ごとの抽出 | 継続的改善、問題管理 | レビューの完了の定義 | 四半期ごと | 定型文でチェックリストに合わせて書く、所有するチームが採点する、予測可能な抽出 | 外部の採点者。無作為抽出。毎四半期に二つのレビューを声に出して読む。高得点のレビューのアクションが終わるかを追跡する |
| アクションのクローズ率 | レビューのアクションのうち、期日までに完了したものの割合 | 期日までに完了、または(理由付きで)正式に却下されたアクション ÷ その期間に期日が来たアクション。時計はレビューが公開されたときに始まり、所有するチームがアクションを完了と印し、レビュー担当者が確認したときに止まる。「やらない」としてクローズされたアクションは別に数えて報告する | パーセント | レビューに紐づく、チームのバックログまたはITSMの改善台帳 | 継続的改善、問題管理 | チームのバックログ、改善アクション | 毎月 | 期日を遠くに設定する、アクションを些細な断片に分割する、検証せずにアクションをクローズする、一覧を片付けるために「やらない」と宣言する | 未解決アクションの年齢。理由付きの却下の割合。変更が機能するというレビュー担当者の確認。原因の再発率 |
| 未解決アクションの年齢 | まだ開いているレビューのアクションの年齢 | 各未解決アクションについて、今日 − そのレビューの公開日。中央値、85パーセンタイル、最も古いものを報告する | 日 | チームのバックログまたは改善台帳 | 継続的改善 | 作業アイテムの年齢、古くなる仕掛かり作業 | 毎月 | 年齢をリセットするために、アクションをクローズして再オープンまたは再作成する、アクションを別の「アイデア」の一覧に移す | 新しいアクションを元のレビューにリンクし、最初の日付を保つ。アイデアに移されたアクションの数 |
| 原因の再発率 | 同じサービスの以前の出来事と原因クラスが一致する出来事の割合 | その期間の出来事のうち、主な原因クラスが、同じサービスの直近12か月にクローズされたレビューと一致するもの ÷ その期間の、記録された原因クラスのある出来事。原因クラスが記録されていない出来事は除き、別に数える | パーセント | インシデントのレコードに結合した、レビューのリポジトリの原因クラスの欄 | 問題管理、インシデント管理 | 流出した欠陥の分析、レトロスペクティブのテーマ | 四半期ごと | 何も一致しないよう、曖昧な、あるいは絶えず変わる原因クラスを記録する、広い「その他」のクラスを使う、繰り返しを別のクラスにリンクする | 「その他」に入る出来事の割合。クラス別にレビューを再読する定期的な作業。クラスの一覧自体のレビュー |
| ニアミスの報告率 | 人々が報告することを選ぶニアミスと弱いシグナルの量 | その期間に記録されたニアミス ÷ アクティブなサービス。サービスごとの傾向として示し、人ごとには決して示さない。健全なプログラムの早い段階では上がり、その後は横ばいになることを意図している | サービスあたりの件数 | ニアミスのログ、または課題管理のタグ付きの欄 | インシデント管理、リスク管理 | チームの健全性の確認、障害のボード | 毎月 | 数字に到達するために報告を求める、些細な出来事を記録する、あるいは逆に、数字を失敗と読んで報告を抑え込む | 変更につながったニアミスの割合。件数に目標を置かない。話しても安全という感覚のパルスからのフィードバック |
| 学びの到達範囲 | レビューが、書いたチームを超えてどこまで届くか | 公開から [合意した日数] 以内に、所有するチーム外(共有のフォーラム、チーム横断のセッション、依存するチームによる文書化された確認)で発表または議論されたレビュー ÷ その期間に公開されたレビュー | パーセント | フォーラムや会議の記録とレビューのリポジトリ | 継続的改善、ナレッジマネジメント | ステークホルダーレビュー、実践コミュニティ | 四半期ごと | 配布リストに名前を加える、出席の少ないセッションで発表する、リンクを閲覧と数える | 出席または実際の議論のメモ。依存するチームに、最後のレビューの後で何を変えたかを尋ねる |
| レトロスペクティブのアクションの持ち越し | チームのレトロスペクティブのアクションのうち、次のレトロスペクティブまでに終わったものの割合 | 次のレトロスペクティブの前に完了したレトロスペクティブのアクション ÷ 前回合意したレトロスペクティブのアクション。理由付きで意図的に落としたアクションは、両方の数から除く | パーセント | チームのバックログに保たれたレトロスペクティブのメモまたはボード | 継続的改善 | 定期的なチームの振り返り | レビュー期間ごと、四半期ごとにレビュー | 終わらせやすい些細なアクションにだけ合意する、レトロスペクティブを飛ばす、アイテムを完了と印する | チームが判断するアクションの影響。レトロスペクティブの開催率。同じテーマが数週間現れるか |
| 話しても安全という感覚のパルス | 人々が、非難なしに間違いを説明できると信じているか | 短い匿名の質問集合(たとえば「レビューで、非難を恐れずに間違いを説明できる」)の回答のうち、[合意したレベル] 以上のもの ÷ 受け取った回答。パルスは、匿名性を守れるだけ十分に大きいグループについてのみ報告する | パーセント | 匿名のパルス調査 | 継続的改善、組織変革 | チームの健全性の確認、心理的安全性の確認 | 四半期ごと | 回答者に圧力をかける、自信のある人だけに調査する、低得点のグループを隠す平均を報告する | 回答率と回答者の構成。最小のグループの大きさ。自由記述のコメントを全文読む。レビューの言葉づかいが変わるか |
4.3 変更実現のメトリクス
属するトピック:(トピック 4.3「変更実現のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 種類別の変更の量 | 完了した変更の数。標準、通常、緊急に分ける | その期間に実装済みの状態に達した変更レコードの数。承認時点の種類でグループ化。キャンセルまたは取り下げられた変更は除き、別に報告する。サービスごとに報告し、人ごとには報告しない | 種類別の、週または月あたりの変更 | パイプラインのデプロイイベントに結合したITSMツールの変更レコード | 変更実現 | 完了した作業アイテムのスループット、インクリメントごとのリリース内容 | 毎週、毎月レビュー | 忙しく見せるために一つの変更を多数のレコードに分割する、穏やかに見せるために多数を一つにまとめる、非公式な変更を帳簿の外に置く | 毎月、件数をパイプラインのデプロイイベントと突合する。対応する変更レコードのないデプロイの割合を追跡する |
| 標準変更の割合 | 完了した変更のうち、事前承認の経路を取ったものの割合 | その期間に完了した標準変更 ÷ その期間に完了したすべての変更。事後に再分類された変更は最終的な種類で数え、再分類を記録する | パーセント | 種類と再分類の履歴を持つ変更レコード | 変更実現 | チームのワーキングアグリーメントと完了の定義でカバーされる日常的な仕事 | 毎月 | 目標に到達するために、リスクのある仕事を標準として再分類する、何でもカバーする広い標準手順を書く | 分類の四半期ごとの抽出レビュー。種類別の変更失敗率(トピック 4.4「変更の失敗と手戻り」を参照)。再分類のログ |
| 承認のリードタイム | 変更が承認の判断を待つ時間 | 時計は、依頼が評価の準備完了として提出されたときに始まり、承認の判断が記録されたときに止まる。依頼者が情報を提供するのを待つ時間は除き、別に示す。その期間の通常変更の中央値と85パーセンタイルを報告する。承認のステップのない標準変更は除く | 時間または営業日 | 変更レコードまたはパイプラインの承認イベントのタイムスタンプ | 変更実現 | ワークフローの待ち時間、レビューの列にある時間 | 毎週、毎月レビュー | 時計を遅く始める、早く止める、尋ねる必要のなかった質問で一時停止する、読まずに承認する | 中央値の隣に85パーセンタイル。承認の実質についての抽出レビュー。個人ではなく承認者グループ別の変更失敗率 |
| 自動承認の割合 | 承認の判断のうち、パイプラインの統制または事前承認の方針によって行われ、記録されたものの割合 | 書面の方針に基づき、記録された自動チェックまたは記録されたピアレビューによって承認が与えられた変更 ÷ その期間に完了したすべての変更。委員会やマネージャーによる手作業の承認は、自動ではないものとして数える | パーセント | パイプラインのログ、コードレビューの記録、変更レコード | 変更実現、デプロイ管理 | 自動化された品質ゲート、完了の定義の一部としてのピアレビュー | 毎月 | 常に通る自動チェックを加える、コメントのないピアレビューを保証として数える | 自動およびピア承認の抽出レビュー。自動承認された変更の流出した欠陥と失敗率。迂回の数 |
| 承認キューの年齢 | 保留中のリクエストが、今どのくらい待っているか | 現在判断を待っている各変更の年齢。提出からスナップショットの瞬間まで測る。最も古いアイテムと、未解決のキューの85パーセンタイルを報告する。完了した承認は除く | 時間または営業日 | 未解決の承認状態を持つ変更レコード | 変更実現 | 作業アイテムの年齢、古くなる仕掛かり作業 | 日次のスナップショット、毎週レビュー | キューが短く見えるよう古いリクエストをクローズまたは取り下げる、新しいタイムスタンプの新しいリクエストに移す | 取り下げられ再提出されたリクエストの数。最初の提出から測ったリクエストの年齢 |
| 変更レコードの完全性 | 完了した変更のうち、誰が、何を、なぜ、いつ、どのサービスかに答えられるレコードの割合 | 必須項目がすべて入力され、影響を受けるサービスまたは構成アイテムに紐づいた変更 ÷ その期間に完了したすべての変更。必須項目は定義に列挙する。変更が実装された後に作成されたレコードには印を付ける | パーセント | 変更レコード、バージョン管理のリンク、構成データ | 変更実現、サービス構成管理 | コミットからチケット、デプロイまでのトレーサビリティ | 毎月 | 必須項目をプレースホルダーのテキストで埋める、報告を満たすために変更の後でレコードを作る | 実装後に作成されたレコードに印を付ける。自由記述の質の抽出レビュー。コミットへのリンク率 |
4.4 変更の失敗と手戻り
属するトピック:(トピック 4.4「変更の失敗と手戻り」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 変更失敗率 | 本番への変更のうち、サービスの劣化を引き起こす、あるいは是正を要するものの割合 | 失敗の窓内にロールバック、ホットフィックス、前方修正、紐づけられたインシデントを必要とした変更 ÷ その期間に完了したすべての本番への変更。窓は変更の完了で始まり、固定の日数(たとえば7日)の後に止まる。窓の長さはメトリクス台帳に書く。まだ窓の内側にある変更は別に報告し、窓が閉じるまで率から除く | パーセント | インシデントのツールとホットフィックスの一覧に結合した変更レコードまたはデプロイのログ | 変更実現、インシデント管理 | 完了の定義、流出した欠陥 | 毎月。90日のローリング窓 | 失敗の窓を狭める、インシデントを変更にリンクしない、悪い変更を「サービスリクエスト」や「メンテナンス」に分類する、前方修正して新しい変更と呼ぶ、一つの失敗がすべてをカバーするよう多くの編集を一つの変更にまとめる | 変更とインシデントのリンク率。インシデントの一覧に照らした四半期ごとの抽出監査。失敗の定義の一致。リードタイムとデプロイ頻度をその隣に |
| 緊急変更の割合 | 緊急の経路で行われた変更の割合 | 緊急として記録された変更 ÷ その期間に完了したすべての変更。緊急とは、通常の評価が緊急性のために省略または短縮されたことを意味する。事前承認された標準変更は、両方の数から除く | パーセント | 変更レコードの種類の欄 | 変更実現 | 計画外の仕事と緊急のサービスクラス | 毎月 | 偽のリスク評価で、緊急の仕事を標準の経路に通す、承認を避けるために通常の仕事を緊急として通す、一つの緊急を複数の通常変更に分割する | すべての緊急変更の四半期ごとの読み取り。理由を分類してレビューする。標準変更の割合と承認のリードタイム(トピック 4.3「変更実現のメトリクス」を参照) |
| ロールバック率 | 以前のバージョンに戻された変更の割合 | 本番に達した後に戻された変更 ÷ その期間のすべての本番への変更。どのユーザーにも届く前に行われたロールバック(たとえば最初の段階で止められたカナリア)は、別に数える | パーセント | デプロイのログとリリースツール | リリース管理、デプロイ管理 | パイプラインとリリースの実践 | 毎月 | ロールバックの記録を避けるために前方修正する、壊れたバージョンを稼働させ続ける、戻すものがないよう変更を本番から遠ざける | その隣にホットフィックス率と手戻り率。復旧時間の分布。デプロイのログに照らしたインシデントの抽出 |
| ホットフィックス率 | 通常のリリースの流れの外で適用された緊急のパッチである変更の割合 | ホットフィックスとしてタグ付けまたはブランチされた変更 ÷ その期間のすべての本番への変更。分母にはホットフィックス自体が含まれる | パーセント | バージョン管理のブランチまたはタグとデプロイのログ | 変更実現、インシデント管理 | 計画外の仕事、緊急対応 | 毎月 | ホットフィックスにタグを付けない、通常のブランチで通す、ホットフィックスを「小さな改善」と呼ぶ | デプロイの手戻り率。ブランチとタグの監査。計画外の仕事の割合(トピック 2.9「運用作業と計画外作業」を参照) |
| デプロイの手戻り率 | デプロイのうち、以前のデプロイの問題に対する計画外の修正だったものの割合 | 同じ失敗の窓内で、最近の以前のデプロイの欠陥や失敗を直す本番へのデプロイ ÷ その期間のすべての本番デプロイ。ロードマップからの計画されたフォローアップの仕事は除く | パーセント | 「修正」のリンクまたはタグを持つデプロイのログと、作業追跡システム | 変更実現、継続的改善 | 手戻り、流出した欠陥、失敗需要 | 毎月 | 修正を元のデプロイにリンクしない、修正を「計画済み」とラベルする、修正を新機能とまとめる | 是正のデプロイに必須の「修正」のリンク。計画済みとラベルされたデプロイの抽出レビュー。その隣に変更失敗率 |
| 変更とインシデントのリンク率 | 解決されたインシデントのうち、変更が原因かどうか、またどの変更かを記録しているものの割合 | 「変更が原因」の欄(はい/いいえ、はいの場合は変更の識別子)が完了しているインシデント ÷ その期間に解決されたインシデント。時計はインシデントがクローズされたときに止まる | パーセント | インシデントのツールと変更レコード | インシデント管理、変更実現 | インシデント後のレビュー、完了の定義 | 毎月 | 確認せずに欄を「いいえ」で完了する、欄を既定で「いいえ」にさせる、割合を上げるためにインシデントを一括でクローズする | インシデント後のレビューで「いいえ」の答えを抽出して確認する。既定値なし。抽出に対するレビュー担当者のコメント |
| 失敗の定義の一致 | 変更の抽出が失敗したかについての、二人のレビュー担当者の一致 | 書面の定義を使って、二人の独立したレビュー担当者が同じ失敗の判断に達した抽出した変更 ÷ 抽出した変更。毎四半期に無作為に引く少なくとも20件の変更の抽出 | パーセント | メトリクス台帳とともに保つ抽出レビューのシート | 継続的改善、測定とレポート | レトロスペクティブ | 四半期ごと | 抽出に簡単な例を選ぶ、測定される人自身がレビュー担当者になる、全員が合意するよう定義を緩める | チーム外の人が引く無作為抽出。意図的に境界事例を含める。意見の相違を公開し、定義を直す |
4.5 リリースとデプロイのメトリクス
属するトピック:(トピック 4.5「リリースとデプロイのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| デプロイ頻度 | サービスが本番への成功したデプロイを受けるのがどのくらいの頻度か | その期間のサービスの成功した本番デプロイの数 ÷ その期間の日数。テストやステージング環境へのデプロイ、失敗またはロールバックされたデプロイ、変更のないビルドの再デプロイは除く。設定のみのデプロイは別の系列で数える | 1日または1週間あたりのデプロイ | デプロイのパイプラインのイベントログ | デプロイ管理 | 継続的デリバリー、動くインクリメントの出荷 | 毎週 | 一つの変更を些細なデプロイに分割する、変更のないビルドを再デプロイする、ステージングへのデプロイを数える、設定のみのデプロイを主な系列で数える | リリースのバッチの大きさと、ユーザーに見える変更を含むデプロイの割合。別の設定の系列。その隣に変更失敗率 |
| リリース頻度 | ユーザーが到達できる変更を受け取るのがどのくらいの頻度か | その期間のリリースイベントの数 ÷ その期間の日数。リリースイベントとは、変更または変更のグループが意図したユーザーに到達可能になる瞬間(全ユーザーに対してオンにされたフラグ、段階的なロールアウトの最終段階、フラグのない変更のデプロイ)。ダークローンチ、部分的な段階で止まったロールアウト、社内ユーザーにのみ影響するフラグの変更は除く | 週または月あたりのリリース | パイプラインのログとリリースカレンダーに結合したフラグサービスの監査ログ | リリース管理 | 各インクリメントの終わりでのリリース。利用可能になった出荷可能なインクリメント | 毎週、毎月レビュー | デプロイをリリースとラベルし直す、社内スタッフにオンにされたフラグをリリースとして数える、目標を満たすために空の、あるいは見た目だけの変更をリリースする、ロールアウトの各段階を別々のリリースとして数える | リリースの書面の定義。ユーザーに見える変更に照らして確認する、四半期ごとのリリースの抽出。バッチの大きさと顧客向けの変更の件数 |
| リリースのリードタイム | 完成した変更が、ユーザーが到達できるようになるまでどのくらい待つか | 時計は変更がメインラインにマージされ自動チェックを通過したとき(チームがそう書く場合は最初のコミット)に始まり、上記で定義したように変更がリリースされたときに止まる。その期間にリリースされた変更の中央値と85パーセンタイルを報告する。まだリリースされていない変更は除き、待機中の仕事の年齢として報告する | 時間または日 | パイプラインとフラグの監査ログに結合したバージョン管理 | リリース管理、デプロイ管理 | 完了から提供までのリードタイム、顧客までのリードタイム | 毎週、毎月レビュー | たとえばマージではなく承認で、時計を遅く始める、長く待った変更を「ブロック」として除外する、中央値を下げるために些細な変更を最初にリリースする、デプロイで時計を終える | 85パーセンタイルと、待機中の最も古い変更の年齢。固定の書面の開始。最も遅い10パーセントの変更の四半期ごとのレビュー |
| デプロイからリリースまでのギャップ | デプロイされたコードが、ユーザーが到達できるようになるまでどのくらい暗いままか | 時計は変更が本番にデプロイされたときに始まり、リリースされたときに止まる。中央値と85パーセンタイルを報告する。デプロイの瞬間にリリースされた変更はギャップがゼロで、含める。デプロイされ、のちにリリースなしに削除された変更は除き、別に数える | 時間または日 | フラグの監査ログに結合したパイプラインのログ | リリース管理、デプロイ管理 | ダークローンチ、デプロイとリリースの分離 | 毎月 | リリースを早く記録するために名目上のユーザーに対してフラグをオンにする、長く暗いコードを「リリースではない」と呼んで抽出から外す、長いギャップを避けるためにダークコードを削除する | リリース時の公開の割合(何がリリースされたと数えるかのしきい値)。リリースなしにデプロイされ削除された変更の数。古くなったフラグの数 |
| リリースのバッチの大きさ | 一つのリリースでどれだけの変更が一緒に出荷されるか | その期間のリリースごとのマージされた変更(プルリクエストまたは作業アイテム)の数の中央値と85パーセンタイル。変更の単位は書き留める。各変更は、それを到達可能にしたリリースで一度だけ数える | リリースあたりの変更 | リリースイベントに結合したバージョン管理と課題管理 | リリース管理、変更実現 | 小さなバッチ、仕事の垂直スライス | リリースごと、毎月レビュー | 仕事を人為的なプルリクエストに分割する、リリースの数を減らすために無関係な変更を一つにまとめる、バンドルの中の大きな変更だけを数える | 文脈の測定値としての、行またはファイルでの変更の大きさの中央値。無関係なバンドルについてのリリースの抽出のレビュー。大きさの隣に頻度 |
| フィーチャーフラグの網羅率 | フラグの裏でリリースされた、ユーザーに見える変更の割合 | その期間にリリースされた、リリース時にフラグがあった、ユーザーに見える変更 ÷ その期間にリリースされたすべてのユーザーに見える変更。フラグ化できないインフラの変更と欠陥の修正は除く。「ユーザーに見える」の規則は書き留める | パーセント | 課題管理とリリースログに結合したフラグサービス | リリース管理、変更実現 | 段階的なデリバリー、実験駆動の開発 | 毎月 | 割合を上げるために些細な変更にフラグを加える、安全な変更にだけフラグを付けてリスクのあるものはフラグなしで出荷する、実際にはオフにできないフラグを作る | フラグの抽出に対するフラグオフのテスト結果。古くなったフラグの数。フラグのなかったインシデントの原因 |
| 古くなったフラグの数 | 目的を過ぎて生き延びているフラグの数 | それが守る変更が全ユーザーに達してから、述べた日数を超えてコードまたは設定に残っているリリースフラグの数。恒久的な運用フラグ(キルスイッチ、権限のフラグ)にはタグを付けて除く。年齢の上限はフラグの種類ごとに書き留める | フラグ、およびリリースフラグの年齢の中央値(日) | コード検索に結合したフラグサービスの棚卸し | リリース管理、ナレッジマネジメント | 技術的負債の整理、フラグの削除という完了基準 | 毎月 | 古くなった数から外れるようリリースフラグを恒久的にタグ付けし直す、コードにフラグを残したままフラグのレコードを削除する、レビューなしに有効期限を延ばす | 台帳に照らした定期的なコード検索。フラグの種類のあらゆる変更のレビュー。最も古いリリースフラグの年齢 |
4.6 技術的負債と既知のエラー
属するトピック:(トピック 4.6「技術的負債と既知のエラー」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 既知のエラーのバックログの年齢 | 未解決の既知のエラーが、恒久的な修正をどのくらい待っているか | 時計は問題レコードが「既知のエラー」と印されたときに始まり、恒久的な修正が本番にリリースされたときに止まる。「リスクの受容」としてクローズされたアイテムは別に報告し、除く。件数、年齢の中央値、85パーセンタイルの年齢を、サービス別に報告する | 日(分布) | ITSMツールの問題と既知のエラーのレコード、リリースの記録 | 問題管理 | 古くなる作業アイテムのチャート、バグのバックログの年齢 | 毎月 | 古いレコードを「リスクの受容」や「修正しない」としてクローズする、一つの古いレコードを新しい若いものに分割する、再登録して時計をリセットする | 同じページに、リスクの受容の件数と年齢を報告する。所有するチーム外の誰かによるクローズのレビュー。レコードの系譜を保つ |
| 回避策の網羅率 | 未解決の既知のエラーのうち、エージェントが従える、文書化されテストされた回避策を持つものの割合 | 直近6か月以内にレビューされた回避策を持つ未解決の既知のエラー ÷ 未解決の既知のエラー。クローズされたものとリスクの受容のアイテムは除く | パーセント | 既知のエラーのレコードに紐づくナレッジベース | 問題管理、ナレッジマネジメント | 手順書、または運用可能性の完了の定義 | 毎月 | 欄を満たすために曖昧な回避策を書く、どのエージェントも試したことのない回避策を数える | 紐づけられたインシデントでの回避策の使用と失敗の率。回避策の抽出の定期的なテスト |
| 未解決の既知のエラーに紐づくインシデント | 原因が未解決の既知のエラーであるインシデント。サービスの中断で払われた利子の直接の測定値 | インシデントが始まった時点で未解決だった既知のエラーに紐づく、その期間のインシデント ÷ その期間のすべてのインシデント。原因のリンクがないインシデントは、数えず、リンクなしとして報告する | パーセントと件数 | ITSMツールのインシデントと問題のリンク | インシデント管理、問題管理 | 流出した欠陥、本番のバグの流入 | 毎月 | 割合が下がるよう、インシデントをリンクしない、あるいは別の原因にリンクする | その隣にリンクなしのインシデントの割合を報告する。見逃されたリンクについて、クローズされたインシデントの抽出をレビューする |
| 負債の残高 | 登録された技術的負債のアイテムのうち、開いたままのものの数と見積もられた大きさ | 期末の負債台帳の未解決アイテム。大きさは、登録時に割り当てた粗い労力の帯(時間、日、週)の合計。未登録または疑われる負債は除く | 件数と労力の帯 | サービスでタグ付けされた、追跡システム内の負債台帳 | 継続的改善、サービスデザイン | 負債とラベル付けされたプロダクトバックログのアイテム | 毎月 | 残高が小さく見えるよう、負債を登録しない、多くのアイテムを一つの大きなものにまとめる、熱心に見えるよう些細なものを登録する | コードレビューとポストモーテムの抽出に照らした台帳のレビュー。アイテムの大きさと具体性の確認 |
| 負債の利子 | 未解決の負債と既知のエラーが引き起こす、チームの時間での余分な仕事 | 負債または既知のエラーの参照でタグ付けされた作業アイテムに、その期間に記録された時間(回避策、手作業の手順、手戻り、影響を受ける変更の余分な労力) ÷ その期間のチームの総労働時間。修復の仕事自体は除き、キャパシティの割合で数える | 労働時間のパーセント | チームのレベルで保たれる、作業アイテムの時間または労力のタグ | 継続的改善、問題管理 | 計画外の仕事と手戻りの割合 | 毎月 | 精査を避けるために仕事のタグ付けが少ない、あるいは修復の予算を勝ち取るためにタグ付けが多い、その数字をチームの評価として読む | タグ付きとタグなしのアイテムの抽出監査。チームのレベルの見方のみで、チーム間の比較なし。インシデントのリンクと併せて読む利子 |
| 負債のキャパシティの割合 | デリバリーのキャパシティのうち、負債と既知のエラーの解消に費やされた割合 | 負債の修復または既知のエラーの修正とタグ付けされた完了した作業アイテムのキャパシティ(アイテム数または労力) ÷ その期間に完了したすべての作業アイテム。タグのないアイテムは除く | パーセント | 追跡システム、タグ別の完了したアイテム | 継続的改善、変更実現 | キャパシティの配分 | 計画期間ごと、毎月レビュー | 通常の機能の仕事を修復とタグ付けする、割合を埋めるために簡単な見た目だけのアイテムを選ぶ | アウトカムの確認:利子の高い最も古いアイテムの年齢と、下がるインシデントのリンク。順位付けに照らして何が直されたかのレビュー |
| 負債の純変化 | 台帳が増えているか縮んでいるか | その期間に登録された負債と既知のエラーのアイテム − その期間に解決されたアイテム。解決とは、マージではなく、修正がリリースされたことを意味する。「修正しない」としてクローズされたアイテムは別の行に数える | 件数(符号付き) | 負債台帳と既知のエラーのレコード | 継続的改善 | 区分別のバックログの変化 | 毎月 | 少数の大きなものを相殺するために多くの小さなアイテムを解決する、件数を下げるためにアイテムを「修正しない」としてクローズする | 大きさの帯と利子別に示す純変化。「修正しない」の行を報告する。解決されたアイテムの再発の確認 |
第5部:サービスレベル、可用性、信頼性のメトリクス
5.1 SLA、OLA、XLAのメトリクス
属するトピック:(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| SLA達成率 | その期間に、述べたSLAの目標を満たした測定対象(インシデント、リクエスト、または時間の窓)の割合 | 目標を満たしたアイテム ÷ 測定されたアイテム。時計は合意で定義された記録時刻(たとえばチケット作成)で始まり、定義された停止イベント(たとえば復旧確認)で止まる。除外:重複としてキャンセルされたアイテムと、計画メンテナンスなどの合意された除外内の時間。割合の隣に件数を報告する | パーセント、nとともに | ITSMツールのタイムスタンプ。時間ベースの目標では監視データ | サービスレベル管理、インシデント管理、サービスリクエスト管理 | ローリング窓でのサービスレベル目標の達成(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | 毎月、社内向けには毎週の見方も | 目標を簡単に設定する、チケットを早期にクローズして後で再オープンする、優先度を下方に再分類する、難しい事例を「対象外」として除外する | 再オープン率と優先度の再分類率。顧客とともに読むクローズされたチケットの抽出。四半期ごとの除外一覧のレビュー |
| ニアミスの割合 | 目標を満たしたが、許容時間の最後の10分の1の間に終わったアイテムの割合 | 目標時間の90パーセント以上で終わり、かつ目標内にとどまったアイテム ÷ 目標を満たしたアイテム。SLAと同じ時計。時間の窓には該当しない(目標までの時間の測定値にのみ適用される) | パーセント | ITSMツールのタイムスタンプ | サービスレベル管理 | フローチャートで、サービスレベルの期待に近い仕事の割合(トピック 2.1「フロー指標」を参照) | 毎月 | 限度の1分前に時計を止め、その後記録なしに作業を続ける、チケットを二つの短いものに分割する | 最後の顧客との接触から復旧確認までの時間。インシデントあたりの紐づけられた、または子チケットの数 |
| 時計の停止の割合 | チケットの総経過時間のうち、SLAの時計を止める状態で過ごした時間の割合 | 範囲内のアイテムについて、停止時間の合計 ÷ 開始から停止までの総経過時間。停止状態を使わなかったアイテムは除く。停止状態別に報告する | パーセント | ITSMツールのステータス履歴 | サービスレベル管理、インシデント管理 | フローの見方でのブロックされた時間と待ち時間(トピック 2.4「バリューストリームのメトリクス」を参照) | 毎月 | 顧客を待っていないチケットで停止状態を使う、仕事を数えられない状態に移す | 抽出で監査する停止の理由。顧客によって覆された停止の割合。停止されたチケットの体験スコア |
| OLA達成率 | 二つのチーム間の社内の引き継ぎのうち、OLAの目標を満たしたものの割合 | OLAの目標内に完了した引き継ぎ ÷ 受け取った引き継ぎ。時計は受け手のチームに割り当てられたときに始まり、返すかクローズしたときに止まる。除外:誤って再割り当てされたアイテム(別に数える) | パーセント、nとともに | ITSMツールの割り当て履歴 | サービスレベル管理、インシデント管理 | チーム間の引き継ぎの待ち時間とブロックされた仕事(トピック 9.3「協働と引き継ぎのメトリクス」を参照) | 毎月 | 時計を再開させるために引き継ぎを送り手に突き返す、作業を始めずにアイテムを受理済みとする | アイテムあたりの突き返しの回数と、チーム間の復旧までの総時間。エンドツーエンドのSLAの結果 |
| 引き継ぎの待ち時間(85パーセンタイル) | アイテムが、作業が始まる前に受け手のチームのキューで待つ時間 | 受け手のチームへの割り当てから、そのチームによる最初に記録された行動までの時間の85パーセンタイル。除外:顧客を待っているアイテム | 時間または分 | ITSMツールの割り当てと活動の履歴 | サービスレベル管理、インシデント管理 | フローの見方でのキュー時間(トピック 2.3「仕掛かり作業と待ち行列」を参照) | 毎週 | 待ちを隠すためにチームのキューではなく個人に割り当てる、形だけの最初の行動を記録する | 最初の行動の質を抽出する。割り当てから最初の顧客に見える更新までの時間 |
| 旅路別の体験スコア | 新しいノートパソコンの入手や障害からの復旧など、定義された旅路をサービスがどう支えたかについての、顧客またはユーザーの評価 | その期間に完了した旅路の、固定の尺度でのアンケート評価の平均と分布。回答率と回答者の構成を報告する。除外:部分的なアンケート。単一の平均ではないので、分布を示す | 評価の尺度、回答率とともに | 短いやり取り後のアンケート。ITSMツールからの旅路のイベント | サービスレベル管理、顧客満足のプラクティス(トピック 6.1「顧客満足度のメトリクス」を参照) | 顧客のフィードバックとアウトカムの測定値 | 毎月、各回を示す | 満足しているユーザーにだけアンケートを送る、誘導する質問をする、回答者に高い評価を付けるよう指導する | 母集団に照らした回答者の構成。スコアの隣に示す回答率。レビューで読む自由記述のコメント |
| ウォーターメロンのギャップ | SLAが満たされたと読める一方で、体験の測定値またはユーザーへの影響の測定値が悪く読める、報告期間またはサービスの割合 | SLA達成率が目標以上で、体験が合意された水準を下回るサービス(または期間) ÷ SLA達成率が目標以上のサービス(または期間)。体験の水準は、期間が採点される前に合意されていなければならない | 緑のサービスのパーセント | SLA達成率と体験スコアを併せて | サービスレベル管理、継続的改善 | 結果とアウトカムを照らしたレトロスペクティブ | 四半期ごと | ギャップが小さいままになるよう体験の水準を低く設定する、体験の測定値が下がったときにそれを変える | 事前に合意された体験の水準と、理由付きで記録された変更。分布全体の傾向 |
| 合意の網羅率と最新性 | SLA、OLA、供給者の契約が存在し、合意された間隔内にレビューされた、稼働中のサービスの割合 | 三つの階層すべてが文書化され、間隔内にレビューされたサービス ÷ サービスカタログの稼働中のサービス。間隔は組織が設定する。除外:廃止中のサービス | パーセント | サービスカタログ(ITIL自身の綴りではservice catalogue)と合意の台帳 | サービスレベル管理、サービスカタログ管理、サプライヤー管理 | 定期的な頻度でレビューされる、作業合意とチーム憲章 | 四半期ごと | 実際のレビューなしに合意をレビュー済みと印を付ける、骨組みだけの文書をSLAとして数える | レビューの証拠(出席者、変更、決定)。実際の内容と顧客の承認について読む合意の抽出 |
5.2 SLI、SLO、エラーバジェット
属するトピック:(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| SLI達成率 | 一つのサービスの一つの指標について、有効なイベントのうち良かったものの割合 | 報告期間の開始から終了までの窓について、良いイベント ÷ 有効なイベント。SLOの文書で除外されたイベント(負荷テスト、SLOがそう定める場合は事前に告知された計画メンテナンス)は、分子と分母の両方から取り除く | パーセント | ロードバランサー、アプリケーション、合成プローブのテレメトリ。監視またはオブザーバビリティの基盤 | サービスレベル管理、監視とイベント管理 | 運用可能性の完了の定義、サービスの健全性のステークホルダーレビュー | 継続的、毎日と窓ごとに報告 | 失敗が消えるまで「有効」なイベントを狭める(再試行されたリクエストやエラーのクラス全体を除外するなど)、最も健全なコンポーネントだけを測る、有利な場所からだけプローブする | SLIの定義と除外を、変更履歴とともにSLOの文書で公開する。SLIを、サポートへの問い合わせとユーザーの苦情と比較する。除外されたイベントとその量の定期的なレビュー |
| SLOの遵守 | SLIが、SLOの窓にわたって目標を満たしたか、直近の何窓でか | 直近12か月で、SLI達成率が目標以上だった窓 ÷ 評価された窓。まだ開いている窓は除く | 窓のパーセント | SLI達成率の履歴 | サービスレベル管理、継続的改善 | 信頼性についてのチームの目標または作業合意 | 毎月、四半期ごとの傾向 | 常に合格するほど目標を低く設定する、悪い期間の後に窓の長さを変える、違反をメンテナンス期間として再定義する | ユーザーの意見を取り入れて設定し、予定に従ってレビューされる目標。文書で固定された窓。除外の数と窓への計画外の変更を、遵守とともに報告する |
| 残りのエラーバジェット | 現在の窓でまだ使われていないバジェットの部分 | 1 − (これまでの悪いイベント ÷ 窓全体で許容される悪いイベント)。許容される悪いイベント = (1 − SLO)× 窓全体の期待される有効なイベント。時計は窓の開始で始まり、窓の終了で止まる | バジェットのパーセント | SLI達成率と量の予測 | サービスレベル管理、リスク管理 | リリース準備の確認、計画された仕事への入力 | 毎日、毎週レビュー | 悪いイベントを除外として再分類する、許容される悪い数が大きく見えるよう期待される量を水増しする、窓を早期にリセットする | 窓の終わりの実際の量から計算される許容される悪いイベント。バジェットの隣に示される除外されたイベントの量。事前に固定された窓の日付 |
| バーンレート | 均等に使う速度に対する、バジェットが使われている速さ | (振り返り期間にわたる悪いイベント ÷ 有効なイベント)÷(1 − SLO)。振り返り期間は、たとえば1時間または6時間と述べる | 比(1はちょうどバジェット通り) | 細かい時間解像度のSLIテレメトリ | 監視とイベント管理、インシデント管理 | オンコールのアラート規則、スウォーミングの引き金 | 継続的、アラート規則で評価 | バーンが決して引き金を引かないようにアラートの閾値を調整する、速いバーンが平均化されて消えるほど長い振り返りを使う | 過去のインシデントを使ったアラートの網羅性テスト(「この規則は呼び出したか?」)。対処可能なアラートの率と見逃した検出の数(トピック 5.5「監視とアラート品質のメトリクス」を参照) |
| バジェットポリシーの順守 | エラーバジェットのポリシーの引き金に達したとき、合意された結果がどのくらいの頻度で適用されたか | その期間に、合意された時間内にポリシーの行動が取られた引き金 ÷ その期間に達した引き金。記録された理由とともに正式に免除された引き金は、取り除かず、別に数える | パーセント | ポリシー文書、判断ログ、バックログの履歴 | サービスレベル管理、変更実現 | 作業合意、レトロスペクティブのフォロースルー | 四半期ごと | 例外を日常的に認める、決して届かない引き金のポリシーを書く、形だけの信頼性チケットをポリシーの行動として数える | 例外を別に数えてレビューする。その期間の例外の割合。完了した信頼性の仕事(トピック 4.1「問題管理のメトリクス」を参照) |
| SLOの網羅率 | 現行のSLOと動作するSLIを持つ、重要なユーザーの旅路、または範囲内のサービスの割合 | 直近7日間にSLIのデータが届いたSLOを少なくとも一つ持つ、範囲内のサービスまたは旅路 ÷ 範囲内のサービスまたは旅路。「範囲内」はサービスカタログ(ITIL用語ではservice catalogue)に列挙される | パーセント | サービスカタログ、SLOの台帳、監視の設定 | サービスカタログ管理、サービスレベル管理 | チームのサービスオーナーシップの一覧 | 四半期ごと | 割合を上げるためにすべてのサービスに些細なSLOを加える、データが流れていないのに旅路を網羅済みと数える | SLIデータの鮮度の確認(データが直近7日間に届いた)。SLOが副次的なエンドポイントではなく、重要な旅路をカバーしているかのレビュー |
5.3 可用性のメトリクス
属するトピック:(トピック 5.3「可用性のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 時間ベースの可用性 | 範囲内の時間のうち、サービスが「稼働中」の書面の定義を満たした割合 | (窓の範囲内の分 − 計画外の停止時間の分)÷ 窓の範囲内の分。時計は、のちにユーザーへの影響として確認された最初の失敗したプローブ、またはインシデントレビューに記録された確認済みの影響の開始で始まり、サービスが再び定義を満たしたときに止まる。合意されたサービス時間内の計画済みの停止時間は別に示し、合意されたサービス時間外の時間は分母から除く | パーセント | 合成監視の結果。影響の開始と復旧のタイムスタンプを持つインシデントのレコード | 可用性管理、サービスレベル管理 | 単一のシステムの時間ベースのSLI(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | 毎月 | 実際の旅路が失敗している間も稼働し続ける些細なページをプローブする、短い停止がチェックの間に落ちるようプローブの間隔を延ばす、範囲内の時間を縮める、停止を劣化として数える | ユーザー重み付けの可用性と実ユーザー監視。数字の隣に述べるプローブの間隔。監視の記録に照らしたインシデントの抽出 |
| リクエストベースの可用性 | 有効なリクエストのうち成功したものの割合 | 窓内の成功した有効なリクエスト ÷ 有効なリクエストの総数。有効なリクエストは、不正な形式のリクエストと呼び出し側が原因のクライアントエラーを除く。タイムアウトを含む、サービスが原因の失敗は失敗として数える。サービスごと、ユーザーの旅路ごとに報告する | パーセント | ロードバランサー、ゲートウェイ、またはアプリケーションのログとメトリクス | 可用性管理、監視とイベント管理 | SLOとエラーバジェットを伴う成功率のSLI(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | 毎日の傾向、毎月のレポート | 失敗を薄めるために、簡単なリクエスト(ヘルスチェック、キャッシュされた資産)を分母に数える、サーバーエラーをクライアントエラーとして分類する、ユーザーが失敗として体験した再試行を除外する | リクエストごとではなく、重要な旅路ごとの成功率。除外の一覧のレビュー。ユーザーが報告したインシデントとの比較 |
| ユーザー重み付けの可用性 | 影響を受けたユーザーや旅路で重み付けした可用性。ピーク時の停止は、夜間のものより重く数えられる | 1 −(窓内の失敗したユーザーセッションまたは失敗した旅路 ÷ ユーザーセッションまたは旅路の総数)。定義された重要なステップが失敗した場合、セッションは失敗として数える。部分的な成功は、取り込まず、別の劣化の割合として報告する | パーセント | 実ユーザー監視、アプリケーションのセッションログ、アナリティクスのイベント | 可用性管理、サービスレベル管理 | トピック6の旅路ベースのSLIと体験の測定値(トピック 6.2「体験レベル合意」を参照) | 毎月 | ピーク時の失敗がほとんど重要でなくなるよう重み付けを選ぶ、壊れたステップがなお合格するほど緩く「成功した」セッションを定義する | 重み付けの規則と旅路の一覧を公開する。停止中の苦情の量とサポートへの問い合わせとの比較 |
| 計画外の停止時間 | 事前に承認された告知なしに、サービスが利用できなかった分数 | 変更実現を通じて開始前に告知され承認されなかった停止について、確認された影響の開始から確認された復旧までの、窓内の停止期間の合計。同じサービスで重なる停止は、合計せず統合する。合計の分、停止の件数、停止期間の中央値と95パーセンタイルとして報告する | 分 | 影響の開始と復旧のタイムスタンプを持つインシデントのレコード | インシデント管理、可用性管理 | 分布として読む復旧時間(トピック 3.3「インシデントの対応時間と解決時間」を参照) | 毎月 | 後から停止を計画済みに再分類する、確認された影響の開始を遅らせる、短く見せるために一つの停止を二つに分ける | 開始後に告知された停止は計画外という規則を伴う、計画済みの停止時間の割合。影響の開始を監視データと比較する |
| 計画済みの停止時間の割合 | すべての停止時間のうち、事前に告知され承認された割合 | 窓内の計画済みの停止時間の分 ÷(計画済みと計画外の停止時間の分の合計)。停止が計画済みと数えられるのは、開始前に変更レコードを通じて承認され、その開始と終了の時刻がユーザーに伝えられた場合のみ。承認された窓を超える超過は、窓が終わった瞬間から計画外として再分類する | パーセント | 承認された窓を持つ変更レコード、インシデントのレコード、ステータスページの履歴 | 変更実現、可用性管理 | ゼロダウンタイムのデプロイを好むリリースとメンテナンスの実践(トピック 4.3「変更実現のメトリクス」を参照) | 毎月 | 超過や失敗が計画済みとして数えられるよう、変更を承認された窓として予約する、不要なメンテナンスを予定して計画済みの割合を水増しする | 計画外として再分類される超過の分。変更失敗率と緊急変更の割合(トピック 4.4「変更の失敗と手戻り」を参照) |
| 停止の頻度と間隔 | 停止がどのくらいの頻度で始まり、その間にサービスがどのくらい稼働し続けるか | 窓内に始まった停止の数。そして連続する各二つの停止について、最初の復旧から二つ目の開始までの稼働の分を、中央値と5パーセンタイルとして要約する。間隔が10未満のときは、単一の平均として報告しない | 件数、分 | インシデントのレコード、監視の履歴 | インシデント管理、問題管理 | 変更失敗率と並ぶ安定性のシグナル(トピック 4.4「変更の失敗と手戻り」を参照) | 毎月 | 件数を低く保つために、インシデントを統合する、あるいは長い間隔の後にのみ新しいインシデントを開く、短い停止が記録されないようアラートを抑制する | 生の監視イベントに照らしたアラートとインシデントの抽出。監視の網羅率とアラートの品質(トピック 5.5「監視とアラート品質のメトリクス」を参照) |
| 劣化の割合 | サービスは動いたが、合意された品質を下回った時間 | レイテンシ、エラー、または正しさの指標が閾値を破った分のうち、すでに停止時間として数えた分を除いたもの ÷ 範囲内の分。閾値はサービスごとに、たとえばSLOに述べる | パーセント | 監視とSLIの測定 | 可用性管理、キャパシティとパフォーマンス管理 | レイテンシのSLI(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照) | 毎月 | 遅いサービスが決して破らないほど緩い閾値を設定する、劣化した時間を稼働中と宣言する | 数字の隣でレビューするレイテンシのパーセンタイルとユーザーが報告した遅さ(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照) |
| 測定の網羅率 | 可用性の測定が、サービスのユーザー向けの振る舞いのどれだけを実際に観察しているか | 稼働中のプローブまたは実ユーザー測定を持つ重要なユーザーの旅路 ÷ サービスの定義に列挙された重要なユーザーの旅路 | パーセント | サービスの定義、監視の設定 | 監視とイベント管理、可用性管理 | オブザーバビリティの網羅率とアラートの品質(トピック 5.5「監視とアラート品質のメトリクス」を参照) | 四半期ごと | 網羅率が100パーセントと読めるよう、プローブしやすい旅路だけを列挙する、決して実行されないプローブでカバーされているとして旅路を数える | サービスオーナーとユーザーと合意した旅路の一覧。四半期ごとに抽出するプローブの実行履歴 |
5.4 キャパシティとパフォーマンスのメトリクス
属するトピック:(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 資源の使用率 | ある間隔にわたって使用中の資源のキャパシティの割合。間隔の系列の高いパーセンタイルとして報告する | 1〜5分の間隔ごとに、ビジーなキャパシティ ÷ 総キャパシティ。レビューの窓にわたって中央値と95パーセンタイルを報告する。資源がドレインされているメンテナンスの窓は除く | パーセント | インフラの監視とクラウド基盤のメトリクス | キャパシティとパフォーマンス管理、監視とイベント管理 | 完了の定義の運用受け入れ基準、SREの資源のシグナル | 毎週 | ピークを隠すために長い間隔にわたって平均する、アイドルの予約キャパシティを「使用中」として数える、最も静かな資源だけを報告する | 平均の隣にピーク時間帯の95パーセンタイル。飽和の測定値。サービスマップに照らしてレビューする範囲内の資源の一覧 |
| 飽和 | 完全に使われている資源を待っている仕事の量 | 間隔ごとの、キューの長さ、実行キュー、保留中のリクエスト、またはスロットリングされたリクエスト。95パーセンタイルと、何らかの待ちがあった間隔の割合を報告する。需要のない間隔は除く | 件数、または間隔のパーセント | アプリケーションとインフラのテレメトリ | キャパシティとパフォーマンス管理、監視とイベント管理 | SREの飽和のシグナル、サービスのキューの仕掛かり作業の制限 | 毎週 | 何も拒否やスロットリングとして報告されないようキューの上限を上げる、待ちを測られていない別のキューに移す | 同じ操作のレイテンシのパーセンタイルとエラー率。一つの段階ではなく、エンドツーエンドのキュー時間。経路上のすべてのキューのレビュー |
| レイテンシのパーセンタイル | ユーザー向けの一つの操作のリクエストに答えるのにかかる時間。中央値、p95、p99で報告する | エッジでリクエストを受け取ってから最後のバイトを送るまでの応答時間を、成功したリクエストごとに測る。失敗したリクエストは、速い応答ではなくエラーとして報告する。ローリング窓にわたって測る | ミリ秒 | ロードバランサーまたはゲートウェイのログ、トレーシング、実ユーザー監視 | サービスレベル管理、キャパシティとパフォーマンス管理 | SREのレイテンシ指標とサービスレベル目標 | 継続的、毎週レビュー | 平均または中央値だけを報告する、遅い、あるいは失敗したリクエストを標本から落とす、速い社内の場所から測る、「外れ値」を除外する | p95とp99を常に示す。レイテンシの隣に示すエラーとタイムアウトの率。サーバー側の計時と比較する実ユーザー監視。生の標本サイズを示す |
| 余裕 | サービスが目標を破る前に運べる残りの負荷 | (テストまたはモデル化した限界負荷 − 現在のピーク負荷)÷ 現在のピーク負荷。ピークは窓の中で最も忙しい1時間。限界負荷は、ハードウェアの最大値ではなく、テストでレイテンシの目標が最初に破られる負荷 | パーセント、または現在の成長での日数 | 負荷テストの結果とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービスレベル管理 | パイプラインの非機能要件とパフォーマンステスト | 毎月、主要な立ち上げの前 | 穏やかなテストのワークロードを選ぶ、本番より大きな環境でテストする、限界点をハードウェアの最大値と定義する | 本番のトラフィックの形に照らしてレビューするテストのワークロード。テストと本番の違いの書面の一覧。関連する変更の後に余裕を再テストする |
| 予測誤差 | ある期間の予測された需要と実際の需要の差 | 述べた期間について、絶対値(予測のピーク − 実際のピーク)÷ 実際のピーク。予測は期間の開始時に凍結し、その後は改訂しない。予測されなかった単発のイベントは、取り除かず、列挙する | パーセント | 予測台帳とトラフィックのテレメトリ | キャパシティとパフォーマンス管理、サービス財務管理の需要関連の計画 | リリースとロードマップの予測、SREの需要予測 | 四半期ごと | 後から予測を改訂する、すべての結果が「範囲内」になるよう非常に広い範囲を設定する、驚きのあった月を「予測されなかったイベント」として取り除く | 台帳に日付とともに凍結された予測。誤差とともに報告する範囲の幅。除外されたすべてのイベントを列挙してレビューする |
| キャパシティのリードタイム | 必要が受け入れられてから、新しいキャパシティをサービスに投入するまでに要する時間 | 時計はキャパシティの依頼が承認されたときに始まり、キャパシティが本番トラフィックを運んだときに止まる。中央値と85パーセンタイルを報告する。キャンセルされた依頼は除く | 日 | ITSMツールの依頼レコード、変更レコード、プロビジョニングのログ | キャパシティとパフォーマンス管理、サービスリクエスト管理、変更実現 | プラットフォームのバックログアイテムのリードタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと | 承認の記録を遅らせることで時計を遅く始める、キャパシティがトラフィックを運んだときではなく発注したときに依頼をクローズする、依頼を分割する | 承認からトラフィックを運ぶまでと定義した時計。プロビジョニングのログと比較するクローズした依頼の抽出。再オープンされた依頼の数 |
| パフォーマンステストの網羅率 | 最近の現実的な負荷テストを持つ重要なサービスの割合 | 代表的な環境とワークロードで、述べた年齢未満の合格した負荷テストを持つ重要なサービス ÷ 台帳の重要なサービス。年齢の上限は書き留める | パーセント | テスト結果の保管庫とサービスの台帳 | キャパシティとパフォーマンス管理、リリース管理 | 継続的デリバリーのパイプラインの非機能テスト | 四半期ごと | 網羅率を主張するために些細なテストを実行する、重要なサービスの一覧を縮める、古い合格したテストを記録に残す | 記録されるテストの年齢とワークロードの現実性。サービスカタログとインシデントの履歴に照らしてレビューする重要なサービスの一覧。合格に加えて失敗したテストも報告する |
5.5 監視とアラート品質のメトリクス
属するトピック:(トピック 5.5「監視とアラート品質のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| アラートの量 | 人に通知したアラートの数。呼び出しとチケットに分ける | その期間にローテーションまたはキューに届けられた個別の通知の数。同じ未解決のアラートの繰り返しは一つにまとめる。人への通知なしに完全に自動化で処理されたアラートは除く。ローテーション・週ごとに報告し、時間外の割合を別に報告する | ローテーション・週あたりのアラート | ページングとアラートのルーティングのツール | 監視とイベント管理 | オンコールについてのチームの作業合意 | 毎週 | 問題が見過ごされる間に件数が下がるよう、閾値を上げる、長い遅延を加える、アラートを呼び出しから静かなキューに移す。件数を変えるためにアラートを分割または統合する | 監視による検出の割合と検出までの時間。あらゆる降格が理由とともに記録され、一四半期後にレビューされるという規則 |
| 対処可能なアラートの率 | 人が有用な行動を取ったアラートの割合 | 記録された行動(修正、緩和、エスカレーション、アラート規則の変更)のあるアラート ÷ その期間にレビューされたアラート。確認応答の前に自動で解消したアラートは、対処可能でないものとして数える。レビューされていないアラートは、落とさず、別の件数として報告する | パーセント | レビューのラベル、チケット、またはインシデントに結合したアラートの記録 | 監視とイベント管理、インシデント管理 | 運用についてのチームの改善アクション | 毎週レビュー、毎月の傾向 | 事後にアラートを対処可能とラベル付けする、資格を得るために些細な行動(コメント、確認応答)を取る、うるさいアラートをレビューされないままにして分母に入らないようにする | 率の隣に示すレビューされていないアラートの数。ローテーションの外の誰かによる抽出の確認。書き下された「有用な行動」の定義 |
| 誤検知の率 | 問題が存在しなかったのに発火したアラートの割合 | レビューで誤検知とラベル付けされたアラート ÷ その期間にレビューされたアラート。「誤検知」とは、その状態が障害ではなく、誰も知らされたくなかったことを意味する。行動するには小さすぎる実際の問題は誤検知ではない | パーセント | アラートのレビューのラベル | 監視とイベント管理 | ノイズのレトロスペクティブレビュー | 毎月 | 「本物だが無意味」なアラートが真と数えられるよう、誤検知を狭く定義する、ラベルなしでうるさいアラートをクローズする | 別に追跡する対処可能なアラートの率と「本物だが呼び出しに値しない」のラベル。クローズされたアラートの定期的な抽出 |
| 検出の網羅率 | ユーザー向けの症状に対する、テストされたアラートを少なくとも一つ持つ、範囲内のサービスの割合 | 直近12か月に、テストまたは実際のイベントで検証された症状のアラートを持つサービス ÷ サービスカタログの範囲内のサービス。範囲内のサービスの一覧は期間の開始時に固定する | パーセント | サービスカタログ、アラート規則の棚卸し、テストの記録 | サービス構成管理、監視とイベント管理 | 新しいサービスの完了の定義 | 四半期ごと | 網羅を主張するために、すべてのサービスに些細なアラート(ping)を加える、一度もテストされていないアラートを数える | アラートがユーザー向けの症状を見ていて、直近12か月に行使されているという要件。監視による検出の割合 |
| 監視による検出の割合 | ユーザーや同僚が報告する前に、監視が検出したインシデントの割合 | 最初のシグナルがアラートだったインシデント ÷ その期間のインシデント。時計はインシデントのオープン時刻。最初のシグナルの記録がないインシデントは、検出済みではなく、不明として報告する | パーセント | 最初のシグナルの欄を持つインシデントのレコード、アラートのタイムライン | インシデント管理 | インシデントレビュー(インシデント後の学び) | 毎月 | ユーザーが先に報告した場合でも、すべてのインシデントを「監視で検出」と記録する、事後にアラートを作ってそれを引用する、悪い数字を避けるために最初のシグナルの欄を空にする | 割合の隣に示す不明の件数。記憶ではなく、アラートのタイムラインから取る最初のシグナルの証拠。サポートの記録からリンクされる顧客が報告したインシデント |
| 検出までの時間(TTD) | ユーザーへの影響の開始から、人に通知した最初のアラートまでの経過時間 | 人に通知した最初のアラートの時刻 − 影響の開始時刻。影響の開始は、インシデントレビューで確立された、サービスレベル指標が最初に破られた時刻。中央値と95パーセンタイルを報告する。アラートのなかったインシデントは除き、別に数える | 分 | インシデントレビュー、アラートのタイムライン、サービスレベル指標の履歴 | インシデント管理、監視とイベント管理 | インシデント後のレビュー | 毎月、インシデントごと | 影響の開始を実際より遅く宣言する、アラートのなかったインシデントを除外する、裾を隠すために平均を報告する | サービスレベル指標の履歴から取る影響の開始。数えて示すアラートのなかったインシデント。中央値と95パーセンタイルを併せて報告する |
| アラートの集中 | 最もうるさい少数のアラート規則が生むアラートの量の割合 | アラートが最も多い五つの規則からのアラート ÷ その期間のすべてのアラート。同じアラートは一度にまとめる。五つの規則という数は慣例で、理由を述べればチームは変えてよい | パーセント | アラート規則の棚卸しとページングの記録 | 継続的改善、監視とイベント管理 | レトロスペクティブの改善バックログ | 毎月 | どれも上位五つに入らないよう、一つのうるさい規則を複数に分割する、規則の名前を変える | 規則別に加え、根本の障害またはサービス別にも集中を報告する。その隣に、総量と対処可能なアラートの率を追跡する |
| アラート規則の最新性 | オーナー、手順書へのリンク、合意された間隔内のレビューを持つ、呼び出しの規則の割合 | 三つの条件をすべて満たす呼び出しの規則 ÷ すべての呼び出しの規則。その期間に無効にされた規則は除く | パーセント | アラート規則の棚卸し | ナレッジマネジメント、監視とイベント管理 | 運用準備についての作業合意 | 四半期ごと | 条件を満たすために、仮のオーナー、空の手順書のリンク、形だけのレビューを加える | 手順書のリンクが解決され、実際の対応で使われたことの抽出確認。ゲームデーで手順書をテストする実践 |
5.6 サービス継続のメトリクス
属するトピック:(トピック 5.6「サービス継続のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| RTO達成率 | 述べたRTO内にサービスが復旧された復旧演習の割合 | 復旧時間 ≦ RTOの演習 ÷ 実施した演習。時計は、宣言された演習の失敗の開始(注入時刻またはシナリオの宣言)で始まり、サービスが実際のまたは合成のユーザーに対する合意された健全性チェックに合格したときに止まる。机上演習と、時間を測った復旧のない演習は、除いて別に数える | パーセント、演習の数とともに | 演習のレポート、監視からのタイムライン、RTOを持つサービス台帳 | サービス継続管理、可用性管理 | ゲームデーの成果、デリバリーのメトリクスの復旧時間 | 演習ごと、四半期ごとに集約 | 小さなテストデータセット、簡単なシナリオ、リハーサルされた台本を選ぶ、チームが始めた後に時計を遅く始める、「復旧」がより早く届くよう健全性チェックを緩める、すべてのテストが合格するよう寛大なRTOを設定する | 各結果とともに、データサイズ、シナリオの驚き、健全性チェックの定義を記録する。RTOをBIAと比較する。失敗を含め、各演習を独自の行として示す |
| RPO達成率 | データ損失が述べたRPO内にとどまった復旧演習の割合 | 測定したデータ損失の期間 ≦ RPOの演習 ÷ データを復旧した演習。データ損失の期間は、復旧後に存在する最後の書き込みと失敗の瞬間との間の時間。状態を復旧しない演習は除く | パーセント、演習の数とともに | 演習のレポート、復旧したデータと元のデータまたは書き込みログとの比較 | サービス継続管理、情報セキュリティ管理 | 完了の定義の一部としての復旧の訓練 | 演習ごと、四半期ごとに集約 | すべての状態ではなく、主要なテーブルだけの損失を測る、負荷がかかっていないために同期しているレプリカをテストする、外れた結果の後にRPOを再定義する | 範囲内のすべてのデータストアについて、書き込みログに照らしてデータ損失を検証する。現実的な書き込み負荷の下でテストする。理由付きで目標の変更履歴を保つ |
| テストされた復旧の網羅率 | 合意されたテスト間隔内に実践的な復旧テストを受けた、ティア1とティア2のサービスの割合 | 間隔内に適格なテストがあるサービス ÷ 範囲内のサービス。適格なテストとは、実践的(机上のみではない)で、テスト環境または本番環境でサービスを復旧するもの。間隔はティアごとに設定する | パーセント、ティア別 | サービス台帳、演習のカレンダーとレポート | サービス継続管理、サービスカタログ管理 | ゲームデーのスケジュール | 毎月 | 机上の議論をテストとして数える、割合を上げるために些細に小さなサービスをテストする、サービスを下位のティアに再分類して範囲内の一覧を縮める | ティア1の数には実践的なテストを要求する。サービスの重要度で重み付けした網羅率を報告する。ティアの変更をBIAに照らして監査する |
| 直近の成功した復旧テストからの日数 | 各重要なサービスの、最も最近の合格した復旧テストの経過期間 | レポート日 − RTOとRPOの両方を満たした最新のテストの日付。失敗したテストは時計をリセットしない。一度もテストされていないサービスは、ゼロではなく「なし」と示す | 日、サービスごと、最も古いものを強調 | 演習のレポート、サービス台帳 | サービス継続管理 | ゲームデーのスケジュール、作業アイテムの年齢 | 毎月 | 年齢をリセットするために簡単なテストを再実行する、部分的なテストを合格とラベル付けする、紙のレビューの後に日付をリセットする | 直近の合格したテストの範囲を示す。最も古い年齢と一度もテストされていないサービスを示す。RTOとRPOの両方が満たされていたことを要求する |
| バックアップからの復旧の成功率 | 検証された使えるデータで完了した、バックアップから試みた復旧の割合 | 完了してデータ検証チェックに合格した復旧 ÷ 試みた復旧。自動と手動の復旧テストにわたる。バックアップジョブの成功だけは除く。ジョブが実行されたことは、復旧が機能したことではないからである | パーセント、データのティア別 | バックアップシステムのログ、自動復旧検証の結果 | サービス継続管理、インフラとプラットフォーム管理 | 復旧の訓練、完了の定義の運用可能性の基準 | 自動テストでは毎週、レビューでは毎月 | バックアップジョブの成功を復旧の成功として報告する、良いと分かっているバックアップだけをテストする、失敗しえない確認で検証する | 無作為に抽出したバックアップの復旧を追跡する。データ検証の結果を要求する。各監査で確認そのものをレビューする |
| 演習の所見のクローズ率 | 復旧演習の所見のうち、合意された時間内にクローズされたものの割合。重大度別 | 目標内にクローズされた所見 ÷ その期間に期限が来た所見。時計は所見が演習のレポートに記録されたときに始まり、検証された修正で止まる。検証された修正とは、それを確認する再テストまたはレビューを意味する。名前付きのオーナーによってリスクとして受容された所見は別に数える | パーセント、期限超過の所見の件数とともに | 演習のレポート、課題管理 | サービス継続管理、継続的改善 | レトロスペクティブのアクション項目、バックログアイテムの年齢 | 毎月 | 修正なしに所見をクローズする、期限を緩めるために重大度を下げる、一つの所見を多くの簡単なものに分割する、最初から所見をほとんど記録しない | 再テストでクローズを検証する。減る件数はより穏やかな演習を意味しうるため、クローズ率の隣に演習あたりの所見を報告する。重大度の変更をレビューする |
| 計画の最新性 | サービスの最後の重大な変更の後、またはレビュー間隔内にレビューされた、継続計画と手順書の割合 | 最後の重大な変更より後で、かつ間隔内のレビュー日を持つ計画 ÷ 範囲内の計画。重大な変更とは、アーキテクチャ、データストア、依存関係、供給者を変えるとフラグが付けられた変更レコードを意味する | パーセント、最も古いレビューされていない計画の年齢とともに | 計画のリポジトリ(バージョン管理)、変更レコード、サービス台帳 | サービス継続管理、変更実現 | 完了の定義に手順書の更新が含まれる | 四半期ごと | 計画を読まずにレビュー日を更新する、変更を重大でないとして印を付ける、決して古くならない一般的な文章を計画に詰め込む | 計画を抽出し、書いていない人と一緒に通して確認する。重大な変更のフラグの率を、アーキテクチャの変更履歴と比較する。最新性をテストの結果に結び付ける |
5.7 トイルとオンコールのメトリクス
属するトピック:(トピック 5.7「トイルとオンコールのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| シフトあたりの呼び出し | 一つのシフトの間にローテーションに届いた呼び出しの数 | シフトの開始から終了の間に届いた呼び出しの件数を、同じアラートグループの重複した呼び出しを5分以内にまとめた後に、シフトごとに一つ数える(まとめる窓はチームの設定)。テストの呼び出しと誤って送られた呼び出しは除く。シフト全体の中央値と90パーセンタイルに加え、最も忙しいシフトを報告する | シフトあたりの呼び出し | ページングツール、オンコールのスケジュール | インシデント管理、監視とイベント管理 | 計画外の仕事のポリシー、持続可能なペース | 毎週レビュー、毎月の傾向 | 件数が下がるようアラートの閾値を上げる、またはアラートを黙らせる、無関係なアラートを一つの呼び出しにまとめる、誰も見ていないチケットのキューに呼び出しを移す | 検出の網羅率と、監視が見逃した顧客が報告したインシデント(トピック 5.5「監視とアラート品質のメトリクス」を参照)。検出までの時間(トピック 3.3「インシデントの対応時間と解決時間」を参照) |
| 時間外の呼び出しの割合 | 書面の勤務の窓の外に届く呼び出しの割合 | その期間に、勤務の窓の外に届いた呼び出し ÷ 届いたすべての呼び出し。窓はローテーションごとに現地時間で設定する。祝日は窓の外として数える | パーセント | ページングツール、ローテーションのカレンダー | インシデント管理、監視とイベント管理 | 対応可能性についての作業合意 | 毎月 | 勤務の窓をより広く再定義する、呼び出しを減らさずに時間内に移るようジョブとデプロイを再スケジュールする、呼び出しを「低緊急」として再分類する | 割合の隣に総呼び出し量。変更管理下にある書面の勤務の窓。何が動いたかのレビュー |
| 夜間の割り込み率 | 守られた睡眠の窓に、少なくとも一件の呼び出しがあるシフトの頻度 | 守られた睡眠の窓(たとえばチームが設定する現地時間の22時から7時)に少なくとも一件の呼び出しがあったシフト ÷ その期間のすべてのシフト。人による対応なしに自動で確認応答された呼び出しは除く | シフトのパーセント | ページングツール、確認応答のログ | インシデント管理、人材とタレントの管理 | 持続可能なペース、チームの健全性チェック | 毎月 | 確認応答を朝まで遅らせる、呼び出しを自動で確認応答する、人に届いた呼び出しだけを数える | 時間帯別の確認応答までの時間(トピック 3.3「インシデントの対応時間と解決時間」を参照)。人による対応のない呼び出しを別に報告する。夜間の顧客への影響 |
| 時間に占めるトイルの割合 | ローテーションの勤務時間のうち、トイルに費やされた割合 | ローテーションがトイルと分類された仕事に対して記録した時間 ÷ ローテーションが記録した総勤務時間。月にわたって。会議、研修、休暇は、分子と分母の両方から除く。分類は、チームが適用するトイルの六つの特徴に従う | 時間のパーセント | 時間のサンプリングまたは作業追跡システムのタスクラベル、チームの分類レビュー | 継続的改善、デプロイ管理、サービスリクエスト管理 | 計画外の仕事の割合、計画された仕事でのキャパシティの配分 | 毎月、分類の四半期ごとのレビュー | トイルを「エンジニアリング」や「プロジェクトの仕事」として再分類する、費やしたより少なく記録する、説明しやすいものだけにラベルを付ける | ローテーションの外の誰かによる、分類されたアイテムの定期的な監査。週がどう感じられたかについてのチーム自身の見方。計画された改善の仕事に費やした時間の割合 |
| 発生源別のトイル | 手動の再起動、アクセス依頼、証明書の更新、チケットのトリアージなど名前付きの発生源にわたるトイルの時間の分布 | 各発生源のトイルの時間 ÷ トイルの総時間。上位五つの発生源と「その他」のグループを列挙する。時間に占めるトイルの割合と同じ除外 | 発生源別のトイル時間のパーセント | 時間のサンプリングまたは作業追跡システムのタスクラベル | 問題管理、サービスリクエスト管理 | 改善アイテムのバックログ | 四半期ごと | 大きな発生源を複数の小さなものに分割して、どれも目立たなくする、発生源を名指ししないまま「その他」に残す | 「その他」のグループの上限(たとえばトイル時間の5分の1未満。チームの設定)。毎四半期の「その他」のアイテムの抽出 |
| 繰り返される呼び出しの率 | 述べた窓の中で以前にローテーションを呼び出したことのある状態が原因の呼び出しの割合 | アラートグループまたは原因コードが30日以内の以前の呼び出しと一致する呼び出し ÷ その期間のすべての呼び出し。原因コードはクローズ時に対応者が設定する。未設定のコードは別に報告する | パーセント | ページングツール、インシデントのレコードの原因コード | 問題管理、インシデント管理 | レトロスペクティブのアクション、技術的負債のバックログ | 毎月 | 一致を見逃すよう、毎回新しい原因コードで呼び出しをクローズする、すべてが別個になるまで原因コードを広げる、窓を長くまたは短くする | 抽出に対する原因コードの監査。インシデントをまたぐ同じアラートグループの再発(トピック 4.1「問題管理のメトリクス」を参照) |
| ローテーションの深さ | 埋めるべき役割の数に比べて、ポケベルを分担する資格のある対応者の数 | オンコールの準備を完了し、シフトに就ける人数 ÷ ローテーションの周期あたりのシフトの枠の数。休暇と出向は、可用性を減らす。ローテーションごとの比として報告し、個人別には決して報告しない | 比 | ローテーションのスケジュール、準備のチェックリスト | 人材とタレントの管理 | 機能横断のチーム、スキルマトリクス | 四半期ごと | 準備を完了していない人を数える、まれにしか対応できない人を数える、名簿を水増しする | 名目上のプールが実際にカバーしたシフトの割合。名前なしで報告する、枠別の実際のシフト数。準備のチェックリストの完了 |
| 取り除かれたトイル | 自動化または設計の変更によって、ローテーションの仕事から取り除かれた繰り返されるトイルの時間 | 変更前の発生源の月次トイル時間の見積もり − 変更後の同じ値。提供後少なくとも二周期にわたって測る。一度きりの整理で節約された時間は除く | 月あたりの時間 | 前後の時間のサンプリング、改善チケット | 継続的改善、問題管理 | 提供された改善アイテム | 四半期ごと | 一度きりの整理を繰り返される節約として数える、自動化を構築し維持する労力を無視する、前後の比較なしに節約を主張する | 二周期にわたって測る前後の時間。自動化の維持の労力。その後の四半期にわたる時間に占めるトイルの割合 |
第6部:顧客と体験のメトリクス
6.1 顧客満足度のメトリクス
属するトピック:(トピック 6.1「顧客満足度のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| CSAT | 定義されたやり取りの種類について、満足した回答の割合 | 5段階の尺度で4または5と評価した回答 ÷ 有効な回答 | パーセント | チケットまたはリリースに結び付いたやり取り後のアンケート | サービスデスク、インシデント管理、サービスレベル管理 | ステークホルダーレビューのフィードバック | 毎週または毎月 | エージェントがユーザーに最高点をつけるよう指導する、簡単なチケットの後にのみアンケートを送る、難しいチケットをアンケートなしでクローズする | 対象となるすべてのチケットへの自動アンケート。回答率と回答者の構成。再オープン率 |
| NPS | 定義されたサービスと対象者について、プロモーターからディトラクターを引いたもの | 9または10と答えた割合 − 0から6と答えた割合 | ポイント、範囲は−100から100 | 固定の間隔で送られる関係性のアンケート | 継続的改善、サービスレベル管理 | プロダクトの成果レビュー | 四半期ごと | 好意的なユーザーにだけアンケートを送る、良い出来事の後にアンケートのタイミングを合わせる、対面で尋ねる、尺度の点のラベルを付け替える | 台帳にある固定の対象者とスケジュール。回答者の網羅性。ディトラクターのコメントを読む |
| CES | 何かを成し遂げるのがどれだけ容易だったかの評価の平均または好意的な割合 | 好意的な回答 ÷ 有効な回答、または評価の平均 | パーセントまたは平均 | チケット、リクエスト、リリースに結び付いたやり取り後のアンケート | サービスリクエスト管理、サービスデスク | リファインメントでのユーザビリティのフィードバック | 毎月 | 作業が別の場所に移るようにフォームのステップを取り除く、スムーズなリクエストの後にのみ尋ねる | 問題あたりの問い合わせ数。サービスリクエストの履行時間と手戻り(トピック 3.5「サービスリクエスト履行のメトリクス」を参照) |
| アンケートの回答率 | 招待したユーザーのうち回答した割合 | 受け取った回答 ÷ 配信したアンケート | パーセント | アンケートツールとチケットシステム | 測定とレポート | レビューでのフィードバックへの参加 | 毎月 | 答えそうな人だけを招待する、毎回異なるリストにアンケートを送る | 書き下された招待の規則。招待された人をユーザーの母集団と比較する |
| 回答者の網羅性 | 回答者の構成が、合意した観点でユーザーの母集団にどれだけ近いか | 各グループについて、回答者のうちそのグループの割合を、ユーザーのうちそのグループの割合と比較 | パーセントポイント | ユーザーディレクトリまたはチケットのデータに結合したアンケートツール | 測定とレポート | ステークホルダーマップ | 四半期ごと | 到達しにくいグループを比較から落とす、言わずに再重み付けする | 観点と方法を公開する。重み付けした結果の隣に、重み付けなしの結果を示す |
| コメントのテーマ別割合 | 自由記述のコメントのうち、各テーマに割り当てられた割合 | テーマ内のコメント ÷ コード化されたコメント | パーセント | コード化されたアンケートのコメント | 継続的改善 | レトロスペクティブのテーマ | 毎月 | 悪いテーマを避けるようコメントをコード化する、どれも大きく見えないようテーマを統合する | 第二の人が抽出をコード化する。テーマの一覧を安定に保ち、変更を記録する |
| ディトラクターへのフォローアップ時間 | 低い評価から、ユーザーとの文書化された接触までの時間 | フォローアップのメモのタイムスタンプ − 低い評価のタイムスタンプ、中央値と85パーセンタイル | 時間または日 | アンケートツールとチケットシステム | インシデント管理、継続的改善 | 作業合意のフィードバックループ | 毎月 | ユーザーに連絡せずにメモを記録する、より良いスコアを求めるためにユーザーに連絡する | フォローアップのメモの内容を確認する。次のアンケートで、誰かが連絡したかをユーザーに尋ねる |
6.2 体験レベル合意
属するトピック:(トピック 6.2「体験レベル合意」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 体験スコア | サービスと対象者について、合意した体験の記述に対する評価の平均 | 固定の尺度での一つの記述に対する有効な回答の評価の平均 | 尺度の点 | 予定に従って送る短いパルスアンケート | サービスレベル管理、継続的改善 | ステークホルダーレビューのフィードバック、プロダクトの成果レビュー | 毎月 | 満足しているユーザーにだけアンケートを送る、良い出来事の後にアンケートのタイミングを合わせる、より同意しやすいよう記述を言い換える | 回答率と回答者の構成。安定した文言の記録。コメントを読む |
| センチメントの傾向 | サービスについての自由記述のコメントのトーンの方向 | 期間ごとの、肯定とコード化されたコメントの割合 − 否定とコード化されたコメントの割合 | パーセントポイント | コード化されたアンケートのコメントとチケットのコメント | 継続的改善 | レトロスペクティブのテーマ | 毎月 | 傾向が上がるまでツールやテーマの一覧を調整する、否定的な経路を除外する | 毎月の抽出を人が確認する。固定のコード化の手引きを保ち、変更を記録する |
| ユーザーあたりの摩擦イベント | ユーザーがトラブルに遭遇したことを示すシグナルの数を、アクティブユーザーで正規化したもの | (繰り返しの問い合わせ + 再オープンされたアイテム + 設定回数を超えたログイン失敗 + 放棄されたリクエスト)÷ アクティブユーザー | ユーザーあたりのイベント | チケットシステム、アイデンティティのログ、リクエストポータル | サービスデスク、インシデント管理 | 使用中に見つかった欠陥 | 毎月 | 数えられるものが減るようイベントを再定義する、サービスデスクを連絡しにくくして繰り返しの問い合わせを妨げる | 経路別の問い合わせ量。サービスデスクの放棄率(トピック 3.1「サービスデスクのメトリクス」を参照) |
| ITの問題で失われた時間 | その期間に、サービスの問題でユーザーが失う時間の見積もり | ユーザーあたりの自己申告の失われた分、または影響を受けたユーザーで重み付けした、劣化状態にあった測定時間 | ユーザーあたりの分 | パルスアンケート、ユーザー数に結合した監視 | 可用性管理、インシデント管理 | ブロッカーで失われたサイクルタイム | 四半期ごと | 低い見積もりに誘導する聞き方をする、重大インシデントだけを数える | 自己申告の時間を、測定した劣化時間と比較する。アンケートの文言のレビュー |
| 旅路の完了率 | 放棄せず、助けを求めずに、定義された旅路を終えたユーザーの割合 | ヘルプの問い合わせなしに旅路を完了したユーザー ÷ 旅路を始めたユーザー | パーセント | ポータルのアナリティクス、チケットのリンク | サービスリクエスト管理、サービスカタログ管理 | ユーザビリティテストのタスク成功 | 毎月 | 失敗が対象外になるほど狭く旅路を定義する、難しい事例を別の経路に誘導する | 台帳にある旅路の定義。ヘルプの問い合わせ率とエスカレーション |
| XLA達成率 | その期間に、合意した体験の目標のうち満たされたものの割合 | 満たされた目標 ÷ 合意した目標 | パーセント | XLAの台帳 | サービスレベル管理 | デリバリーの目標の達成 | 四半期ごと | すでに満たされている目標を設定する、非常に少数の目標を定義する | ユーザーとともにレビューする目標設定。傾向と目標の履歴とともに達成率を示す |
| 体験のギャップ | 同じサービスについての、SLA達成率と体験スコアの差 | サービス間でのSLA達成率の順位 − 体験スコアの順位、または書面の比較 | 順位の差またはメモ | SLAのレポートとパルスアンケート | サービスレベル管理 | 完了の定義とユーザーのフィードバックの比較 | 四半期ごと | 最も良く見えるサービスや期間を選ぶ、比較するSLAを変える | 事前に合意した固定の比較の集合。すべてのサービスを示す |
6.3 サービス導入とカタログのメトリクス
属するトピック:(トピック 6.3「サービス導入とカタログのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 導入率 | その期間に、対象ユーザーのうちサービスを少なくとも一度使った割合 | 完了した利用が少なくとも一件ある個別の対象ユーザー ÷ 対象ユーザー | パーセント | ユーザーディレクトリに結合したサービスの利用ログ | サービスカタログ管理、サービスレベル管理 | 機能の導入、プロダクトの成果レビュー | 毎月 | 利用を義務化する、ログインやページビューを利用として数える、すでに使っている人に「対象ユーザー」を狭める | 完了した成果の定義。満足度と労力の評価と比較する。対象ユーザーの規則を公開する |
| アクティブな利用率 | 導入者のうち、時間を経ても使い続けている割合 | その期間にアクティブで、前の期間にもサービスを使ったユーザー ÷ 前の期間にアクティブだったユーザー | パーセント | 利用ログ、コホートの表 | 継続的改善 | プロダクトアナリティクスの継続率 | 毎月 | ユーザーがアクティブに見えるよう自動登録する、活動として数えられる通知を送る | ユーザーが始めた完了した行動のみを数える。離脱したユーザーへのインタビューの抽出 |
| カタログの網羅率 | リクエストのうち、アドホックなチャネルではなくカタログを通じて届く割合 | カタログ経由で作成されたリクエスト ÷ すべてのチャネルからのすべてのリクエスト | パーセント | リクエスト管理ツール、メールボックスとチャットのタグ | サービスリクエスト管理、サービスカタログ管理 | 書面の定義を持つバックログアイテム | 毎月 | すべてのリクエストを汎用のカタログアイテムに押し込む、電子メールのリクエストを「ポータルをご利用ください」でクローズする | リクエストの放棄率と満足度。別のチャネルで再度出されるリクエストの数を数える |
| リクエストの放棄率 | 開始されたリクエストのうち、ユーザーが送信しない割合 | 24時間以内に送信されなかった、開始されたリクエスト ÷ 開始されたリクエスト | パーセント | ポータルのアナリティクス | サービスリクエスト管理 | ユーザビリティテストのタスクの放棄 | 毎月 | 必要なフォームの項目を取り除いて、作業を履行に移す、長い窓の後にだけ放棄されたリクエストを数える | 履行での手戻りと確認の率(トピック 3.5「サービスリクエスト履行のメトリクス」を参照) |
| 検索の成功率 | カタログの検索のうち、リクエストまたは閲覧された答えで終わる割合 | セッション内でリクエストまたはナレッジの閲覧が続いた検索 ÷ 検索 | パーセント | ポータルの検索ログ | ナレッジマネジメント、サービスカタログ管理 | ユーザーリサーチの見つけやすさ | 毎月 | あらゆるクリックを成功として数える、すべてのクエリに一致する無関係な記事を加える | 結果が使われたことを確認する(リクエストが出された、記事が役に立つと評価された)。結果ゼロの検索を読む |
| 古くなったアイテムの割合 | レビュー日を過ぎている、または一定期間利用のないカタログアイテムの割合 | レビューが期限切れ、または12か月のリクエストがゼロのアイテム ÷ カタログのアイテム | パーセント | カタログの台帳 | サービスカタログ管理 | バックログの年齢と刈り込み | 四半期ごと | 読まずにアイテムをレビュー済みとする、レビュー日を一括でリセットする | レビューされたアイテムの正確さを抽出する。最後の本当の変更日を示す |
| リクエストの集中 | 最もリクエストされるアイテムが占めるリクエストの割合 | 上位五つのアイテムのリクエスト ÷ すべてのカタログのリクエスト | パーセント | リクエスト管理ツール | サービスリクエスト管理 | 種類別の仕事のパレート | 四半期ごと | 人気のアイテムを多数に分割する、ロングテールの需要を隠すために無関係なアイテムを統合する | 変更履歴を伴う固定のアイテム分類。区分別にテールを見る |
6.4 ユーザー体験と従業員体験
属するトピック:(トピック 6.4「ユーザー体験と従業員体験」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 初日の準備率 | デバイス、アカウント、アクセスが、開始時刻に完了し動いている新入社員の割合 | 開始時にすべての合意した項目が動いている新入社員 ÷ その期間の新入社員 | パーセント | オンボーディングのリクエスト、アイデンティティシステム、新入社員の確認 | サービスリクエスト管理、サービスカタログ管理 | オンボーディングについてのチームの作業合意 | 毎月 | 合意した一覧を短くする、動く前に項目を準備済みとする、公式の開始日を遅らせる | 台帳にある書面の一覧。新入社員の確認。生産的になるまでの時間 |
| 生産的になるまでの時間 | 開始日から、新入社員が最初の実際のタスクに必要なすべてを持つ時点までの経過時間 | 開始日から、新入社員とそのマネージャーの確認までの日数の中央値と85パーセンタイル | 日 | オンボーディングの追跡、短い確認の質問 | サービスリクエスト管理、継続的改善 | チームの新メンバーが最初の変更を行うまでの時間 | 毎月 | 時計の開始を遅くする、オンボーディングのレコードを早期にクローズする | 台帳にある時計の定義。マネージャーと新入社員の両方が確認する |
| 回避策の蔓延 | 公式のサービスを回避するために、未承認のツールや手作業のステップを使うアンケート対象のスタッフの割合 | サービスの回避策を報告した回答者 ÷ 有効な回答者 | パーセント | パルスアンケート、承認されたツールの検出レポート | サービスレベル管理、継続的改善 | 日次のチームの確認で挙げられる障害 | 四半期ごと | 結果をほのめかして誠実な答えを妨げる、満足しているグループにだけ尋ねる | 匿名性の声明。回答率と回答者の構成。プライバシー保護の順守 |
| 強制的な中断の分数 | 強制再起動、更新、サインインの促しなど、計画されたITの行動によって人々が割り込まれる時間 | 計画された行動による中断の分数の合計 ÷ グループのアクティブユーザー | 月あたり一人あたりの分 | エンドポイント管理のログ、グループ別に集約 | 変更実現、リリースとデプロイ管理 | 中断のない作業時間 | 毎月 | 一部の種類の中断だけを数える、測定されないグループに中断を移す | すべての計画された中断の種類を定義する。リモートやシフトのスタッフを含むグループ別に報告する |
| アクセシビリティ依頼の解決時間 | アクセシビリティの必要性に関連する依頼を解決するまでの時間 | 依頼から確認された動作する解決策までの時間の中央値と85パーセンタイル | 時間 | アクセシビリティのタグのあるリクエストシステム | サービスリクエスト管理、インシデント管理 | 包括的な完了の定義 | 毎月 | 部分的な修正で依頼をクローズする、時計を避けるために依頼を別のものとしてタグ付けする | 解決策が機能するという依頼者からの確認。タグのない依頼のレビュー |
| ツールのパルススコア | 名前付きの一つのツールまたはサービスの、合意した短い質問に対する評価 | 有効な回答にわたる、ツールごとの評価の平均または好意的な割合 | 尺度の点またはパーセント | パルスアンケート、ツールを入れ替える | サービスレベル管理、継続的改善 | ツールについてのチームメンバーからのフィードバック | 四半期ごと | 満足しているユーザーにだけアンケートを送る、質問を変える、スタッフに上手に答えるよう訓練する | 安定した文言の記録。回答率と構成。コメントを読む |
| プライバシー保護の順守 | 抑制と集約の規則を満たす体験レポートの割合 | 規則を満たすレポート ÷ 公開したレポート | パーセント | 公開したレポートのプライバシー規則に照らしたレビュー | 情報セキュリティ管理、測定とレポート | データ利用についての作業合意 | 四半期ごと | 独立したレビューなしに順守を報告する、問題を隠すためにグループを広げる | チーム外の誰かによる定期的なレビュー。規則(kの値と抑制)を公開する |
6.5 価値の実現とビジネス成果
属するトピック:(トピック 6.5「価値の実現とビジネス成果」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 便益の実現率 | 合意したレビュー日に観察された、期待される便益の割合 | 測定結果が合意した閾値以上だった便益 ÷ その期間にレビュー日がある期待された便益 | パーセント | オーナー、ベースライン、レビュー日を持つ便益の台帳 | 継続的改善、サービス価値システムのガバナンス | ステークホルダーとの成果レビュー | 四半期ごと | 低い閾値を設定する、レビュー日を動かす、事後に便益を再定義する | 承認時に固定された閾値と日付。証拠の質の割合。デリバリーチームの外のオーナー |
| 最初の価値までの時間 | 作業の開始から、ユーザーにとっての最初の測定可能な便益までの時間 | 最初の作業を開始してから、便益の指標が期待どおりに動いた最初の日までの日数 | 日 | 作業追跡システムと便益の指標 | サービスデザイン、リリースとデプロイ管理 | 価値の継続的デリバリー | 取り組みごと | 間違った理由で動く早い指標を選ぶ、時計を遅く始める | 台帳に定義された指標と時計。便益のオーナーと確認する |
| 仮説の確認率 | リリースされた変更のうち、述べた価値の仮説がリリース後に確認された割合 | リリース後の確認が記録された変更 ÷ 仮説を伴ってリリースされた変更 | パーセント | リリースの記録に結び付いた仮説ログ | 継続的改善、変更実現 | リリースされた仕事からの学び | 毎月 | 常に合格する曖昧な仮説を書く、成功した変更だけを確認する | 検証可能性について仮説を抽出する。帰無と失敗の結果をレビューに含める |
| 証拠の質の割合 | 主張された便益のうち、ベースラインと述べた比較方法を持つ割合 | ベースラインと方法のある便益の主張 ÷ 報告された便益の主張 | パーセント | 便益の台帳のレビュー | 測定とレポート | 成果の誠実な報告 | 四半期ごと | ベースラインを後付けで埋める、あらゆる比較を方法として記述する | 変更の前に日付が付いたベースライン。チーム外の誰かによるレビュー |
| 成果指標の動き | 選んだ成果指標の、ベースラインと、可能な場合は比較に対する変化 | (後の指標 − 前の指標)。比較グループの変化を並べて報告する | 指標の単位 | プロダクトアナリティクス、サービスのデータ、財務 | サービスレベル管理、継続的改善 | 主要な成果の進捗 | 毎月 | 有利な期間やグループを選ぶ、交絡要因を無視する | 事前に登録した期間とグループ。考慮した交絡要因の一覧 |
| 事業への影響時間 | サービスの問題のために事業プロセスが劣化または停止した時間 | プロセスのオーナーがITサービスの原因に帰属させた、劣化または停止したプロセスの時間 | 時間 | プロセスオーナーの確認と結合したインシデントのレコード | インシデント管理、可用性管理 | 事業への影響のレビュー | 毎月 | プロセスのオーナーが帰属を水増しまたは過小にする、帰属を避けるためにインシデントを再分類する | 書面で記録される帰属の規則。インシデントと可用性の記録と比較する |
| 成果に結び付いたキャパシティの割合 | チームのキャパシティのうち、述べた成果に結び付いた仕事に費やされた割合 | 記録された成果に結び付いたアイテムのキャパシティ ÷ 総キャパシティ | パーセント | 成果の欄を持つ作業追跡システム | サービス価値システム、ポートフォリオガバナンス | プロダクトゴールに沿った仕事 | 四半期ごと | すべての仕事に一般的な成果をタグ付けする、定型的な仕事のために成果を作り上げる | ステークホルダーとレビューする成果の一覧。リンクの質について項目を抽出する |
第7部:資産、構成、財務のメトリクス
7.1 IT資産管理のメトリクス
属するトピック:(トピック 7.1「IT資産管理のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 棚卸しの正確さ | 抽出した資産のうち、レコードが見つかったものと一致する割合 | すべての合意した項目で、レコードが物理的または技術的な証拠と一致する抽出した資産 ÷ 抽出した資産 | パーセント | 資産台帳とディスカバリーのデータに照らして比較した監査の抽出 | IT資産管理、構成管理 | 完了の定義に資産の登録が含まれる | 四半期ごと | 簡単な資産を抽出する、大掃除の後にのみ監査する、より少ない項目での一致を数える | チームの外の誰かが引く無作為の抽出。固定の項目の一覧。両方向からの抽出 |
| ディスカバリーの網羅率 | その期間に、ディスカバリーが確認した、期待される資産の割合 | 直近30日に少なくとも一つのディスカバリーの情報源が確認した資産 ÷ ディスカバリーが見られる台帳の資産 | パーセント | 台帳に結合したディスカバリーツールのレポート | IT資産管理、監視とイベント管理 | Infrastructure as Codeの状態が現実と一致する | 毎月 | 「期待される資産」をディスカバリーが見られるものに狭める、スキャンしにくいネットワークを除外する | 除外を文書化する。調達とクラウドの課金と比較する |
| 突合率 | 独立した情報源にわたって照合された資産の割合 | 台帳と第二の情報源(たとえば調達、アイデンティティ、クラウドの課金)の両方で照合された資産 ÷ どちらかの情報源にある資産 | パーセント | 台帳、調達、アイデンティティ、クラウドの課金のエクスポート | IT資産管理、サプライヤー管理 | 環境についての単一の信頼できる情報源 | 毎月 | 最初のものから派生した第二の情報源を選ぶ、弱いキーで自動照合する | 本当に独立した情報源を使う。照合を手作業で抜き取り確認する |
| オーナーのいない資産の割合 | 名前付きの有効なオーナーがいない資産の割合 | オーナーがいない、または去ったオーナーの資産 ÷ 台帳の資産 | パーセント | 人のディレクトリに結合した台帳 | IT資産管理、情報セキュリティ管理 | サービスとコンポーネントの明確なオーナーシップ | 毎月 | 万能のチームをオーナーに割り当てる、仮の人物を入力する | 万能のチームが所有する資産の数。オーナー確認の抽出 |
| ライフサイクル段階の完全性 | 現在のライフサイクルの段階と、その段階が要する日付を持つ資産の割合 | 段階と必要な日付が記録された資産 ÷ 台帳の資産 | パーセント | 台帳 | IT資産管理、リリースとデプロイ管理 | パイプラインで追跡される環境のライフサイクル | 毎月 | 既定の日付を埋める、すべての資産を「使用中」に設定する | 監査で段階を証拠と比較する。年齢の分布を見る |
| 記録までの時間 | 資産の変更から、台帳での更新までの遅れ | 変更のイベントから台帳の更新までの時間または日数の中央値と85パーセンタイル | 日 | 台帳のタイムスタンプと比較した、変更、調達、パイプラインのイベント | IT資産管理、変更実現 | パイプラインでの自動登録 | 毎月 | 変更のイベントを遡って日付を付ける、イベントの時刻を記録の時刻として記録する | 元のシステムのタイムスタンプと比較する。編集の監査証跡 |
| 行方不明の資産の率 | 監査で所在を突き止められない、または説明できない、期待される資産の割合 | 期待されたが見つからず、承認された処分で説明されない資産 ÷ 期待された資産 | パーセント | 監査の結果 | IT資産管理、情報セキュリティ管理 | 紛失したアイテムについてのレトロスペクティブの所見 | 監査ごと | 承認なしに資産を償却する、処分済みとして再分類する | 処分の承認と証拠の率。償却を財務の記録と比較する |
7.2 ソフトウェア資産とライセンスのメトリクス
属するトピック:(トピック 7.2「ソフトウェア資産とライセンスのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 実効ライセンスポジション | 保有する使用権と、見つかった利用の比較。製品ごと、ライセンス自身の数え方の単位で | 保有する使用権 − 見つかったデプロイまたはユーザー。製品ごと | 単位(余剰は正、不足は負) | 使用権の記録、ディスカバリーツール、アイデンティティシステム | IT資産管理、サプライヤー管理 | チームのための見えるカタログと利用データ | 主要な製品は毎月、その他は四半期ごと | 有利な単位で数える、ディスカバリーからシャドーなデプロイを外す | ライセンス自身の単位で数える。経費とアイデンティティのデータと比較する。数え方の規則の法務レビュー |
| ライセンス利用率 | 支払った使用権のうち、実際に使われている割合 | 直近90日に活動のあった使用権 ÷ 支払った使用権 | パーセント | ベンダーの利用レポート、アイデンティティのログ、使用権の記録 | IT資産管理、財務管理 | ツールの価値についてのレトロスペクティブ | 毎月 | 活動の窓を短くする、ボットやサービスアカウントのログインを利用として数える | 台帳にある固定の窓。人でないアカウントを除外する。ベンダーの利用レポートと比較する |
| シェルフウェアのコスト | 支払われているが使われていない使用権の年間コスト | (未使用の使用権 × 単価)の合計 | 年あたりの通貨 | 使用権の記録、利用データ、請求書 | IT資産管理、財務管理 | ツールチェーンの無駄の削減 | 四半期ごと | 数字を下げるためにレビューの直前に再交渉またはキャンセルする、カードのサブスクリプションを無視する | すべての支出の情報源を含める。通知の窓の開始時点のコストを追跡する |
| 未承認アプリケーション数 | 承認されたカタログにない、使用中のソフトウェアアプリケーションの数 | 経費データ、シングルサインオンのログ、ネットワークデータに見られる、カタログにないアプリケーション | 件数 | 経費レポート、アイデンティティプロバイダー、ネットワークとエンドポイントのデータ | IT資産管理、情報セキュリティ管理 | 目に見える支援とともにツールを選ぶチーム | 毎月 | 数を減らすためにすべてをカタログに承認する、個人アカウントを使って利用を隠す | カタログのレビュー基準。支出とアイデンティティのデータを見る。チームが何を必要とするかを尋ねる |
| 更新の準備 | 通知日の前に利用のレビューを行った更新の割合 | 通知日の少なくとも90日前に利用のレビューが完了した更新 ÷ その期間に期限が来る更新 | パーセント | 契約台帳とレビューの記録 | サプライヤー管理、財務管理 | 変化に備えた計画 | 四半期ごと | 形だけのレビューを行う、通知日を遅く設定する | 必要な入力を伴うレビューのチェックリスト。調達が保持する契約日 |
| SBOMの網羅率 | 最新のソフトウェア部品表を持つ本番サービスの割合 | 直近のリリース周期にSBOMが生成されたサービス ÷ 本番サービス | パーセント | ビルドパイプラインの出力、サービスカタログ | IT資産管理、情報セキュリティ管理 | 完了の定義に依存関係の可視性が含まれる | 毎月 | 推移的な依存関係を省いたSBOMを生成する、リリースされないビルドの出力を数える | 台帳に深さを定義する。SBOMをデプロイされた成果物に照らして抜き取り確認する |
| オープンソースのレビュー網羅率 | 本番のコンポーネントのうち、ライセンスの識別とポリシーの判断が記録された割合 | ライセンスと判断が記録されたコンポーネント ÷ SBOMで見つかったコンポーネント | パーセント | ソフトウェア構成解析ツール、ポリシーの台帳 | IT資産管理、サプライヤー管理 | パイプラインでの依存関係のレビュー | 毎月 | 判断なしにコンポーネントをレビュー済みと印を付ける、「不明」のライセンスを受け入れる | ライセンス不明のコンポーネントを数える。判断の抽出をレビューする |
7.3 ハードウェア資産ライフサイクルのメトリクス
属するトピック:(トピック 7.3「ハードウェア資産ライフサイクルのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 年齢構成 | クラス別のデバイスの年齢の分布と、計画された寿命を超えた割合 | 年齢の中央値と85パーセンタイル。そのクラスの計画された寿命より古いデバイスの割合 | 年、パーセント | 資産台帳の購入とデプロイの日付 | IT資産管理、キャパシティとパフォーマンス管理 | 技術的健全性のレビュー | 四半期ごと | 平均を下げるために健全なデバイスを交換する、予備として再分類して古いデバイスを除外する | 年齢帯別の故障率。遊んでいるデバイスの割合。再分類のレビュー |
| 更新の期限内達成率 | 計画された交換に達したデバイスのうち、計画した窓内に交換された割合 | 窓内に交換されたデバイス ÷ その期間に計画された交換に達したデバイス | パーセント | 資産台帳と更新計画 | IT資産管理、サービスリクエスト管理 | 働く環境の計画的な保守 | 四半期ごと | 計画した窓を広げる、計画を編集して計画日を延期する | 理由とともに記録される計画の変更。故障とユーザーのフィードバックと比較する |
| モデル別の故障率 | モデルと年齢帯別の、100台あたりの年間の故障 | その期間のハードウェアの故障 ÷ 稼働中の平均デバイス数、年換算、×100 | 100台あたり年間の故障 | 台帳に結合したインシデントと修理の記録 | インシデント管理、IT資産管理 | 働く環境の欠陥 | 四半期ごと | 故障をユーザーの損傷やソフトウェアの故障としてコード化する、修理の記録を遅らせる | 故障のコード化を抽出する。修理の記録をインシデントの記録と比較する |
| 遊んでいるデバイスの割合 | 発行されたデバイスのうち、一定期間活動のないものの割合 | 60日間サインインやネットワークの活動がないデバイス ÷ 発行されたデバイス | パーセント | クラス別に集約したエンドポイント管理のログ | IT資産管理、財務管理 | 無駄の削減 | 毎月 | 予定されたバックグラウンドの活動を利用として数える、遊んでいるデバイスを幽霊ユーザーに再割り当てする | 人のサインインを活動のシグナルとして使う。割り当てを抜き取り確認する |
| 交換のリードタイム | 故障または紛失したデバイスを動くものに交換する時間 | 報告から、ユーザーが動くデバイスを持つまでの時間または日数の中央値と85パーセンタイル | 日 | インシデントとリクエストの記録 | インシデント管理、サービスリクエスト管理 | チームメンバーのブロックを解除する時間 | 毎月 | 発送で時計を止める、ユーザーが動くデバイスを持つ前に依頼をクローズする | 時計はユーザーの確認で終わる。最近の交換のアンケート |
| 安全な廃棄の完了 | 廃止されたデバイスのうち、データ消去または破壊の記録された証拠があるものの割合 | 消去または破壊の証拠がある廃止されたデバイス ÷ 廃止されたデバイス | パーセント | 廃棄の記録と消去の証明書 | 情報セキュリティ管理、IT資産管理 | 機器を廃止する完了の定義 | 毎月 | 証拠なしに消去を記録する、証明書がシリアル番号と照合されない | 証明書をシリアル番号と照合する。廃棄のパートナーとともに抽出を監査する |
| 再利用とリサイクルの率 | 廃止されたデバイスのうち、承認された経路で再利用、再生、またはリサイクルされた割合 | 承認された経路で再利用、再生、またはリサイクルされたデバイス ÷ 廃止されたデバイス | パーセント | 廃棄とパートナーの記録 | IT資産管理、サプライヤー管理 | 計画でのサステナビリティの目標 | 四半期ごと | 下流の取り扱いが不明なブローカーに送られたデバイスをリサイクルとして数える | 認証されたパートナーと下流の報告を求める。抽出の監査 |
7.4 構成とCMDB品質のメトリクス
属するトピック:(トピック 7.4「構成とCMDB品質のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| CIの完全性 | 範囲内のCIのうち、必要なすべての属性が有効な値で入力されているものの割合 | 必要なすべての属性が有効な範囲内のCI ÷ 範囲内のCI | パーセント | CMDB、属性の規則 | サービス構成管理、IT資産管理 | 完了の定義にサービスの説明が含まれる | 毎月 | 必要な属性を既定値やプレースホルダーで埋める、必要な一覧を狭める | 既定値とプレースホルダーの値を数える。固定の必要な一覧。正確さの抽出 |
| CIの正確さ | 抽出したCIのうち、必要な属性でレコードが証拠と一致する割合 | 必要なすべての属性で一致する抽出したCI ÷ 抽出したCI | パーセント | 稼働中のシステムと比較した監査の抽出 | サービス構成管理 | Infrastructure as Codeの状態が現実と一致する | 四半期ごと | 簡単なクラスを抽出する、大掃除の後に監査する | 両方向から独立して引く無作為の抽出。固定の方法 |
| 依存関係の網羅率 | 上流と下流の依存関係がマップされレビューされている重要なサービスの割合 | 直近90日にレビューされた依存関係マップを持つ重要なサービス ÷ 重要なサービス | パーセント | CMDBの関係とレビューの記録 | サービス構成管理、可用性管理 | アーキテクチャとサービスのオーナーシップのレビュー | 四半期ごと | 読まずに地図をレビュー済みと印を付ける、些細な依存関係だけをマップする | 影響予測の的中率。地図を実際のトラフィックに照らして抜き取り確認する |
| 影響予測の的中率 | インシデントと変更のうち、実際に影響を受けたサービスがCMDBの予測された影響に含まれていたものの割合 | 影響を受けたすべてのサービスが予測されたインシデントまたは変更 ÷ レビューしたインシデントまたは変更 | パーセント | CMDBのクエリと比較した、インシデント後のレビューと変更の記録 | インシデント管理、変更実現 | 欠けている依存関係についての非難なきレビューの所見 | 四半期ごと | うまくいったインシデントを選ぶ、影響を受けたサービスを狭く記録する | すべての重要なインシデントをレビューする。所有するチーム外のレビュー担当者 |
| 重複CIの率 | 別のCIと重複するCIの割合 | 照合規則で重複とフラグ付けされ、レビューで確認されたCI ÷ 範囲内のCI | パーセント | CMDBの照合レポートとレビューの抽出 | サービス構成管理 | 単一の信頼できる情報源 | 毎月 | 率を下げるために別個のCIを統合する、照合規則を緩める | 統合の正しさを抽出する。統合規則を記録する |
| 更新の遅れ | 現実世界でのCIへの変更から、CMDBでの更新までの遅れ | 変更のイベントからCMDBの更新までの時間または日数の中央値と85パーセンタイル | 時間または日 | CMDBのタイムスタンプと比較した変更のイベントとパイプラインのイベント | サービス構成管理、変更実現 | パイプラインでの自動登録 | 毎月 | 変更のイベントを遡って日付を付ける、自動の更新だけを数える | 元のシステムからのイベントと更新のタイムスタンプを比較する。監査証跡 |
| CMDBの利用率 | CIを参照するインシデントと変更の割合と、そのうち記録が役立ったとユーザーが報告する割合 | 有効なCIを参照するレコード ÷ その期間のインシデントと変更。加えて、CIデータが役立ったレビュー済みレコードの割合 | パーセント | ITSMツール、短いフィードバックの促し | インシデント管理、変更実現 | 仕事で共有の記録を使うチーム | 毎月 | 形式としてCIの参照を加える、任意の値で欄を必須にする | 参照されたCIが関連していることを確認する。役立ったかのフィードバックの質問 |
7.5 サービスコストとユニットエコノミクス
属するトピック:(トピック 7.5「サービスコストとユニットエコノミクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| サービスあたりのコスト | 文書化された配賦の規則を使った、名前付きのサービスの、完全に負荷を載せた年間コスト | その期間のサービスの直接コスト + 配賦された共有コスト | 年あたりの通貨 | 総勘定元帳、コストセンターのデータ、クラウドとライセンスの請求書、時間または活動のデータ | サービス財務管理、サービスカタログ管理 | 継続するプロダクトチームとそのプラットフォームのコスト | 四半期ごと | 配賦の規則を通じて他のサービスにコストを移す、不利なコストを配賦しないままにする | 配賦の網羅率。公開されオーナーがレビューする規則。合計を元帳と比較する |
| 単位コスト | アクティブユーザーあたり、取引あたり、解決したリクエストあたりなど、ユーザーが価値を置く何かの単位あたりのコスト | その期間のサービスあたりのコスト ÷ その期間に提供された単位 | 単位あたりの通貨 | サービスあたりのコストとボリュームのデータ | サービス財務管理、サービスレベル管理 | 成果あたりのサービス提供コスト | 四半期ごと | 価値の低い単位で分母を上げる、コストを下げるために品質を削る、単位を変える | 品質の相棒の測定値。固定の単位の定義。成果の確認 |
| 配賦の網羅率 | IT支出のうち、名前付きのサービスに帰属されたか、共有のオーバーヘッドとして宣言された割合 | サービスに帰属した、またはオーバーヘッドとして宣言した支出 ÷ IT支出の合計 | パーセント | 総勘定元帳と配賦モデル | サービス財務管理 | 各チームの仕事の見えるコスト | 四半期ごと | 帰属を避けるために、大きな金額を共有のオーバーヘッドとして宣言する | 報告されるオーバーヘッドの割合。何がオーバーヘッドとして宣言され、なぜかのレビュー |
| 運用、変更、改善の内訳 | サービスの運用、変更、改善に向かう支出またはキャパシティの割合 | 各区分の支出またはキャパシティ ÷ 合計 | パーセント | 元帳のタグ、作業追跡システムの作業の種類 | サービス財務管理、継続的改善 | 作業の種類別のキャパシティの配分 | 四半期ごと | 運用の仕事を改善や変更として再ラベルする、期間の終わりにタグ付けする | 受付時にタグ付けする。種類について項目を抽出する。インシデントとリクエストのデータと比較する |
| 予測の差異 | サービスごとの、予測と実際のコストの差 | (実際 − 予測)÷ 予測 | パーセント | 予測ログと元帳 | サービス財務管理 | 予測の精度 | 毎月 | 予測に余裕を上乗せする、期間の遅くに予測を修正する | 開始時に記録される予測。時間にわたって予測の範囲を実際と比較する |
| ショーバックの異議率 | ショーバックまたはチャージバックの明細のうち、サービスオーナーが異議を唱え、変更された割合 | 異議の後に変更された明細 ÷ 発行された明細 | パーセント | ショーバックのシステムと異議のログ | サービス財務管理 | 共有コストについてのレトロスペクティブ | 四半期ごと | 異議を妨げる、規則の変更なしに明細を変更する | 異議と結果をレビューする。繰り返される異議の後に規則が変わったかを確認する |
| 継続するチームへの資金の割合 | デリバリーと運用の支出のうち、サービスのための安定したチームのキャパシティとして資金が付けられた割合 | 継続するサービスチームへの支出 ÷ デリバリーと運用の支出の合計 | パーセント | 元帳と組織図 | サービス財務管理、組織変革 | サービスと意欲のある人々を中心に築かれたチーム | 毎年 | 資金やオーナーシップを変えずにプロジェクトを継続するチームと改名する | 時間にわたるチームの安定性とオーナーシップを確認する。サービスの健全性の測定値 |
7.6 FinOpsとクラウドコストのメトリクス
属するトピック:(トピック 7.6「FinOpsとクラウドコストのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 配賦の網羅率 | クラウド支出のうち、オーナーのチームまたは宣言された共有プールに帰属された割合 | 有効なオーナーとサービスのタグを持つ、または宣言された共有プールにある支出 ÷ クラウド支出の合計 | パーセント | クラウドの請求エクスポート、タグポリシー | サービス財務管理、IT資産管理 | 運営するものについてのチームのオーナーシップ | 毎週 | すべてを万能のオーナーにタグ付けする、大きな金額を共有として宣言する | 万能のオーナーが持つ支出の割合。共有プールの大きさとレビュー。オーナー確認の抽出 |
| クラウドの単位コスト | ユーザーが価値を置く何かの単位あたりのクラウド資源のコスト | その期間のサービスのクラウドコスト ÷ その期間に提供された単位 | 単位あたりの通貨 | サービスのボリュームに結合した請求データ | サービス財務管理、サービスレベル管理 | 成果あたりのサービス提供コスト | 毎月 | 安く増える単位を選ぶ、コストを削るために信頼性を削る | 固定の単位の定義。信頼性と品質の相棒 |
| 無駄の率 | 遊んでいる、または明らかに過大な資源への支出の割合 | 合意した規則による、遊んでいる、または過大な資源への支出 ÷ 範囲内の資源への総支出 | パーセント | 使用率のメトリクスと請求 | キャパシティとパフォーマンス管理、財務管理 | ツールチェーンの無駄の削減 | 毎週 | 「遊んでいる」の定義を狭める、範囲外のアカウントに無駄を移す | 台帳にある規則。すべてのアカウントをスキャンする。規則が除外する資源を抽出する |
| コミットメントの網羅率 | 割引のあるコミットメントがカバーする、対象となる定常的な利用の割合 | コミットメントがカバーする対象の利用 ÷ 対象の利用 | パーセント | 請求とコミットメントのレポート | サービス財務管理、サプライヤー管理 | 予測可能な需要への計画 | 毎月 | 高いパーセンテージを追うために、水増ししたベースラインにコミットする | コミットメントの利用率。ベースラインを利用の履歴と照らして確認する |
| コミットメントの利用率 | 購入したコミットメントのうち、使われた割合 | 使用したコミットメントの時間 ÷ 購入したコミットメントの時間 | パーセント | コミットメントのレポート | サービス財務管理、サプライヤー管理 | 計画的な投資からの価値 | 毎月 | コミットメントを満たすために、必要のない対象の利用を加える | 実際の需要の成長と比較する。単位コスト |
| 予測の差異 | チーム別と全体の、予測と実際のクラウド支出の差 | (実際 − 予測)÷ 予測 | パーセント | 予測ログと請求データ | サービス財務管理 | 予測の精度 | 毎月 | 予測に余裕を上乗せする、遅くに修正する | 開始時に予測を記録する。範囲の幅と的中率を追跡する |
| 異常への確認応答時間 | コスト異常のアラートから、オーナーの記録された判断までの時間 | アラートからオーナーの応答までの時間の中央値と85パーセンタイル | 時間 | 異常アラートとチケットの記録 | 監視とイベント管理、インシデント管理 | 本番のシグナルへの応答性 | 毎月 | 見ずにアラートを確認応答する、アラートを自動でクローズする | 判断と結果を記録する。対応の質についてアラートを抽出する |
7.7 投資対効果とビジネスケース
属するトピック:(トピック 7.7「投資対効果とビジネスケース」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 投資対効果 | 述べた期間にわたる、コストに対する純利得 | (期間の便益の合計 − コストの合計)÷ コストの合計 | パーセント | ビジネスケース、元帳、便益の台帳 | サービス財務管理、継続的改善 | 資金付けに対する成果のレビュー | 判断時と各レビュー時 | 長い期間を選ぶ、あるいは柔らかい便益を数える。運営コストを省く | 期間とコストの範囲の固定の規則。便益の証拠の質。独立したレビュー |
| 総所有コスト | 述べた期間にわたる、サービスまたは資産の生涯のコスト | 期間の取得 + 運用 + サポート + 変更 + 研修 + 処分のコスト | 通貨 | 元帳、コストモデル、供給者の契約 | サービス財務管理、IT資産管理 | 継続するチームとそのプラットフォームのコスト | 判断時と毎年 | サポート、研修、変更の労力、処分を省く。楽観的な量を使う | コストの区分のチェックリスト。類似した過去の仕事の実際のTCOと比較する |
| 回収期間 | 累積の純便益が初期の投資に等しくなるまでの時間 | 累積の便益 − 累積のコストがゼロに達する時点 | 月 | ビジネスケースのキャッシュフロー | サービス財務管理 | 最初の価値までの時間をコスト回収に拡張したもの | 判断時と各レビュー時 | 開始を遅く定義する。実現しない便益を数える | 時計の定義を固定する。実現した便益の正確さと比較する |
| 正味現在価値 | 述べた割引率での、期待される便益の現在価値からコストの現在価値を引いたもの | 期間にわたる(便益 − コスト)÷(1 + 割引率)の期間乗の合計 | 通貨 | ビジネスケースのキャッシュフロー、割引率についての財務ポリシー | サービス財務管理 | 価値に基づく優先順位付け | 判断時 | 低い割引率を選ぶ。期間を延ばす | 財務ポリシーが設定する割引率。感度分析を示す |
| コスト見積もりの正確さ | 完了した取り組みについての、見積もりコストに対する実際のコストの比 | 承認時の見積もりコストに対する実際のコスト。取り組みごと、および分布として | 比 | ビジネスケースの記録と元帳 | サービス財務管理、継続的改善 | 予測の精度 | 四半期ごと | 事後に基準の見積もりを修正する。超過を範囲の変更として除外する | 承認時に凍結された見積もり。承認とともに範囲の変更を記録する。完了までの総コストを示す |
| 便益見積もりの正確さ | 便益の証拠の規則を使った、完了した取り組みについての、期待された便益に対する実現した便益の比 | 承認時の期待された便益に対する実現した便益。取り組みごと、および分布として | 比 | ビジネスケースの記録と便益の台帳 | 継続的改善、サービス価値システムのガバナンス | ステークホルダーとの成果レビュー | 四半期ごと | 測定されなかった便益を数える。便益を再定義する | 便益の台帳の規則。デリバリーチームの外のオーナーが確認する |
| 証拠に基づく中止の率 | 証拠が絵を変えたために、ステージゲートで中止または再構成された、資金が付けられた取り組みの割合 | ゲートで証拠に基づいて中止または再構成された取り組み ÷ ゲートに達した取り組み | パーセント | ステージゲートの判断ログ | 継続的改善、ポートフォリオガバナンス | リリースされた仕事からの学び | 四半期ごと | 率を水増しするために低価値の仕事を止める。何も止めない | 正確さの測定値とともに読む。中止と継続の理由をレビューする |
第8部:セキュリティ、リスク、コンプライアンス、サプライヤーのメトリクス
8.1 セキュリティインシデントと脆弱性のメトリクス
属するトピック:(トピック 8.1「セキュリティインシデントと脆弱性のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 露出の窓 | 既知の脆弱性が、優先度の帯別に、範囲内の資産で開いたままである時間 | その資産に適用されると分かった日から、修正または承認された緩和が検証された日までの日数の中央値と85パーセンタイル | 日 | 脆弱性スキャナー、チケットシステム、変更の記録 | 情報セキュリティ管理、問題管理 | バックログの欠陥を直すまでの時間 | 毎週 | 検証なしに所見をクローズする、開始日を変える、深刻度を再分類する | 修正するチームの外の誰かによる検証のステップ。台帳にある開始日の規則。深刻度の変更ログ |
| パッチの順守 | 範囲内の資産のうち、そのクラスのパッチポリシーの窓を満たす割合 | ポリシーの窓内にパッチが適用された資産 ÷ その期間にパッチが必要だった範囲内の資産 | パーセント | エンドポイントとサーバーの管理ツール、資産台帳 | 情報セキュリティ管理、リリースとデプロイ管理 | パイプラインで最新に保たれる依存関係 | 毎週 | パッチを当てにくい資産を範囲から除外する、システムが再起動されていないのにパッチが適用されたと数える | 記録される範囲の変更。チケットではなく、資産からインストールされたバージョンを検証する |
| 期限超過の重要な所見 | ポリシーの期限を過ぎた重要な優先度の所見の件数と年齢 | 期限を超えた重要な所見の数。最も古いものの年齢 | 件数、日 | 脆弱性管理システム | 情報セキュリティ管理、リスク管理 | 合意した限度を超えるセキュリティの欠陥 | 毎週 | 所見を分割または統合する、深刻度を下げる | 一意の脆弱性と資産ごとに数える。すべての深刻度の変更をレビューする |
| スキャンの網羅率 | 要求される間隔内に評価された、範囲内の資産の割合 | 直近の間隔に正常にスキャンされた資産 ÷ 範囲内の資産 | パーセント | 資産台帳に結合したスキャナーのレポート | 情報セキュリティ管理、IT資産管理 | ビルドごとに実行されるパイプラインの確認 | 毎週 | より狭い集合をスキャンする、認証に失敗したスキャンを数える | 資産台帳に照らした網羅率。スキャンの質(認証済み、完全) |
| 封じ込めまでの時間 | 確認されたセキュリティインシデントの検出から封じ込めまでの時間 | 検出から封じ込めまでの時間の中央値と85パーセンタイル | 時間 | インシデントの記録 | インシデント管理、情報セキュリティ管理 | 失敗の後にサービスを復旧するまでの時間 | インシデントごと、毎月レビュー | 時計を遅く始める、早期に封じ込めを宣言する | 時計は最初の検出のシグナルで始まる。証拠をもって封じ込めを検証する |
| リスク例外の年齢 | 受容されたリスクの例外の年齢と、レビュー日を過ぎた割合 | 承認からの日数。レビュー日を過ぎた例外 ÷ 未解決の例外 | 日、パーセント | 例外の台帳 | リスク管理、情報セキュリティ管理 | 技術的負債のレビュー | 毎月 | 例外を自動で更新する、年齢を減らすために例外を分割する | 理由を伴う例外の更新をレビューする。新しい証拠なしの更新に上限を設ける |
| セキュリティ報告率 | 報告文化の指標としての、確認されたセキュリティイベントに対するスタッフが報告した不審なイベントの割合 | その期間のスタッフからの報告 ÷ その期間に確認された不審なイベント。グループレベルの傾向とともに | 比 | セキュリティのメールボックス、インシデントの記録 | 情報セキュリティ管理、インシデント管理 | 障害を公然と挙げること | 毎月 | 価値の低い報告を促す、他の数字を改善するために報告を妨げる | 報告の質。コメントを読む。報告に安全を感じるかのアンケート |
8.2 リスクと統制のメトリクス
属するトピック:(トピック 8.2「リスクと統制のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| リスクレビューの最新性 | 未解決のリスクのうち、オーナーが合意した間隔内にレビューした割合 | 間隔内にレビューされたリスク ÷ 未解決のリスク | パーセント | リスク台帳のレビュー日 | リスク管理、継続的改善 | 計画とレビューの対話でレビューされるリスク | 毎月 | 議論なしにリスクをレビュー済みと印を付ける、間隔を変える | 実質についてレビューを抽出する。台帳にある固定の間隔 |
| オーナーの網羅率 | 未解決のリスクのうち、オーナーシップを受け入れた、名前付きの現在のオーナーがいる割合 | 現在のオーナーが確認されたリスク ÷ 未解決のリスク | パーセント | 人のディレクトリに結合したリスク台帳 | リスク管理 | バックログにあるチームが所有するリスク | 毎月 | 本人の知らないうちにオーナーを割り当てる、権限のない上級者の名前を挙げる | オーナーの確認。オーナーが対応に行動できることを確認する |
| 統制のテストの網羅率 | 必要な周期内に運用がテストされた、主要な統制の割合 | その周期にテストされた主要な統制 ÷ 主要な統制 | パーセント | 統制の台帳とテストの記録 | リスク管理、情報セキュリティ管理 | パイプラインの自動確認 | 四半期ごと | 簡単な統制をテストする、設計のレビューを運用のテストとして数える | 第二者が固定する主要な統制の一覧。記録されるテストの種類 |
| 統制の有効性の率 | テストされた統制のうち、設計どおりに運用されていることが分かった割合 | 有効と分かった統制 ÷ テストされた統制 | パーセント | テスト結果 | リスク管理、継続的改善 | 正しい理由で通る自動テスト | 四半期ごと | 小さな標本をテストする、通る標本を選ぶ | オーナーから独立した標本の方法。記録される標本サイズ |
| KRI違反への対応時間 | 主要リスク指標が閾値を越えてから、記録された判断までの時間 | 違反から判断までの時間または日数の中央値と85パーセンタイル | 時間または日 | KRIの監視と判断ログ | リスク管理、監視とイベント管理 | 本番のシグナルへの反応 | 毎月 | 違反の後に閾値を変える、中身のない判断を記録する | 閾値の変更ログ。判断の内容の抽出 |
| 対処計画の適時性 | リスクの対処のうち、約束した日付までに完了した割合 | 日付までに完了した対処 ÷ その期間に期限が来る対処 | パーセント | リスク台帳とアクションの追跡 | リスク管理、継続的改善 | 提供された改善アクション | 四半期ごと | 簡単な日付を設定する、完了を再定義する | 承認時にオーナーと合意した日付。リスクの評価が動いたかを確認する |
| リスクベースの変更の割合 | 変更のうち、統制の証拠を添えて、リスクベースの経路で承認された割合 | 必要な証拠とともにリスクベースの経路で承認された変更 ÷ その期間の変更 | パーセント | 変更レコード | 変更実現、リスク管理 | 自動確認とともに継続的に届けられる変更 | 毎月 | レビューを避けるために変更を低リスクと分類する、統制によって生み出されていない証拠を添える | 規則に照らして分類を抽出する。パイプラインからの自動化された証拠 |
8.3 コンプライアンスと監査のメトリクス
属するトピック:(トピック 8.3「コンプライアンスと監査のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 義務の網羅率 | 適用される義務のうち、オーナーと証拠の情報源を持つ統制に対応づけられた割合 | オーナーと証拠の情報源を持つ少なくとも一つの統制に対応づけられた義務 ÷ 適用される義務 | パーセント | 義務の台帳と統制の台帳 | ガバナンス、情報セキュリティ管理、リスク管理 | 完了の定義に統制の証拠が含まれる | 四半期ごと | 義務を弱い、あるいは無関係な統制に対応づける、義務を狭く定義する | 第二者による統制の関連性のレビュー。統制をテストする(トピック 8.2「リスクと統制のメトリクス」を参照) |
| 証拠の自動化率 | 範囲内の統制の証拠のうち、記録システムから自動で収集される割合 | 自動で収集された統制の証拠 ÷ 必要な証拠 | パーセント | 統制の台帳、パイプラインとシステムのログ | 情報セキュリティ管理、変更実現 | パイプラインがレビュー、テスト、デプロイを自動で記録する | 四半期ごと | スクリーンショットやエクスポートを自動として数える、価値の低い証拠を先に自動化する | 自動をシステムが生成し、改ざんに強いものと定義する。リスクで順位付ける |
| 証拠の対応時間 | 監査人または評価者が求めた証拠を提供するまでの時間 | 依頼から受理された証拠までの日数の中央値と85パーセンタイル | 日 | 監査依頼の追跡 | ガバナンス、情報セキュリティ管理 | ステークホルダーの質問への応答性 | 監査ごと | 部分的な証拠を素早く提供する、依頼の文言を交渉する | 受理された証拠のみを数える。フォローアップの依頼を追跡する |
| 所見のクローズ時間 | 深刻度別の、監査の所見をクローズするまでの時間 | 所見の発行から検証されたクローズまでの日数の中央値と85パーセンタイル | 日 | 所見の追跡 | 継続的改善、リスク管理 | 欠陥を直すまでの時間 | 毎月 | 検証なしに所見をクローズする、深刻度を再分類する | 独立した検証。深刻度の変更ログ |
| 繰り返される所見の率 | 以前の監査やレビューから再発する所見の割合 | 実質的に以前のクローズされた所見に一致する所見 ÷ その期間の所見 | パーセント | 原因へのリンクを持つ所見の追跡 | 継続的改善、問題管理 | 修正後に再発する欠陥 | 監査周期ごと | 一致しないよう所見を言い換える、以前の所見を別の種類としてクローズする | 記録された規則で原因により照合する。内部監査によるレビュー |
| 職務分掌の衝突 | 分掌の規則に違反するアクセスまたは承認の組み合わせの件数と、解決までの時間 | 検出された衝突。解決までの日数の中央値 | 件数、日 | アイデンティティとアクセス管理のツール、変更の記録 | 情報セキュリティ管理、変更実現 | 変更の独立したレビュー | 毎月 | 衝突を範囲外のシステムに移す、決して記録されない一時的なアクセスを付与する | 機微なプロセスを持つすべてのシステムをカバーする。一時的なアクセスをレビューする |
| 監査の労力 | 範囲の単位あたり、監査周期の準備と支援に組織が費やす人時 | 監査の準備と支援に記録された時間 ÷ 範囲内の統制またはシステム | 単位あたりの時間 | 時間の記録または労力の見積もり | ガバナンス、継続的改善 | デリバリー以外の仕事のコスト | 監査周期ごと | 時間を記録しない、労力を他の予算に移す | 時間の記録を抽出する。チームのアンケートと比較する |
8.4 サプライヤーと契約のメトリクス
属するトピック:(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 供給者のサービスレベル達成率 | 供給者が満たした契約上のサービスレベルの測定値の割合。同じサービスの体験の測定値と組にする | その期間に満たした測定値 ÷ 契約された測定値。サービスのユーザー体験スコアの隣に報告する | パーセント | 供給者のレポート、自分たち自身の監視、アンケートのデータ | サプライヤー管理、サービスレベル管理 | 目標へのパートナーの貢献のレビュー | 毎月 | 供給者が測定からイベントを除外する、時計の停止、狭い定義 | 自分たち自身の監視。体験の測定値。除外の監査 |
| 供給者に帰属するインシデント時間 | 供給者のコンポーネントまたは行動に帰属するサービスへの影響の時間 | 供給者の失敗が確認された原因であるインシデントの影響時間の合計 | 時間 | 原因分析を伴うインシデントの記録、供給者のインシデントレポート | インシデント管理、サプライヤー管理 | 外部のブロッカーで失われた時間 | 毎月 | 帰属に異議を唱える、供給者の障害を顧客側と分類する | 共同の原因レビュー。争いのための中立のレビュー担当者。争われた割合を追跡する |
| 契約台帳の網羅率 | 現行の契約、名前付きの社内オーナー、予定されたレビューを持つ供給者の割合 | 三つすべてを持つ供給者 ÷ 範囲内の供給者 | パーセント | 契約台帳、調達の記録 | サプライヤー管理、財務管理 | 外部の依存関係の明確なオーナーシップ | 四半期ごと | 知らないオーナーの名前を挙げる、日付なしに契約を列挙する | オーナーの確認。レビュー会議が開かれていることを確認する |
| デューデリジェンスの最新性 | リスク評価がレビューの周期内にある重要な供給者の割合 | 周期内に評価された重要な供給者 ÷ 重要な供給者 | パーセント | 供給者のリスク評価 | サプライヤー管理、リスク管理、情報セキュリティ管理 | リスクの定期的なレビュー | 四半期ごと | アンケートのみによる評価、供給者の自己証明 | 重要な供給者に対する証拠の要件。抽出による検証 |
| 撤退の準備 | 合意した期間内にテストされた、文書化された撤退計画を持つ重要な供給者の割合 | テストされた撤退計画を持つ重要な供給者 ÷ 重要な供給者 | パーセント | 撤退計画とテストの記録 | サプライヤー管理、サービス継続管理 | 依存関係の実践的な復旧 | 毎年 | 計画を書いてテスト済みと呼ぶ、実際のステップのない演習 | 何が演習されたかを記録する。演習の独立したレビュー |
| 集中 | テストされた代替のない単一の供給者に依存する重要なサービスの割合 | 単一供給者への依存があり、テストされた代替のない重要なサービス ÷ 重要なサービス | パーセント | 依存関係マップ、供給者台帳 | サプライヤー管理、リスク管理 | 単一障害点を避ける | 四半期ごと | 書類上、一つの供給者を複数の法人に分ける | 最終的なプロバイダーまでの依存関係マップ。共有プラットフォームをレビューする |
| 共同アクションのクローズ率 | 供給者との共同レビューで合意したアクションのうち、期日までにクローズされた割合 | 期日までにクローズされた共同アクション ÷ 期限が来た共同アクション | パーセント | レビューの議事録とアクションの追跡 | サプライヤー管理、継続的改善 | 提供されたレトロスペクティブのアクション | 四半期ごと | 簡単なアクションを設定する、効果なしにクローズする | アクションの質をレビューする。意図した問題が改善したかを確認する |
8.5 規制対応・行政向け報告
属するトピック:(トピック 8.5「規制対応・行政向け報告」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 報告義務の網羅率 | 名前付きのオーナー、述べられた定義、データソース、カレンダーの項目を持つ報告義務の割合 | 四つすべてを持つ義務 ÷ 範囲内の報告義務 | パーセント | 義務の台帳 | 測定とレポート、ガバナンス | 情報の必要についてのステークホルダーとの作業合意 | 四半期ごと | 義務を狭く扱う、合意なしにオーナーを列挙する | コンプライアンスまたは内部監査による台帳のレビュー。オーナーからの確認 |
| レポートの適時性 | 必要なレポートのうち、期日までに提出された割合 | 期日以前に提出されたレポート ÷ その期間に期限が来るレポート | パーセント | 報告のカレンダーと提出の記録 | 測定とレポート | 満たされたステークホルダーへのコミットメント | 毎月 | 日付に間に合わせるために不完全なレポートを提出する、下書きを提出として数える | 提出時の完全性の確認。受理されたレポートのみを数える。訂正再提出の率 |
| 訂正再提出の率 | 提出されたレポートまたは数字のうち、のちに訂正された割合 | 提出後に訂正されたレポートまたは数字 ÷ 提出されたレポートまたは数字 | パーセント | 提出ログと訂正ログ | 測定とレポート、継続的改善 | 流出した欠陥 | 四半期ごと | 訂正を抑える、訂正を静かに行う | 独立した読み手がレビューする訂正ログ。低い率はトレーサビリティとともに読む |
| トレーサビリティの網羅率 | 報告された数字のうち、文書化されたステップを通じて記録システムにたどれるものの割合 | 記録システムへの文書化された系譜を持つ数字 ÷ 報告された数字 | パーセント | 系譜の文書、レポートの仕様 | 測定とレポート、ナレッジマネジメント | 再現可能なビルド | 四半期ごと | 系譜を表面的に文書化する、単純な数字だけを含める | 情報源から計算を再実行して系譜を抽出する |
| 定義の整合 | 報告された測定値のうち、法定の定義と社内の定義が文書化され突合されている割合 | 文書化された突合のある測定値 ÷ 法定の定義がある報告された測定値 | パーセント | メトリクス台帳 | 測定とレポート、サービスレベル管理 | 共有された完了の定義 | 四半期ごと | 突合なしに定義が整合していると宣言する、レポートでのみ法定の定義を採用する | 突合の文書をレビューする。両方の数字を並べて示す |
| 報告の労力 | 繰り返されるレポートの作成に費やす人時 | レポートの周期ごとの記録された時間。手作業の抽出と組み立ての割合とともに | 時間 | 時間の見積もり、労力のログ | 測定とレポート、継続的改善 | デリバリー以外の仕事のコスト | レポートの周期ごと | 時間を記録しない、仕事を他のチームに移す | チームのフィードバックと比較する。見積もりにすべての貢献者を含める |
| 公表物のアクセシビリティ適合 | 公表されたレポートとデータセットのうち、必要なアクセシビリティ基準を満たす割合 | アクセシビリティの確認に合格した公表物 ÷ 公表物 | パーセント | アクセシビリティのテスト結果 | 測定とレポート、ナレッジマネジメント | 包括的な完了の定義 | 四半期ごと | 一部の問題しか見つけないチェッカーを実行する、遅れる別のアクセシブルな版を公表する | 支援技術での手作業のテスト。版の間の同等性を確認する |
第9部:人、チーム、改善のメトリクス
9.1 チームの健全性と開発者体験
属するトピック:(トピック 9.1「チームの健全性と開発者体験」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| フィードバックのループ時間 | 一般的な行動の結果を人が得るまでの時間。ループの種類別 | ビルド、テストの実行、コードレビューの待ち、デプロイの、チームごとの分または時間の中央値と85パーセンタイル | 分または時間 | チームごとに集約した、パイプラインとレビューツールのタイムスタンプ | リリースとデプロイ管理、継続的改善 | 継続的デリバリーの速いフィードバック | 毎週 | 遅い事例を除外する、ほとんどの仕事が通らない速い経路を測る | 85パーセンタイルを報告する。台帳に各ループの開始と終了を定義する |
| 集中時間の割合 | チームが報告する、合意した最小の長さの中断のないブロックにある勤務時間の割合 | チームが報告した集中のブロックの時間 ÷ 勤務時間。短いパルスで集める | パーセント | チームのパルス。チームがオプトインし集約される場合にのみカレンダーのデータ | 継続的改善、ナレッジマネジメント | 深い仕事のための守られた時間 | 毎月 | 集中せずにカレンダーの時間をブロックする、マネージャーを喜ばせるために水増しした集中を報告する | チームが所有するパルス。中断の原因と比較する。個人の報告なし |
| 認知負荷の評価 | 名前付きのシステムまたはプロセスを理解し変更するのがどれだけ難しいかのチームの評価 | システムごとの、短い合意した尺度での評価の平均とばらつき | 尺度の点 | システムまたはプロセスに結び付いた短いパルス | サービスデザイン、ナレッジマネジメント | 仕事についての共有された理解 | 四半期ごと | 精査を避けるためにシステムを低く評価する、簡単なシステムを選んで評価する | 固定のシステムの一覧を評価する。オンボーディングの時間とインシデントのパターンと比較する |
| 障害の解決時間 | チームが障害を挙げてから、その除去、または除去しないという記録された判断までの時間 | 挙げられてから、解決または決定までの日数の中央値と85パーセンタイル | 日 | 障害の一覧または追跡 | 継続的改善、問題管理 | 取り除かれた障害 | 毎月 | 直さずに障害をクローズする、障害を記録するのを拒む | チームが解決を確認する。再オープンされた障害の率 |
| チームの健全性確認の傾向 | チームが選んだ次元についての、時間にわたって追跡されるチーム自身の評価 | 確認の間でのチームが選んだ次元の評価の変化 | 尺度の点 | チームが所有する、チームの健全性確認 | 継続的改善 | より効果的になる方法についてのチームの振り返り | 毎月または四半期ごと | マネージャーが良いスコアを迫る、注意を避けるためにチームがスコアを調整する | チームが結果を所有する。傾向はチームの同意がある場合にのみ共有する |
| ツールとプロセスの満足度 | 日々使うツールとプロセスへの満足度のチームの評価 | 名前付きの各ツールまたはプロセスの評価の平均、または好意的な割合 | 尺度の点またはパーセント | 短いパルス | サービスレベル管理、継続的改善 | 仕事に対する環境の適合 | 四半期ごと | 満足しているユーザーにアンケートする、スタッフに上手に答えるよう訓練する | 回答率と構成。コメントを読む。システムの測定値に結び付ける |
| 次元の網羅 | チームが実際に使う測定値でカバーされるSPACEの次元の数 | 使用中の測定値が少なくとも一つある五つの次元の数 | 件数(0から5) | メトリクス台帳 | 測定とレポート、ガバナンス | バランスの取れた測定値 | 毎年 | 形だけの測定値で次元を数える | 数えた各測定値が判断に使われていることを確認する |
9.2 満足度とウェルビーイングのメトリクス
属するトピック:(トピック 9.2「満足度とウェルビーイングのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 持続可能なペースの評価 | 現在のペースを無期限に保てるかのチームの評価 | 「このペースで無期限に働き続けられる」という記述に対する、合意した尺度での評価の平均とばらつき | 尺度の点 | 匿名のチームのパルス | 継続的改善、人材とタレントの管理 | 一定のペースを無期限に | 毎月 | マネージャーが良いスコアを迫る、チームが期待されることを報告する | 匿名性とグループサイズの規則。作業負荷の事実と比較する。コメントを読む |
| 心理的安全性の評価 | 問題を挙げ、対人関係のリスクを取るのがどれだけ安全かのチームの評価 | チームごとの、検証された短い記述の集合に対する評価の平均 | 尺度の点 | 匿名のチームのパルス | 継続的改善、人材とタレントの管理 | 信頼と開かれた振り返り | 四半期ごと | 安全なチームにだけアンケートする、スコアを上げる言葉遣いの変更 | 固定の言葉遣いの記録。回答率と構成。インシデントや間違いの報告率と比較する |
| 欲求の支援の評価 | 仕事での自律性、有能感、関係性のチームの評価 | チームごとの、三つの記述それぞれに対する評価の平均 | 尺度の点 | 匿名のチームのパルス | 人材とタレントの管理、継続的改善 | 必要な環境を持つ意欲のある個人 | 四半期ごと | 記述を再定義する、答えを指導する | 安定した言葉遣い。チームが所有する解釈。コメント |
| 作業負荷の負担の評価 | 作業負荷がキャパシティに対してどれだけ厳しいかのチームの評価 | 評価の平均と、作業負荷を持続不可能と評価した割合 | 尺度の点、パーセント | 匿名のチームのパルス | キャパシティとパフォーマンス管理、人材とタレントの管理 | 持続可能な開発 | 毎月 | 精査を避けるために報告される負担を下げる、紙の上で範囲を調整する | 計画外の仕事とローテーションの負荷と比較する。隠れた仕事を確認する |
| 持続した時間延長の週 | ローテーションまたはチームが通常の時間をはるかに超えて働いた週の割合。ローテーションまたはチームのレベルで数える | チームのレベルで時間が延長された、その期間の週 ÷ その期間の週 | パーセント | チーム別に集約したローテーションの記録とオンコールのログ。チームが報告し、オプトイン | インシデント管理、キャパシティとパフォーマンス管理 | 過負荷のシグナルとしての残業 | 毎月 | 時間を記録しない、ローテーションの記録の外に仕事を移す | インシデントのログとチームのコメントと比較する。罰なしに報告できるようにする |
| 自発的な離職と退職のテーマ | 期間にチームを自発的に去るメンバーの割合と、退職の対話からのテーマ | 自発的に去った人 ÷ 平均人員。同意した退職者からのテーマの件数 | パーセント、件数 | 人事の記録、退職の対話 | 人材とタレントの管理 | 経験豊富な人々の定着 | 四半期ごと | 辞職を非自発的として再分類する、退職の対話を誘導する | 明確な分類の規則。独立した退職の対話。長い期間を見る |
| ウェルビーイングのフィードバックへの対応時間 | チームがウェルビーイングの懸念を挙げてから、記録された対応までの時間 | 懸念から記録された判断または行動までの日数の中央値と85パーセンタイル | 日 | チームのフィードバックのログ | 継続的改善 | チームの振り返りへの迅速な対応 | 四半期ごと | 行動のない対応を記録する、懸念を素早くクローズする | 対応が意味のあるものとチームが確認する。評価が変わるかを追跡する |
9.3 協働と引き継ぎのメトリクス
属するトピック:(トピック 9.3「協働と引き継ぎのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 引き継ぎの回数 | 作業アイテムが完了までにオーナーのチームを変える回数 | アイテムの種類別の、完了したアイテムあたりのチーム間の移管の中央値と85パーセンタイル | アイテムあたりの移管 | チーム別に集約したITSMまたは追跡システムの割り当て履歴 | インシデント管理、サービスリクエスト管理、変更実現 | 仕事をエンドツーエンドで担うクロスファンクショナルなチーム | 毎月 | 他のチームが仕事をする間、アイテムを一つのチームに割り当てたままにする、数えないよう共有のキューに再割り当てする | チーム別の実際の活動を確認する。割り当てだけでなく、活動で引き継ぎを数える |
| 引き継ぎの待ちの割合 | アイテムの経過時間のうち、引き継ぎの後に仕事が再開されるまで待つ時間の割合 | 引き継ぎから受け手のチームの最初の行動までの時間 ÷ 総経過時間。アイテム全体の中央値 | パーセント | 割り当てと活動のタイムスタンプ | インシデント管理、サービスリクエスト管理 | フロー効率、キュー時間 | 毎月 | 単なる確認応答である最初の行動を記録する、適切なチームへの割り当てを遅らせる | 「最初の行動」を実質的なステップと定義する。満足度と解決時間と比較する |
| 再割り当ての率 | チーム間で二度を超えて渡された、あるいは以前のチームに戻されたアイテムの割合 | 二度を超えて再割り当てされた、あるいは戻されたアイテム ÷ 完了したアイテム | パーセント | 割り当て履歴 | インシデント管理、問題管理 | 手戻りとはね返る仕事 | 毎月 | 間違っていても再割り当てを拒む、別のチームのもとでアイテムをクローズして再オープンする | 解決の質と再オープン率。はね返ったアイテムを抽出する |
| 依存関係による遅れ | アイテムが別のチームを待ってブロックされる時間 | 依存関係に名前を付けた、別のチームによりブロックされた状態の日数の中央値と85パーセンタイル | 日 | 追跡システムのブロックされた状態と依存関係の欄 | 変更実現、リリースとデプロイ管理 | ブロックされた作業アイテムの年齢 | 毎月 | ブロックされた状態を記録しない、間違った依存関係に名前を付ける | サイクルタイムとアイテムの年齢と比較する。依存関係の欄をチームとレビューする |
| 協働による解決の率 | 順次のエスカレーションなしに、複数のチームの人々がリアルタイムで一緒に働いて解決したインシデントの割合 | 追加の引き継ぎなしに解決した、記録されたリアルタイムの協働(たとえば共有のチャネルまたは通話)を持つインシデント ÷ 対象の優先度のインシデント | パーセント | 協働のタグを持つインシデントのレコード | インシデント管理、重大インシデント管理 | 問題へのスウォーミング | 毎月 | すべてのインシデントを協働とタグ付けする、実際の仕事のない共有のチャネルを作る | 通話やチャネルに解決する人々が含まれていたかを確認する。解決時間と成果 |
| 知識の網羅 | 述べた数以上のチームメンバーが運用し変更できる、重要なコンポーネントの割合 | 運用し変更できる目標の人数以上がいる重要なコンポーネント ÷ 重要なコンポーネント | パーセント | チームが維持するスキルとオーナーシップのマップ | ナレッジマネジメント、サービス継続管理 | 共有のオーナーシップと集合的なコードのオーナーシップ | 四半期ごと | 理論上その仕事ができる人を列挙する、地図を水増しする | ペアリングや訓練の証拠。直近の変更を実際に行った人を尋ねる |
| ステークホルダーの応答時間 | チームのステークホルダーへの質問から、使える答えまでの時間 | 質問の記録から答えの記録までの時間の中央値と85パーセンタイル | 時間 | 未解決の質問のための質問ログまたは追跡システムの欄 | サービスレベル管理、ビジネスリレーションシップ管理 | ステークホルダーの継続的な関与 | 毎月 | 質問を遅く記録する、使えない答えを受け取ったと印を付ける | ステークホルダーが答えが使えるものと確認する。質問を抽出する |
9.4 スキルと学習のメトリクス
属するトピック:(トピック 9.4「スキルと学習のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 守られた学習時間の割合 | チームのキャパシティのうち、学習のために確保され、実際に使われた割合 | チームのレベルで、勤務時間内に学習に使った時間またはキャパシティの割合 ÷ 総勤務キャパシティ | パーセント | チームのキャパシティ計画と作業追跡システムの作業の種類 | 人材とタレントの管理、継続的改善 | 振り返りと技術的卓越性のための時間 | 毎月 | 通常の仕事を学習として記録する、のちにキャンセルされる時間を予定する | 使われた時間のみを数える。作業の種類の記録とチームのコメントと比較する |
| クロストレーニングの深さ | 直近の期間に少なくとも二人が実行した重要なタスクの割合 | その期間に二人以上が実行した重要なタスク ÷ 重要なタスク | パーセント | 最近の仕事で検証された、チームのタスクとオーナーシップのマップ | ナレッジマネジメント、サービス継続管理 | 仕事の集合的なオーナーシップ | 四半期ごと | 一度もそのタスクをしたことのない人を列挙する、単一の観察を数える | 最近の仕事の証拠。訓練の結果 |
| 最初の貢献までの時間 | 新しいチームメンバーが最初の実際の変更または解決した事例を完了するまでの時間 | 開始日から、本番で最初に完了した実際の作業アイテムまでの日数の中央値と85パーセンタイル | 日 | オンボーディングの追跡と作業追跡システム | 人材とタレントの管理、ナレッジマネジメント | 新しいチームメンバーが最初の変更を行うまでの時間 | 採用ごと、四半期ごとにレビュー | 些細な変更を数える、時計を遅く始める | 台帳に「実際の」仕事を定義する。新しいメンバーとそのバディに尋ねる |
| コミュニティへの参加 | その期間に、自分で選んで実践コミュニティに参加したチームメンバーの割合 | その期間に出席、貢献、発表したメンバー ÷ チームメンバー。チームのレベルで | パーセント | 任意のコミュニティの記録 | ナレッジマネジメント、継続的改善 | 実践コミュニティ | 四半期ごと | 出席を義務化する、登録を数える | 任意のみ。コミュニティが何を生んだかを尋ねる |
| 研修の適用率 | 学習者またはそのチームが、90日以内に学びを仕事で使ったと報告した、研修体験の割合 | 適用されたと報告された学習体験 ÷ 完了した学習体験 | パーセント | 学習者への短いフォローアップの質問。チームに匿名化 | 人材とタレントの管理、継続的改善 | 仕事に適用された学習 | 四半期ごと | 適用したと言うよう学習者に圧力をかける、熱心な人にだけ尋ねる | 匿名の集約。チームのレベルでのフォローアップ。観察できる変化を見る |
| 関連する認証の網羅 | 法的、契約上、入口の理由で認証を要する役割のうち、要件が満たされている割合 | 必要な認証を保持している役割 ÷ 認証を要する役割 | パーセント | 役割の要件の台帳、証明書の記録 | 人材とタレントの管理、ガバナンス | 契約上または規制上の入口の要件を満たす | 毎年 | 必要のない役割のために証明書を集める、認証を能力として扱う | 真の要件に絞る。他の証拠で実際の能力を確認する |
| チーム間で共有された教訓 | インシデントや改善からの教訓のうち、元のチームの外で共有され、別のチームに使われたものの数 | その期間に別のチームによる利用が記録された共有された教訓 | 件数 | 教訓の台帳とレビューのメモ | ナレッジマネジメント、継続的改善 | チーム間で共有された学び | 四半期ごと | 些細な教訓を共有する、投稿を数える | 別のチームによる記録された利用を要求する。質をレビューする |
9.5 継続的改善のメトリクス
属するトピック:(トピック 9.5「継続的改善のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| アクションのフォロースルー率 | レビューで合意した改善アクションのうち、合意した日付までに完了した割合 | 日付までに完了したアクション ÷ その期間に期限が来るアクション | パーセント | 改善の台帳またはチームのバックログ | 継続的改善 | 提供された振り返りのアクション | 毎月 | 些細なアクションに合意する、期日を動かす、行わずにクローズする | アクションの大きさと価値をレビューする。記録される日付の変更。効果の確認率 |
| 改善バックログの年齢 | 未解決の改善アイテムの年齢。最も古いものに注意を向ける | 未解決のアイテムの年齢の日数の中央値と85パーセンタイル。最も古いものの年齢 | 日 | 改善の台帳 | 継続的改善 | バックログの年齢 | 毎月 | 判断なしに古いアイテムを「やらない」としてクローズする、年齢をリセットするためにアイテムを分割する | クローズの理由を記録する。行動なしにクローズされたアイテムを追跡する。最も古いものをレビューする |
| 効果の確認率 | 完了した改善のうち、効果がベースラインに照らして確認された割合 | 前後の確認が記録された完了した改善 ÷ 完了した改善 | パーセント | ベースラインと結果の欄を持つ改善の台帳 | 継続的改善、測定とレポート | 実験からの学び | 四半期ごと | ベースラインなしに確認を記録する、成功だけを確認する | 変更の前に日付が付いたベースライン。帰無と否定的な結果を含める |
| アイデアから試行までの時間 | 改善のアイデアが挙げられてから、実際の仕事での最初の試行までの時間 | 挙げられてから最初の試行までの日数の中央値と85パーセンタイル | 日 | 改善の台帳 | 継続的改善 | 変更への速いフィードバック | 毎月 | 計画を試行と呼ぶ、些細な変形を試す | 試行を実際の仕事の変更と定義する。試されたアイデアの重要性を見る |
| 現場のアイデアの割合 | 改善のアイデアのうち、仕事をする人々が挙げた割合。チームのレベルで数える | 仕事をするチームメンバーが挙げたアイデア ÷ 挙げられたアイデア | パーセント | 改善の台帳 | 継続的改善 | 自己組織化するチーム | 四半期ごと | マネージャーがスタッフの名前でアイデアを起票する、義務的なアイデアのノルマ | チームのレベルで記録する作者別のアイデア。ノルマなし。チームに尋ねる |
| 繰り返される問題の率 | 原因を取り除くことを意図した改善の後に再発する問題の割合 | 関連する改善がクローズした後、述べた期間内に再発した問題 ÷ 関連する原因を持つクローズした改善 | パーセント | 原因でリンクされたインシデント、問題、改善の記録 | 問題管理、継続的改善 | 修正後に流出した欠陥 | 四半期ごと | 同じ問題に異なる原因を記録する、以前の記録を別の種類としてクローズする | 記録された規則で原因により照合する。チーム外の誰かによるレビュー |
| 改善のキャパシティの割合 | チームのキャパシティのうち、改善の仕事に費やされた割合 | 改善とタグ付けされたキャパシティまたは完了したアイテム ÷ 総キャパシティまたは完了したアイテム | パーセント | 作業追跡システムの作業の種類 | 継続的改善、キャパシティとパフォーマンス管理 | 振り返りと技術的卓越性のための時間 | 毎月 | 通常の仕事を改善とタグ付けする、のちにデリバリーに使われる時間を予定する | 種類についてアイテムを抽出する。実際に費やした時間と比較する |
9.6 組織変革と定着のメトリクス
属するトピック:(トピック 9.6「組織変革と定着のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 狙いの明確さ | 実践の狙いと、それが機能しているかを見分ける方法を、自分の言葉で述べられるチームメンバーの割合 | 短い匿名の確認で、明確な狙いと指標を挙げたメンバー ÷ 尋ねたメンバー。チームのレベルで | パーセント | チーム別に集約した短い匿名の確認 | 組織変革管理、継続的改善 | なぜこのように働くかのチームの理解 | 四半期ごと | 人々に狙いを暗唱するよう指導する、誘導的な質問をする | 匿名の確認。どう見分けるかの例を求める。成果の動きと比較する |
| 実践の導入の広がり | 出席ではなく、観察可能な行動で定義された実践を使うチームの割合 | 直近の期間に、チームと観察者によって確認された定義された行動を示すチーム ÷ 範囲内のチーム | パーセント | 観察で確認されたチームの自己評価 | 組織変革管理 | 実践の広がり | 四半期ごと | ボードや会議を数える、チームが観察者のために演じる | 行動と目的で定義する。チーム外の誰かによる観察。成果の動き |
| 比較に対する成果の動き | 同じ期間にわたる、導入したチームの成果の測定値の変化を、類似した導入していないチームと比較したもの | 導入者の成果の変化 − 比較チームの変化 | 成果の単位 | チームごとの成果の測定値(フロー、安定性、体験) | 継続的改善、測定とレポート | 実験からの学び | 四半期ごと | 有利な比較グループや期間を選ぶ、他の変更を省く | 比較と期間を事前に選ぶ。他の変更を列挙する。不確実性を示す |
| 変更の負荷 | チームに同時に影響する重要な変更の数 | その期間に、チームに仕事の仕方を変えるよう求める重要な変更の取り組みの数。チームごとに | 件数 | 変更のポートフォリオとチームの入力 | 組織変革管理、変更実現 | 持続可能なペース | 四半期ごと | 取り組みを小さな断片に分割する、非公式に届く変更を数えない | チームの仕事への影響で数える。チームに吸収しているものを列挙してもらう |
| ステークホルダー関与の率 | 影響を受ける人々が設計とレビューに参加した変更の取り組みの割合 | 影響を受ける人々の関与が記録された取り組み ÷ 取り組み | パーセント | 取り組みの記録と影響を受けるチームの確認 | 組織変革管理、ステークホルダーエンゲージメント | ステークホルダーの継続的な関与 | 四半期ごと | 人々を説明会に招いて関与と呼ぶ、出席だけを記録する | 影響を受けるチームが設計に影響したことの確認。応答として行われた変更を記録する |
| 自発的な採用の割合 | 導入したチームのうち、指示されたのではなく、その実践を自分で選んだ割合 | 実践を選んだと報告する導入したチーム ÷ 導入したチーム | パーセント | チームの報告 | 組織変革管理 | 自己組織化するチーム | 毎年 | 義務を選択として提示する、そうせざるをえないと感じたのに選んだと言うチーム | 匿名の報告。断ったら何が起きたかを尋ねる |
| 後戻りの率 | 導入から1年以内に実践をやめたチームの割合 | 12か月以内にやめたチーム ÷ 導入したチーム | パーセント | 時間にわたるチームの記録 | 組織変革管理、継続的改善 | 役に立たないとして放棄された実践 | 毎年 | 実践をやめることを高コストにする、あるいは隠す、やめた実践の名前を変える | やめた理由をレビューする。安全な撤回を許す |
第10部:AI、自動化、アナリティクスのメトリクス
10.1 サービスマネジメントの測定におけるAI
属するトピック:(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| ベースラインの完全性 | 計画されたAIのユースケースのうち、主な指標について導入前のベースラインが記録されている割合 | 日付のあるベースラインを持つユースケース ÷ 計画されたユースケース | パーセント | ユースケースの台帳 | 継続的改善、測定とレポート | 実験の前のベースライン | 四半期ごと | 事後にベースラインを記録する、都合の良い指標を使う | 日付印のあるベースライン。ベースラインの方法の独立したレビュー |
| AI利用の網羅 | 対象の作業アイテムまたはタスクのうち、AIが使われた割合。ユースケース別 | AIの支援が使われたアイテム ÷ 対象のアイテム。ツールのログまたはユーザーのタグから、チームのレベルで | パーセント | ツールの利用ログ、タグ | サービスデスク、インシデント管理、リリースとデプロイ管理 | 意欲あるチームによるツールの導入 | 毎月 | 利用を義務化する、些細な、あるいは自動の呼び出しを数える | 決して目標にしない。成果の動きと比較する。意味のある利用を数える |
| 提案の受け入れと上書きの率 | AIの提案のうち、そのまま受け入れられた、編集された、拒否された割合 | 各区分の提案 ÷ 提供された提案 | パーセント | チーム別に集約したツールのログ | サービスデスク、ナレッジマネジメント | 機械の提案のレビュー | 毎月 | 受け入れを報いる、拒否を面倒にする | 目標なし。レビューされた出力の正確さ。ユーザーに経験を尋ねる |
| レビューされた出力の正確さ | 抽出したAIの出力のうち、資格のあるレビュー担当者が正しく目的に適うと判断した割合 | 正しいと判断された出力 ÷ 抽出した出力 | パーセント | 抽出したレビューの記録 | 品質保証、ナレッジマネジメント | 出力の完了の定義 | 毎月 | 簡単な出力を抽出する、寛容なレビュー担当者 | 独立したレビュー担当者による無作為の抽出。書面の基準。レビュー担当者のローテーション |
| ベースラインに対するタスクの時間 | 定義されたタスクをAIで完了する時間を、ベースラインまたは比較グループと比較したもの | AIありのタスク時間の中央値と85パーセンタイル − ベースラインまたは比較の同じ値 | 分または時間 | 時間を測ったタスク、チケットのタイムスタンプ | サービスデスク、インシデント管理 | タスクのサイクルタイム | 四半期ごと | 生成だけを測る、簡単なタスクを選ぶ | 確認された結果までの時間。タスクを無作為に抽出する。レビューと手戻りを含める |
| AI支援タスクあたりのコスト | レビューと手戻りを含む、タスクあたりのAI支援の仕事の総コスト | (ライセンスと利用のコスト + レビューと手戻りの時間のコスト)÷ AIで完了したタスク | タスクあたりの通貨 | ベンダーの請求書、時間の見積もり、作業追跡システム | サービス財務管理 | 成果あたりのサービス提供コスト | 四半期ごと | レビューの時間やガバナンスのコストを省く | 完全なコストのチェックリスト。時間の調査と比較する |
| 比較に対する成果の動き | AI支援の仕事の成果指標の変化を、類似した非支援の仕事と比較したもの | AI支援のグループの指標の変化 − 比較グループの変化 | 指標の単位 | ユースケースごとの成果の測定値(品質、満足度、再オープン率、欠陥) | 継続的改善 | 実験からの学び | 四半期ごと | 有利なグループや期間を選ぶ、他の変更を無視する | 事前に合意した比較と期間。他の変更の一覧 |
10.2 AI支援作業の測定
属するトピック:(トピック 10.2「AI支援作業の測定」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 定着率 | 述べられた期間の後も、実質的に変わらないままのAI支援の変更の割合 | 30日後に変更または取り消された割合が設定値未満のAI支援の変更 ÷ 30日前にマージされたAI支援の変更 | パーセント | 支援のタグと結合したバージョン管理の履歴。チームのレベルで | リリースとデプロイ管理、変更実現 | 定着する仕事、低い手戻り | 毎月 | 数字を保つために必要な変更を避ける、成功した変更だけを支援されたものとタグ付けする | 作成者の選択ではなくツールのログでタグ付けする。流出した欠陥と手戻りと組にする |
| マージ後の手戻り | 短い期間内にフォローアップの修正を要した変更の割合。支援された変更と比較の変更について | 14日以内に関連付けられたフォローアップの修正がある変更 ÷ マージされた変更。グループごとに | パーセント | バージョン管理、課題追跡、変更の記録 | 変更実現、問題管理 | 流出した欠陥、手戻り | 毎月 | 別のチケットや関連付けられていない新しい変更で修正する、期間を超えて修正を遅らせる | 台帳の関連付けの規則。より長い期間を見る。本番の欠陥 |
| レビューの負荷 | 変更あたりのレビュー担当者の労力。支援された変更と比較の変更について | 変更あたりのレビュー時間とレビューのラウンド数の中央値と85パーセンタイル。グループごとに | 時間、ラウンド | レビューツールのタイムスタンプ。チーム別に集約 | リリースとデプロイ管理 | フィードバックと学びとしてのレビュー | 毎月 | 測定された時間を下げる急いだレビュー、コメントなしの承認 | レビューの深さの抽出。流出した欠陥。レビュー担当者のアンケート |
| 流出した欠陥の率 | 変更あたりの本番で見つかった欠陥。支援された変更と比較の変更について | リリース後に見つかり変更に帰属する欠陥 ÷ リリースされた変更。グループごとに | 変更あたりの欠陥 | 変更にリンクした欠陥の追跡システム | インシデント管理、問題管理 | リリースされるものの品質 | 四半期ごと | 欠陥を変更に帰属させない、欠陥を機能強化として再分類する | 帰属の規則。欠陥の分類の独立した抽出 |
| 説明の確認の合格率 | 抽出したAI支援の変更のうち、作成者がレビューでそのアプローチとトレードオフを説明できる割合 | 作成者がレビュー担当者が満足する形で説明した抽出した変更 ÷ 抽出した変更 | パーセント | 抽出したレビューのメモ | ナレッジマネジメント、変更実現 | コードの共有された理解 | 四半期ごと | 作成者が確認のためにリハーサルする、寛容なレビュー担当者 | 無作為で予告しない抽出。レビュー担当者のローテーション。設計の理由に焦点を当てる |
| 支援されたサポートの品質 | AI支援のサポート応答の再オープン率とユーザー満足度を、支援なしのものと比較したもの | 再オープンされた支援のチケット ÷ 支援のチケット、および好意的な評価 ÷ 評価。グループごとに | パーセント | ITSMツール、アンケート | サービスデスク、インシデント管理 | サービスの成果の品質 | 毎月 | 簡単なチケットだけを支援する、ユーザーに高く評価するよう指導する | 種類と難しさでチケットを合わせる。回答率と構成。コメントを読む |
| 支援なしの自信の評価 | ツールなしで主要なタスクを行う自信のチームによる評価 | 合意した尺度での平均評価とばらつき。チームごとに | 尺度のポイント | 匿名のチームのパルス | 人材とタレントの管理、ナレッジマネジメント | チームの能力と学び | 四半期ごと | 精査を避けるために膨らませた評価、より多くのツールを主張するための低い評価 | 匿名性。訓練での観察された実践と比較する。コメントを読む |
10.3 AIエージェントとチャットボットのメトリクス
属するトピック:(トピック 10.3「AIエージェントとチャットボットのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 検証された解決率 | ボットの会話のうち、ユーザーが問題が解決したと確認した、または述べられた期間内に戻ってこなかった割合 | 確認された解決、または7日以内に再問い合わせのない会話 ÷ 解決可能な意図で始まった会話 | パーセント | 会話のログ、ユーザーの確認、チケットと問い合わせのデータ | サービスデスク、ナレッジマネジメント | ユーザーにとっての動く成果 | 毎週 | あらゆる会話の終了を解決済みと数える、誘導的な確認の質問をする | 確認を中立に定義する。再問い合わせ率。会話を抽出する |
| 再問い合わせ率 | ボットが終えた会話のうち、同じ問題について、どのチャネルであれ問い合わせが続いた割合 | 7日以内に関連する問い合わせが続いた会話 ÷ 引き継ぎなしで終わった会話 | パーセント | チケットと問い合わせの記録と結合した会話のログ | サービスデスク、インシデント管理 | 流出した欠陥 | 毎週 | 一つのチャネルだけを通じて測る、短い期間 | すべてのチャネルを結合する。確認としてより長い期間を使う。再問い合わせを抽出する |
| 引き継ぎの文脈の完全性 | 人への引き継ぎのうち、ユーザーに繰り返させずに、その人が必要な情報を得ていた割合 | 受け取るエージェントが完全と判断した抽出した引き継ぎ ÷ 抽出した引き継ぎ | パーセント | 抽出した引き継ぎ、エージェントのフィードバック | サービスデスク、ナレッジマネジメント | 境界を越えた円滑な協働 | 毎月 | 要約の代わりに長い記録を渡す、簡単な引き継ぎを抽出する | 受け取るエージェントの評価。無作為の抽出。引き継ぎ後の解決までの時間 |
| 人までの時間 | ユーザーが人を求めた、あるいはボットが引き継ぎを決めたときから、人が引き継ぐまでの時間 | 分の中央値と85パーセンタイル | 分 | 会話のログ、キューのデータ | サービスデスク、インシデント管理 | ユーザーが助けを必要とするときの応答性 | 毎週 | メニューの後に時計を始める、キューの受領通知を引き継ぎと数える | 時計はリクエストから始まる。引き継ぎとは、人が会話で能動的であること |
| 答えの正確さ | 抽出したボットの答えのうち、資格のあるレビュー担当者が正しく、完全で、安全だと判断した割合 | 正しいと判断された答え ÷ 抽出した答え | パーセント | 抽出したレビュー | ナレッジマネジメント、品質保証 | 答えの完了の定義 | 毎月 | 簡単な会話を抽出する、寛容なレビュー担当者 | 独立したレビュー担当者による無作為の抽出。敵対的なテストケース |
| ボットの満足度と労力 | 会話の後の、満足度と容易さのユーザー評価。コメントを伴う | 好意的な評価 ÷ 評価、平均の労力評価 | パーセント、尺度のポイント | 会話後の短いアンケート | サービスデスク、顧客体験 | 動くソフトウェアへのフィードバック | 毎週 | 完了した会話だけにアンケートする、満足したユーザーだけが届く場所にアンケートを置く | 放棄された会話にもアンケートする。回答率と構成。コメントを読む |
| エージェントの行動の取り消し率 | AIエージェントが行った行動のうち、訂正、取り消し、またはエスカレーションを要した割合 | 取り消しまたは訂正された行動 ÷ 行われた行動。行動の種類とリスクのクラス別に | パーセント | 行動の監査ログ、変更の記録 | 変更実現、インシデント管理 | 手戻りとロールバック | 毎週 | 取り消しを記録しない、訂正を新しい仕事として再分類する | 改ざんに強い監査ログ。取り消しを行動に結び付ける。インシデントレビュー |
10.4 メトリクスのインフレと品質の希薄化
属するトピック:(トピック 10.4「メトリクスのインフレと品質の希薄化」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 出力対成果の比 | 出力の量を、それが生み出すはずだった成果に対して見たもの | 出力の件数(チケット、記事、変更)÷ 成果の測定値(解決された問題、使われた記事、定着した変更)。同じ期間にわたり、傾向として追跡 | 比 | 作業追跡システム、ナレッジベース、成果の測定値 | 継続的改善、測定とレポート | 文書の量より動くソフトウェア | 毎月 | 量とともに上がる成果の測定値を選ぶ、期間を変える | 台帳で成果を固定する。満足度と再オープン率と比較する |
| 有用なアイテムの割合 | 抽出したアイテムのうち、資格のあるレビュー担当者が有用と判断した割合 | 有用(正しい、関連がある、重複しない)と判断された抽出したアイテム ÷ 抽出したアイテム | パーセント | 無作為の抽出のレビュー | ナレッジマネジメント、品質保証 | コンテンツの完了の定義 | 毎月 | 簡単なアイテムを抽出する、緩い評価基準、作成者に影響されるレビュー担当者 | 無作為の抽出。書面の評価基準。独立したローテーションするレビュー担当者 |
| 検証の負担 | 出力の単位あたりの、生成された仕事を確認し訂正する人の時間 | レビューと訂正の時間 ÷ 出力の単位。傾向として追跡 | 単位あたりの時間 | 時間の見積もり、レビューツールのデータ | サービス財務管理、継続的改善 | 制約としてのレビューのキャパシティ | 毎月 | レビューの時間を記録しない、確認を下流のチームに移す | 下流の手戻りを含める。レビュー担当者に負荷を尋ねる |
| コンテンツの冗長率 | 他と重複する、あるいは実質的に重なるナレッジアイテムの割合 | レビューまたは照合で重複または重なりとされたアイテム ÷ ナレッジベースのアイテム | パーセント | ナレッジベースのレビュー、照合レポート | ナレッジマネジメント | 唯一の真実の情報源 | 四半期ごと | 重複を見逃す狭い照合の規則、別個のアイテムを統合する | 重複を手作業で抽出する。統合の規則を記録する |
| 生成された知識のレビュー済み割合 | AI生成のナレッジアイテムのうち、公開前に資格のある人がレビューして承認した割合 | 承認されたレビューとともに公開された生成アイテム ÷ 公開された生成アイテム | パーセント | ナレッジベースのメタデータ | ナレッジマネジメント、変更実現 | リリース前のレビュー | 毎月 | 読まずにレビューを完了とマークする、一括でレビューする | レビューを実質のために抽出する。レビューあたりの時間。公開されたアイテムのエラー率 |
| 解決に対する滞留の流入 | AIの影響を受けるキューについて、到着する仕事の伸びを、解決された仕事の伸びに対して見たもの | (作成されたアイテムの変化)÷(解決されたアイテムの変化)。AI以前のベースラインと比較 | 比 | チケットと追跡システムの履歴 | インシデント管理、サービスリクエスト管理 | フローの均衡 | 毎月 | アイテムの自動クローズ、アイテムの分割 | 解決の質を確認する。再オープン率。クローズされたアイテムを抽出する |
| メトリクスの漂流の旗 | AIが導入された後に、定義や分布が顕著に変わり、レビューされ注記されたメトリクスの数 | レビューで旗を立てられたメトリクス ÷ 台帳のメトリクス | 件数、パーセント | メトリクス台帳のレビュー、分布の確認 | 測定とレポート | 測定についての振り返り | 四半期ごと | 仕事を避けるために旗を立てない、すべてに旗を立てる | 四半期ごとにすべてのメトリクスをレビューする。各旗に判断を求める |
10.5 AIガバナンスとリスクのメトリクス
属するトピック:(トピック 10.5「AIガバナンスとリスクのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| AI利用の台帳の網羅 | 独立した手段で見つかったAIの利用のうち、オーナーとリスクのクラスとともに台帳にある割合 | オーナーとリスクのクラスとともに台帳にある利用 ÷ 独立したディスカバリー(調達、経費、ID、ネットワーク、スタッフの報告)で見つかった利用 | パーセント | 台帳、調達と経費のデータ、IDのログ、アンケート | ガバナンス、IT資産管理、リスク管理 | 見える仕事と明確なオーナーシップ | 四半期ごと | 割合を上げるために些細な利用を登録する、分母を登録されたものに限る | 分母に独立したディスカバリー。質のために台帳の項目を抽出する。未登録の利用への恩赦 |
| リスク評価の最新性 | 中・高リスクの利用のうち、要求される周期内にリスク評価がある割合 | 周期内に評価された利用 ÷ 中・高リスクの利用 | パーセント | リスク評価 | リスク管理、情報セキュリティ管理 | リスクについての定期的な振り返り | 四半期ごと | 常に合格する軽い評価、低リスクの利用を評価する | 評価の深さをレビューする。リスクのクラスが基準に合っているか確認する |
| 変更統制の網羅 | 本番のモデル、プロンプト、ツール、データソースへの変更のうち、必要なテストとともに変更統制を通った割合 | 変更の記録、テスト、リスクに比例した承認がある変更 ÷ 検出された変更 | パーセント | バージョン履歴やベンダーのリリースノートと比較した変更の記録 | 変更実現、リリースとデプロイ管理 | 小さく、統制され、取り消し可能な変更 | 毎月 | ベンダーの変更を検出しない、事後に変更を記録する | バージョン履歴とベンダーの通知による検出。リリース前にタイムスタンプされた変更の記録 |
| 評価の最新性 | 本番の利用のうち、現在の評価(正確さ、安全、関連するところでは公正さ)があり、結果が許容範囲内にある割合 | 周期内に評価があり結果が許容できる利用 ÷ 範囲内の本番の利用 | パーセント | 評価の記録 | 品質保証、リスク管理 | 振る舞いの完了の定義 | 四半期ごと | 簡単なケースでの評価、結果を見た後に許容範囲を選ぶ | 独立した当事者がレビューするテストの集合。しきい値を事前に設定する |
| 人による監督の証拠率 | 抽出した重大な出力や判断のうち、記録された実質的な人によるレビューがある割合 | 結果を変えうる文書化されたレビューのある抽出したアイテム ÷ 抽出したアイテム | パーセント | 抽出した判断の記録 | リスク管理、ガバナンス | リリース前のレビュー | 毎月 | 読まずに承認をクリックする、結果を変えられなかったレビューを文書化する | レビューを実質のために抽出する。既知のエラーを仕込む。レビュー担当者の負荷 |
| AIインシデント率と封じ込めまでの時間 | AIが関わるインシデント(有害な出力、データの露出、安全でない行動)の利用あたりの件数と、それを封じ込める時間 | 四半期の本番の利用あたりのインシデント、検出から封じ込めまでの時間の中央値と85パーセンタイル | 件数、時間 | AIタグ付きのインシデント記録 | インシデント管理、情報セキュリティ管理 | 非難しない対応と学び | 四半期ごと | インシデントを報告しない、定義を狭める | 簡単で非難のない報告。ユーザーの苦情や監査の所見と比較する |
| 供給者のAIデューデリジェンスの最新性 | 重要なサービスのAI機能を提供する供給者のうち、AI固有の評価が最新である割合 | 現在のAI評価がある供給者 ÷ AI機能のある重要な供給者 | パーセント | 供給者の評価 | 供給者管理、リスク管理 | 依存関係の定期的なレビュー | 四半期ごと | マーケティングが答えたアンケート、証拠のない評価 | 重要な供給者への証拠の要件。独立した検証 |
10.6 自動化とオーケストレーションのメトリクス
属するトピック:(トピック 10.6「自動化とオーケストレーションのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 自動化の実行の成功率 | 完了し、実行後の確認で確かめられた意図した結果を達成した自動化の実行の割合 | 実行後の確認に成功した実行 ÷ その期間に開始された実行。実行後の確認がない実行は除外し、別に報告する | パーセント | オーケストレーションと自動化プラットフォームのログ | サービスリクエスト管理、リリース管理 | 自動化された仕事の完了の定義 | 毎月 | きれいに終了した実行を成功と数える、失敗した実行をログから削除する | 独立した実行後の確認。ログを下流の記録と比較する |
| タスク自動化の網羅 | 対象となる反復的なタスクのうち、自動化されている割合 | 合意した対象の一覧のうち自動で走るタスク ÷ 対象の一覧のタスク。対象の一覧は四半期ごとにレビューする | パーセント | タスクの棚卸しとランブックの台帳 | 継続的改善 | 自動化の候補のバックログ | 四半期ごと | 網羅が上がるよう対象の一覧を縮める、些細なタスクを最初に自動化する | 対象の一覧を別のチームとレビューする。量と時間で重み付けする |
| 手作業の介入率 | 人が介入または修正を要した自動化の実行の割合 | 開始後に手作業のステップが加わった実行 ÷ 開始された実行 | パーセント | 自動化のログとチケットのリンク | インシデント管理 | 自動化された仕事における流出した欠陥 | 毎月 | 実行がきれいに見えるよう、手作業の修正を別のチケットとして記録する | チケットを実行の識別子にリンクする。隠れた修正のために実行を抽出する |
| 自動化が原因のインシデント率 | 自動化された行動に帰属するインシデント。1,000回の実行あたり | 自動化が原因と確認されたインシデント ÷ 自動化の実行 × 1,000 | 1,000回の実行あたりの件数 | 実行の識別子にリンクしたインシデント記録 | インシデント管理、問題管理 | 自動化された変更の変更失敗率 | 毎月 | 自動化の失敗を人やツールに帰属させる、インシデントを実行にリンクしない | インシデント記録に実行の識別子を求める。見逃したリンクのためにインシデントを抽出する |
| ロールバックの時間 | 必要性が認識されてから、自動化された行動を元に戻すまでの時間 | (取り消しが完了した時刻 − 取り消しを決めた時刻)の中央値と95パーセンタイル | 分 | 自動化のログとインシデントの時系列 | 変更実現 | 完了の定義におけるロールバックの能力 | 四半期ごと | 簡単だったロールバックだけを測る、時計を遅く始める | 最も難しい自動化についてロールバックを訓練で練習する。時計の開始を定義する |
| 検証された節約時間 | 抽出して確認した、取り除かれた手作業の時間 | 自動化されたタスク × (時間の標本からの手作業のタスク時間の中央値 − 残りの手作業時間の中央値)。その期間にわたり、標本の日付を述べる | 時間 | 時間の標本と実行回数 | 継続的改善 | 仕事のアイテムあたりに届けられる価値 | 四半期ごと | 楽観的なタスク時間を使う、保守と失敗のコストを無視する | チーム外の人による時間の標本。構築と保守のコストを含める |
| 自動化のオーナーシップの最新性 | オーナーがいて、そのオーナーが過去12か月にオーナーシップを確認し自動化をレビューした自動化の割合 | 12か月以内にオーナーの確認とレビューがある自動化 ÷ 台帳の自動化 | パーセント | 自動化の台帳 | ガバナンス、資産・構成管理 | チームの憲章とオーナーシップ | 四半期ごと | 配布リストや元従業員をオーナーとして挙げる | オーナーが書面で確認する。オーナーが現役か確認する |
10.7 パイプラインと自動化された変更のメトリクス
属するトピック:(トピック 10.7「パイプラインと自動化された変更のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| パイプラインの成功率 | パイプラインまたはその環境が原因の失敗なしに終わったパイプラインの実行の割合 | 通った、または本物のコードの欠陥のみで失敗した実行 ÷ 開始された実行。ユーザーによって取り消された実行は除外し、報告する | パーセント | パイプラインプラットフォームのログ | リリース管理、変更実現 | 継続的インテグレーションの健全性 | 毎週 | インフラの失敗を取り消しとして再分類する、緑になるまで再実行して最後の実行だけを数える | すべての試行を数える。変更あたりの再実行を報告する |
| パイプラインの所要時間 | 変更がパイプラインを通過する時間 | デプロイに到達した実行について、(最後のステージが終わる時刻 − 実行が始まる時刻)の中央値と85パーセンタイル | 分 | パイプラインプラットフォームのログ | リリース管理 | 短いフィードバックループ | 毎週 | 遅いステージを測定の範囲外に動かす、ステージを飛ばす | コミットからデプロイ済みまでをエンドツーエンドで測る。実行されたステージを必要なステージと比較する |
| 不安定なテストの率 | コードの変更なしに再実行で通るテストの失敗の割合 | 再実行で通る失敗 ÷ テストの失敗 | パーセント | テスト結果と再実行のログ | リリース管理 | 完了の定義、テストの実践 | 毎月 | 不安定なテストを削除または黙らせる、失敗を既知としてマークする | テスト数とカバレッジの傾向。隔離されたテストを日付付きでレビューする |
| 自動承認の割合 | 人による承認のステップなしに、パイプラインのポリシーで承認された変更の割合 | ポリシーのみで承認された変更 ÷ デプロイされた変更 | パーセント | パイプラインと変更の記録 | 変更実現 | 自動化された確認を伴うトランクベース開発 | 毎月 | リスクの高い変更を含むよう「標準」のクラスを広げる | 自動承認された変更の変更失敗率。承認された変更を抽出する |
| 迂回率 | パイプラインを通らなかった本番の変更の割合 | デプロイの記録とパイプラインの記録の比較で見つかった、パイプラインの外で行われた本番の変更 ÷ すべての本番の変更 | パーセント | デプロイの記録、構成の監査、パイプラインのログ | 変更実現、構成管理 | 作業合意 | 毎月 | 緊急の手作業のデプロイをパイプラインの実行として記録する、本番と突き合わせない | 本番の状態をパイプラインの記録と突き合わせる。デプロイを抽出する |
| 証拠の完全性 | パイプラインでデプロイされた変更のうち、記録が必要な証拠を示す割合 | 必要な証拠の項目(テスト、レビュー、スキャン、承認)がすべてリンクされた変更 ÷ デプロイされた変更 | パーセント | パイプラインと変更の記録 | 変更実現、ガバナンス | 完了の定義 | 毎月 | 空のまたは無関係な証拠を添付する、一般的なレポートをリンクする | 証拠の内容を抽出する。変更に合っているか確認する |
| ポリシーゲートの失敗率 | ポリシーの確認で止められた実行の割合。本物の違反とポリシーのエラーに分ける | ポリシーゲートで止められた実行 ÷ 開始された実行。理由は抽出して分類する | パーセント | パイプラインのログとゲートの記録 | 変更実現、リスク管理 | 受け入れ基準 | 毎月 | 失敗を減らすためにポリシーを緩める、本物の違反をポリシーのエラーとして分類する | 止められた実行を抽出する。流出した欠陥率と監査の所見 |
10.8 アナリティクスとデータ品質のメトリクス
属するトピック:(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 必須フィールドの完全性 | それを使うメトリクスに必要なすべてのフィールドが揃ったレコードの割合 | すべての必須フィールドが存在し妥当なレコード ÷ 範囲内のレコード | パーセント | 元のシステムの抽出とデータ品質の確認 | 測定とレポート、ナレッジマネジメント | レコードの完了の定義 | 毎月 | プレースホルダーや既定値でフィールドを埋める、フィールドを任意にする | 内容の妥当性の確認。本物の値のためにレコードを抽出する |
| データの鮮度 | レポートが読まれる時点での、データセットの最新データの経過時間 | データセット横断の(レポートが読まれた時刻 − 最新のレコードが読み込まれた時刻)の中央値と最大値 | 時間 | パイプラインのログとデータセットのメタデータ | 測定とレポート | 速いフィードバック | 毎週 | イベントではなく読み込みにタイムスタンプを付ける、空の更新を読み込む | イベント時刻を読み込み時刻と照らして確認する。読み込みごとの行数 |
| 突合の差異 | 同じ量について一致すべき二つの情報源の差 | 情報源Aと情報源Bの絶対差 ÷ 情報源A。述べられた量の標本と期間について | パーセント | 二つの元のシステム | 測定とレポート、財務管理 | 定義についての作業合意 | 四半期ごと | たまたま一致する量を選ぶ、一致させるために一方の情報源を調整する | 量をローテーションする。調整の監査証跡を保つ |
| 系譜の網羅 | 報告されるメトリクスのうち、情報源、変換、オーナーが文書化されている割合 | 系譜が文書化された台帳のメトリクス ÷ 報告されたメトリクス | パーセント | メトリクスの台帳とデータカタログ | ガバナンス | チームの合意 | 四半期ごと | 系譜を表面的に文書化する、項目間でテキストをコピーする | 項目を抽出し、一つのメトリクスをエンドツーエンドでたどる |
| パイプラインの実行の失敗率 | データパイプラインの実行のうち、失敗した、または不完全なデータを読み込んだ割合 | 失敗した、または不完全なデータを読み込んだデータパイプラインの実行 ÷ 開始された実行 | パーセント | データパイプラインのログ | 測定とレポート | データのための継続的インテグレーション | 毎週 | 失敗した実行を再試行済みまたは成功とマークする、ログを削除する | レコード数を元と比較する。ギャップでアラートを出す |
| 分析のレビュー率 | 公表された分析のうち、使われる前に第二の人にレビューされた割合 | 記録されたレビューのある分析 ÷ 判断する聞き手に公表された分析 | パーセント | 分析の台帳とレビューのログ | 測定とレポート、継続的改善 | ピアレビュー | 四半期ごと | 形式的なレビュー、判断の後のレビュー | レビュー担当者のメモを確認する。使う前のレビューを求める |
| 判断での利用率 | 報告されたメトリクスのうち、その期間に記録された判断で引用された割合 | 判断ログの項目で引用されたメトリクス ÷ 報告されたメトリクス | パーセント | 判断ログとメトリクスの台帳 | 継続的改善 | 振り返りのアクション | 四半期ごと | 判断への効果なしにログでメトリクスを引用する | 何が変わったかを尋ねる。項目を抽出する |
10.9 予測と予測分析のメトリクス
属するトピック:(トピック 10.9「予測と予測分析のメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 予測区間の網羅 | 実際の結果のうち、述べられた予測区間の内側に収まった割合 | 区間内の結果 ÷ 評価された予測。評価された予測とは、結果が分かっているもの | パーセント | 予測のログと実績 | キャパシティ・パフォーマンス管理、財務管理 | スループットからの範囲を伴う予測 | 四半期ごと | 網羅がよく見えるまで区間を広げる、簡単な予測だけを評価する | 網羅とともに区間の幅を報告する。ログされたすべての予測を評価する |
| 予測誤差 | 予測と実績の差の典型的な大きさ | 評価された予測にわたる絶対誤差の中央値とその85パーセンタイル。絶対誤差 =(予測 − 実績)の絶対値 ÷ 実績 | パーセント | 予測のログと実績 | キャパシティ・パフォーマンス管理 | 計画のレビュー | 四半期ごと | 結果の直前に予測を修正する、評価の窓を選ぶ | ログされた元の予測を使う。窓を事前に固定する |
| ベースラインに対する技能 | 単純なベースラインに対する、予測方法の改善 | 1 −(方法の絶対誤差の中央値 ÷ ベースラインの絶対誤差の中央値)。同じ予測にわたって | 比 | 予測のログ、ベースラインのログ、実績 | 継続的改善 | 実験して比較する | 四半期ごと | 弱いベースラインを選ぶ、評価のデータで方法をチューニングする | ベースラインを事前に合意する。チューニングに使っていないデータで評価する |
| 較正のギャップ | 述べられた確率と観察された頻度の差 | 各確率の区分について、(述べられた確率 − 観察された割合)の絶対値を区分にわたって平均したもの。述べられた件数未満の区分は別に報告する | パーセントポイント | 確率的な予測のログと結果 | リスク管理、変更実現 | 見積もりについての振り返り | 四半期ごと | 少ない区分や少ない件数を使う、ギャップを隠すために区分を統合する | 区分ごとの件数を報告する。最小件数 |
| アラートの適合率と再現率 | 予測のアラートやスコアについて、正しかったアラートの割合と、捉えられた事象の割合 | 適合率 = 真陽性 ÷(真陽性 + 偽陽性)、再現率 = 真陽性 ÷(真陽性 + 偽陰性) | パーセント | 予測のログと結果 | インシデント管理、イベント管理 | モデルの完了の定義 | 毎月 | 事後に事象を再定義する、重複を数える | 事象の定義を事前に固定する。重複を除く。アラートを抽出する |
| 予測のドリフトのシグナル | 基準の期間と比べた、時間にわたる誤差の上昇 | 直近の窓の絶対誤差の中央値 − 基準の窓の絶対誤差の中央値。窓のサイズを述べる | パーセントポイント | 予測のログと実績 | 継続的改善、キャパシティ管理 | 検査と適応 | 毎月 | 基準の期間をリセットする、ゆっくりしたドリフトを無視する | 基準の窓を固定し、予定に沿ってレビューする |
| 予測と判断のリンク | 予測のうち、記録された判断で引用された割合 | 判断ログで引用された予測 ÷ 公表された予測 | パーセント | 判断ログと予測のログ | 継続的改善、ガバナンス | アクションのレビュー | 四半期ごと | 判断に影響しないままログで予測を引用する | 何が変わったかを尋ねる。項目を抽出する |
10.10 オブザーバビリティとテレメトリのメトリクス
属するトピック:(トピック 10.10「オブザーバビリティとテレメトリのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 計装の網羅 | 合意した中核のシグナルを発するサービスと重要なユーザージャーニーの割合 | 合意した標準を満たすログ、メトリクス、トレースを持つサービスまたはジャーニー ÷ サービスカタログのサービスまたはジャーニー | パーセント | サービスカタログとテレメトリプラットフォームの棚卸し | 監視とイベント管理、サービス構成管理 | 新しいサービスの完了の定義 | 四半期ごと | 標準を通すためにすべてのサービスに最小限のシグナルを加える、難しいサービスをカタログから除外する | トレースの完全性と盲点のインシデント。カタログの抜けをレビューする |
| トレースの完全性 | 抽出したリクエストのうち、入口から最後の依存先まで途切れないトレースがある割合 | トレースが期待されるすべてのホップにまたがるリクエスト ÷ 確認した標本のリクエスト | パーセント | トレースのプラットフォームと抽出による確認 | 監視とイベント管理 | 機能におけるオブザーバビリティのテスト | 毎月 | 単純なリクエストだけを抽出する、部分的なトレースを完全と数える | 確認の標本をリクエストの種類で定義する。依存先の網羅を確認する |
| シグナルの相関率 | ログ、メトリクス、トレースが識別子で結合できたインシデントの割合 | 時系列のレビューで結合が機能したインシデント ÷ レビューしたインシデント | パーセント | インシデントのレビューとトレースのプラットフォーム | インシデント管理、問題管理 | 振り返りのアクション | 四半期ごと | うまくいったインシデントだけをレビューする、紙の上にだけ存在する結合を数える | インシデントの無作為の抽出をレビューする。結合の訓練を行う |
| 理解までの時間 | 検知から、原因の記録された機能する説明までの時間 | 原因が記録されたインシデントについて、(最初の機能する原因が記録された時刻 − インシデントが検知された時刻)の中央値と85パーセンタイル | 分 | インシデントの時系列とレビューのメモ | インシデント管理 | 非難しないレビュー | 四半期ごと | 原因を早く緩く記録する、難しい事例の原因を空白のままにする | 原因の記録の質をレビューする。原因のないインシデントを別に報告する |
| サービスあたりのテレメトリのコスト | サービスに帰属するテレメトリの支出を、サービスの利用の単位あたりで見たもの | サービスに配賦されたテレメトリのコスト ÷ 1,000リクエストなど、述べられた利用の単位 | 単位あたりの通貨 | テレメトリの課金と利用のデータ | 財務管理 | 設計の入力としてのコスト | 毎月 | コストを削るためにシグナルを落とす、コストを別のアカウントに移す | 盲点のインシデントと理解までの時間。総支出を突合する |
| テレメトリ内の機微なデータ | あるべきでないデータを含む確認されたレコードの数 | その期間にスキャンやレビューで見つかった確認された事例 | 件数 | テレメトリのスキャンとレビュー | 情報セキュリティ管理 | 完了の定義、プライバシーレビュー | 毎月 | スキャンが狭すぎる、所見を報告しない | スキャンの網羅と独立したレビュー。取り除くまでの時間を追跡する |
| 盲点のインシデント | ユーザーが最初に報告し、テレメトリにはまったく兆候がなかったインシデント | 関連するアラートやシグナルなしにユーザーが最初に報告したインシデント ÷ その期間のインシデント | パーセント | インシデントの記録とレビューのメモ | インシデント管理、監視 | 振り返りのアクション | 四半期ごと | ユーザーの報告後にアラートが発火したインシデントを検知済みと数える、シグナルを広く定義する | 最初のシグナルと最初のユーザーの報告のタイムスタンプを比較する。レビューを抽出する |
第11部:メトリクスプログラムを築く
11.1 サービスメトリクスのダッシュボード設計
属するトピック:(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 問いの網羅 | 挙げられた聞き手の問いのうち、ダッシュボードが定義された測定値で答えられる割合 | 測定値と定義がある問い ÷ 聞き手が挙げた問い | パーセント | ステークホルダーのセッションからの問いの一覧、メトリクスカード | 継続的改善、サービスレベル管理 | ステークホルダーの継続的な関与 | 四半期ごと | 既存の測定値がすでに答える狭い問いを書く、難しい問いを省く | プログラムのチーム外のステークホルダーを含める。答えのない問いを明示的にレビューする |
| 定義の完全性 | 表示された測定値のうち、現在の書面の定義、データソース、オーナー、既知の限界がある割合 | 四つすべてがある測定値 ÷ 表示された測定値 | パーセント | メトリクスカードまたはカタログ | 情報・技術管理、ナレッジマネジメント | 共有された理解、見える仕事 | 四半期ごと | 定型文でフィールドを埋める、誰も読まない定義 | チーム外の人と明確さのために定義を抽出する。定義が実際の計算に合っているか確認する |
| データの鮮度 | 表示された測定値のうち、期待される間隔内に更新された割合 | 期限内に更新された測定値 ÷ 表示された測定値 | パーセント | パイプラインのログ、ダッシュボードのメタデータ | 監視とイベント管理 | 速いフィードバック | 毎週 | 古い情報源を変わらないデータで更新する、情報源のフィードが失敗したのに更新を成功と数える | 更新時刻だけでなく情報源のタイムスタンプも確認する。レコード数と期待される量と比較する |
| 判断とのリンク | レビューされた測定値のうち、最近のレビューが、記録された判断、アクション、あるいは何もしないという意図的な選択につながった割合 | その期間にリンクされた判断のある測定値 ÷ レビューされた測定値 | パーセント | レビューのメモ、改善の台帳 | 継続的改善 | 定期的な振り返り | 四半期ごと | フィールドを埋めるために事後に判断を記録する、空白を避けるためにアクションを捏造する | 「何もしないと選んだ」を記録された判断として受け入れる。実際の事前の議論のためにリンクを抽出する |
| 表示のサイズ | 各聞き手の見方にある測定値の数 | 見方ごとの件数 | 測定値 | ダッシュボードの設定 | 継続的改善 | 単純さ | 四半期ごと | 測定値を二次的なタブに隠す、一つの見方を多数に分割する | すべてのタブにわたって聞き手ごとの測定値を数える。聞き手に実際にいくつの数字を使うかを尋ねる |
| 廃止率 | 判断に情報を与えなくなったために、その期間に取り除かれた、あるいは置き換えられた測定値 | 廃止された測定値 ÷ 開始時に表示されていた測定値 | パーセント | ダッシュボードの変更ログ | 継続的改善 | 継続的な進化 | 毎年 | 悪い結果を示す不都合な測定値を廃止する | 廃止された一覧を、不利な傾向の測定値についてレビューする。述べられた理由を求める |
| 聞き手への到達(記述的) | 意図したチームまたは役割のうち、その期間に自分たちの見方を開いた割合 | 閲覧した個別のチームまたは役割 ÷ 意図したチームまたは役割 | パーセント | ダッシュボードのアクセスログ。チームまたは役割に集約 | 情報・技術管理 | ステークホルダーの継続的な関与 | 四半期ごと | 数を上げるためにページを開く、会議での閲覧の義務化 | 記述的に保つ。判断とのリンクとともに読む。個人の閲覧を報告しない |
11.2 ツールの全体像
属するトピック:(トピック 11.2「ツールの全体像」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 情報源の網羅 | 合意した測定値に必要な記録システムのうち、メトリクスのストアに自動で供給される割合 | 接続されテストされた情報源 ÷ 合意した測定値に必要な情報源 | パーセント | 情報源の棚卸し、パイプラインの設定 | 情報・技術管理、サービス構成管理 | パイプラインの継続的デリバリー | 四半期ごと | 簡単なまたは無関係な情報源を接続する、使えるデータを運ばない接続を数える | 合意した測定値で数える。情報源ごとのデータの完全性を確認する |
| パイプラインの信頼性 | 予定されたデータの読み込みのうち、確認に通って期限内に完了した割合 | 確認に通って期限内の読み込み ÷ 予定された読み込み | パーセント | パイプラインのログとテスト結果 | 監視とイベント管理 | 自動化されたテストと速いフィードバック | 毎週 | 読み込みが常に通るよう確認を緩める、予定する読み込みを減らす | 確認の強さをレビューする。突合と情報源の行数を追跡する |
| 新しい測定値までの時間 | 新しい測定値の承認されたリクエストから、定義カードを伴う利用可能までの経過時間 | 承認から公開までの日数の中央値と85パーセンタイル | 日 | リクエストとリリースの記録 | サービスリクエスト管理、変更実現 | 価値の小さな増分 | 四半期ごと | 定義やテストなしに公開する、新しい測定値として数えるものを狭める | 完了に定義カードと突合の確認を求める |
| 突合率 | 抽出した確認で、メトリクスのストアと元のシステムの間で一致した主要な数字の割合 | 許容範囲内で一致した数字 ÷ 確認した数字 | パーセント | 突合の確認 | 情報・技術管理 | 信頼できるフィードバック | 毎月 | 確認する簡単な数字を選ぶ、外れの後に許容範囲を広げる | 確認の前に標本を選ぶ。許容範囲を事前に固定する。難しい数字を含める |
| 手作業の割合 | 定期的なレポートの労力のうち、手作業の収集と整理に費やされた割合 | 手作業のステップの時間 ÷ 定期的なレポートの総時間 | パーセント | 時間の見積もり、チームのアンケート | 継続的改善 | トイルの排除 | 四半期ごと | 手作業を過小に述べる、労力を他の予算に隠す | 仕事をする人々に尋ねる。各報告周期の終盤に費やした時間と比較する |
| 出口の準備 | 定義、履歴、ダッシュボードが、文書化された使える形でエクスポートできるか | テストされ完全なエクスポート ÷ 計画されたエクスポートのテスト | パーセント | エクスポートのテストの記録 | 供給者管理、サービス継続管理 | 持続可能な選択 | 毎年 | 部分的なエクスポートをテストする、文書化された計画を準備と数える | 標本を別のツールに完全に復元する。定義と履歴を検証する |
| 支援するチームあたりのツールのコスト | プログラムのツールの年間の完全なコストを、それが仕えるチームで割ったもの | (ライセンス + インフラ + 保守の労力)÷ 仕えるチーム | チームあたりの通貨 | 財務と労力の記録 | サービス財務管理 | 持続可能なペース | 毎年 | 保守の労力を除く、紙の上でチームを加える | スタッフの時間を含める。自分たちの見方を実際に使っているチームを数える |
11.3 恐れを生まずにメトリクスを展開する
属するトピック:(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 利用の憲章の網羅 | 参加するチームのうち、自分たちの測定値が何に使われ、何には決して使われないかの書面の声明に合意している割合 | 合意した憲章のあるチーム ÷ 参加するチーム | パーセント | プログラムが保持する憲章 | ガバナンス、組織変革管理 | 作業合意 | 四半期ごと | 憲章に形式的に署名する、リーダーがそれを無視する | 実際の憲章の利用を確認する。個人への利用のインシデントを報告する。憲章をチームとレビューする |
| チームのオーナーシップの割合 | チームに表示される測定値のうち、チームが定義を書くのを手伝った、または承認した割合 | チームの承認がある測定値 ÷ チームに表示される測定値 | パーセント | メトリクスのカタログ、承認の記録 | 継続的改善 | 自己組織化するチーム | 四半期ごと | 読んでいない定義をチームが承認する、プログラムが完成した定義を承認のために提示する | 定義がどう開発されたかを抽出する。チームが求めて行われた変更を追跡する |
| 率直さのシグナル | 測定値が導入された後に、問題とヒヤリハットの報告が安定または上昇するか | チームあたり四半期ごとのヒヤリハットまたは問題の報告、前後。傾向 | 報告 | インシデント、ヒヤリハット、ポストモーテムの記録 | インシデント管理、継続的改善 | 非難しない振り返り | 四半期ごと | チームにより多くまたは少なく問題を報告するよう圧力をかける、区分の名前を変える | 重大度とポストモーテムの内容とともに読む。顧客が報告した問題と比較する |
| 異議への対応時間 | 人またはチームが数字に異議を唱えてから、彼らに見える解決までの時間 | 異議から解決までの日数の中央値と85パーセンタイル | 日 | 異議のログ | 継続的改善、ナレッジマネジメント | フィードバックへの対応 | 四半期ごと | 目に見える解決なしに異議をクローズする、異議を唱えるのを妨げる | 目に見える応答を求める。異議を唱えた人にアンケートする。繰り返される異議を追跡する |
| 測定の安全性の認識(アンケート) | 「私たちの仕事についてのデータは、私たちを助けるために使われる」といった記述へのチームレベルのアンケートでの同意 | チームのアンケートで同意した割合。回答率を示す | パーセント | 匿名のチームのアンケート。集約 | 組織変革管理 | 信頼と意欲のある個人 | 年2回 | 回答者に指導する、不満なチームを隠す低い回答率 | 匿名性と最小グループサイズ。回答率を示す。チームと直接話す |
| 個人への利用のインシデント | 憲章に反して、個人をランク付けまたは評価するためにデータが示された、あるいは使われた事例 | 四半期ごとの報告された事例の数と結果 | 件数 | プログラムへの報告、ダッシュボードとレビューの確認 | ガバナンス | 人への敬意 | 四半期ごと | 報告しない、インシデントを別のものとして再分類する、報告した人を責める | 簡単な匿名の報告。報告者の保護。個人データについてレビューとダッシュボードをレビューする |
| 自発的な導入 | 適格なチームのうち、義務の前に、その期間にプログラムを自ら採用した割合 | 参加を選んだチーム ÷ 招待された適格なチーム | パーセント | プログラムの記録 | 組織変革管理 | パイロットと学び | 四半期ごと | 招待として枠付けられた圧力、精査を避けるために参加したチームを数える | チームになぜ参加したかを尋ねる。実際の利用を確認する。期間を義務のないままに保つ |
11.4 メトリクスプログラムの成熟度モデル
属するトピック:(トピック 11.4「メトリクスプログラムの成熟度モデル」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 評価への参加 | 参加するチームのうち、自分たちの議論を伴う自己評価を完了した割合 | 完了して議論したチーム ÷ 参加するチーム | パーセント | 評価の記録 | 継続的改善 | 振り返りとレトロスペクティブ | 年2回 | ノルマを満たすためにフォームを完了する、一人がチームのために記入する | チームの議論を求める。各主張の背後の証拠を求める |
| 次元ごとのプロファイル | 各次元でのチームの自己評価レベルの分布。単一のスコアではなく範囲として示す | 各レベルのチームの数。次元ごとに | レベルごとのチーム数 | 自己評価。集約 | 継続的改善、ガバナンス | 見える仕事 | 年2回 | よく見えるようレベルを膨らませる、助けを得るために低く申告する | 資金や立場にリンクしない。証拠を求める。オープンに較正する |
| 評価からの改善アクション | 合意した次のステップのうち、完了した、理由を添えて落とした、あるいは進行中の割合 | クローズまたは理由づけされたアクション ÷ 合意したアクション | パーセント | 改善の台帳 | 継続的改善 | 小さな実験 | 四半期ごと | クローズするために些細なステップを選ぶ、実行せずにクローズする | ステップの大きさと価値をレビューする。次の評価で成果を確認する |
| 判断の証拠 | 抽出した測定値のうち、チームが、直近の四半期にその測定値が情報を与えた判断または意図的な選択を挙げられる割合 | 名前の挙がった判断がある測定値 ÷ 抽出した測定値 | パーセント | チームへのインタビュー、レビューのメモ | 継続的改善 | 儀式より証拠 | 四半期ごと | 事後に判断を捏造する、重要でない判断を列挙する | 日付と関わった人々を求める。「何もしないと選んだ」を判断として受け入れる |
| 定義とデータへの信頼 | 定義が明確でデータが正しいというチームレベルの同意 | 短いチームのアンケートで同意した割合。回答率を示す | パーセント | 匿名のチームのアンケート | ナレッジマネジメント、情報管理 | 共有された理解 | 年2回 | 回答者に指導する、不満を隠す低い回答 | 匿名性と最小グループサイズ。回答率を示す。チームと直接話す |
| 次のレベルまでの時間(記述的) | チームが、自ら選んだ場合に、ある次元を一つ上げるのにかかる経過時間 | 合意したステップからチームの再評価までの月数の中央値 | 月 | 評価の履歴 | 継続的改善 | 持続可能なペース | 毎年 | 進捗の主張を急ぐ、後退を隠す | 記述的に保つ。証拠とともに読む。罰なしに後退を記録する |
| 評価の負担 | 評価がチームあたりにかかる時間 | チームあたりの時間の中央値 | 時間 | チームからの時間の見積もり | 継続的改善 | 持続可能なペース | 年2回 | 時間を削るために議論を飛ばす | 時間を、参加と証拠の質と一緒に追跡する |
11.5 段階的な導入ロードマップ
属するトピック:(トピック 11.5「段階的な導入ロードマップ」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 | 悪用の手口 | 防護柵 |
|---|---|---|---|---|---|---|---|---|---|
| 最初の有用な結果までの時間 | プログラムの開始から、パイロットのチームが、変更を行う助けになったと述べる最初の測定値までの経過時間 | キックオフから、チームが確認した最初の有用な利用までの日数 | 日 | プログラムのログ、チームの確認 | 継続的改善 | 価値の早く継続的なデリバリー | 一度、その後は新しいチームごと | 些細な変更を有用と宣言する、見せ場を急ぐ | チームに何が変わったかを尋ねる。変更が持続したか確認する |
| 測定値を積極的に使っているチーム | 招待されたチームのうち、その期間にレビューで自分たちの測定値を使った割合。自分たちの言葉による | レビューで測定値を使ったチーム ÷ 招待されたチーム | パーセント | チームの確認、レビューのメモ | 組織変革管理 | ステークホルダーの継続的な関与 | 毎月 | 項目を埋めるためにレビューを開く、起きていない利用を主張する | 下された判断を求める。レビューのメモを抽出する。チームと話す |
| 測定値に帰せられる改善 | チームが行った変更のうち、測定値が示したものに、理由を添えて帰するものの数 | 測定値への述べられたリンクを持つ、チームが報告した変更の数 | 件数 | 改善の台帳 | 継続的改善 | 証拠に基づく実験 | 四半期ごと | 件数に達するためにリンクを捏造する、無関係な変更の手柄を主張する | 記述的に保つ。チームに理由を尋ねる。不確かなリンクを不確かなものとして受け入れる |
| 廃止された測定値とレポート | 判断に情報を与えなくなったために止められた測定値またはレポート | 四半期あたりの廃止数 | 件数 | カタログの変更ログ | 継続的改善 | 継続的な進化 | 四半期ごと | 不都合な測定値を廃止する、廃止して新しい名前で再導入する | 廃止された一覧を、不利な傾向についてレビューする。述べられた理由を求める |
| ベースラインの網羅 | 合意した測定値のうち、少なくとも数か月の記録されたベースラインがある割合 | ベースラインがある測定値 ÷ 合意した測定値 | パーセント | メトリクスのカタログ | サービスレベル管理、継続的改善 | 意見より証拠 | 四半期ごと | 履歴を捏造する、のちの結果をよく見せる期間を使う | 情報源と期間を記録する。生のデータを保つ。変更の前にベースラインを選ぶ |
| プログラムの労力の割合 | 参加するチームの時間のうち、測定のタスクに費やされた割合 | 収集、報告、レビューの時間 ÷ チームの総時間。見積もりによる | パーセント | チームの時間の見積もり | 継続的改善 | 持続可能なペース | 四半期ごと | 労力を過小に述べる、数の外の人に仕事を移す | 仕事をする人々に尋ねる。周期の終盤の残業と比較する |
| 段階のレビューの完了 | 計画された段階のレビューのうち、チームとともに開かれ、変更が記録された割合 | 変更が記録されて開かれたレビュー ÷ 計画されたレビュー | パーセント | プログラムの記録 | 継続的改善 | 定期的な振り返り | 段階ごと | 短く形式的なレビュー、決して起きない変更を記録する | 変更が実行されたか確認する。レビューが自分たちの時間に値したかをチームに尋ねる |