概要と動機

メトリクスのガバナンスとは、測定値を誰が所有し、何を意味し、誰が見られ、どのくらいの頻度でレビューされ、いつ取り除かれるかについての、軽量な判断の集まりです。これは、組織内のデータの可用性、品質、セキュリティをより広く管理するデータガバナンス(data governance)の近い親戚です。メトリクスのガバナンスは、チームやリーダーがサービスとデリバリーの仕事の舵取りに使う、小さく、目に付きやすい数字の集合に、同じ規律を適用します。

必要性は、小さく繰り返される摩擦として現れます。二つのチームが「解決時間」を異なる方法で計算し、数字のすり合わせに会議一回分を費やす。ダッシュボードのタイルを作った人が異動したために、何か月も更新されない。一つのチームが自分のフローを診断するために設計した測定値が、運営委員会にパフォーマンス目標として採用される。これは前のトピックが警告している状況です(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。これらはどれも統計の問題ではありません。どれもオーナーシップの問題であり、どれも防ぐのは安上がりです。

アジャイルとITILの見方は強調点が異なり、その違いは有用です。アジャイルの見方では、チームが作業用の測定値を所有し、レトロスペクティブ、ワーキングアグリーメント、レビューで交渉します。ITIL 4(AXELOSの2019年版で、現在はPeopleCertが刊行)に記載されたITILの見方は、測定とレポートを一般管理プラクティスとして、継続的改善を固有の役割、記録、レビューを持つプラクティスとして扱います。ITILはまた、サービスオーナーとプラクティスオーナーが結果に責任を負うことを期待します。二つの見方は噛み合います。チームが作業用ビューを所有し、名前のあるサービスまたはプラクティスのオーナーが報告用ビューを所有し、小さな台帳が両者を結び付けるのです。

ここで使う用語をいくつか挙げます。メトリクスのオーナー(metric owner)は、メトリクスの定義、データ品質、使われ方に責任を負う一人です。メトリクス台帳(metric register)は、使用中のメトリクスの短いカタログで、それぞれのオーナー、定義、データソース、防護柵、レビュー日を載せます。メトリクス憲章(metrics charter)は、メトリクスの集合について、目的、範囲、役割、レビューの頻度を述べた1ページの文書です。信頼できる唯一の情報源(single source of truth)は、ある数字を計算する元になる、唯一の権威あるシステムまたはデータセットです。データスチュワード(data steward)は、データ領域の品質と定義の世話をする役で、小さな組織ではメトリクスのオーナーがこの役を兼ねることがよくあります。RACIマトリクス(RACI matrix)は、各活動について、誰が実行責任を持ち、誰が説明責任を持ち、誰に相談し、誰に報告するかを記録します。データ辞書(data dictionary)は、データ項目とその意味のカタログで、大規模になると台帳の定義の列がこれになります。最小権限の原則(principle of least privilege)は、人やシステムがタスクに必要なアクセスだけを持ち、それ以上は持たないという原則です。継続的改善(Continual improvement)は、サービス、プラクティス、仕事の進め方を改善し続ける取り組みで、ITILのプラクティスであると同時にアジャイルの習慣でもあります。SLAはサービスレベルアグリーメント(service level agreement)、ITSMはITサービスマネジメント(IT service management)を意味します。

主要な原則

  • 報告されるすべてのメトリクスに、名前付きのオーナーが一人いる。 役割または人であり、「チーム」ではない。共同所有は定義を放置させる。
  • 一つの定義、一つの信頼できる情報源。 時計の開始と停止を含め、定義を一度だけ書き、数字は一か所で計算する。
  • 結果の重みに比例して統治する。 チームが自分のボードのデバッグに使うメトリクスには、一文あれば足りる。契約、公的報告、取締役会資料に載るメトリクスには、憲章のエントリ、レビュー、監査証跡が要る。
  • アクセスは目的に従う。 誰がどのビューを見るか、その理由を決める。チームの作業用ビューの既定の読み手はチームである。
  • 頻度を決めてレビューし、証拠に基づいて廃止する。 メトリクスにはライフサイクルがある。意図をもって採用し、レビューし、改訂し、廃止する。
  • 書き下し、小さく保つ。 1ページに収まる台帳は読まれる。方針マニュアルは読まれない。
  • ガバナンスは測定される人々に仕える。 メトリクスのオーナーには、その仕事が記述される人々が含まれる。

メトリクスの定義

これらは、サービスではなく、メトリクスの実践の健全性の測定値です。意図的に少数で、台帳そのものから安価に収集できます。各期間は、特に断りがなければ暦の四半期です。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
オーナーシップの網羅率 報告されるメトリクスのうち、名前付きで現役のオーナーがいるものの割合 期末時点でその役割に就いているオーナーがいる報告メトリクスの数 ÷ 期末時点の報告メトリクスの数。一つのチームの非公開ボード内でのみ使われるメトリクスは除く パーセント メトリクス台帳 測定とレポート ワーキングアグリーメント 四半期ごと
定義の鮮度 報告されるメトリクスのうち、合意した間隔内に定義がレビューされたものの割合 直近6か月以内にレビュー日があるメトリクスの数 ÷ 報告メトリクスの数。時計は最後に記録されたレビューで始まり、期末で止まる パーセント メトリクス台帳の変更ログ 測定とレポート、継続的改善 レトロスペクティブのアクション 四半期ごと
情報源の適合 報告されるメトリクスのうち、名前付きのちょうど一つの情報源から計算されているものの割合 権威ある情報源が一つで、既知の並行計算がないメトリクスの数 ÷ 報告メトリクスの数。並行計算は、ダッシュボードとレポートの抽出調査で見つける パーセント 台帳と、ダッシュボードおよびレポートの抽出 測定とレポート、サービスレベル管理 メトリクスの完了の定義 四半期ごと
廃止率 ある期間に廃止または統合されたメトリクスの数の、報告メトリクスに対する割合 その期間に廃止または統合されたメトリクスの数 ÷ 期首の報告メトリクスの数。非公開のチームビューに移されたメトリクスは、報告の集合から廃止されたものとして数える パーセント メトリクス台帳の変更ログ 継続的改善 レトロスペクティブのアクション 四半期ごと
アクセスレビューの鮮度 制限されたメトリクスのビューのうち、読み手の一覧が間隔内にレビューされたものの割合 直近6か月以内に読み手のレビューがある制限ビューの数 ÷ 制限ビューの数。組織全体に公開されているビューは除く パーセント アクセス一覧またはBIツールの権限のエクスポート 情報セキュリティ管理、測定とレポート ワーキングアグリーメント 半年ごと
判断との結び付き 報告されるメトリクスのうち、台帳で、情報を与える対象の判断に結び付けられているものの割合 判断または問いが記録されているメトリクスの数 ÷ 報告メトリクスの数。結び付きは、その判断が直近12か月以内に下された場合にのみ数える パーセント メトリクス台帳と判断ログ 継続的改善 ステークホルダーレビューと改善の成果 四半期ごと

これらはどれも目標ではありません。台帳はオーナーシップの網羅率が100パーセントでも、役に立たないメトリクスを記述していることがあるため、下の悪用の表と併せてこの表を読んでください。

推奨事項

オーナーシップと台帳を確立する

1. 1ページのメトリクス台帳を保つ。 報告される各メトリクスについて、問い、オーナー、定義、計算式と時計、単位、データソース、読み手、防護柵、最後のレビュー日、次回のレビュー予定日を載せます。スプレッドシートか、バージョン管理されたMarkdownファイルで十分です。台帳はこのトピックで最も有用な成果物であり、前のトピックはすでにそれが存在することを前提にしています(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

2. メトリクス一つにつきオーナーを一人指名し、役割を記録する。 オーナーは、定義、データ品質、奇妙な結果の説明に責任を負います。データと判断に近い人、たいていはサービスオーナー、プラクティスオーナー、チームリードを選びます。人だけでなく役割も記録することで、異動があってもエントリが残り、空席が網羅率の数字に現れます。

3. メトリクスを所有することと、それが測る仕事を所有することを分ける。 メトリクスのオーナーはそれを説明し維持しますが、仕事をするチームが結果への責任を持ち続けます。これにより二つの罠を避けられます。影響を及ぼせない数字で責められるオーナーと、他の人が維持しているからと数字を自分のものと認めないチームです。憲章の短いRACI表がこれを明確にします。

4. 時計を含めて、定義を一度だけ書く。 台帳には権威ある定義を置きます。何を数えるか、時計がどこで始まりどこで止まるか、どの状態が一時停止させるか、何を除外するか。そのメトリクスを示すすべてのダッシュボードからそこへリンクします。定義を変える必要があるときは、まず台帳で変更し、グラフに変更の印を付けます(傾向の断絶の示し方は、トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。

5. 各メトリクスを一か所で計算する。 ITSMツール、課題管理、監視システムなど、権威ある情報源を選び、台帳にそう記します。数字を再現する並行のスプレッドシートは、廃止するか、誰も公式の数字と取り違えないように名前を変えます。データの系譜とツールは次のトピックの内容です(トピック 1.5「データソースと計装」を参照)。

頻度と変更管理を定める

6. 結果の重みに合う間隔で定義をレビューする。 契約、規制対象のレポート、経営幹部向け資料にあるメトリクスは、年に二回、および基盤となるワークフローが変わるたびにレビューします。チームレベルの作業用測定値では、レトロスペクティブがレビューです。各レビューでは三つを問います。定義はまだ正確か、データはまだ健全か、誰かがその数字を使って何かを決めたか。

7. 定義の変更をサービスの変更と同様に扱う。 誰が変更を依頼し、なぜ、誰に相談し、いつ発効するかを記録します。ステータスのワークフローの小さな変更が、時間の測定値を静かに大きく動かすことがあります。定義のための軽量な変更管理は、儀式抜きで変更実現の考え方を借りたものです(サービス変更側の対応物は、トピック 4.3「変更実現のメトリクス」を参照)。

8. レビューを継続的改善に結び付ける。 メトリクスのレビューは、改善の作業、または行動しないという明示的な判断を生み出すべきです。ITILは継続的改善を、改善機会の台帳を持つプラクティスとして扱い、アジャイルのチームはレトロスペクティブのアクションを通じて同じ効果を得ます。レビューがアクションも廃止もなく終わるなら、そのメトリクスが何か役割を果たしているかを問います(トピック 9.5「継続的改善のメトリクス」を参照)。

9. メトリクスを意図をもって廃止する。 廃止のテスト、たとえば「二回のレビューサイクルにわたって判断で引用されていない」を定義し、適用します。定義と最終的な値を保管し、何が置き換えたか(あれば)を述べ、読み手に伝えます。廃止ログは、監査人にとっての証拠であり、データを手作業で維持していた人々にとっての安堵です。

ビューとアクセスを管理する

10. 各ビューの読み手を決める。 ほとんどのメトリクスには、チームの作業用ビュー、サービスオーナーやプログラム向けの報告用ビューがあり、時には顧客、規制当局、供給者向けの外部ビューもあります。どの読み手がどのビューを得るか、その理由を記録します。最小権限の原則を指針とし、個人情報、セキュリティの詳細、商業的に機微な供給者の数字を含むビューは制限し、残りは公開して、透明性を既定とします。

11. 個人レベルのデータを報告から外す。 本書の絶対的な規則は、メトリクスはチーム、サービス、システムを記述するもので、人を記述しない、というものです。ガバナンスは、報告の粒度を、たとえばチームとサービスと定め、個人レベルの抽出をデータスチュワードに限ることで、これを裏付けます。個人レベルの内訳の要望が来たら、それを記録し、どんな判断に役立つかを尋ね、チームレベルまたはシステムレベルの代替案を提示します(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
オーナーシップの網羅率 100パーセントに到達するために、マネージャーやメーリングリストをオーナーに指名し、メトリクスを説明も変更もできる人が誰もいない 各オーナーに、直近の数字の動きを一つ説明してもらう。一週間以上答えがなかった問い合わせを追跡する
定義の鮮度 定義を読まずにレビュー日だけを更新する 四半期ごとに三つのエントリを抽出し、書面の定義とツールの実際の設定を比較する
情報源の適合 ある情報源を権威あるものと宣言しながら、スプレッドシートが出回り続けて数字が食い違う 同じメトリクスについてレポートの抽出で見つかった、異なる数字の数を数える。差異をレビューですり合わせる
廃止率 規律があるように見せるために、取るに足らない、または使われていないメトリクスを廃止する。新しいものとして数えられるよう、メトリクスの名前を変える 廃止ログを見て、何が取り除かれたかを確認する。報告メトリクスの総数と、判断との結び付きの数字も併せて追跡する
アクセスレビューの鮮度 既存の読み手の一覧を読まずに承認する 一覧を現在のチームの所属と役割と比較する。見つかった削除の件数を報告する
判断との結び付き 欄を満たすために、「サービスを改善する」のようなあいまいな判断を書く 日付付きの判断または問いを求め、そのメトリクスが実際に参照されたかを判断ログの抽出で確認する

健全な読みとは、変化する台帳です。エントリには問い合わせに答えるオーナーがおり、レビュー日は直近6か月以内にあり、理由付きの廃止ログがあり、情報を与える判断を挙げられるために今も求められているメトリクスの短いリストがあります。すべての欄が埋まり、何も変わらない台帳は、警告の印です。

トレードオフ:長所と短所

手法 強み 弱み
中央のメトリクス部門 定義が一貫し、ツールが共有される。監査が容易 遅く、仕事から遠く、チーム間で異なるべき測定値を標準化したくなる
共有台帳を伴う連邦型のオーナーシップ オーナーがデータの近くにいる。台帳が共通の最低限を保つ チーム間で品質がずれないよう、地道な働きかけが必要
チームが所有する測定値のみ 速く、仕事に合う 定義が分岐する。集約が信頼できなくなる。知識が人とともに去る
既定で公開のアクセス 信頼と共通理解を築く 機微な情報や個人レベルの詳細が露出するリスク
制限されたアクセス 機微なデータを守る 助けられる人から文脈を隠し、疑念を招く

バランスは、合意が必要な薄い層、つまり台帳、共有の定義、アクセスの規則を中央に集め、それ以外はすべて連邦型にすることです。

チームで話し合う問い

1. ダッシュボードで最もよく引用される数字が明日おかしく見えたら、誰が答えるか? グループではなく、人の名前を挙げてもらいます。複数の名前が出る、あるいは一つも出ないなら、そのメトリクスには実質的にオーナーがいません。ファシリテーターは、そのメトリクス、オーナー候補、オーナーが役割を果たすために必要なこと、たとえばデータへの読み取りアクセスやレビューの時間を記録します。最後に、誰がオーナーを確認し、台帳に役割を記録するかを決めます。

2. 同じ数字の二つのバージョンが、今どこにあるか? 同じメトリクスを異なる値で示すレポートを探します。週次のスライドとリアルタイムのダッシュボード、供給者のレポートと内部のレポートなど。それぞれについて、範囲、時計、除外といった差がどこで生じるかを尋ねます。どの情報源が権威あるものか、もう一方のバージョンはどうなるかを決めます。誰もが共有していると思っていた言葉に、異なる作業上の定義があることを、この対話が明らかにすると想定してください。

3. 一つ廃止しなければならないとしたら、今四半期にどのメトリクスを廃止するか? 最近、判断で誰も引用していないメトリクスから始めます。それが消えたらどうなるか、誰が気づくかを尋ねます。答えが「誰も」なら、試験期間として報告の集合から外します。ファシリテーターは、廃止を普通で健全なことと扱い、結果を廃止ログに記録してください。

4. 私たちのメトリクスのうち、誰がどれを見ていて、それは意図的か? メトリクスと読み手(チーム、サービスオーナー、リーダーシップ、顧客、供給者、規制当局)の簡単な表を描きます。アクセスが判断の結果であった箇所と、なんとなくそうなった箇所に印を付けます。個人の比較に使えるビューがないか探します。少なくとも一つの読み手の一覧を変更すること、そして誰が次にレビューするかに合意します。

5. 傾向を壊さずに定義を変えるにはどうするか? 最近のステータスのワークフローや優先度の尺度の変更をたどります。誰に伝えたか、グラフに注記したか、古い値と新しい値を比較した人はいたか。チームが実際に記入する軽い変更エントリを起案します。契約や外部レポートに載るメトリクスの変更を、誰が承認するかを決めます。

6. ガバナンスが負担になったら、何をやめるか? ガバナンスは儀式になりえます。誰もチェックしなければ、現在のやり方のどの部分を人が省略するか、その理由を尋ねます。答えは、抵抗ではなく設計へのフィードバックとして扱います。ファシリテーターは、互いに重複する手順、誰も読まない項目、判断を生まないレビューを探してください。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、作業アイテムの年齢やサイクルタイムのような作業用の測定値を所有し、ワーキングアグリーメントで定義に合意するべきです。メトリクスがポートフォリオのレポートに上がるとき、チームはオーナー、定義、読み手を知っておくべきです。チームが最も価値を得るのは、報告される測定値ごとの短い台帳のエントリと、仕事の流れ方に合わなくなった定義に異議を唱える権利です(トピック 2.1「フロー指標」を参照)。

サービスと運用のチーム

サービスと運用のチームは、SLAや運用レビューに登場するメトリクスを担うため、定義、時計、除外は契約上の重みを持ちます。ここでのオーナーは、通常、サービスオーナーとプラクティスオーナーです。定義変更の証跡を残し、報告される数字をITSMツールと定期的に突き合わせ、運用上の判断に情報を与えなくなった測定値を最初に廃止するべきです(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。

リーダーシップとガバナンス

リーダーは、条件を整えます。誰がメトリクスを所有するか、どのビューが経営幹部向け資料に届くか、数字がどう使われるか。台帳と廃止ログを求め、見出しの数字の背後にある定義を読み、個人レベルのランキング表の要求には抵抗してください。ガバナンスの組織には、台帳をレビューして判断を記録する小さな定例の議題が必要です。ISO/IEC 20000-1のサービスマネジメントシステムに対する期待(2018年版時点)に沿いつつ、そのレビューをコンプライアンスの演習にしないようにします(トピック 8.3「コンプライアンスと監査のメトリクス」を参照)。

顧客とユーザー

顧客とユーザーが台帳を目にすることはまれですが、サービスレビューの数字が自分たちの体験と食い違うときに、その不在を感じます。メトリクスが顧客向けのレポートやSLAに現れる場合、定義は、何が除外されるかを含め、平易な言葉で入手できるようにするべきです。顧客には数字に疑問を呈する経路があり、オーナーがそれに答えるべきです(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、サービスデスク、三つのプロダクトチーム、運用グループを運営しています。以下の数字はすべて例示です。

月次のサービスレビューは、インシデント解決時間の中央値が5.1時間だと示します。同じITSMツールから作られたプロダクトチーム自身のダッシュボードは、6.4時間を示します。この二つの数字は一年間出回っています。新しいサービスオーナーが、誰がそのメトリクスを所有しているのかと尋ね、三つの異なる答えを受け取ります。

オーナーは、チームリードとデータスチュワードとともに、報告される14のメトリクスの最初の台帳に二回のセッションを費やします。そのうち5つにオーナーがおらず、4つに二つの情報源がありました。解決時間は二重の情報源を持つメトリクスの一つです。差は一時停止状態に由来しています。サービスレビューは「顧客待ち」の時間を除外し、チームのダッシュボードは除外していません。グループは一つの定義に合意し、サービスオーナーをメトリクスのオーナーに指名し、誰も履歴を失わないよう、一四半期のあいだ、定義ごとにラベルを付けて二つの値を同じページに公開します。定義が変わる地点でグラフに注記を付けます。

最初の四半期レビューで、グループは廃止のテストを適用し、14のメトリクスのうち3つを取り除きます。そのなかには、最近の判断で引用されたことのない月次のチケット件数のグラフが含まれます。また、解決時間をアナリスト別に分解するビューを制限し、データスチュワードだけが保持するようにして、代わりにチームレベルの内訳を提供します。

悪用のリスクは二回目のレビューで現れます。オーナーシップの網羅率は100パーセントに達しますが、抽出調査で、二人のオーナーが配布リストと、データを一度も開いたことのない部門長であることが分かります。グループはそれらを名前のあるサービスオーナーに置き換え、レビューに防護柵の問いを加えます。「オーナーは、この数字の直近の動きを説明できるか?」網羅率は一四半期のあいだ86パーセントに下がり、グループはそれを誠実な結果として記録します。判断ログに残された決定は、防護柵が二サイクル稼働するまで、網羅率の目標を保留する、というものです。

アジャイル、AI、自動化、アナリティクス

アジャイル

メトリクス台帳は、一度きりの設計演習ではなく、チームが何かを学んだときに更新する生きた文書として扱います。実際的な習慣は、メトリクスのオーナー、チーム、ステークホルダーが、どのメトリクスを残し、変え、廃止するかに合意する、短い定期レビューです。注意点は、頻繁な小さな変更が傾向を壊しうることなので、各変更を理由とともに記録します。

AI

AIシステムに関するメトリクスにも、サービスのメトリクスと同様にオーナーが必要であり、オーナーには、数字がユーザーに害を及ぼしていると示すときにシステムを止める権限が必要です。AI支援の仕事を記述するメトリクスと、その品質の相棒をレビューするのは誰かを、台帳に記録します。注意点は、ベンダーが提供するAIダッシュボードには独自の定義があることなので、ベンダーの定義を引用して確認したうえで登録します。

自動化

台帳の衛生を自動化します。オーナー、レビュー日、判断での最近の引用がないメトリクスに印を付け、オーナーに通知します。注意点は、誰も応答しない自動リマインダーはノイズだということなので、いくつの印がアクションにつながるかを測り、つながらないものは廃止してください。

アナリティクス

メトリクスのデータへのアクセスも、ガバナンスの問題として扱います。誰がチームレベルのデータを見られるか、誰が生のチケットを見られるか、データをどのくらい保持するか。台帳が情報を与える判断は、何を残し、変え、廃止するかです。注意点は、人の行動の分析が監視に踏み込みうることなので、メトリクスをチームとサービスのレベルに保ち、適用されるプライバシー規則を確認してください。

業種別の視点

スタートアップ。 創業者やリードエンジニアが、既定ですべてのメトリクスを所有していることがよくあります。リスクは、定義が一人の頭の中にあることです。共有文書に五〜八つのメトリクスの台帳を作り、それぞれにオーナーを指名し、メトリクスが投資家や顧客への報告に初めて現れた日に定義を書いてください。

中小企業。 ITを運営する人が、通常、オーナーであり、スチュワードであり、レポートの読み手です。ガバナンスは1ページに留め、年に二回レビューし、ベンダーが提供するレポートが自社のものと異なる定義でメトリクスを定義しているときは特に注意してください。顧客に向けた数字を、事業側の誰が所有するかを明らかにします。

大企業。 規模は共有層を不可欠にします。ワークフロー付きの台帳、四半期ごとに開く軽量な評議会、主要な領域ごとのデータスチュワードの役割を使います。作業用の測定値についてはチームの自律を保ち、サービスの種類によって異なるべきメトリクスを標準化することは避けます。組織にすでにあるデータガバナンスと揃えることで、労力を節約できます。

政府・公共部門。 法定の報告、監査、調達によって、書面の定義と変更記録は義務になります。台帳を監査の成果物として扱い、公表されるすべての数字からそのオーナーと情報源への明確な線を保ってください。アクセスの判断には法務やプライバシーのレビューが関わることが多いため、制限されたビューごとの根拠を記録します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

コストは控えめで、ほとんどが時間です。最初の台帳を作るのに数時間、レビューに四半期あたり一、二時間、そして食い違う情報源を解決するデータスチュワードの労力を見込んでください。スプレッドシートやバージョン管理されたファイルで始めるのに十分なので、ツールのコストは低くなります。

見返りは、主に回避される無駄です。数字のすり合わせに費やされる会議はなくなり、監査では明確な証跡が見つかり、定義が書き下されているため新しいサービスオーナーの立ち上がりは速くなります。判断は、毎月同じ意味を持つ数字に基づくため、より良くなります。自分たちのデータなしに、これらの便益にパーセンテージを挙げてはいけません。ビジネスケースに数字が必要なら、先四半期に食い違う数字のすり合わせに費やした時間と、オーナーが記録されていないメトリクスの数を数え、二回のレビューサイクルの後にもう一度数えてください。

アンチパターンと落とし穴

  • 委員会によるオーナーシップ。 グループがメトリクスを所有し、誰も問い合わせに答えない。責任ある役割を一つと、その代理を指名する。
  • 墓場としての台帳。 一度作られたきり、触れられない。レビュー日をカレンダーに入れ、すべてのダッシュボードに日付を表示する。
  • 何もかも標準化する。 仕事が異なるチームに一つの定義を押し付けると、どこでも意味のない数字が生まれる。合意が必要な層だけを共有する。
  • 黙った定義変更。 傾向が壊れ、信頼がそれに続く。すべての変更を理由とともに記録し、グラフに注記を付ける。
  • 廃止のないガバナンス。 集合は増える一方で、注意が薄まる。レビューのたびに廃止のテストを適用する。
  • 既定の秘密主義。 測定される人々から作業用ビューを隠すと、疑念が育つ。本当にリスクのあるものだけを制限し、その理由を説明する。
  • 個人レベルのデータへの開かれたアクセス。 一度の抽出が、数日でランキング表になりうる。報告の粒度をチームとサービスに定め、個人レベルのデータはスチュワードの下で保持する。
  • コンプライアンスの芝居。 チェックリストを満たすために欄が埋められる。エントリを真実かどうか抽出して調べ、オーナーに最近の動きを説明してもらう。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
オーナーシップと台帳 オーナーが不明で、メトリクスは個人のスプレッドシートにある 一部のチームがオーナー付きの一覧を保持する 報告されるすべてのメトリクスの台帳が一つあり、それぞれに名前と役割のあるオーナーがいる 網羅率と鮮度を傾向として追い、ギャップは予算付きの修正につながる 数字が組織の境界をまたぐところで、台帳が供給者や顧客と共有される
定義と変更管理 定義が人によって異なる 一部の契約メトリクスに書面がある 報告されるすべてのメトリクスに、時計を含む書面の定義と変更ログがある 変更は、リリース前に傾向への影響がレビューされる 判断に情報を与えなくなった定義を、チームと供給者が共同で見直す
レビューと廃止 メトリクスは追加されるだけで、取り除かれない 時折の整理 レビューの頻度と廃止のテストが書き下されている レビューの結果が改善の作業として追跡される 廃止と更新が日常的で、ユーザーとチームからの証拠に導かれる
アクセスと読み手 たまたまアクセスが決まる 機微なデータには制限されたビューがある メトリクスごとに、理由付きで読み手が列挙されている アクセスが定期的にレビューされ、個人レベルのデータはスチュワードが保持する 読み手は、測定される人々や顧客とともに設計される

チェックリスト

  • メトリクス台帳があり、報告されるすべてのメトリクスが載っている。
  • 報告されるすべてのメトリクスに、名前付きのオーナーと記録された役割がある。
  • 報告されるすべてのメトリクスに、開始、停止、除外の規則を含む書面の定義がある。
  • 各メトリクスについて、台帳に権威ある情報源が一つ記されている。
  • 各メトリクスについて、レビュー日と間隔が記録されている。
  • 定義の変更は理由とともに記録され、グラフに印が付けられている。
  • 廃止のテストが書き下され、レビューのたびに適用されている。
  • 各ビューの読み手が記録され、制限には理由が付いている。
  • 報告されるビューが個人に順位を付けておらず、個人レベルのデータはデータスチュワードが保持している。
  • 直近の四半期に、台帳が真実かどうか抽出して調べられている。

AIプロンプト

メトリクスの集合の憲章を起案する。

[チームまたはサービス名] のために、1ページのメトリクス憲章を起案してください。このチームは [サービスまたはデリバリーの仕事の種類] を提供しています。メトリクスの集合は [メトリクスの一覧] です。読み手は [読み手] です。目的、明示的な非目標、次の役割を使ったオーナー、データスチュワード、レビュー担当者のRACI表 [役割]、レビューの頻度、廃止のテストを含めてください。私が書いたことのみに基づいて起案してください。メトリクス、目標、ベンチマークの値を捏造しないでください。前提と、憲章を完成させるために私が答えるべき問いを列挙してください。

メトリクスの二つのバージョンの食い違いを見つける。

同じはずのメトリクス [メトリクス名] について、二つの説明があります。バージョンA([情報源A]):[説明と計算式]。バージョンB([情報源B]):[説明と計算式]。何を数えるか、時計がどこで始まりどこで止まるか、どの状態が一時停止させるか、何を除外するかについて、両者を比較してください。[値A] と [値B] の差を説明しうる違いはどれかを述べ、オーナーへの問いを提案してください。私が示していない値を推測しないでください。前提と、判断できなかったことを列挙してください。

メトリクス台帳のギャップをレビューする。

以下は、項目 [項目の一覧] を持つ私たちのメトリクス台帳の抜粋です。オーナーの欠落、レビュー日がない、または [間隔] より古いエントリ、情報源が複数あるメトリクス、結び付いた判断がないメトリクス、個人レベルのデータを露出しうるビューがないかを確認してください。個人ではなくメトリクスごとにパターンを報告してください。私たちのメトリクスについての事実を捏造しないでください。所見のうち、テキストから確実なものと推測のものを区別して教え、前提を列挙してください。

[個人情報を除いた台帳の抜粋を貼り付け]

廃止レビューを計画する。

私たちは [間隔] ごとにメトリクスをレビューしています。廃止のテストは [テスト] です。以下の各メトリクスについて、私が提供するメモを使って、廃止、維持、統合、再設計のいずれかを、一行の理由とオーナーへの問いとともに提案してください:[最後に引用された日付とオーナーの役割付きのメトリクス]。また、各廃止を [読み手] にどう知らせるかも提案してください。利用データを捏造しないでください。前提と、あなたの推奨を変えうる情報を列挙してください。

AIスキル

要点

  • ガバナンスは、数字が時間を通じて同じ意味を保つようにするもので、1ページの台帳がその中核である。
  • 報告されるメトリクスごとに責任あるオーナーを一人指名し、人だけでなく役割も記録する。
  • 時計を含む一つの定義を書き、一か所で計算し、すべての変更を記録する。
  • ガバナンスの重みを、メトリクスの結果の重みに合わせる。
  • 誰がどのビューを見るかを意図して決め、個人レベルのデータを報告から外し、証拠に基づいてメトリクスを廃止する。

参考文献とさらなる読書

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  4. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  5. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
  6. ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
  7. Wikipedia, Data governance.
  8. Wikipedia, Single source of truth.
  9. Wikipedia, Data steward.
  10. Wikipedia, RACI matrix.
  11. Wikipedia, Data dictionary.
  12. Wikipedia, Principle of least privilege.
  13. Wikipedia, Continual improvement process.