概要と動機

グッドハートの法則(Goodhart's law)は、測定に関する最も古い警告です。経済学者のチャールズ・グッドハートは1975年、英国の金融政策について書くなかで、統計上の規則性は、当局が管理目的でそこに圧力をかけると崩れやすいことに気づきました。広く知られる言い回しは後に生まれました。人類学者のマリリン・ストラザーンは1997年に、「測定値が目標になると、それは良い測定値ではなくなる」と述べました。二つの文は同じことを言っています。数字が人を操るために使われた瞬間、人は数字を操るのです。

同じ考えには別の名前もあります。社会科学者ドナルド・キャンベルのキャンベルの法則(Campbell's law)は、定量的な指標が判断に使われるほど、腐敗の圧力を受けやすくなり、監視するはずのプロセスをゆがめる、と述べます。コブラ効果(cobra effect)は、取り除くはずのものをかえって増やした報奨金の話です。どれも逆インセンティブ(perverse incentive)の例で、報酬を与える側が望んだ方向とは逆に行動を押しやる報酬です。

ITサービスを構築し運用するチームは、特に影響を受けやすい立場にあります。継続的デリバリーと、ITILが体系化したITサービスマネジメント(ITSM)は、どちらもタイムスタンプ、件数、ステータスを絶え間なく生み出します。チケットシステムは、チケットがいつ開かれ、いつ割り当てられ、いつ時計が止まり、いつクローズされたかを記録します。デリバリーのツールは、仕事がいつ始まりいつ終わったかを記録します。これらの数字は集めるのが安く、グラフにしやすく、目標にしやすいものです。同時に、誰の役にも立たないまま動かすことも簡単です。

このトピックと本書の残りの部分では、三つの用語が繰り返し現れます。測定値(measure)は何かを記述します。目標(target)は、誰かが達成すると期待される数字です。防護柵(guardrail)は、あらかじめ選んでおく第二の測定値またはプラクティスで、最初の測定値が悪用されているときに動きます。測定値から目標へ進む段階でトラブルが始まり、防護柵はそれに気づくための手段です。

このトピックは、他のすべてのトピックを支配する規則を定めます。本書のメトリクスの各ファミリーには、悪用の手口(典型的にどう悪用されるか)と防護柵が付いています。後のトピックがそれを欠いているように見えたら、そのトピックは未完成とみなしてください。

人が数字を悪用する理由

悪用は、たいてい不誠実さの表れではありません。目の前にあるインセンティブに対する、有能な人々の普通の反応です。四つの力が働いています。

  • 圧力。 誰かのボーナス、評価、契約更新、評判が数字に左右される。正式な結び付きがなくても、人はリーダーシップが何をグラフにするかから、何を気にしているかを推し量る。
  • 代理化(surrogation)。 代理化(Surrogation)とは、測定値を、それが表すもの自体であるかのように扱う傾向です。組織でこれを研究した研究者たちは、測定値に結び付いた成果報酬がそれを起こりやすくすると見いだしました。「クローズしたチケット数」を追うチームは、目標は問題の解決ではなくチケットのクローズだと信じ始めます。
  • 恐れ。 悪い数字が非難を招くとき、人は悪い知らせを隠す。インシデントの重大度は下げられ、障害は「計画メンテナンス」と呼び替えられ、欠陥は機能要望として記録される。
  • 局所最適化。 チームは評価される部分を改善し、評価されない部分にコストを押し付ける。サービスデスクは素早くクローズし、2次対応が繰り返しを引き継ぐ。

これらの力を理解することが重要なのは、対策がより厳しい取り締まりではないからです。悪用を合理的にしている条件を変えることです。

主要な原則

  • 判断するためでなく、学ぶために測る。 数字はまず仕事をするチームに見せ、問いを立てるために使う。
  • すべてのメトリクスを防護柵と組にする。 速さと品質、量とアウトカム、コストと体験。
  • チームとシステムを記述し、人に順位は付けない。 個人のランキング表は、データソースを腐らせる最も速い方法である。
  • 目標よりアウトカムと傾向を優先する。 方向性と対話は、しきい値に勝る。
  • 時計を含め、定義を書き下す。 あいまいな定義の中に悪用は隠れる。
  • 変化を想定する。 メトリクスが判断に情報を与えなくなったら、廃止または再設計する。
  • 悪い知らせを安全にする。 誠実な報告が罰されれば、データは嘘をつく。

メトリクスの定義

以下のメトリクスは、サービスやデリバリーの測定値ではありません。メトリクスの実践そのものの健全性を測るものであり、本書のすべてのメトリクス表がとる形を示しています。最初の三つは、後のトピックで繰り返し現れる防護柵の例です。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
防護柵の網羅率 報告されるメトリクスのうち、名前付きで追跡される防護柵を持つものの割合 防護柵のあるメトリクスの数 ÷ 報告されたメトリクスの数 パーセント メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) 測定とレポート、継続的改善 ワーキングアグリーメントのレトロスペクティブ 四半期ごと
再オープン率 所定の期間内に再オープンされた、クローズ済みチケットまたは作業アイテムの割合 14日以内に再オープンされたアイテムの数 ÷ その期間にクローズされたアイテムの数 パーセント ITSMツールまたは課題管理のステータス履歴 インシデント管理、問題管理 完了の定義、流出した欠陥 毎月
定義変更の件数 ある期間におけるメトリクス定義またはステータスのワークフローの変更の数(理由付き) 定義変更ログのエントリ数 件数 メトリクス台帳の変更ログ 測定とレポート ワーキングアグリーメント 四半期ごと
メトリクスの利用率 報告されたメトリクスのうち、その期間に判断で引用されたものの割合 記録された判断で引用されたメトリクスの数 ÷ 報告されたメトリクスの数 パーセント 判断ログまたはレビューのメモ 継続的改善 レトロスペクティブのアクション 四半期ごと
認識のギャップ 同一サービスについての、満足度アンケートの結果とチケット由来のサービスレベルとの差 アンケート由来の割合 − 追跡システム由来の割合 パーセントポイント アンケートツールとITSMツール サービスレベル管理 ステークホルダーレビューのフィードバック 四半期ごと

再オープン率は、同じレコードの中で再オープンされたアイテムだけを数えます。クローズされた後に新しいチケットとして再起票されたアイテムは現れません。次の節の要点の一つは、防護柵自身にも防護柵が必要だということです。たとえば、重複チケットを元のチケットに紐づけることです。

推奨事項

測定のしくみを設計する

1. 数字ではなく問いから始める。 メトリクスを追加する前に、それが答える問いと、情報を与える判断を書きます。「利用者は最初の対応で問題を解決できているか?」は問いです。「平均処理時間を減らす」は、問いのふりをした目標です。判断が結び付いていないメトリクスは、廃止の候補です。

2. 緊張関係にあるメトリクスを選ぶ。 単一の数字は過剰な最適化を招くため、互いに引っ張り合う組を選びます。リードタイムと変更失敗率、チケットのクローズの速さと再オープン率、可用性とユーザーが報告する体験などです。組は計算式である必要はありません。同じページに並べて示されることが必要です。

3. 時計と除外を定義する。 すべての時間の測定値について、時計がどこで始まり、どこで止まり、いつ一時停止してよいかを書きます。サービスデータにおける悪用の多くは、この境界に潜んでいます。「顧客待ち」に入れたチケットはサービスレベルの時計を止め、適用後にしか記録されない変更は、変更のリードタイムから逃れます。一時停止状態があるなら、それがどのくらいの頻度で使われているかを報告します。

4. 分布とパーセンタイルを使う。 チケット解決時間の平均は、簡単なチケットが少数素早くクローズされる一方で難しいものが滞留しても、改善して見えることがあります。中央値と高いパーセンタイル(たとえば85または95パーセンタイル)を示し、最も古い未解決のアイテムも示します。作業アイテムの年齢と最も古い未解決チケットは、実際に仕事を終えない限り悪用しにくいものです(トピック 2.1「フロー指標」を参照)。

5. メトリクス台帳を保つ。 短い台帳に、各メトリクスのオーナー、定義、データソース、悪用の手口、防護柵、最後にレビューした日付を載せます。地味ですが、このトピックの中で最も効果的な習慣です(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。

メトリクスを安全に導入する

6. まずチームに、生のデータを見せる。 リーダーシップより先に数字を見るチームは、その正確さを進んで疑います。グラフではなく、基になるアイテムから始めてください。データが、それを生み出した人々との対話に耐えられないなら、ダッシュボードにも耐えられません。

7. 学習のためのビューと説明責任のためのビューを分ける。 チームの作業用ビューには、見栄えの悪いものも含め、多くの測定値があってかまいません。リーダーシップに届けるのは、少数で安定した集合にします。リーダーシップが作業用ビューを求めたなら、作業用ビューのほうが見栄え良く変わるものと思ってください。

8. 個人の報酬、懲戒、順位をメトリクスに結び付けない。 チームには、自分たちの数字を説明し改善することを求められます。チケット数、ストーリーポイント、コミットに個人の目標を置けば、人は件数を最大化することを学びます。重要業績評価指標(key performance indicator)の手法は、指標がシステム全体のために選ばれ、定期的にレビューされるなら機能します。一人ひとりの成績表になったときに破綻します。

9. 誠実な報告を安全にする。 心理的安全性(Psychological safety)とは、間違いや懸念を声に出しても罰せられないという信念です。インシデントの非難なきレビューは、その実践例です。これがなければ、インシデントの件数は誤った理由で減ります。人が報告をやめるからです。

システムを誠実に保つ

10. 悪用レビューを行う。 四半期に一度、報告される各メトリクスについてチームに一つの問いを投げます。「誰の役にも立たずにこの数字を良く見せたいなら、私たちは何をするか?」答えを書き留め、その一つひとつを防護柵が捉えるかどうかを確認します。この演習は安価で、有用な着想を生み、対話を疑念から設計へと移します。

11. 定義を現実に照らして監査する。 クローズされたアイテムを少数抽出して読みます。本当に解決されていたか。優先度は誠実だったか。「顧客待ち」は、実際に顧客を待っていたことを意味していたか。15分の抽出が、一か月分のダッシュボードより多くを教えてくれることがよくあります。

12. メトリクスを廃止する。 二四半期にわたって判断で引用されていないメトリクスは、負担です。取り除き、そのことを伝えます。信頼される少数のメトリクスは、多数に勝ります。

悪用の手口と防護柵

この表は、上の節のメトリクスを扱います。後のトピックでは、同じ形をサービスとデリバリーの測定値に適用します。

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
防護柵の網羅率 防護柵を紙の上で指名するだけで、追跡はしない 台帳をレビューする。防護柵の最新の値が同じダッシュボードに現れている場合にのみ、数に入れる
再オープン率 再オープンせずにチケットをクローズして新しいものを起票する。再オープンが期間外になるよう期間を長くする 重複および紐づけられたチケットの率。複数のチケットにまたがる同じ原因の再発
定義変更の件数 件数を低く保つために変更を記録しない。誰にも知らせずにワークフローを変える レビューのたびに、ツール内のステータスモデルと台帳を比較する
メトリクスの利用率 形式として、判断ログですべてのメトリクスを引用する その引用によって何が変わったかを尋ねる。ログを抽出して調べる
認識のギャップ 満足しているユーザーだけに調査する。良いやり取りの後の時刻に調査を誘導する アンケートの回答率と回答者の構成。自由記述のコメントをレビューで読み上げる

健全な読みとは、変化する測定の実践です。定義は記録された理由で調整され、メトリクスは現れては去り、チームは数字が変えた判断について語ることができます。

トレードオフ:長所と短所

手法 強み 弱み
目標なしの測定 悪用を減らす。率直な議論を促す 誰も行動しないレポートに流れやすい
防護柵付きの目標 方向性と緊急性を与える。組が悪用を抑える 維持の手間が増える。防護柵も時間とともに悪用される
個人のメトリクス 分かりやすい。公平に見える データを腐らせる。協働を損なう
チームとサービスのメトリクス 仕事が実際に行われる姿に合う 帰属が難しい。個人の支援ニーズが隠れる
少数のメトリクス 信頼しやすく覚えやすい 死角がある。新しい問題を見逃すかもしれない
多数のメトリクス 網羅範囲が広い 注意が薄まる。各メトリクスの統治が弱い

文章での答えは、目標は控えめに、よく理解されていて悪用しにくい条件、たとえばユーザーが求めたサービスレベル目標に限って使うことです。その場合でも、目標は個人の評価ではなくサービスに結び付けるのが望ましいです。目標は、判断から数字を取り除くことではありません。数字を生み出す人々を味方に付けることで、数字を現実とつなげておくことです。

チームで話し合う問い

1. 現在のダッシュボードで、仕事を改善せずに最も数字を良くしたくなるのはどれか? 人が最初に見るメトリクスから始め、次にリーダーシップが尋ねるものへ移ります。具体的な操作を尋ねてください。圧力を受けたら、データに何をするか。ファシリテーターは、各答えを評価せずに記録します。そのリストが台帳の悪用の手口になるからです。最後に、そのうち防護柵が捉えるものと、見逃すものはどれかを尋ねます。

2. 最も重要な時間の測定値で、時計はどこで始まりどこで止まるのか、それは誰が決めたのか? チケットまたは作業アイテムのライフサイクルをホワイトボードに描いてもらい、各状態に印を付けます。顧客待ちや保留のように、時間が消えうる状態を探します。各状態がどのくらいの頻度で、誰によって使われているかを数えます。二つのチームが同じ言葉を違う意味で使っていることが、この対話で明らかになることがよくあります。

3. 数字のせいで役に立たないことをしたのは、最近いつか? 非難ではなく、体験談を募ります。よくある例は、確認の前にチケットをクローズする、デプロイ回数を増やすために変更を分割する、違反報告を避けるためにインシデントを再分類する、といったものです。ファシリテーターは、その人が何を守ろうとしていたのかを尋ねます。答えは、たいてい変えるべきインセンティブを示します。

4. 私たちのメトリクスを誰が見て、そこで何が起きるのか? 各メトリクスを、チームからその読み手まで追います。どのバージョンかが、チームや人を比べるのに使われていないかを尋ねます。読み手が違えば、チームは何を見せるかを尋ねます。見せる数字を変えたくなる箇所には、読み手と話し合うべき信頼のギャップがあります。

5. 最も重要な五つのメトリクスそれぞれの防護柵は何で、同じページにあるか? ボードに二列のリストを作ります。メトリクスに防護柵がなければ、候補を一つとそのオーナーを決めて、一四半期試します。防護柵があっても滅多に見られないなら、その理由を話し合います。単にメトリクスの逆であるような防護柵を選ぶのは避けてください。新しいことが何も分からないからです。

6. 今四半期に廃止すべきメトリクスはどれか? 証拠を求めます。最後に判断で使われたのはいつか。誰も思い出せなければ、試験期間として廃止し、誰かが気づくかを見ます。ファシリテーターは、廃止を普通の出来事として扱ってください。メトリクスを決して手放さないチームは、誰も信頼せず読まないレポートを抱えることになります。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、ベロシティ、スループット、デプロイ回数を通じて悪用に出会います。特にベロシティ(Velocity)は、一つのチームのための計画ツールであり、生産性の測定値ではありません。それでチームを比較すれば、見積もりの水増しにつながります。デリバリーのチームは、作業用の測定値を自分たちのものにし、外へは少数を公開し、各速さの測定値を品質の測定値と組にするべきです(トピック 2.5「デリバリー予測と計画のメトリクス」を参照)。

サービスと運用のチーム

サービスのチームは、解決時間、初回問い合わせでの解決、サービスレベルの遵守を通じて悪用に出会います。時計を止める状態と優先度の欄は、ずれが生じる典型的な箇所です。運用チームは、ステータス遷移を定期的に監査し、一時停止状態の使用を報告し、速さの隣で再問い合わせと再オープン率を見るべきです。オンコールのチームは特に、呼び出されないことを報いる測定値に注意してください。それは誠実なアラートを罰してしまいます(トピック 3.3「インシデントの対応時間と解決時間」を参照)。

リーダーシップとガバナンス

リーダーは、意図せずにインセンティブを決めてしまうことがあります。レビューでの問い(「なぜこれは赤なのか?」)は、チームに何を隠すべきかを教えます。リーダーは、チームが数字から何を学んだかを尋ね、ランキング表を会議の場から遠ざけ、率直な報告を守り、悪い数字が明らかにした改善の作業に資金を出すべきです。ガバナンスの組織は、報告の一部としてメトリクス台帳と悪用レビューを求め、メトリクスの定義された変更を普通のことと扱うべきです。

顧客とユーザー

ユーザーは、悪用の影響を、紙の上では良く見えて実際には質の悪いサービスとして体験します。直っていないのにクローズされたチケット、計画済みと呼ばれた障害、自分に届かなかったアンケートなどです。ユーザーは最良の防護柵でもあります。アンケート、苦情、コメントという形のフィードバックは、運用の数字の隣に置き、点数に還元せずに全文を読むべきです(トピック 6.1「顧客満足度のメトリクス」を参照)。

実践:サービスマネジメントの例

地域の病院のIT部門が、サービスデスクと、臨床アプリケーションを構築するいくつかのプロダクトチームを運営しています。この例の数字は例示です。

リーダーシップは、合意した時間内にインシデントの90パーセントをクローズするという目標を設定します。二か月以内に、ダッシュボードは94パーセントを示します。サービス運用の責任者は喜びつつも不安を覚えます。臨床スタッフからの苦情が、減るどころか増えているからです。彼女はチームに、そのメトリクスの悪用レビューを行うよう頼みます。

チームはチケットのライフサイクルを描きます。チケットが平均して二回ずつ「顧客待ち」に移り、その状態にいる時間が長くなっていることが分かります。クローズされたチケット30件を抽出すると、7件が、一度電話をかけただけで「ユーザーからの応答なし」というメモでクローズされていました。また、再オープン率が横ばいなのは、問題が再発したときにユーザーが「新しいチケットを起票してください」と言われていたからにすぎないことも見つかります。

チームは三つの変更を行います。第一に、解決時間のグラフは、中央値、90パーセンタイル、最も古い未解決チケットに加えて、一時停止状態で過ごした時間の割合を示すようになります。第二に、ダッシュボードに再問い合わせ率を追加します。同じユーザーが同じサービスについて14日以内に起こした新規チケットの割合と定義します。第三に、クローズされたチケットの無作為標本に短いアンケートを送り、その自由記述を毎月のレビューで読みます。

三か月後、見出しの遵守率の数字は88パーセントに下がり、悪い知らせのように感じられます。しかし再問い合わせ率は下がり、未解決の問題についてのアンケートのコメントは少なくなっています。運用の責任者はリーダーシップに、古い数字は水増しされていて、新しい姿のほうが誠実だと伝え、修正後の定義に基づくサービスレベル目標を受け入れるよう求めます。判断ログに記録された決定は、すぐにではなく、もう一四半期分のデータを得てから目標を設定する、というものです。

アジャイル、AI、自動化、アナリティクス

アジャイル

短いフィードバックループは、チームが悪用に早く気づくことを可能にします。よく合うプラクティスは、定期的なレビューのたびに、ステークホルダーが同席する場で、生のアイテムを少数読み、見出しの数字と比べることです。注意点は、報告の速さを報いるループ自体が目標になりうることなので、各レビューの目的は学習に置いてください。

AI

AIは、悪用の見え方を変えます。モデルは、もっともらしい解決メモ、状況更新、チケットの分類を大量に生み出せるため、そうした成果物を数えるメトリクスは、実際の仕事なしに満たされうるのです。AIの影響を受けるすべての件数に、人による品質の抽出確認を組み合わせ、AIの出力のうち人が変更した割合を報告してください。注意点は、修正率が低いことが、良い下書きを意味することも、雑なレビューを意味することもあるため、二つを併せて読むことです。

自動化

自動収集は、データへの手作業の編集をなくし、悪用の経路の一部を閉じます。メトリクスだけでなく防護柵も自動化し、両方が同じページに現れるようにします。注意点は、人が自動化の読み取る入力、たとえばチケットの区分や一時停止状態を悪用するようになることです。そのため、定義を実際のアイテムの抽出に照らして監査してください。

アナリティクス

分析は、奇妙な分布から悪用を明らかにできます。報告の締め切り直前にクローズされたチケットの急増や、ちょうど目標値に固まった塊などです。そうしたパターンは、悪意の証拠ではなく、対話のきっかけとして使ってください。注意点は、検出ルールはいずれ知られて避けられるため、防護柵を入れ替え、レビューに人を残すことです。

業種別の視点

スタートアップ。 小さなチームはメトリクスが少なく、信頼が強いのが利点です。危険は、大企業のダッシュボードを早く持ち込みすぎることです。創業者が実際に使う二、三の測定値から始め、定義を書き下し、個人の成績の対話から遠ざけてください。

中小企業。 リソースは乏しく、ITを運営する人がオーナーに直接報告していることがよくあります。顧客からの苦情一件が、どのダッシュボードよりも重くなりえます。測定値は少なく保ち、ユーザーからの直接のフィードバックを優先し、ベンダーが提供するレポートは、ベンダーに自身のインセンティブがあるため、多少の注意を持って扱ってください。

大企業。 規模は、比較可能な数字への要求と、それを悪用する圧力の両方を増幅します。書面の定義がある少数の標準セットを使い、チームの作業用ビューと集約ビューを分け、異なる種類のサービスに取り組むチーム同士の比較は避けてください。メトリクス台帳とレビューの頻度が不可欠になります。

政府・公共部門。 報告義務と契約上のサービスレベルによって、一部の目標は交渉の余地がなくなります。それらは設計上の入力として扱ってください。満たし、隣に防護柵を示し、使った定義を報告します。公的な説明責任は悪い知らせを隠すコストを高めるため、安全な内部チャネルを築き、修正した定義について率直であってください(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

このトピックを適用するコストは、ほとんどが時間です。定義と台帳を書く数時間、短い四半期ごとの悪用レビュー、クローズされたアイテムの随時の抽出確認です。ツールのコストはほとんどありません。より大きなコストはリーダーシップの注意です。この規律は、数字を読む人々が一貫して振る舞う場合にしか機能しないからです。

見返りは、無駄の回避とより良い判断から生まれます。腐ったデータに基づく判断は、投資を誤った問題へ向けかねません。たとえば、本当の問題が欠陥による再問い合わせなのに、チケットをより速くクローズするためにサービスデスクの人員を増やすことです。悪用はまた、チームとそれに頼る人々との信頼を損ない、その修復は困難です。便益は、作り上げた割合ではなく、パターンで説明してください。判断の覆りの減少、監査での不意打ちの減少、運用の数字とユーザー体験とのより良い一致です。ビジネスケースに数字が必要なら、変更の前後で、認識のギャップや再問い合わせ率など、自分たち自身のベースラインを測ってください。

アンチパターンと落とし穴

  • 防護柵のない目標。 単独の目標は、使える経路のどれかで達成される。目標を公表する前に、組になる測定値を加える。
  • 人やチームのランキング表。 悪用を招き、チーム間の助け合いを妨げる。各チームに、文脈付きで自分の傾向を見せる。
  • 罰としてのメトリクス。 非難を招く赤い数字は、隠蔽によって緑になる。代わりに、チームが何を必要としているかを尋ねる。
  • 偏ったデータの平均。 ユーザーが苦しむ裾を隠す。パーセンタイルと最も古いアイテムの年齢を使う。
  • 黙った定義変更。 トレンドラインが無意味になる。すべての変更を理由とともに記録し、グラフに印を付ける。
  • 防護柵を新しい目標として扱う。 そうなると防護柵が悪用される。両者を併せてレビューし、効力を失った防護柵は入れ替える。
  • 見栄えだけのメトリクス。 処理したチケット数やコミット数のように、増えるだけの件数は、アウトカムについて何も語らない。増えるだけでなく減りもする測定値を優先する。
  • 定性的な証拠の無視。 数字だけでは、クローズされたチケットが未解決のまま感じられたことは示せない。コメントを読む。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
定義と時計 非公式で、人によって数え方が違う 一部のメトリクスに書面がある メトリクスごとに、時計と除外を含む一つの書面の定義がある 定義をレビューし、変更を理由とともに記録する 定義がチームと供給者の間で揃えられ、判断に情報を与えなくなれば見直される
防護柵 なし 一部のメトリクスに指名されている 報告されるすべてのメトリクスが、同じページに防護柵を持つ 防護柵を四半期ごとに悪用の観点でレビューする 防護柵は入れ替わり、測定される人々と共同で設計される
利用と安全 数字が非難の割り当てに使われる チームが自分たちの数字を見る チームが先にデータを見る。個人のランキングはない リーダーシップが学びの問いを投げ、報告は安全である 顧客と供給者が数字について率直な見方を共有する

チェックリスト

  • 報告されるすべてのメトリクスに、文章の問いと、情報を与える判断がある。
  • すべての時間の測定値に、開始、停止、一時停止の書面の規則がある。
  • 報告されるすべてのメトリクスの隣に、名前付きの防護柵が示されている。
  • 時間の測定値は、パーセンタイルと最も古い未解決アイテムの年齢を示している。
  • オーナー、定義、悪用の手口、防護柵、レビュー日を載せたメトリクス台帳がある。
  • チームは、リーダーシップより先に自分たちのデータを見る。
  • 個人の順位付け、報酬、懲戒がメトリクスに結び付いていない。
  • 四半期ごとの悪用レビューが予定に入っている。
  • 毎四半期、クローズされたアイテムの抽出を、誠実さの観点で読んでいる。
  • 過去一年に、少なくとも一つのメトリクスを廃止または再設計した。

AIプロンプト

メトリクスの悪用レビューを行う。

私は [チーム名] を率いており、[サービスまたはデリバリーの仕事の種類] を運営しています。私たちは次のメトリクスを報告しています:[メトリクス名]。定義は [時計の開始と停止を含む定義] です。これは [読み手] が [判断または目標] のために使っています。データは [ツール] から得ています。

ユーザーのためにサービスを改善せずに、このメトリクスを良く見せることができる現実的な方法を列挙してください。それぞれについて、それを明らかにする防護柵のメトリクスまたはプラクティスを提案し、その防護柵自身の悪用の手口が何になるかを述べてください。ベンチマークの値を捏造しないでください。前提と、私が提供した情報から判断できなかったことを列挙してください。

メトリクス台帳のエントリを起案する。

[チーム名] の [メトリクス名] について、メトリクス台帳のエントリを起案してください。項目は、答える問い、情報を与える判断、定義、計算式、単位、データソース、オーナーの役割、レビューの頻度、悪用の手口、防護柵、そして誤っていた場合にユーザーや顧客がどう気づくかです。エントリは次の説明のみに基づいてください:[メトリクスと現在のプロセスの説明]。仮定した項目にはすべて印を付け、エントリを完成させるために私が答えるべき問いを列挙してください。

クローズされたチケットの抽出を監査する。

[サービス] のクローズされたチケット [件数] 件を、項目 [項目の一覧] と、下に貼り付けた解決メモとともに示します。それぞれについて、問題が解決されないままチケットがクローズされた、一時停止状態で時計を止めた、優先度や区分が調整されたように見える、といった兆候がないか確認してください。個人ではなくパターンを報告してください。テキストに裏付けのない原因を推測しないでください。データから判断できなかったことと、どの追加項目が役に立つかを教えてください。

[個人情報を除いたチケットを貼り付け]

メトリクスを安全に導入する計画を立てる。

[メトリクス] を [読み手] に導入する予定です。現在の状況:[チームの規模、文化、これまでのメトリクスの経験]。誰が最初にデータを見るか、目的をどう説明するか、何に使わないか、どの防護柵を併せて示すか、機能しているかをいつレビューするかを含む、展開計画を提案してください。悪用や恐れのリスクを指摘し、それを減らす方法を提案してください。前提を列挙し、統計を捏造しないでください。

AIスキル

要点

  • 目標になった測定値は、仕事を記述しなくなる。数字は問いを立てるために使う。
  • 悪用は、圧力と恐れに対する正常な反応であり、取り締まりではなく条件を変えることで減る。
  • すべてのメトリクスに、時計を含む書面の定義と、隣に示した防護柵が必要である。
  • 平均よりパーセンタイルと、最も古いアイテムの年齢を優先する。
  • チームとサービスを記述し、個人に順位は付けず、チームに先に自分のデータを見せる。
  • 四半期ごとに悪用をレビューし、判断に情報を与えなくなったメトリクスは廃止する。

参考文献とさらなる読書

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Cobra effect.
  11. Wikipedia, Perverse incentive.
  12. Wikipedia, Surrogation.
  13. Wikipedia, ITIL.
  14. Wikipedia, Key performance indicator.
  15. Wikipedia, Psychological safety.
  16. Wikipedia, Velocity (software development).