メトリクスプログラムの成熟度モデル
共有の5段階の尺度を、メトリクスプログラムが今どこにあるかを記述し、次の小さなステップを選ぶために使う。表示、比較、認証のためのスコアとしては決して使わない。
概要と動機
この本の他のすべてのトピックは、その主題についての小さな成熟度の表で終わります。このトピックは、同じ尺度を、メトリクスプログラム全体に適用します。問いは、チームのインシデントの時間がどれだけ良いかではありません。組織が測定値をそもそもどれだけうまく収集し、読み、行動するかです。定義が共有されているか、データが信頼されているか、数字が判断につながるか、測られる人々がプログラムを助けと見ているか。
成熟度モデルは、実践が発展するにつれて組織が通りうる段階の記述です。ソフトウェアで最もよく知られた例は、ソフトウェア工学研究所での仕事から生まれて広く普及した、能力成熟度モデル(Capability Maturity Model)です。その影響は大きく、続いた批判も同様でした。組織は能力ではなくレベルを追いかけ、監査人は書類を採点し、モデルはバッジとして使われるようになりました。あらゆる成熟度モデルの責任ある利用は、三つの注意を視野に入れ続けます。尺度は対話のツールであり、認証ではない。高いことが常に良いわけではない。適切なレベルは文脈に依存するからである。そしてモデルは成果の代わりにはならない。サービスを改善しない成熟したプログラムは、非常に整頓された失敗であり、バッジとして示されるレベルは、見栄えが良くて判断に情報を与えない数字である虚栄のメトリクス(vanity metric)とよく似ています。
ここで使う尺度は、この本とService Management Guideで共有されるものです。開始、発展、標準化、管理、協調(仕様の共有の成熟度モデルを参照)。意図的に、ITIL、ISO/IEC 33000、能力成熟度モデルのプロセス成熟度の尺度と同じではなく、チームはこれを根拠に、それらのどのフレームワークのスコアも主張すべきではありません。
アジャイルの狙いは、その使い方を指します。継続的改善は、モデルが最終状態に達するためではなく、次のステップを見つけるためのものであることを意味します。継続的な進化は、昨年協調に達したプログラムが、人が去ったり優先順位が変わったりすれば後退しうることを意味するので、自己評価は繰り返されます。ステークホルダーの継続的な関与は、評価がチームに対してではなく、チームとともに行われることを意味します。持続可能なペースは、プログラムが一度に一歩ずつ進み、1四半期で三つのレベルを飛び越えようとしないことを意味します。そして意欲のある個人を中心に築くことは、仕事をする人々が、プログラムが自分たちを助けるかを判断することを意味します。これは、ITILの継続的改善のプラクティスと同じ論理で、組織が現在の状態を確認し、方向を設定し、小さなステップで改善します。それは、全員による継続的改善という日本の考え方であるカイゼン(kaizen)に近い習慣です。より一般的な考え方は継続的改善プロセス(continual improvement process)です(トピック 9.5「継続的改善のメトリクス」を参照)。
このモデルには、メトリクスの文脈で特有の罠があります。自分自身のメトリクスで評価されるプログラムは、警告するその歪みそのものを招きます。「定義のある測定値の数」が目標になれば、定義が増殖します。したがってこのトピックのアプローチは、件数に加えて仕事からの証拠(どの判断が変わったか、チームが何と言うか)を使い、膨らませることから最も得るものが少ないチームに、評価を所有させます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。チーム向けの評価フォームの相棒は、付録にあります(トピック 12.5「成熟度の自己評価」を参照)。
主要な原則
- 尺度は対話のツールである。 人々が現在を記述し、次のステップを選ぶ助けとなるもので、格付け、ランク付け、認証のためではない。
- チームとともに評価する。 オープンに議論された自己評価は、外部のスコアリングより正確である。
- 証拠で判断する。 どの文書があるかに加えて、どの判断が変わったか、人々が何と言うか、データが何を示すかを尋ねる。
- 次元は異なりうる。 プログラムは、ツールで強く、信頼で弱いことがある。単一の数字ではなく、プロファイルを報告する。
- 一度に一歩進む。 すべてを一度にではなく、一つか二つの次元で次のレベルを目指す。
- 高いことが常に良いわけではない。 組織の規模、リスク、ニーズに合うレベルを選ぶ。
- 後退を予期する。 スタッフの入れ替わり、再編成、圧力が、プログラムを押し戻しうる。定期的に再評価する。
- チームのランキング表を決して公開しない。 プログラムについて集約し、チームの結果はそのチームとだけ共有する。
メトリクスの定義
以下の測定値は、プログラムの健全性とその評価を記述します。プログラムのチームとスポンサーのためのもので、話し合うシグナルとして読まれます。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 評価への参加 | 参加するチームのうち、自分たちの議論を伴う自己評価を完了した割合 | 完了して議論したチーム ÷ 参加するチーム | パーセント | 評価の記録 | 継続的改善 | 振り返りとレトロスペクティブ | 年2回 |
| 次元ごとのプロファイル | 各次元でのチームの自己評価レベルの分布。単一のスコアではなく範囲として示す | 各レベルのチームの数。次元ごとに | レベルごとのチーム数 | 自己評価。集約 | 継続的改善、ガバナンス | 見える仕事 | 年2回 |
| 評価からの改善アクション | 合意した次のステップのうち、完了した、理由を添えて落とした、あるいは進行中の割合 | クローズまたは理由づけされたアクション ÷ 合意したアクション | パーセント | 改善の台帳 | 継続的改善 | 小さな実験 | 四半期ごと |
| 判断の証拠 | 抽出した測定値のうち、チームが、直近の四半期にその測定値が情報を与えた判断または意図的な選択を挙げられる割合 | 名前の挙がった判断がある測定値 ÷ 抽出した測定値 | パーセント | チームへのインタビュー、レビューのメモ | 継続的改善 | 儀式より証拠 | 四半期ごと |
| 定義とデータへの信頼 | 定義が明確でデータが正しいというチームレベルの同意 | 短いチームのアンケートで同意した割合。回答率を示す | パーセント | 匿名のチームのアンケート | ナレッジマネジメント、情報管理 | 共有された理解 | 年2回 |
| 次のレベルまでの時間(記述的) | チームが、自ら選んだ場合に、ある次元を一つ上げるのにかかる経過時間 | 合意したステップからチームの再評価までの月数の中央値 | 月 | 評価の履歴 | 継続的改善 | 持続可能なペース | 毎年 |
| 評価の負担 | 評価がチームあたりにかかる時間 | チームあたりの時間の中央値 | 時間 | チームからの時間の見積もり | 継続的改善 | 持続可能なペース | 年2回 |
参加は、議論を伴う完了として測ります。一人で記入されたフォームはほとんど何も語らないからです。プロファイルは範囲であり、一つの成熟度の数字に平均されることは決してありません。次のレベルまでの時間は記述的です。速い上昇は膨らんだ自己採点を反映しているかもしれず、遅いものは適切な注意を反映しているかもしれません。評価の負担は評価自体の確認で、チームあたり1、2時間以内であるべきです。
推奨事項
尺度をうまく使う
1. メトリクスプログラムの次元を定義する。 実用的な集合は六つの次元を持ちます。(a) 問いと目的:測定値が聞き手の尋ねた問いに答えるか。(b) 定義とオーナーシップ:測定値に書面の定義とオーナーがあるか。(c) データとツール:データが正確、適時、持ち運べるか。(d) 判断での利用:数字が選択に情報を与えるか。(e) 信頼と安全:データが自分たちを助けると人々が信じるか。(f) レビューと進化:プログラムが自らを削るか。六つは役立つのに十分で、1時間で議論できるほど少ない数です。
2. 各レベルがどう見えるかを記述する。 下の「成熟度モデル」のセクションの表は、各次元の各レベルについて、短い記述を与えます。それらを促しとして扱います。チームは言葉を自分たちの文脈に適応させ、自分たち自身の例を書き留めるべきです。
3. 平均しない。 単一の全体スコアは、重要なパターンを隠します。高いツールの成熟度と低い信頼を持つプログラムは、その逆のプログラムとは異なる状況にあり、次のステップも異なります。プロファイルを示します。
チームに対してではなく、チームとともに評価する
4. 1時間の対話にする。 表を持ってチームを集めます。各自に、各次元でチームがどこにいると思うかを非公開で印付けてもらい、それから比較します。違いを話し合います。それらが同じプログラムの異なる体験を明らかにするからです。チームの見方に合意し、その背後の証拠を記録し、一つか二つの次のステップを選びます。
5. 証拠を求める。 主張される各レベルについて、例を求めます。「私たちは判断に数字を使っている」は、「先四半期のどの判断か?」という問いを招きます。抽出した測定値とインタビューを使って確認します。これは人々を尊重し、評価が希望的観測に流れるのを防ぎます。
6. 結果をチームとともに保つ。 チームのプロファイルは、そのチームのものです。プログラムは、ランキングではなく、集約した範囲と共通のテーマを共有します。評価が資金、立場、レビューに影響しないことを明確にします。影響するなら、チームはそれを膨らませ、価値が失われます(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。
次のステップを選ぶ
7. 他を制限する次元を選ぶ。 信頼と安全は、しばしば他のすべてを制限します。それがなければ、データは歪められ、判断は疑わしくなります。定義とオーナーシップは、しばしばデータと利用を制限します。一般的なパターンは、まず信頼と定義を強め、次にデータ、そして利用とレビューです。小さな改善が他を解き放つ次元を探します。
8. 小さく具体的なステップを設定する。 次のステップは、チームが1四半期で完了でき、認識できるものであるべきです。「憲章に合意する」、「私たちの四つの測定値の定義を書く」、「二つのフィードを自動化する」、「判断を記録する月次のレビューを開く」。「レベル4に到達する」のようなステップは避けます。レベルは状態を記述し、ステップは仕事を記述します。
9. ステップを改善の台帳にリンクする。 アクションを、他の改善の仕事と同じ場所に、オーナーと日付とともに置き、定期的な改善の対話で進捗をレビューします(トピック 9.5「継続的改善のメトリクス」を参照)。資金も予定もないステップは、起こりません。
誠実で軽く保つ
10. ランク付けせずにチーム間を較正する。 チームが、ある次元でレベル3と呼ぶものの例を共有する、短いセッションを開きます。基準の違いを話し合います。狙いは、等しいスコアではなく、共有された理解です。ファシリテーターをローテーションし、プログラム外のチームに言葉遣いへの異議を唱えてもらいます。
11. 周期的に、また出来事に応じて再評価する。 ほとんどのプログラムでは年2回で十分です。再編成、ツールの変更、憲章の違反の後に再評価します。これらは信頼をどちらの方向にも動かしうるからです。後退に注意し、失敗ではなく情報として扱います。
12. モデル自体を廃止または改訂する。 毎年、チームに、次元とレベルの記述がなお合っているかを尋ねます。紛らわしいものを書き直し、誰も使わないものを取り除きます。5年変わっていないモデルは、もう存在しないプログラムを記述しているかもしれません。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 評価への参加 | ノルマを満たすためにフォームを完了する、一人がチームのために記入する | チームの議論を求める。各主張の背後の証拠を求める |
| 次元ごとのプロファイル | よく見えるようレベルを膨らませる、助けを得るために低く申告する | 資金や立場にリンクしない。証拠を求める。オープンに較正する |
| 評価からの改善アクション | クローズするために些細なステップを選ぶ、実行せずにクローズする | ステップの大きさと価値をレビューする。次の評価で成果を確認する |
| 判断の証拠 | 事後に判断を捏造する、重要でない判断を列挙する | 日付と関わった人々を求める。「何もしないと選んだ」を判断として受け入れる |
| 定義とデータへの信頼 | 回答者に指導する、不満を隠す低い回答 | 匿名性と最小グループサイズ。回答率を示す。チームと直接話す |
| 次のレベルまでの時間(記述的) | 進捗の主張を急ぐ、後退を隠す | 記述的に保つ。証拠とともに読む。罰なしに後退を記録する |
| 評価の負担 | 時間を削るために議論を飛ばす | 時間を、参加と証拠の質と一緒に追跡する |
健全な読みは、レベルが混在するプロファイル、ツールや磨きより先に上がる信頼と定義、小さく完了した次のステップ、チームが名指しできる判断、そして時折の後退の誠実な記録です。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| チームの自己評価 | 誠実、所有される、素早い | 主観的。較正が要る |
| 外部の評価 | 一貫している。独立している | コストが高い。評価者のために演じることを招く |
| 単一の全体スコア | 伝えやすい | パターンを隠す。目標を招く |
| 次元ごとのプロファイル | どこで行動するかを示す | 要約しにくい |
| 年1回の評価 | 軽い | 後退に気づくのが遅い |
| 年2回とイベントによる契機 | 応答性がある | 労力が増える |
| 資金にリンク | 注目を得る | 膨張と悪用 |
| 資金とは別に保つ | 誠実なデータ | 支持を得る他の方法が要る |
散文での答えは、証拠を伴う軽い自己評価を行い、プロファイルと範囲を報告し、結果をチームとともに保ち、次のステップを、資金や立場ではなく改善の台帳に結び付けることです。
チームで話し合う問い
1. 六つの次元のうち、最も弱いのはどれと言えるか、何がそう言わせるか? 各自に非公開で一つ選んでもらい、それから共有します。ファシリテーターは、最近の例を求めてください。パターンを探し、どの次元が他を制限するかに合意します。
2. 先四半期に、測定値が変えた判断を挙げられるか? 列挙します。一覧が短ければ、なぜかを尋ねます。問題が、測定値、データ、見る習慣のどれかを話し合います。
3. 信頼と安全で私たちはどこにいて、どうやってそれを知るか? ヒヤリハットの報告、異議、アンケートの結果を見ます。実際に人々がどう話すかと比較します。それを動かすためにリーダーができることを一つ合意します。
4. 最も弱い次元の、小さく具体的な次のステップはどう見えるか? オーナーと日付とともに、一文で起案します。1四半期で終えられるか確認します。うまくいったとどうやって分かるかに合意します。
5. この評価が脅威のように感じられるのは何によるか、どう防ぐか? 人々が恐れる結果の使われ方を話し合います。結果が決して何に使われないかを書き下します。プログラムのリーダーが同意するか確認します。
6. 到達しなくてよいレベルはあるか? 私たちの規模、リスク、目標を考えます。今のところ十分に良いレベルと、見直すべきことを教えてくれるシグナルを記述します。
四つの視点
プロダクトとデリバリーのチーム
チームは自分たちを評価し、次のステップを選び、結果を保ちます。対話を使って体験の違いを浮かび上がらせ、証拠を求め、終えられるほど小さなステップを設定するべきです。プロファイルをランキングに変えようとするあらゆる試みに押し返すべきです。
サービスと運用のチーム
運用チームは重いデータとインシデントの負荷を担い、プログラムがどこで自分たちを支え、あるいは負担をかけているかを見られます。ツールや定義が仕事を妨げている場所に注意し、オンコールとインシデントのデータを注意深く扱うよう求め、評価の負担について率直なフィードバックを与えるべきです。
リーダーシップとガバナンス
リーダーはプログラムを後援し、集約された全体像を受け取ります。プロファイルと共通のテーマを求め、単一のスコアを求めるのに抵抗し、チームが選ぶ次のステップに資金を付け、資金や立場を評価に結び付けないべきです。また、測定値が情報を与えた判断を述べることで、その行動の手本を示すべきです。
顧客とユーザー
顧客とユーザーは、プログラムがサービスを改善し、彼らのフィードバックが測定値の一部であるとき、恩恵を受けます。彼らがパートナーであるところでは、満足度のアンケートの有用性など、自分たちに関わる測定値の評価や、自分たちのデータの使われ方のレビューに参加できます。
実践:サービスマネジメントの例
全国規模の保険グループには、20のデリバリーとサポートのチームがあり、18か月間運用されているメトリクスプログラムがあります。スポンサーは、投資を導くために「各チームの成熟度スコア」を求めます。プログラムのリーダーは、以前の監査型のスコアリングが、チームに書類のバインダーを準備させたことを思い出して警戒します。以下の数字は例示です。
プログラムのリーダーは代わりに、六つの次元にわたるプロファイルを提案します。チーム外のファシリテーターと1時間の対話でチームが評価し、結果はチームが保ちます。彼女はスポンサーに、プログラムは範囲と共通のテーマを報告し、どのチームのプロファイルも資金にリンクされないと伝えます。スポンサーは同意し、判断は記録されます。
20チーム中19チームが、議論を伴って評価を完了し、参加は95パーセントです。プロファイルは範囲を示します。問いと目的では、ほとんどのチームがレベル2か3にあり、定義とオーナーシップでは1から4に広がり、データとツールではほとんどが3、判断での利用ではほとんどが2、信頼と安全では2と4に分かれ、レビューと進化ではほとんどが1か2です。証拠の確認は啓示的です。11チームが判断での利用でレベル3を主張しましたが、直近の四半期に測定値が情報を与えた判断を挙げるよう求められると、挙げられたのは六チームだけでした。プログラムのリーダーは判断せずにこれに注意し、それがテーマになります。チームにはダッシュボードがあり、判断を記録するレビューを開くことはまれです。
次のステップは小さなものです。八つのチームが、判断のログを伴う月次のレビューを選びます。四つが測定値の定義を書くことを選びます。三つが憲章に合意することを選びます。6か月後、合意した17のステップのうち14が完了し、一つは理由を添えて落とされ、二つが進行中です。再評価は、抽出した測定値の判断の証拠が38パーセントから71パーセントに上がり、信頼のアンケートが54パーセントから67パーセントの同意に動くことを示します。一つのチームは再編成の後に信頼で後退し、ファシリテーターはそれを失敗ではなく情報として記録します。1年後、スポンサーは年次報告のために、再び単一のスコアを求めます。プログラムのリーダーは、範囲、三つのテーマ、完了した改善のステップを載せた一ページのプロファイルを提供します。スポンサーは受け入れ、報告書は、尺度が対話のツールであることを平易に述べます。
アジャイル、AI、自動化、アナリティクス
アジャイル
モデルを、定期的な改善のレビューでの対話として使い、チームが自分たち自身の次の小さなステップを選びます。注意点は、壁に掲示された成熟度のスコアは目標になることです。
AI
評価にAIのレンズを加えます。AIの利用が棚卸しされているか、AI支援の測定値に品質の相棒があるか、人々がAI由来の数字に異議を唱えられるか。注意点は、AIが書いた自己評価は自信があるように聞こえて地域の事実を見逃しうるため、チームが自分たちで書かなければならないことです。
自動化
オーナーと防護柵を持つメトリクスの割合など、評価の証拠の収集を自動化しますが、解釈は人が行います。注意点は、自動で集められた証拠は不完全かもしれないため、何を除くかを述べることです。
アナリティクス
プロファイルを、単一のスコアではなく、次元にわたって、各評価の背後にある証拠とともに示します。これが情報を与える判断は、次に何を改善するかです。注意点は、評価は評価される人々による判断であるため、それに基づいてチームを比較するのを避けることです。
業種別の視点
スタートアップ。 正式な評価はおそらく過剰です。六つの次元についての年2回の短い対話と、一つか二つの小さなステップで十分です。測定値が判断に使われるのではという恐れに注意します。小さなチームはそれを強く感じるからです。
中小企業。 次元を、オーナーとスタッフとの話のチェックリストとして使います。保っている少数の測定値が本当の問いに答えているか、人々がその意味を知っているか、それらが使われているかを尋ねます。一つのステップを選びます。1時間以上は費やしません。
大企業。 規模には、軽く一貫したプロセスが要ります。同じ次元、ファシリテーターを伴う自己評価、較正のセッション、集約したプロファイル。中央のスコアリングオフィスに抵抗します。次のステップを改善の台帳にリンクし、範囲とテーマをスポンサーに報告します。尺度がコンプライアンスの作業に変わらないように警戒します。
政府・公共部門。 監査と監督の機関が、成熟度のスコアを求めるかもしれません。この内部の対話のツールと、あらゆる正式なフレームワークの違いについて明確にします。チームの結果はチームとともに保ち、監督には集約を提供し、尺度が何であり何でないかについて透明にします(トピック 8.3「コンプライアンスと監査のメトリクス」を参照)。
ビジネスケース:動機、ROI、TCO
コストは小さなものです。年2回、チームあたり1、2時間、ファシリテーター、いくらかの分析、改善のステップを実行する労力。より大きなコストは、モデルが誤用され、コンサルタント、スコアリングオフィス、証拠のバインダーが現れるときに来ます。
見返りは、労力のより良い的の絞り込みから来ます。すべての次元に投資を分散させる代わりに、プログラムは制限する次元を見つけて対処します。他の見返りには、後退のより早い認識、チーム間の共有された言葉、チームが選んで所有する改善のステップが含まれます。自分たち自身のデータからケースを築きます。完了した改善のステップ、判断の証拠と信頼のアンケートの結果の変化、評価にかかった労力。たどれる出典と自分たちの文脈への関連性がない限り、成熟度の改善の見返りについての公表された主張の引用は避けます(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 成熟度のバッジ。 レベルが目標になる。証拠を伴う対話として使う。
- 一つの全体の数字。 パターンが失われ、目標が現れる。プロファイルを示す。
- 監査人によるスコアリング。 チームが演じるために書類を準備する。ファシリテーターを伴う自己評価を使う。
- スコアを資金にリンクする。 膨張が続く。評価を別に保つ。
- 最上位のレベルを追いかける。 すべてのプログラムが協調を必要とするわけではない。合うものを選ぶ。
- 評価して忘れる。 ステップが続かない。ステップを改善の台帳にリンクする。
- 長すぎる評価。 負担が増え、質が下がる。1時間に保つ。
- 後退を無視する。 プログラムは変化の後に滑る。周期的に、また出来事の後に再評価する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 問いと目的 | データがあるから測定値が収集される | 一部のチームが尋ねる問いを述べる | 聞き手と問いが書かれる。測定値がそれらに対応付けられる | 問いの網羅がレビューされる。答えのない問いが新しい測定値を駆動する | 顧客と供給者を含む聞き手が測定値を形作る。問いがサービスとともに進化する |
| 定義とオーナーシップ | 定義が人によって異なる | 一部が書かれる。非公式なオーナー | 各測定値の定義、情報源、オーナー、限界を持つカタログ | 定義の完全性と異議が管理される | 定義がチームと供給者に共同所有される。判断に情報を与えなくなると改訂される |
| データとツール | 手作業で脆い | 一部の自動のフィード | テスト済みのパイプライン、共有のストア、持ち運べるデータ | 信頼性、突合、出口の準備が管理される | 共有のコントラクトを持つ分散したパイプライン。フィードバックから情報源が改善される |
| 判断での利用 | 数字が表示され、ほとんど使われない | 一部のレビューで使われる | 判断を記録する定期的なレビュー | 判断の証拠が追跡され行動される | 判断がチーム間で成果にリンクされる。学びが共有される |
| 信頼と安全 | 恐れまたは無関心 | 口頭での保証 | 書面の憲章。個人の見方がオフ。安全性のアンケート | 違反がオープンにレビューされる。率直さのシグナルが管理される | 信頼が日常。プログラムがスタッフとパートナーに形作られる |
| レビューと進化 | なし | 時折の整理 | チームとの定期的なレビュー。廃止の規則 | 評価のステップに資金が付き完了する | プログラムが、全員からの変更とともに継続的に改善する |
チェックリスト
- 六つの次元に合意し、レベルの記述が自分たちの文脈に適応されている。
- 各チームが、ファシリテーターを伴う約1時間の議論で自己評価している。
- 主張される各レベルが、例または抽出した確認で裏付けられている。
- 結果がプロファイルと範囲として示され、一つの平均されたスコアやランキングとしては決して示されない。
- チームの結果はチームとともに残り、集約がスポンサーと共有される。
- 評価が資金、立場、業績評価にリンクされておらず、それが書き下されている。
- 各チームが、オーナーと日付とともに、一つか二つの小さな次のステップに合意している。
- 次のステップが改善の台帳で追跡されている。
- 再評価が少なくとも年2回、また大きな出来事の後に行われる。
- モデル自体が毎年チームとレビューされる。
AIプロンプト
自己評価の対話を準備する。
チームの、六つの次元にわたるメトリクスプログラムの自己評価のための、1時間のファシリテーション計画を準備してください:問いと目的、定義とオーナーシップ、データとツール、判断での利用、信頼と安全、レビューと進化。五つのレベルを使います:開始、発展、標準化、管理、協調。非公開での印付け、比較、証拠への問い、一つか二つの小さな次のステップへの合意を含めてください。スコアを出さないでください。前提を列挙してください。
弱い次元をステップに変える。
私たちのチームは、メトリクスプログラムの [次元] でレベル [n] と自己評価しています。証拠:[貼り付け]。レベル [n+1] に向かって動かす、それぞれ1四半期で終えられる三つの小さなステップを示唆してください。各ステップについて、オーナー、労力、見込まれる便益、うまくいったとどうやって分かるかを述べてください。成果を約束しないでください。前提とリスクを列挙してください。
主張されたレベルの証拠を確認する。
あるチームが [次元] でレベル [n] を主張し、この証拠を挙げています:[貼り付け]。好奇心のある同僚として行動してください。証拠が主張を支えるかをテストする問い、何の例が説得力を持つか、主張が楽観的であることを示唆するしるしを列挙してください。チームを判断しないでください。前提を列挙してください。
ランク付けせずにプロファイルを要約する。
以下は、各次元の各レベルにいるチームの集約した数です:[貼り付け]。スポンサー向けに、範囲、三つの共通のテーマ、チームが選んだ改善のステップを記述する半ページの要約を書いてください。チームをランク付けせず、単一のスコアを出さず、証拠なしに原因を主張しないでください。自己評価についての注意点を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:プログラムの測定値を、成熟度の次元とその組になる防護柵に対応付けるときに使います。
- サービスマネジメントメトリクスのメンテナースキル:成熟度の評価がプロファイルを報告し、結果をチームとともに保ち、単一のスコアを避けているかを確認するときに使います。
要点
- 共有の5段階の尺度を対話のツールとして使い、バッジ、ランキング、認証としては決して使わない。
- 一つの平均されたスコアではなく、六つの次元にわたるプロファイルを報告する。
- チームとともに評価し、証拠を求め、各チームの結果をそのチームとともに保つ。
- 他を制限する次元、しばしば信頼と定義で、小さな次のステップを選ぶ。
- ステップを改善の台帳で追跡し、プログラムは後退するので定期的に再評価する。
- 高いことが常に良いわけではなく、レベルより成果が重要である。
参考文献とさらなる読書
- Paulk, M., et al., Capability Maturity Model for Software, Version 1.1, Software Engineering Institute, Carnegie Mellon University, 1993.
- Axelos, ITIL 4: Direct, Plan and Improve, 2020.
- ISO/IEC 33001, Information technology: Process assessment: Concepts and terminology, International Organization for Standardization, 2015.
- Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
- Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Capability Maturity Model.
- Wikipedia, Kaizen.
- Wikipedia, Continual improvement process.
- Wikipedia, Goodhart's law.
- Wikipedia, Vanity metric.