測定フレームワーク
測定フレームワークとは、どの数字がページに載る価値を持つかを決める方法である。最良のものはどれも、ゴールと問いから始まる。すべてのメトリクスを判断に結び付けたままにできる、最も軽いフレームワークを選ぶ。
概要と動機
自分たちの仕事を測ろうとするチームは、早い段階で問題に出会います。ありうる数字は何千もあり、その中から選ぶ規則がないのです。測定フレームワークは、その規則を与えます。出発点(ゴール、戦略、いくつかの重要な条件)に名前を付け、その出発点から、人々が読み、行動に移す少数の測定値へ至る道を記述します。フレームワークは語彙が異なりますが、一つの狙いを共有しています。すべての数字を、それを持つ理由に結び付けておくことです。
このトピックは、サービスを運営するほぼすべての組織に現れる五つの考え方を扱います。第一は、ソフトウェア工学の研究者ヴィクター・バシリ(Victor Basili)らが開発した、ゴール・クエスチョン・メトリック(GQM)の手法です。ゴールから始め、ゴールが満たされているかを示す問いを立て、そのあとで初めてメトリクスを選びます。第二は、インテルでアンディ・グローブが広め、のちにジョン・ドーアを通じてGoogleで広まった目標設定の手法である目標と主要な成果(OKR)です。目標(objective)はチームが向かいたい場所を述べ、少数の主要な成果(key result)は、到着したことをどう知るかを述べます。第三は、1992年にロバート・キャプランとデビッド・ノートンが導入したバランススコアカード(balanced scorecard)で、財務の結果、顧客、内部プロセス、学習と成長を併せて見るよう組織に求め、どの一つの見方も支配しないようにします。
第四と第五の考え方は、より古く平易です。重要成功要因(critical success factor、CSF)は、ゴールに到達するために真でなければならない条件であり、重要業績評価指標(key performance indicator、KPI)は、その条件がどれだけ保たれているかの測定値です。AxelosとのちにPeopleCertが刊行するITサービスマネジメント(ITSM)のフレームワークであるITILは、まさにこの組み合わせを使います。ITIL 4(2026年10月時点で広く使われているバージョン)の、測定とレポートおよび継続的改善に関するガイダンスは、実践者に、サービスやプラクティスのCSFを定義し、それに対する進捗を示すKPIを選ぶよう説いています。より広いITILの手法は、ここでは再現せず要約します。
この領域では、アジャイルとITILの見方が有益に出会います。アジャイルの実践は、短い学習のサイクルを好みます。チームは仮説を述べ、何かを試し、結果を点検し、調整します。ITILの実践は、定義されたサービス、合意されたサービスレベル、管理された改善プロセスを好みます。GQMのようなフレームワークは、チームが何を学びたいかを問うアジャイルの習慣に合います。バランススコアカードは、リーダーにサービスの健全性の丸みのある姿を示すというITILの必要に合います。OKRは両者の間に位置します。短いサイクルでレビューされつつ、ガバナンスの組織が理解するアウトカムの言葉で書かれるからです。
このトピックでは三つの用語が繰り返し現れます。ゴール(goal)は、名前のある読み手に対する意図したアウトカムの記述です。問い(question)は、ゴールが満たされているかを言うために知る必要のあることです。メトリクス(metric)は、問いに答える助けとなる何かを数える、または時間を測る、定義された方法です。フレームワークは三つ目の用語の扱いが異なりますが、すべてが、それは最後に来る、つまりゴールと問いの後だと主張します。この順序は、数字が自分が奉仕するはずだった目的に取って代わる、グッドハートの法則で述べられた失敗に対する最も強い防御です(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
どのフレームワークも、ゴールの選び方の悪さを直さず、どれも防護柵の必要をなくしません。フレームワークは対話の足場として扱い、仕事が変われば変えることを想定してください。特にKPIは、処理した総チケット数のように、増えるだけで判断に情報を与えない虚栄の指標(vanity metric)になりえます。そもそもなぜ測るのかという、より広い理由は別に述べています(トピック 1.1「なぜサービスマネジメントを測定するのか」を参照)。
フレームワークの違い
フレームワークは少しずつ異なる問いに答え、組み合わせて使うこともよくあります。以下の表を地図として使ってください。
| フレームワーク | 出発点 | 典型的な出力 | 最も向く用途 | 典型的な期間 |
|---|---|---|---|---|
| ゴール・クエスチョン・メトリック | プロダクト、プロセス、サービスの具体的なゴール | ゴール、問い、メトリクスの木 | 一つのチームやサービスの測定プログラムを設計する | 数週間から数か月 |
| OKR | 次の期間の野心的な目標 | 少数の目標と、それぞれの測定可能な主要な成果 | チームをアウトカムで揃え、努力を集中させる | 四半期 |
| バランススコアカード | 組織の戦略 | 四つの視点での目標と測定値 | リーダーに丸みのある見方を示し、戦略を運用に結び付ける | 年 |
| CSFとKPI | サービス、プラクティス、またはゴール | 満たされるべき少数の条件と、それぞれの指標 | 定義されたITILプラクティスを運用し、その健全性を報告する | 継続的で、定期的にレビューする |
主要な原則
- ゴールから、次に問い、最後にメトリクスから始める。 最初に選んだメトリクスには、有用かどうかを判断する手段がない。
- 読み手と判断を明示する。 すべてのゴールは誰の利益になるかを名指し、すべてのメトリクスは誰がそれに基づいて行動するかを名指す。
- 集合を小さく保つ。 読まれ信頼される少数の測定値は、ざっと眺められるだけの長い一覧に勝る。
- 見方のバランスを取る。 速さと品質、コストと体験、短期のアウトプットと長期の学習を組にし、どのフレームワークも一方を他方の犠牲で報いることがないようにする。
- 目標を仮説として扱う。 ゴールとその数字は外れうる賭けなので、予定に従ってレビューし、記録した理由とともに変更する。
- フレームワークはチームとサービスを記述するために使い、人の順位付けには使わない。 スコアカード、主要な成果、KPIは、チームまたはサービスに属する。
- フレームワークを意図して組み合わせる。 どのフレームワークがどの判断を所有するかを述べ、同じ数字が三通りに定義されないようにする。
メトリクスの定義
以下のメトリクスは、サービスの健全性ではなく、使用中のフレームワークの健全性を測ります。ゴールとメトリクスがまだつながっているかを示し、チームがどのフレームワークを選んでも適用できます。件数はチームまたはサービスごとであり、人ごとではありません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| ゴールへの追跡可能性 | 報告されるメトリクスのうち、書面のゴールと問いにたどれるものの割合 | ゴールと問いが記録されているメトリクスの数 ÷ 報告されたメトリクスの数 | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | デリバリーゴール、プロダクトゴール | 四半期ごと |
| 主要な成果のスコア分布 | 主要な成果の期末スコアの広がり。各帯に入る割合として示す | 各スコア帯(たとえば0.0〜0.3、0.4〜0.6、0.7〜1.0)にある主要な成果の数 ÷ その期間にスコア付けされた主要な成果の数。記録された理由とともに取り下げられた主要な成果は除く | 帯ごとのパーセント | OKR追跡ツールまたはチームの文書 | 継続的改善、サービスレベル管理 | 四半期の計画、レビュー | 四半期ごと |
| 視点の網羅率 | バランススコアカードの四つの視点のうち、現在の値を持つ測定値が少なくとも一つあるものの割合 | 直近の期間に測定値が報告された視点の数 ÷ 4 | パーセント | スコアカードまたはダッシュボード | 測定とレポート、サービスバリューシステムのガバナンス | ステークホルダーレビュー(顧客と学習の視点) | 四半期ごと |
| 指標のレビュー経過日数 | 各KPIの定義と目標が最後にレビューされてからの時間 | 報告日 − 最後のレビュー日。時計は最後に記録されたレビューで始まり、報告日で止まる。中央値と最も古いものを報告する | 日 | メトリクス台帳の変更ログ | 継続的改善、測定とレポート | レトロスペクティブのアクション | 四半期ごと |
| CSFからKPIへの網羅率 | 重要成功要因のうち、現在報告されているKPIが少なくとも一つあるものの割合 | 現在のKPIを持つCSFの数 ÷ そのサービスまたはプラクティスに定義されたCSFの数 | パーセント | プラクティスまたはサービスの文書、メトリクス台帳 | ITILのプラクティスガイドにおけるCSFとKPIの手法 | 完了の定義、ワーキングアグリーメント | 四半期ごと |
ゴールへの追跡可能性は、ゴールと問いの両方が書かれ、読み手が名指されている場合にのみ、メトリクスをたどれるものとして数えます。ゴールだけでは足りません。主要な成果のスコア分布は、平均ではなく広がりとして読むべきです。平均は、すべてを手加減したチームと、すべてを失敗したチームを隠すからです。指標のレビュー経過日数は、その期間に廃止されたメトリクスを除きます。
推奨事項
フレームワークを選び、組み合わせる
1. 仕事をこなす最小のフレームワークを選ぶ。 一つの改善課題を持つ単一のサービスチームには、完全なバランススコアカードはまず必要ありません。GQMで足りることが多く、明確な終点があります。一つのゴール、少数の問い、少数のメトリクスの木です。構造を加えるのは、判断がそれを必要とするときだけにします。
2. ゴールを三つの部分で書く:目的、対象、視点。 GQMのゴールは、伝統的に、述べられた視点から、述べられた対象の、述べられた品質を改善するという形で枠付けられます。たとえば、サービスデスクに頼る人々のために、インシデント更新の明確さを改善する、といった具合です。この構造は、誰の利益になるかを述べることを強制します。視点のないゴールは、おそらくスローガンです。
3. 短い物語で答えられる問いを立てる。 「ユーザーは問題を報告した後、どのくらい早く返事をもらえるか?」は良い問いです。答えとその背後の証拠が想像できるからです。「私たちのパフォーマンスはどうか?」はそうではありません。ゴールごとに三〜五つの問いを狙い、一部は数字ではなく面談や抽出で答えられることを想定します。
4. メトリクスは最後に、複数選ぶ。 問いごとに、候補のメトリクス、データソース、悪用の手口に名前を付けます(トピック 1.5「データソースと計装」を参照)。応答時間の隣に再オープン率を置くように、他と緊張関係にあるメトリクスを少なくとも一つ含めます。問いに実行可能なメトリクスがなければ、そう述べ、定性的な確認を計画します。
5. どのフレームワークがどの判断を所有するかを決める。 よくある配置は、バランススコアカードまたはそれに相当するものが、リーダーがレビューする少数の測定値を持ち、OKRが今四半期にチームが選んだ改善を持ち、CSFとKPIがプラクティスの稼働中の健全性を記述する、というものです。この配置をメトリクス台帳に書き、各数字に一つの定義と一人のオーナーがいるようにします。
OKRを上手に使う
6. 目標はアウトカムとして、主要な成果は証拠として書く。 「ユーザーは私たちを追いかけなくても問題を解決できる」のような目標はアウトカムです。「有用な最初の更新までの時間の中央値が [現在の値] から [目標値] に短縮する」のような主要な成果は証拠です。「新しいポータルを立ち上げる」のようなタスクに読める主要な成果は、成果ではなく活動です。ユーザーにとって何が変わるかを言えないなら、その主要な成果は未完成です。
7. OKRをチームとサービスのレベルに保つ。 個人に設定すると、タスクの一覧や人事評価の入力に変わりやすく、グッドハートの法則が予言する悪用を招きます。チームが自分の主要な成果を公開の場で書き、チーム同士がお互いのものを見られるようにします。すべてのレベルが上のレベルを言い直さなければならない連鎖は避けます。
8. スコアを成績ではなく対話として扱う。 満点を目標とするチームは、臆病な主要な成果を書きます。スコアの分布が上に固まっていれば手加減が疑われ、下に固まっていれば目標が空想だったことを示唆します。毎四半期に広がりをレビューし、各未達からチームが何を学んだかを尋ねます。
スコアカード、CSF、KPIを上手に使う
9. KPIの前にCSFを定義する。 重要成功要因は、「ユーザーが適切なセルフサービス記事を見つけて使える」のように、何が真でなければならないかの記述です。KPIは、それが真かどうかを示します。KPIから始めると、数えやすいものを数えることになりがちです。各CSFについて、「これが真でなくなったら、どのくらい早く、何から気づくか?」と問います。その答えがKPIです。
10. スコアカードの視点を使って、一方的な見方を防ぐ。 古典的な四つの視点は、財務、顧客、内部プロセス、学習と成長です。サービス組織は、たとえばコスト、ユーザー体験、運用の健全性、能力のように名前を変えることがよくあります。大切なのは、各視点に現在の値を持つ測定値が少なくとも一つあり、一つの低下が他と併せて読まれることです(トピック 6.5「価値の実現とビジネス成果」を参照)。
11. 単純な地図で、戦略を測定値に結び付ける。 戦略マップ(strategy map)は、能力からプロセス、顧客、財務の結果へと矢印を引きます。対話には有用ですが、計算機としては不十分です。描き、矢印について議論し、そのあと少数の測定値を選びます。図を定量的に厳密にしようとしてはいけません。
12. フレームワークをカレンダーに沿ってレビューする。 四半期ごとのレビューを設け、すべてのゴール、主要な成果、KPIについて、それがまだ重要か、まだ人を正しい行動に動かしているかをチームが問います。役目を終えたものを廃止し、理由を記録します。ゴールより長生きしたメトリクスは、虚栄の指標になります。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| ゴールへの追跡可能性 | 記録を完全に見せるために、メトリクスがすでに存在してからゴールと問いを書く。どんなメトリクスも正当化するあいまいなゴール | 四半期ごとに五つのエントリを抽出し、その問いが別のメトリクスにつながりえたかを尋ねる。読み手と判断が名指しされているかを確認する |
| 主要な成果のスコア分布 | スコアが1.0付近に固まるよう、簡単な主要な成果を書く。寛大に再採点する。うまくいかない主要な成果を、理由を記録せずに取り下げる | 理由付きで取り下げた主要な成果の数。主要な成果を前の期間のアウトカムと比較する。野心の中央値をリーダーシップとレビューする |
| 視点の網羅率 | 網羅されたことにするために、視点に形だけの測定値を加える。動きようのない測定値を選ぶ | 各視点の測定値が過去一年に値を変えていて、書面の判断が付いているかを確認する |
| 指標のレビュー経過日数 | 指標を読まずにレビューを記録する。日付だけを変える | 各レビューに書面の結果(維持、変更、廃止)を求め、ログを抽出して調べる |
| CSFからKPIへの網羅率 | 完全な網羅率に到達するために、CSFと無関係なKPIを割り当てる。失敗を示せないKPIを選ぶ | 各組について、どの読みがCSFの失敗を示すかを尋ねる。一度も赤になったことのないKPIを探す |
健全な読みとは、世界が変わればゴールが変わり、少数の主要な成果が述べられた理由で未達に終わり、報告されるメトリクスの数が増えずに減るか安定している状態です。すべてが緑で、スコアが上に固まり、今年廃止したメトリクスを誰も挙げられないなら、そのフレームワークは飾りになっています。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| ゴール・クエスチョン・メトリック | 各メトリクスを理由に結び付ける。説明しやすい。チームの規模で機能する | ファシリテーション付きのセッションが必要。書類仕事になりうる。ゴール間の優先度についてはほとんど語らない |
| OKR | 四半期を少数のアウトカムに集中させる。チーム間で可視化される。短い計画サイクルに合う | 主要な成果をタスクとして書きやすい。スコアが操作されうる。個人のOKRは人事評価に溶け込む |
| バランススコアカード | リーダーに丸みのある見方を与える。戦略を運用に結び付ける | 維持が重い。視点が埋めるだけの枠になりうる。変化を反映するのが遅い |
| CSFとKPI | ITILのプラクティスで馴染み深い。稼働中のサービスの報告に向く | 虚栄のKPIに流れやすい。レビューがないと指標が古くなる |
| フレームワークなし | ごく小さなチームには軽く速い | 理由なくメトリクスが蓄積する。何を測るかをめぐる議論が繰り返される |
| 複数のフレームワークの併用 | 各判断に合う道具が使える | 定義の重複。どの数字が権威あるものかをめぐる混乱 |
フレームワークの重さは、重大さに合わせて選びます。小さな内部サービスに必要なのは、1ページに収まる、一つのゴール、三つの問い、少数のメトリクスです。契約の下で提供されるサービスは、サービスレベルアグリーメントの水準まで定義されたKPIを必要とするかもしれません(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。
チームで話し合う問い
1. 報告されている各メトリクスはどのゴールに奉仕していて、報告をやめたら誰が気づくか? メトリクスをボードに列挙し、その隣にゴールを書きます。ゴールが欠けているところでは、誰がそのメトリクスを求め、なぜかを尋ねます。以前のプロジェクトから引き継いだもので、廃止できるものも出てくるでしょう。ファシリテーターは、ゴールのないメトリクスを失敗ではなく、普通の発見として扱ってください。
2. サービスについて三つの問いにしか答えられないとしたら、どれにするか? これは、メトリクスより先に問いの順位付けを強います。各自に三つを書いてもらい、まとめます。そのまとまりを、チームの現在のダッシュボードと比較します。両者のギャップが、たいていセッションの最も有用な成果です。
3. 私たちの主要な成果のうち、ユーザーにとってのアウトカムを述べているものはどれで、計画している作業を述べているものはどれか? 主要な成果を一つずつ声に出して読み、達成されたらユーザーが気づくかを尋ねます。答えが「いいえ」なら、アウトカムとして書き直すか、計画に移します。ファシリテーターは、タスクは問題ないが、バックログに属する、と伝えられます。最後に、今四半期に書き直す主要な成果を一つ決めます。
4. スコアカードの四つの視点はどこで食い違っていて、それは何を教えるか? 一つの視点が改善する一方で別の視点が悪化した最近の期間、たとえばコストが下がる一方で体験が落ちた期間を探してもらいます。原因と、それを予見した人がいたかを話し合います。これにより、測定値を併せて読む習慣が育ちます。測定値のない視点を記録し、追加するか、対象外であると率直に述べるかを決めます。
5. 各重要成功要因について、失敗していることを示す読みは何か? 二つのCSFを選んでKPIに名前を付け、どの値が対話の引き金になるかを尋ねます。チームが言えないなら、そのKPIは役目を果たしていません。一度も色が変わらないKPIを探します。それは通常、しきい値が緩すぎる兆候です。ファシリテーターは、そのKPIの悪用の手口は何になるかを尋ねてください。
6. どのフレームワークがどの判断を所有すべきで、現在、同じ数字を二重に定義しているのはどこか? インシデントの解決時間のようなメトリクスを一つ選び、それが現れるすべてのレポートをたどります。定義を比較します。時計や除外の違いはよくあり、チーム間の議論の原因を説明することがよくあります。一人のオーナーと一つの定義に合意し、台帳に記録します。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、主にOKRとして、運が良ければGQMとして、フレームワークに出会います。チームが最も価値を得るのは、ユーザーが必要とするものに結び付けた自分たちのゴールと主要な成果を自分たちで書き、作業用の測定値を、リーダーが見るものとは別に保つときです。ストーリーポイントやリリースのように、アウトプットを報いる主要な成果には警戒すべきです。フレームワークが防ぐはずだった振る舞いを招くからです(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
サービスと運用のチーム
運用チームは、主にITILのプラクティスにおけるCSFとKPI、および顧客と合意したサービスレベル目標として、フレームワークに出会います。KPIを選ぶ前にCSFを平易な言葉で定義すること、時間の測定値のパーセンタイルを報告すること、サービスレベル指標と目標のような信頼性の測定値をユーザーの体験の隣に置くことから、恩恵を得ます(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。また、何年も前に設定され、もはやサービスの使われ方に関係しないKPIを保持したくなる誘惑にも抵抗するべきです。
リーダーシップとガバナンス
リーダーは、通常、スコアカードやOKRを求めることでフレームワークを選び、数字をどう扱うかが、フレームワークの振る舞いを決めます。未達の主要な成果を罰するリーダーは、チームに簡単なものを書くことを教えます。チームが何を学んだかを尋ねるリーダーは、誠実なものを書くことを教えます。ガバナンスの組織は、メトリクス台帳、報告される少数の測定値、フレームワーク自体が機能しているかの定期的なレビューを期待するべきです(トピック 11.4「メトリクスプログラムの成熟度モデル」を参照)。
顧客とユーザー
顧客とユーザーは、フレームワークを目にすることはまれで、その効果だけを見ます。よく設計されたものは、彼らが求めた形で改善するサービスと、改善していないことについての誠実な報告として現れます。貧弱なものは、体験に合わない緑のレポートとして現れます。すべてのゴールにユーザーの視点を含め、ユーザーのフィードバックをスコアカードの顧客の視点に、運用の数字と並べて置いてください(トピック 6.2「体験レベル合意」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、複数のプロダクトチームと小さなサービス運用グループで、カスタマーサポートのプラットフォームとセルフサービスのポータルを運営しています。数字はすべて例示です。
リーダーシップは、バランススコアカードと、それとは別に四半期ごとのOKRを求めます。一四半期のうちに、チームは31の報告される測定値を抱え、その半分がなぜ存在するのか誰も言えません。サービスオーナーは、半日のセッションを開き、一つのゴールにGQMを使います。「決済を完了できない顧客のためのヘルプの明確さを、顧客の視点から改善する」。
セッションは四つの問いを生みます。顧客は適切なヘルプ記事を見つけるか。記事を読んだ後にサポートへ連絡する必要があるか。連絡した場合、決済の問題の解決にどのくらいかかるか。答えが明確だったと感じるか。31の測定値のうち九つがこれらの問いに対応します。新たに三つが必要です。記事の検索成功率、記事閲覧後の問い合わせ率、解決後の一問のアンケートです。残りの22は、オーナーの同意を得て廃止の印が付けられます。
その四半期のOKRは、アウトカムとして書かれます。目標は「顧客は私たちを追いかけなくても決済の問題を解決できる」。三つの主要な成果は、解決までの時間の中央値と90パーセンタイル、記事閲覧後の問い合わせ率、明確さに関するアンケートの結果です。スコアカードは、顧客の視点が同じ測定値を指し続けるので、定義は二つではなく一つです。
四半期の途中で、悪用のリスクが現れます。記事閲覧後の問い合わせ率が急落し、成功のように見えます。レビュー担当者が20件のセッションを抽出すると、再設計で「問い合わせる」リンクが3画面分深くに移されていたことが分かります。サポートに届く人が減り、アンケートでは明確さのスコアが低下しています。チームは、検索の離脱とアンケートのコメントを防護柵として加え、リンクを元に戻します。
四半期の終わりに、主要な成果のスコアは0.6、0.8、0.5で、チームはそのまま提示します。リーダーシップは、スコアがなぜもっと高くなかったのかではなく、チームが何を学んだかを尋ねます。判断ログに記録された決定は、その目標を二四半期目も維持し、問い合わせ率を、最初の訪問で問題を解決した顧客の割合に置き換え、さらに六つのスコアカードの測定値を廃止する、というものです。
アジャイル、AI、自動化、アナリティクス
アジャイル
ゴールと問いは、チームが学ぶにつれて見直されるべきなので、ステークホルダーとの定期的な改善レビューで改訂できるほど軽いフレームワークを選んでください。実際的な方法は、ゴール、問い、二、三の指標を1ページに書き、頻繁にレビューすることです。注意点は、一度きりの設計演習として使われたフレームワークは古くなり、ダッシュボードがゴールから離れていくことです。
AI
AIをフレームワークに明示的に加えます。AIが支援するプラクティスはどのゴールに奉仕し、その測定値はどの問いに答え、どの品質の測定値と組になるのか。NISTのAIリスク管理フレームワークのような、ガバナンスの語彙に揃えることは助けになりますが、引用する前に、現在の本文が何を述べているかを確認してください。注意点は、AIの導入だけを測るフレームワークは、利用そのものを報いてしまうことです。
自動化
ゴールから指標までの追跡可能性を最新に保つために自動化を使います。たとえば、ゴールに結び付いていない指標に印を付けます。自動化を、その結果と失敗で測るべきものとして、フレームワークに含めます。注意点は、フレームワークが、誰も読まない大きな自動レポートになりうることです。
アナリティクス
データが支えられる指標を選び、それぞれがどの判断に情報を与えるかを述べます。目標と主要な成果、バランススコアカード、ITILの重要成功要因のように複数のフレームワークが当てはまるときは、三つを運用する代わりに、一つの集合に対応付けます。注意点は、フレームワークが貧弱なデータを直せないことなので、指標の選択を、トピック 1.5「データソースと計装」のデータ品質のチェックと組にしてください。
業種別の視点
スタートアップ。 スタートアップに通常必要なのは、1ページに収めた、一つのゴール、三つの問い、少数のメトリクスです。OKRは一般的で、仕事をするチームが書くときによく機能します。投資家や顧客が求めるまでは、スコアカードを加えるのを控えてください。
中小企業。 リソースが乏しいため、フレームワークを一つ選び、軽く使います。事業が間違えられない二、三のことについて書いたCSFとKPIで足りることが多くあります。凝ったスコア付けよりも、顧客からの直接のフィードバックを優先してください。
大企業。 通常、複数のフレームワークが共存するため、定義のオーナーシップが主な課題になります。台帳を保ち、どのフレームワークがどの数字を持つかを指定し、全体の配置を年に一度レビューします。すべてのチームに全社の目標を自分の言葉で言い直させる連鎖には注意してください。
政府・公共部門。 義務付けられた報告と契約上のサービスレベルは、固定されたKPIとして働きます。それらは所与として扱い、その周りの改善の作業にGQMやOKRを使います。公的な説明責任は誤解を招く数字のリスクを高めるため、定義を公開し、変更について率直であってください(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
フレームワークのコストは、ほとんどが時間です。測定値を設計するためのファシリテーション付きのセッション、短い四半期ごとのレビュー、台帳の維持です。OKRやスコアカードのソフトウェアもありますが、小規模であれば文書やスプレッドシートで足りることが多くあります。より大きなコストはリーダーシップの注意です。リーダーが使わないフレームワークは、報告のための報告になるからです。
見返りは、より少なく、より良い測定値から生まれます。各数字がなぜ存在するのかを言えるチームは、誰も読まないレポートを作る時間を減らし、定義をめぐる議論を減らし、測定値が判断に情報を与えなくなったことにより早く気づきます。数字を引用するのではなく、フレームワークの採用の前後で、自分たち自身のベースラインを測ってください。報告されるメトリクスの数、記録されたゴールを持つ割合、定例レポートの準備に費やす時間です。投資対効果のより詳しい扱いは別にあります(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- ゴールより先のメトリクス。 手元にあるデータから始めると、数えやすいものを並べたダッシュボードになる。まずゴールと問いを書き、それからどのデータが合うかを見る。
- タスクの一覧としてのOKR。 活動を名指す主要な成果は、どの四半期も忙しそうに見せ、アウトカムについては何も語らない。それぞれを、ユーザーが気づく証拠として書き直す。
- 個人の目標としてのOKRとスコアカード。 悪用を招き、人同士の助け合いを妨げる。チームとサービスのレベルに保つ。
- 空または形だけの視点を持つスコアカード。 すべての枠を何かで埋めることは、全体を見ることと同じではない。各視点に現在の値と判断を求める。
- 決して変わらないKPI。 指標が何年も緑のままなら、しきい値がおそらく間違っているか、失敗しえるものを何も測っていない。どの読みが問題を示すかを問い、設定し直す。
- オーナーのない積み重ねられたフレームワーク。 三つのフレームワークが同じ測定値を三通りに定義すると、議論が生まれる。オーナーと単一の定義を指名する。
- スコアを報いる。 OKRの満点が賞賛や報酬を得るなら、チームは簡単な主要な成果を書く。誠実な学びと良い問いを報いる。
- 儀式としてのフレームワーク。 ラミネート加工のポスターを生む一日のワークショップは、何も変えない。成果物を台帳に残し、カレンダーに沿ってレビューする。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| ゴールと問い | データがあるからという理由でメトリクスを選ぶ | 一部のチームがメトリクスの前にゴールを書く | ゴールと問いの共通の書式があり、報告されるすべてのメトリクスがそれにたどれる | 追跡可能性をレビューし、ギャップは予算付きの作業につながる | ゴールは顧客や供給者と共同で書かれ、状況の変化に応じて見直される |
| フレームワークの利用 | 場当たり的で、フレームワークが明示されていない | チームが異なる語彙の異なるフレームワークを採用している | どのフレームワークがどの判断を所有するかが書面で定められている | フレームワークの成果をレビューし、使われていない部分は捨てる | フレームワークがチームと供給者の間で、一組の定義に揃えられている |
| 指標とスコア付け | KPIは一度設定されレビューされない | 一部のKPIにオーナーとしきい値がある | KPIと主要な成果にオーナー、定義、防護柵がある | スコアと指標を傾向として追い、四半期ごとに悪用の観点でレビューする | 指標が日常的に廃止、置き換えられ、変更はアウトカムに結び付く |
| 判断での利用 | レポートは作られ、無視される | 何かうまくいかないときにリーダーが数字を求める | レビューが、数字が影響を与えた判断を記録する | 学びの問いが標準で、未達の目標は非難なしに議論される | チーム横断の改善計画が、同じ共有のゴールと測定値を使う |
チェックリスト
- 報告されるすべてのメトリクスが、書面のゴール、問い、名前付きの読み手にたどれる。
- メトリクス台帳が、各メトリクスをどのフレームワークが所有するかと、その単一の定義を記録している。
- ゴールが、目的、対象、視点を伴って書かれている。
- 各主要な成果が、タスクではなく、誰かが気づくアウトカムを述べている。
- OKR、スコアカードの測定値、KPIが、個人ではなくチームまたはサービスに属している。
- 各重要成功要因に、現在のKPIが少なくとも一つあり、失敗を示す読みが述べられている。
- 各スコアカードの視点に、現在の値を持つ測定値がある。
- すべてのメトリクスに、名前付きの悪用の手口と防護柵がある。
- 四半期ごとのレビューで、各ゴール、主要な成果、KPIがまだ重要かを問う。
- 過去一年に、少なくとも一つのメトリクスまたは指標を、理由を記録して廃止または再設計した。
AIプロンプト
ゴールを問いと候補のメトリクスに変える。
私たちのチームは [チーム名] で、[読み手] のために [サービスまたはデリバリーの仕事の種類] を運営しています。ゴールは次のとおりです:[目的、対象、視点として述べたゴール]。ゴール・クエスチョン・メトリックの手法を使って、このゴールを満たしているかを示す三〜五つの問いを提案してください。各問いについて、定義できる候補のメトリクス、必要なデータソースの種類、ありそうな悪用の手口、防護柵を提案してください。ベンチマークの値や統計を捏造しないでください。前提と、私が示した内容から判断できなかったことを列挙してください。
OKRの案をレビューする。
[期間] の目標と主要な成果の案は次のとおりです:[OKRを貼り付け]。チームは [チーム名] で、ユーザーは [読み手] です。各主要な成果をレビューし、それがアウトカムか活動か、ユーザーを助けずに達成できるか、それを示す防護柵は何かを教えてください。必要な箇所では、自分たちで提供する数字には [プレースホルダー] を使って、書き直しを提案してください。目標やベンチマークの値を捏造しないでください。前提と、私が答えるべき問いを列挙してください。
重要成功要因をKPIに対応付ける。
私たちの組織のITILプラクティス [プラクティス名] は [読み手] に奉仕しており、起案した重要成功要因は次のとおりです:[CSFの一覧]。[データソース] から収集できるKPIを、それぞれについて提案してください。各KPIについて、時間の測定値であれば時計がどこで始まりどこで止まるか、どの読みが要因の失敗を示すか、どう悪用されうるかを述べてください。ベンチマークの値やコンプライアンスの主張を述べないでください。前提を列挙してください。
スコアカードのバランスを監査する。
私たちのスコアカードには、視点別に分けた次の測定値があります:[視点別の測定値を貼り付け]。組織の種類は [組織の種類] です。薄い視点、互いに重複して見える測定値、別の視点の問題を隠す形で動きうる測定値を特定してください。防護柵と、廃止すべき測定値を提案してください。数字や出典を捏造しないでください。前提と、私が示したデータから判断できなかったことを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:メトリクスをフレームワークに置く前に、どのトピックがそれを所有するかと、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:フレームワークに基づくメトリクスのエントリが、定義、悪用の手口、防護柵を備えているかを確認するときに使います。
要点
- フレームワークはどのメトリクスが場所を得るかを決める。共通の規則は、ゴールと問いから始め、そのあとでメトリクスを選ぶことである。
- ゴール・クエスチョン・メトリックは一つのチームの測定値の設計に、OKRは四半期の集中に、スコアカードはリーダーの丸みのある見方に、CSFとKPIはITILのプラクティスの運用に向く。
- 機能する最も軽いフレームワークを使い、どれがどの数字を所有するかを述べる。
- どのフレームワークも悪用されうるため、各メトリクスを防護柵と組にし、集合をカレンダーに沿ってレビューする。
- フレームワークはチームとサービスのレベルに保ち、個人の目標にはしない。
- 判断に情報を与えなくなったゴール、主要な成果、指標は廃止する。
参考文献とさらなる読書
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Victor Basili.
- Wikipedia, OKR.
- Wikipedia, Balanced scorecard.
- Wikipedia, Critical success factor.
- Wikipedia, Key performance indicator.
- Wikipedia, ITIL.
- Wikipedia, Vanity metric.
- Wikipedia, Strategy map.