アウトプットよりアウトカム:何を測るかを選ぶ
優れたサービスやデリバリーのメトリクスは、顧客の生活やサービスの健全性に生じた変化を記述する。そのため、測定値は「誰にとって何が変わったか」を問うて選び、活動やアウトプットの件数は、せいぜい補助的な証拠として扱う。
概要と動機
多くのダッシュボードは、数えやすいものから始まります。クローズしたチケット、デプロイした変更、完了したストーリー、応答した電話です。これらはすでにツールにタイムスタンプ付きで記録され、チームの管理下にあります。しかし、誰かの状況が良くなったかどうかは、そのどれも語りません。
四つの言葉が、この区別を保ちます。活動(activity)は費やした労力です。働いた時間、開いた会議、かけた電話。アウトプット(output)は仕事が生み出したものです。リリース、解決したチケット、公開した記事。アウトカム(outcome)は、そのアウトプットが誰かにもたらした変化です。顧客が半分の時間でタスクを終える、クリニックが予定どおりに開く、繰り返していた問題が再発しなくなる。インパクト(impact)は、組織の目標に対する長期的な効果で、顧客の維持や提供コストの低下などです。ITIL 4(AXELOSが公開した2019年版のフレームワークで、現在はPeopleCertが所有)では、アウトプットは活動の有形または無形の成果物であり、アウトカムは一つ以上のアウトプットによって可能になるステークホルダーにとっての結果です。
ITILは、あらゆるメトリクスの試金石として働く第二の考え方を加えます。価値は、サービス提供者とサービス消費者によって共創(co-created)されるものであり、一方から他方へ届けられるものではない、というものです。これはサービス・ドミナント・ロジック(service-dominant logic)の考え方に沿っています。価値は使用の中で生じるというマーケティングの見方で、顧客が提供者の能力を自分の目標に適用するときに生まれます。提供者の側だけで測定されたメトリクスは、価値を証明できません。チームがすべてのチケットをクローズし、すべてのリリースを予定どおり出荷しても、ユーザーの仕事が楽になっていないことはありえます。
アジャイルの見方も、別の道を通って同じ場所に着きます。アジャイルソフトウェア開発(agile software development)宣言の背後にある原則は、動くソフトウェアが進捗の第一の尺度であり、やらなくてよい仕事の量を最大化する技術である単純さが本質的である、と述べています。どちらも、アウトプットの山が大きいことを報いるものではありません。どちらも、利用者のために機能するものを届けること、誰も必要としないものを作らないことを指しています。
アウトプットと活動のメトリクスは、間違っているわけではありません。フロー、キャパシティ、コストを管理するもので、後のトピックでも多用されます(トピック 2.1「フロー指標」を参照)。間違いは、それらに価値の代役を務めさせることです。虚栄の指標(vanity metric)とは、報告が簡単で、ほぼ必ず増える数字です。登録ユーザーの総数、累計の処理チケット数、これまでに出荷した機能の数など。チームを忙しそうに見せますが、次に何をすべきかは誰にも教えません。試金石はこうです。顧客の状況が悪化するなかでも、この数字は上がりうるか。
アウトカムのメトリクスは、より難しいものです。ゆっくり動き、チームの管理外の要因に左右され、ノイズが多いのです。パスワードリセットの流れの変更が問い合わせ件数に現れるまで数週間かかることがあり、その件数はマーケティングのキャンペーンにも左右されます。答えは、アウトカムを慎重に選び、チームが日々舵取りに使うアウトプットの測定値と組にし、動きのどれだけをチームの手柄にできるかについて誠実であることです。
先行指標(leading indicator)は、気にしている結果より先に動き、早い段階で働きかけられる測定値です。たとえば、検証済みのサポート手順書を備えた新規サービスの割合。遅行指標(lagging indicator)は、結果を事後に報告します。たとえば、重大インシデントの件数や顧客の離脱。経済学者も同じ組み合わせを使い、経済指標(economic indicator)を先行、一致、遅行に分類します。チームには両方が必要です。遅行指標は自分たちが正しかったかを教え、先行指標は時間のあるうちに行動できる対象を与えます。先行指標は、複数の期間にわたって本当に結果より先に動くことを確かめるまでは、仮説にすぎません。
アウトカムの測定値は、悪用に対する部分的な対策です(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。顧客が体験するものに近い測定値は、顧客を助けずに改善するのが難しく、悪用が棲むのはアウトカムから遠い場所です。選択を助けるフレームワークは別に扱います(トピック 1.7「測定フレームワーク」を参照)。
主要な原則
- アウトカムから始めて逆にたどる。 顧客、サービス、組織に望む変化に名前を付け、それを示す証拠を問い、さらに、より早く現れる先行の兆候を問う。
- 価値は共創されるので、消費者の側を含める。 すべての集合に、少なくとも一つは、サービスを使う人々から得る測定値を入れる。提供者の記録だけでなく、彼らの成功、労力、体験を。
- 連鎖を見えるようにする。 活動、アウトプット、アウトカム、インパクトを一つの連鎖として示す。チームはアウトプットと先行指標で舵を取り、アウトカムで自分たちを評価する。
- 組にするのであって、置き換えはしない。 アウトカムの測定値は、アウトプットの測定値がなぜ重要かを説明し、アウトプットの測定値は、アウトカムの測定値に対して何をすべきかを説明する。単独ではどちらも機能しない。
- 下がることもある測定値を優先する。 増えるだけの数字は、信号ではなく件数である。
- 先行指標は仮説として扱う。 結果を予測することを確かめ、そうでなければ捨てる。
- 帰属について誠実であること。 アウトカムには多くの原因がある。チームが影響を及ぼせるものと、観察するだけのものを述べる。
メトリクスの定義
以下の五つのメトリクスは、測定の集合をアウトカムの方向へ動かすために選ばれています。これらは用いるべき形の例であり、それを埋めるサービスやデリバリーの測定値は後のトピックで定義します。このトピックの例示的なしきい値はベンチマークではありません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| アウトカムの網羅率 | 報告されるメトリクスのうち、メトリクス台帳で、特定の顧客またはサービスに関する書面のアウトカムに結び付けられているものの割合 | アウトカムとの結び付きが書面で存在するメトリクスの数 ÷ その期間に報告されたメトリクスの数。定期レポートに載るメトリクスのみを数え、単一のチームが保持する作業用ビューの測定値は除く | パーセント | メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) | 測定とレポート、継続的改善 | プロダクトゴールとデリバリーゴール | 四半期ごと |
| 機能の採用率 | リリース後の所定の期間内に、新規または変更された機能を使った対象ユーザーの割合 | リリースから30日以内にその機能を使った対象ユーザー(重複なし)の数 ÷ その期間の対象ユーザー(重複なし)の数。時計は一般提供の開始時に始まる。社内のテストアカウントと、その機能に到達できなかったユーザーは除く | パーセント | プロダクト分析、サービスカタログの利用ログ | サービスデザイン、リリース管理 | ステークホルダーレビューのフィードバック、プロダクトのアウトカム測定 | リリース後3か月は毎月、その後は四半期ごと |
| 再問い合わせ率 | 以前の問い合わせがクローズされた後の所定の期間内に、同じユーザーから同じサービスについて寄せられた問い合わせの割合 | クローズされた問い合わせから14日以内の、同じユーザーによる同じサービスについての新規問い合わせの数 ÷ その期間にクローズされた問い合わせの数。時計はクローズ時に始まる。計画済みのフォローアップとして開かれた問い合わせは除く | パーセント | ITSMツールの問い合わせとチケットの履歴 | サービスデスク、インシデント管理 | 流出した欠陥、完了の定義 | 毎月 |
| 先行指標の検証率 | 使用中の先行指標のうち、レビュー期間中に、結び付いた遅行指標の動きに先立って動いたものの割合 | 遅行指標に対する先行が確認された先行指標の数 ÷ 使用中の先行指標の数。文書化されたレビューの中で、少なくとも四期間のデータに基づいてチームが判断する。四期間に満たない指標は除く | パーセント | メトリクス台帳と傾向の履歴 | 継続的改善 | 実験に関するレトロスペクティブのアクション | 年2回 |
| 効果レビューの完了率 | 資金が付いた変更や改善のうち、意図したアウトカムが、合意した遅れの後にその測定値に照らしてレビューされたものの割合 | 計画されたレビュー日から90日以内にアウトカムのレビューが完了した変更の数 ÷ その期間にレビュー日が来た変更の数。リリース前に取り下げられた変更は除く | パーセント | 変更レコード、改善台帳、レビューのメモ | 継続的改善、変更実現 | ステークホルダーレビュー、プロダクトインクリメントのレビュー | 四半期ごと |
アウトカムの網羅率と効果レビューの完了率は、測定の実践そのものを測るもので、書類仕事で満たしやすいものです。機能の採用率と再問い合わせ率は顧客に近く、判断を変える可能性が最も高いものです。
推奨事項
アウトカムから始める
1. アウトカムを、人またはサービスについての一文として書く。 「スタッフは、サービスデスクに電話せずに自分でパスワードをリセットできる」はアウトカムです。「新しいIDポータルをデプロイする」はアウトプットです。その文をメトリクスの台帳のエントリの先頭に置き、それから測定値を選びます。文が書けないなら、数字を選ぶ準備はできていません。
2. 活動からインパクトまでの連鎖を描く。 目標ごとに、四つの箱を描きます。チームが行うこと、それが生み出すもの、ユーザーにとって何が変わるか、それが組織にとって何を変えるか。候補のメトリクスをそれぞれの箱に置きます。左側が埋まり右側が空の集合は、アウトカムの証拠を探すべき合図です。
3. すべてのメトリクスに価値共創の試金石を使う。 問います。これは誰の価値の見方を示しているか、消費者の見方はこの集合のどこかに現れているか。ITILの言葉では、サービス関係には提供者と消費者がおり、価値は消費者の使用の中で実現します。提供者の時計による応答時間の測定値には、ユーザーが仕事を続けられたかどうかといった、消費者の側の相棒が必要です(トピック 6.2「体験レベル合意」を参照)。
4. レポートではなく判断を求める。 候補のメトリクスごとに、それが動いたら誰がとる判断かを書きます。判断が結び付かない測定値は廃止します。これは虚栄の指標に対する最も手早いフィルターであり、ダッシュボードが成り行きで膨らむのを防ぎます。
アウトプットとアウトカムを組にする
5. 主要なアウトプットの測定値ごとに、アウトカムの測定値を一つ選ぶ。 デプロイを報告するなら、そのデプロイがサービスに何を変えたかを示す測定値、たとえば変更失敗やユーザーに見えるインシデントと組にします(トピック 2.8「DORAメトリクス」を参照)。解決したチケットを報告するなら、再問い合わせと組にします。組は同じページに載せるべきです。アウトプットしか見ないチームは、アウトプットに最適化します。
6. チームが影響を及ぼせるアウトカムの測定値を選び、観察するだけのものには名前を付ける。 チームは、自サービスの再問い合わせと、自分たちの機能の採用には影響を及ぼせます。会社の収益は観察することしかできません。両方とも全体像に属しますが、目標と改善の作業は、影響を及ぼせる測定値に付けます。この違いに名前を付けることで、チームが引き起こしえなかった動きの責任を問われるのを防ぎます。
7. 代理指標は公然と使う。 多くのアウトカムは直接測れません。代理指標を選び、それが代理であることを述べ、何を見逃すかを述べます。再問い合わせ率は「問題が本当に解決された」ことの代理指標であり、短いアンケートや自由記述コメントの読解によって、それが依然として真実を語っているかを確かめられます(トピック 6.1「顧客満足度のメトリクス」を参照)。
先行と遅行の組を築く
8. 各遅行指標に、働きかけられる先行指標を少なくとも一つ組にする。 重大インシデントは遅行指標であり、検証済みの復旧手順書を備えたサービスの割合はそれに先行するかもしれません。先行指標は、チームに今月やるべきことを与えます。書き留められる理由のある先行指標を選び、その信念を検証します。
9. 振り返りで先行指標を検証する。 年に二回、各先行指標を遅行の相手と少なくとも四期間にわたってプロットし、動きが先に来たかを問います。関係が弱ければ、先行指標を変えるか捨てます。
10. 明確なユーザー向けの測定値があるアウトカムには、サービスレベル目標を使う。 うまく選ばれたサービスレベル指標(SLI)はユーザーの満足への先行シグナルであり、サービスレベル目標(SLO)はそれがどれだけ良くある必要があるかを述べます(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。指標をマシンの視点ではなくユーザーの視点から選んだときに、最もよく機能します。
選択を誠実に保つ
11. アウトカムレビューで輪を閉じる。 変更や改善に資金が付くとき、それが生み出すはずのアウトカム、測定値、誰かが見る日付を記録します。答えが気まずくてもレビューを行います。レビューがなければ、アウトカムの言葉は飾りです(トピック 6.5「価値の実現とビジネス成果」を参照)。
12. アウトプットの測定値は作業用ビューに置き、何のためかを述べる。 フロー、キャパシティ、コストの測定値はチームの計器であり、成績表ではありません。サイクルタイムは仕事がどこで待つかを教えます(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)。アウトカムを隣に置かずに上へ報告すると、悪用を招きます。
悪用の手口と防護柵
アウトカムへ移っても、悪用はなくなりません。形が変わります。アウトカムは再定義され、代理指標は操作され、レビューは飛ばされうるのです。
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| アウトカムの網羅率 | 結び付きが紙の上に存在するように、すべてのメトリクスにあいまいなアウトカムの文(「サービスを改善する」)を書く | 台帳を抽出して調べる。文は人またはサービスと変化に名前を付ける必要がある。その測定値のおかげで判断が下されたかを確認する |
| 機能の採用率 | 強制された、または自動的な初回の使用を採用として数える。対象ユーザーの範囲を狭める。機能をデフォルトにして、選ばれずに「使われた」ことにする | その機能のユーザーの間でのタスク完了率または満足度。30日後と90日後の利用の定着。自由記述コメントを読む |
| 再問い合わせ率 | 別のチャネルで新しいリクエストを起こすようユーザーに告げる。関係のない問い合わせの重複としてクローズする。期間内の再問い合わせを避けるためにクローズを遅らせる | 同じサービスのチャネル別の問い合わせ。クローズメモの抽出レビュー。ユーザーが報告する「問題が解決した」率 |
| 先行指標の検証率 | 非公式な確認の後に先行指標を有効と宣言する。アウトカムと一緒に自明に動く指標を選ぶ | プロットしたデータを伴う書面のレビュー記録。サイクルごとに、チーム外の誰かに一つの結果への異議を唱えてもらう |
| 効果レビューの完了率 | 名目だけのレビューを開く。常に達成されるよう、意図したアウトカムを後付けで設定する | レビューのアウトカムを、変更に資金が付いたときの記述と比較する。計画の変更につながったレビューの割合を追跡する |
健全な読みでは、アウトカムの測定値は時に期待を裏切り、レビューは時に変更を終わらせ、先行指標は時に捨てられます。すべてのアウトカムが達成され、すべての先行指標が確認される集合は、おそらくそうなるように調整されています。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| アウトプットと活動の測定値 | 素早く、安価で、チームの管理下にある。フローとキャパシティの判断に向く | 水増ししやすい。誰かが恩恵を受けたかについては何も語らない |
| アウトカムの測定値 | 顧客と組織が価値を置くものに近い。助けずに改善するのが難しい | 遅く、ノイズが多く、チームの管理外の要因に影響される |
| 先行指標 | 早期警告と、働きかける対象を与える | アウトカムとのつながりが検証されず仮定されていると、誤解を招く |
| 遅行指標 | 実際に起きたことを報告する | 今期の結果を変えるには遅すぎる |
| アウトカムの代理指標 | 測りにくいアウトカムを見えるようにする | 表すものからずれる可能性があり、代理化を招く |
| アウトカム中心の少数の集合 | 覚えやすく議論しやすい。努力を集中させる | 選んだアウトカムの外の問題を見逃すかもしれない |
| 広くバランスのとれた集合 | サービスの多くをカバーする | 注意が薄まる。各測定値への精査が減る |
グループ全体が暗唱できる少数のアウトカムの測定値を保ち、それぞれを、それを説明するアウトプットと先行の測定値で支え、戦略が変わったら集合を見直してください。バランススコアカード(balanced scorecard)や目標と主要な成果(objectives and key results)に結び付くバランス型の手法は、どちらも日々の仕事を重要な結果に結び付けようとします。主要な成果が、横にパーセンテージを添えたアウトプットの一覧になってしまうと、どちらも同じように失敗します。
チームで話し合う問い
1. 最も目立つ五つのメトリクスのうち、顧客の状況が悪化しているときに上がりうるのはどれか? 五つをボードに書き、それぞれにこの問いを投げます。たとえば、クローズしたチケット数は、再問い合わせも増える中で上がることがあります。ファシリテーターは、答えが「はい」になる場合を記録します。それが虚栄の指標だからです。最後に、それぞれの隣にどんなアウトカムの測定値を置くかを尋ねます。
2. このサービスの顧客にとって、良い一週間とは、本人の言葉でどのようなものか? 顧客と話す人々に尋ね、チーム自身の語彙は避けます。答えがアウトカムの文になり、問題を二度説明しなくて済むことのように、誰も測っていないものがしばしば明らかになります。三つの文を書き留め、代理指標でもよいので、どれが測れるかを尋ねます。
3. 私たちの先行指標のうち、予測するはずの結果と照らして確かめたことがあるのはどれか? 指標を一つ選び、直近の複数の期間について遅行の相手に対してプロットします。何が見え、どのくらい自信があるかを尋ねます。関係が弱ければ、何に置き換えるかを話し合います。捨てた指標は、失敗ではなく学習の普通の結果として扱ってください。
4. 私たちのチームは、観察するだけのアウトカムの手柄を、どこで主張しているか? リーダーシップへの報告にあるメトリクスを見ます。季節性、キャンペーン、供給者のように、チームの管理外の要因に左右されるものはどれか。チームが影響を及ぼすものと観察するものを述べる、分かりやすい方法に合意します。これにより、チームが原因でない理由でアウトカムが動く日に備えられます。
5. 過去二四半期に何を出荷または変更し、それが機能したかを誰かがレビューしたか? 変更をボードに列挙し、レビュー記録があるものに印を付けます。それ以外には、どんなアウトカムが期待され、今どう確かめられるかを尋ねます。犯人探しは避けてください。最初のレビューが遅くなっても、習慣を始めることが目的です。
6. どのアウトプットの測定値を、作業用ビューに戻すべきか? チームには有用でも、レポートでは誤解を招く測定値があります。どれがどちらかと、リーダーシップのレポートに残すために何を隣に置く必要があるかを尋ねます。今四半期に動かす測定値を一つ決めます。測定値を移すことは、透明性からの後退ではなく、成熟の印です。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、ツールが標準で報告するため、アウトプットに誘惑されます。対策は、採用とアウトカムの証拠を完了の定義とステークホルダーレビューの一部にすることです。誰も使わない機能は教訓であり、それを早く知ることはアジャイルの実践の利点です。チームはフローの測定値を作業用ビューに置き、採用と失敗の測定値と組にします(トピック 2.5「デリバリー予測と計画のメトリクス」を参照)。
サービスと運用のチーム
サービスのチームは、対応で測られます。応答した電話、クローズしたチケット、解決までの時間。これらは計画とコストには重要ですが、ユーザーの問題がなくなったかについてはほとんど語りません。運用チームは、速さの測定値の隣に、再問い合わせ、同じ原因の再発、ユーザーが報告する解決を加え、簡単なチケットの件数の増加は疑いをもって扱うべきです(トピック 3.1「サービスデスクのメトリクス」を参照)。ナレッジ記事の利用や検証済みの手順書といった先行指標は、インシデントとインシデントの間にチームが行動できる対象を与えます。
リーダーシップとガバナンス
リーダーが見せてほしいと求めるものは、何が重要かを組織に教えます。アウトカムを求め、それが遅くノイズが多いことを受け入れ、それを確かめるレビューに資金を出してください。ガバナンスの組織は、それぞれにオーナーが明示され、情報を与えた判断の記録がある、短く安定したアウトカムの測定値の集合を求めるべきです(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。「何を学んだか?」と尋ねるリーダーは、「なぜこれは赤なのか?」と尋ねるリーダーより良いデータを得ます。
顧客とユーザー
顧客はアウトカムを直接体験し、アウトプットの件数を目にすることはまずありません。彼らは集合の最終的な試金石です。サービスは、彼らが来た目的を進めることを可能にしているか。短いアンケート、自由記述コメント、実際のタスクの観察は、提供者側のどんな測定値よりも優れた証拠です。顧客は価値の共創にも役割を持ちます。つまり、彼らがどれだけ情報を与えられ、力を与えられ、声を聞かれているかが、結果に影響します(トピック 6.3「サービス導入とカタログのメトリクス」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、約40のプロダクトチームに、セルフサービスの環境プロビジョニングのサービスを提供する社内プラットフォームチームを運営しており、小さなサービスデスクがそれを支えています。この例の数字はすべて例示です。
月次レポートは、履行したリクエストが310件(240件から増加)、履行時間の中央値が6時間、四半期に出荷した機能が12件であることを示します。リーダーシップは満足しています。プラットフォームの責任者は、プロビジョニングについてのデスクへの問い合わせも増えていることに気づき、チームに、アウトプットを、望んでいたアウトカム、つまりプロダクトチームが待たず、助けを求めずに環境を得られることと対比してグラフにするよう頼みます。
連鎖の演習は、チームが活動とアウトプットを測り、アウトカムは測っていなかったことを示します。三つを加えます。第一は再問い合わせ率で、プロビジョニングに関する問い合わせの22パーセントが、14日以内に同じサービスについての別の問い合わせに続いています。第二は、最新の三つの機能の採用率で、30日後の対象チームのうち、9パーセント、14パーセント、61パーセントです。第三は先行指標で、人手の手順なしに完了するリクエストの割合、現在は48パーセントです。これが再問い合わせ率を下げる方向に先行するはずだ、と仮説を立てます。
チームは、採用の低い二つに似た、計画していた二つの機能を保留し、その四半期を、再問い合わせの最も一般的な原因である、クォータ超過時の分かりにくいエラーメッセージに費やすことにします。意図したアウトカム、つまり15パーセント未満の再問い合わせ率を記録し、90日後にレビュー日を設定します。
悪用のリスクは二か月目に現れます。再問い合わせ率は11パーセントに下がり、素晴らしく見えます。クローズされた問い合わせ25件の抽出調査で、サービスデスクがフォローアップの質問にチャットのチャネルを使うようユーザーに頼み始めていて、そのチャットチャネルはITSMツールで数えられていないことが分かります。チームは、チャネル別の問い合わせをレポートに加え、チャットの記録を抽出調査に含め、合算した率が17パーセントだと知ります。これは実際の改善ですが、最初の読みより小さいものです。レビューで責任者は17パーセントを報告し、先行指標が48から57パーセントへ歩調を合わせて上がったことを述べ、検証済みと呼ぶのに必要な四期間のうち、仮説が成り立ったのは二期間であることを記録します。
アジャイル、AI、自動化、アナリティクス
アジャイル
継続的デリバリーは、小さな変更をリリースし、ユーザーのアウトカムが動いたかを確かめるコストを下げます。よいプラクティスは、作業を始める前に、意図したアウトカムとそれを示すシグナルを述べ、リリース後にステークホルダーとともにそのシグナルを確認することです。注意点は、頻繁なリリースがチームに、リリースを進捗として数えさせたくなる誘惑を生むことです。それもまたアウトプットです。
AI
AIツールは、アウトプットを簡単に増やします。より多くのコード、下書き、回答です。アウトカムの問いは、ユーザーがより良く対応されているかなので、アウトプットの件数を、AIが支援する経路の再問い合わせ率やタスク成功率などのアウトカムと組にします。注意点は、AIの利用が増える中でアウトカムが改善しても、他の原因がありうるため、比較なしにツールが原因だと主張するのは避けることです。
自動化
再問い合わせ、離脱、最初の有用な回答までの時間のように、すでに存在するアウトカムのシグナルの取得を自動化します。仕事そのものの自動化は、何を解放し、何を壊すかで測るべきです。注意点は、頻繁に実行される自動化タスクは、その結果が決して使われなくても、生産的に見えることです。
アナリティクス
アウトカムのデータは、通常、アウトプットのデータより遅くノイズが多いものです。先行指標で舵を取り、ときどき、より遅いアウトカムと照らして検証します。注意点は、昨年のデータにおけるアウトプットとアウトカムの相関が、アウトプットが今後もアウトカムを予測し続けることを意味しないことです。ITIL 5の観点では、所有者が測定可能なアウトカムに焦点を当てると述べていることから、このトピックはトピック 1.8「ITIL 5の測定と価値の成果」の土台になります。
業種別の視点
スタートアップ。 アウトカムは手近にあります。創業者は顧客と話し、彼らが留まるかを見られます。リスクは、ユーザー数と機能の増加だけを測ることです。定着とタスク成功が見えるまで、それらは虚栄の指標です。顧客が認識できるアウトカムの測定値を一つ選び、毎週確認してください。
中小企業。 数字が小さすぎて統計には向かないため、直接の対話、追跡する少数の事例、代理指標の短いリストを優先してください。ベンダーのダッシュボードが、自らの活動をあなたのアウトカムであるかのように報告することには注意してください。
大企業。 規模は、アウトプットの報告を誘います。アウトプットは多くのチーム間で比較でき、アウトカムは比較できないからです。似ていないサービスに一つのアウトカムの定義を強いることは避けてください。共有するアウトカムの文を少数合意し、各サービスに測定値を選ばせ、台帳を最新に保ちます。
政府・公共部門。 法定の義務、資金の規則、サービスレベルによって、一部の測定値は、処理した案件数のようなアウトプットとして、あらかじめ決まっています。それらは満たしつつ、並べて、市民と職員に関するアウトカムの測定値、たとえば人が求めていた助けを得られたかを加えてください。公的な報告は、誠実なアウトカムのデータをより価値あるものに、またより繊細なものにするため、修正した数字をどう説明するかをあらかじめ合意しておきます(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
アウトカムへ移すコストは、ほとんどが労力と忍耐です。アウトカムの文を書き、短いアンケートや採用イベントのような少数の測定値を加え、アウトカムレビューを開くことです。ほとんどの代理指標はすでに収集されたデータから作れるため、ツールのコストは控えめです。より大きなコストは遅れです。アウトカムのデータはゆっくり届き、リーダーはそれを待たなければなりません。
見返りは、どこに費やすかについてのより良い選択から生まれます。誰にも使われない仕事は高くつきますし、再問い合わせの根本原因が残ったまま対応の測定値を改善することも同様です。期待されるパターンは、作られて使われない機能の減少、繰り返される原因へのより多くの注意、そして資金獲得のためのより強い物語です。パーセンテージを約束してはいけません。最近のリリースの採用や再問い合わせなど、自分たち自身のベースラインを測り、数四半期後に比較してください(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 数えやすいものを数える。 チケット数とデプロイ数はあらゆるツールにあり、それがデフォルトになる。アウトプットの件数を追加する前に、サービスごとに少なくとも一つのアウトカムの測定値を加える。
- アウトカムの芝居。 確認せずにすべてのメトリクスにアウトカムの文を書く。台帳の抽出をレビューし、各測定値がどんな判断に情報を与えたかを尋ねる。
- 検証されない先行指標。 もっともらしいシグナルを証拠として扱う。少なくとも年に二回、遅行の結果に対してプロットし、先行しないものは捨てる。
- 個人の目標としてのアウトカム。 アウトカムの測定値を一人に割り当てると、トピック1.2で述べた振る舞いを招く。アウトカムはチームとサービスに付ける。
- 提供者の側だけを測る。 内部の時計と件数でできた集合は、顧客の感じるものを見逃す。サービスごとに消費者側の測定値を含める。
- 決してレビューしない。 約束された効果に基づいて変更に資金を出し、それを確かめない。変更が承認されるときに、変更レコードにレビュー日を付ける。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 測定値の選択 | ツールで利用できる件数 | 一部のチームがアウトカムの文を書く | 報告されるすべてのメトリクスに、書面のアウトカムと、情報を与える判断がある | アウトカムとアウトプットの集合を、四半期ごとに併せてレビューする | アウトカムの文がチーム、供給者、顧客の間で揃えられ、戦略が変わったら見直される |
| 先行指標と遅行指標 | 遅行の結果のみで、遅れて報告される | 少数の先行指標を直感で選ぶ | 先行指標と遅行指標を組にして台帳に記録する | 先行指標を年二回、結果に照らして検証する | 指標は供給者や顧客と共有され、集合は証拠とともに進化する |
| アウトカムレビュー | 変更が機能したかのレビューなし | 大きな変更の後にときどきレビューする | 資金が付いたすべての変更にレビュー日が記録される | レビューが完了し、その結果が次の計画に反映される | レビューは日常的でチーム横断的であり、顧客の意見を含む |
| 消費者側の証拠 | 逸話 | 一部のサービスにアンケート | すべてのサービスに消費者側の測定値がある | 消費者の証拠を傾向として追い、運用データと併せて読む | 顧客がアウトカムの測定値の定義と解釈を手伝う |
チェックリスト
- すべてのサービスに、人またはサービスと変化に名前を付けたアウトカムの文が、少なくとも一つある。
- 報告される各メトリクスが、活動からインパクトまでの連鎖上に位置付けられている。
- 各メトリクスに、情報を与える判断が名前付きで存在し、存在しないものは廃止されている。
- レポート上のすべてのアウトプットの測定値の隣に、アウトカムの測定値がある。
- すべてのサービスに、消費者側の測定値が少なくとも一つある。
- 各遅行指標に先行指標があり、そのつながりの理由が書かれている。
- 先行指標は、少なくとも年二回、結果と照らして確認されている。
- 代理指標は代理指標と明示され、何を見逃すかが記されている。
- 資金が付いたすべての変更に、意図したアウトカム、測定値、レビュー日がある。
- アウトカムの測定値は、チームとサービスに付けられ、個人には付けられていない。
AIプロンプト
アウトプットのメトリクスを、アウトカム主導の集合に変える。
私たちのチームは [チーム名] で、[顧客またはユーザー] に [サービスまたはプロダクト] を提供しています。現在、[アウトプットまたは活動のメトリクスの一覧] を報告しています。アウトカムの方向へ移りたいと考えています。各メトリクスについて、それが支えうる、顧客またはサービスについてのアウトカムの文を提案し、検討できるアウトカムの測定値を一つと先行指標を一つ提案してください。各提案について、その測定値が何を見逃すか、どう悪用されうるかを述べてください。ベンチマークの値や出典を捏造しないでください。前提と、私から必要な事実を列挙してください。
先行指標が信頼できるかを検証する。
私たちは [先行指標] を [遅行のアウトカム測定値] の先行指標として使っています。両方の [期間数] 期間分のデータを、その間に変わったことのメモとともに、下に貼り付けます:[データとメモ]。先行指標が遅行指標より先に動いているように見えるか、またデータと整合する他の説明は何かを述べてください。因果関係を主張しないでください。前提、この量のデータの限界、どんな追加データが役立つかを列挙してください。
最近の変更のアウトカムレビューを起案する。
私たちは次の変更を行いました:[説明]。承認日は [日付]、意図したアウトカムは [アウトカムの文]、測定値は [測定値] です。現在のデータ:[データ]。意図したアウトカムと実際に見えるものを比較し、チームが影響を及ぼしたものと観察しただけのものを分け、ユーザーへの問いを列挙する、アウトカムレビューの議題と短い要約の構成を起案してください。データが裏付ける範囲を超えて成功を判断しないでください。前提とデータの不足を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:報告しようとしているアウトプットのメトリクスについて、トピックと、組になるアウトカムの測定値を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:新しいメトリクスのトピックが、アウトプットの測定値をアウトカムと防護柵に組にしているかを確認するときに使います。
要点
- 活動、アウトプット、アウトカム、インパクトは別のものであり、最初の二つだけのダッシュボードは価値を示せない。
- ITILでは価値は消費者と共創されるため、どの集合にも消費者の側の測定値が必要である。
- アウトプットをアウトカムと、遅行指標を検証済みの先行指標と組にする。
- チームが影響を及ぼすものと、観察するだけのものをはっきりさせる。
- 資金が付いた変更を意図したアウトカムに照らしてレビューし、その結果で計画を変える。
- アウトカムの測定値は悪用を減らすが、なくしはしないため、それぞれに防護柵が必要である。
参考文献とさらなる読書
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.