概要と動機

アジャイルな働き方は、動くソフトウェアを最優先し、出荷されるものが人々の必要とするものになるよう、ステークホルダーを通じて協働し続けます。ITILによって体系化されたITサービスマネジメント(ITSM)は、同じ関心を価値として捉えます。サービスが価値を持つのは、顧客が望む成果を、受け入れられるコストとリスクで達成する助けになるときです。両方の伝統は、一つの居心地の悪い問いで出会います。1年後、このチームが作り、運営したものによって、人々と組織はより良い状態になっているか。

それに答えるのは、届けたものを数えるよりも難しいことです。機能は出荷されて、誰も使いません。インシデントは、チームの仕事と無関係な理由で減ります。コスト削減がスライドに現れ、その元となった予算は別のところで使われます。このトピックは、そのギャップを埋めることについてであり、この本の序盤で導入した成果への注目に直接結び付きます(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。

四つの考え方がトピックを整理します。

  • 便益(benefit)。 便益は、ステークホルダーが価値を置く測定可能な改善で、たとえばタスクに費やす時間の減少、エラーの減少、より多くの顧客への対応、リスクの低下です。機能は便益ではありません。手段です。便益実現管理(benefits realization management)は、便益を特定し、オーナーを割り当て、それらが届くことを確認する規律です。
  • 価値の仮説(value hypothesis)。 作る前に、チームは何が、誰にとって、どれだけ変わると期待するか、そしてそれをどう見分けるかを書き下します。これは検証可能な主張であり、間違いうるものです。変化の理論(theory of change)やロジックモデル(logic model)は、活動からアウトプット、成果への連鎖を示し、仮説を明示するのに役立ちます。
  • 先行指標と遅行指標。 先行指標(leading indicator)は早く動いて結果を予測するもので、たとえば新しいプロセスの導入です。遅行指標(lagging indicator)は、事後に結果を確認するもので、たとえば取引あたりのコストの低下です。両方を使います。先行指標は軌道修正を可能にし、遅行指標はそれが機能したかを教えます。
  • 帰属(attribution)。 多くのことが同時に変わります。自分たちの仕事が改善を引き起こしたと言うには、比較が必要です。ベースライン、比較グループ、あるいは他の変化を考慮した前後の設計。それがなければ、価値の主張は物語です。誠実な立場は、しばしば「によって引き起こされた」ではなく、「と関連している」です。

目標と主要な成果(OKR:objectives and key results)のような目標のフレームワークは、チームの仕事を事業の成果に結び付けられ、前のトピックの測定フレームワークがそれを詳しく扱っています(トピック 1.7「測定フレームワーク」を参照)。あらゆるフレームワークのリスクは、グッドハートの法則(Goodhart's law)が名指すものです。便益の数字が目標になると、人々は便益なしにその数字を生み出す方法を見つけます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

このトピックはまた、お金への橋渡しをします。次の部の投資対効果とビジネスケースのトピックが、財務の見方を深く扱います(トピック 7.7「投資対効果とビジネスケース」を参照)。ここでの焦点は、そのケースに供給される、成果の証拠です。

主要な原則

  • 作る前に、期待する便益を書き下す。 後で確認できない主張からは、学べない。
  • 各便益にオーナーの名前を付ける。 オーナーは、デリバリーチームではなく、変化を目にするステークホルダーである。
  • リリース後に、ユーザーのところで測る。 デリバリーは確認の始まりであり、終わりではない。
  • 先行指標で舵を取り、遅行指標で確認する。
  • 帰属について誠実である。 他に何が変わったかを言い、証拠が支えられない主張を避ける。
  • 届かなかった便益を数える。 失敗した仮説から学ぶことは、この働き方の便益である。
  • 協働し続ける。 ステークホルダーとチームが、証拠を一緒に、定期的にレビューする。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
便益の実現率 合意したレビュー日に観察された、期待される便益の割合 測定結果が合意した閾値以上だった便益 ÷ その期間にレビュー日がある期待された便益 パーセント オーナー、ベースライン、レビュー日を持つ便益の台帳 継続的改善、サービス価値システムのガバナンス ステークホルダーとの成果レビュー 四半期ごと
最初の価値までの時間 作業の開始から、ユーザーにとっての最初の測定可能な便益までの時間 最初の作業を開始してから、便益の指標が期待どおりに動いた最初の日までの日数 日 作業追跡システムと便益の指標 サービスデザイン、リリースとデプロイ管理 価値の継続的デリバリー 取り組みごと
仮説の確認率 リリースされた変更のうち、述べた価値の仮説がリリース後に確認された割合 リリース後の確認が記録された変更 ÷ 仮説を伴ってリリースされた変更 パーセント リリースの記録に結び付いた仮説ログ 継続的改善、変更実現 リリースされた仕事からの学び 毎月
証拠の質の割合 主張された便益のうち、ベースラインと述べた比較方法を持つ割合 ベースラインと方法のある便益の主張 ÷ 報告された便益の主張 パーセント 便益の台帳のレビュー 測定とレポート 成果の誠実な報告 四半期ごと
成果指標の動き 選んだ成果指標の、ベースラインと、可能な場合は比較に対する変化 (後の指標 − 前の指標)。比較グループの変化を並べて報告する 指標の単位 プロダクトアナリティクス、サービスのデータ、財務 サービスレベル管理、継続的改善 主要な成果の進捗 毎月
事業への影響時間 サービスの問題のために事業プロセスが劣化または停止した時間 プロセスのオーナーがITサービスの原因に帰属させた、劣化または停止したプロセスの時間 時間 プロセスオーナーの確認と結合したインシデントのレコード インシデント管理、可用性管理 事業への影響のレビュー 毎月
成果に結び付いたキャパシティの割合 チームのキャパシティのうち、述べた成果に結び付いた仕事に費やされた割合 記録された成果に結び付いたアイテムのキャパシティ ÷ 総キャパシティ パーセント 成果の欄を持つ作業追跡システム サービス価値システム、ポートフォリオガバナンス プロダクトゴールに沿った仕事 四半期ごと

便益を記録するときに、後からではなく、すべての便益のレビュー日と閾値を定義します。最初の価値までの時間は、作業が始まったときに始まり、指標が述べた量だけ期待された方向に最初に動いたときに止まり、それはリリースのずっと後かもしれません。事業への影響時間の帰属は、プロセスのオーナーと合意され、争いは記録されます。

推奨事項

作る前に:主張を検証可能にする

1. 重要な変更ごとに、価値の仮説を書く。 平易な形を使います。「[変更]が、[誰]が[何をする]のを助け、[測定可能な改善]になると信じる。[指標]が[ベースライン]から[期待値]に動くことで分かり、[日付]にレビューする。」ボードのカードに収まるほど短く保ちます。空欄を埋められないチームは、まだ問題を理解していないことがよくあります。

2. ベースラインを記録する。 前がなければ、後はありません。指標の現在の値、それがどう測られたか、どれだけ変動するかを取得します。指標がノイズの多いものなら、単一の数字は誤解を招くので、数週間にわたる範囲を記録します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。

3. 先行指標と遅行指標を選ぶ。 新しいセルフサービスのリクエストでは、先行指標はそれを完了する対象ユーザーの数で、遅行指標は手作業の処理時間の減少です(トピック 6.3「サービス導入とカタログのメトリクス」を参照)。どの指標をいつ確認するかを合意します。先行指標は、四半期の終わりを待たずに途中で軌道修正することを可能にします。

4. デリバリーチームの外に便益のオーナーを指名する。 オーナーは、自分の領域で改善を目にし、それを判断できるステークホルダーです。デリバリーチームは測定を支えますが、自分の宿題に採点しません。これは実践における継続的な協働です。成果を望んだ人が、それが確認されるまで関わり続けます。

リリース後:誠実に確認する

5. 合意した日付に仮説をレビューする。 オーナーとチームで短いレビューを開きます。指標、ベースライン、比較を見ます。結果を台帳に記録します。満たされた、部分的に満たされた、満たされなかった、あるいは判断できない。「判断できない」は正当な結果であり、測定を改善する促しです。

6. 可能なところでは比較を使う。 最も強い比較は、統制された実験です。A/Bテスト(A/B testing)は、ユーザーを無作為に割り当てて二つの版を比較し、十分なトラフィックのあるデジタルサービスでうまく機能します。無作為化ができないところでは、段階的なロールアウトにより、変更を受けたグループと受けていないグループを比較できます。差の差法(difference-in-differences)のアプローチは、同じ期間にわたって、処置を受けたグループの変化を受けていないグループの変化と比較し、共有された傾向を取り除きます。合う最も単純な設計を使います。

7. 交絡要因を探す。 交絡(confounding)要因は、変わった他のもので、結果を説明しうるものです。季節のパターン、新しいポリシー、リクエストのミックスの違い。効果を主張する前に、もっともらしいものを列挙します。除外できないなら、証拠が支えることだけを、それ以上でなく述べます。

8. 否定的な結果と帰無の結果を報告する。 変更が役立たなかったときは、そう述べ、学んだことを記録します。成功だけを見る習慣である生存者バイアス(survivorship bias)は、プログラムを実際より良く見せます。勝利だけを含む台帳は、誠実につけられていません。

プログラムを誠実に保つ

9. 証拠の質を便益から分ける。 ベースラインと述べた方法を持つ主張の割合を追跡します。弱い証拠を伴う大きな主張は、そのように読まれるべきです。健全な台帳は、強い証拠を伴う控えめな主張と、少数の誠実な「判断できない」の項目を示します。

10. キャパシティを成果に、ゆるやかに結び付ける。 チームの仕事のどれだけが述べた成果に結び付いているかを尋ね、残りを見ます。セキュリティの修正やサービスを動かし続けることのような一部の仕事には、新しい便益はなく、それが名指しされていれば問題ありません。狙いは、漂流に気づくことであり、すべてのタスクを便益の物語に押し込むことではありません。

11. 使っている目標のフレームワークに結び付ける。 OKRを使うなら、主要な成果を成果の指標にし、ステークホルダーとレビューします。主要な成果をタスクではなく成果についてのものに保ち、完全には満たされないかもしれない意欲的な目標の余地を残します。主要な成果を個人の目標にしてはいけません(トピック 1.7「測定フレームワーク」を参照)。

12. プロジェクトに加えて、ポートフォリオをレビューする。 四半期に一度、取り組み全体を見て、どの便益が届き、どれが届かず、そのパターンがチームが仕事をどう見積もり、選ぶかについて何を語るかを見ます。チームに順位を付けるためではなく、仮説の書き方を改善するために使います。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
便益の実現率 低い閾値を設定する、レビュー日を動かす、事後に便益を再定義する 承認時に固定された閾値と日付。証拠の質の割合。デリバリーチームの外のオーナー
最初の価値までの時間 間違った理由で動く早い指標を選ぶ、時計を遅く始める 台帳に定義された指標と時計。便益のオーナーと確認する
仮説の確認率 常に合格する曖昧な仮説を書く、成功した変更だけを確認する 検証可能性について仮説を抽出する。帰無と失敗の結果をレビューに含める
証拠の質の割合 ベースラインを後付けで埋める、あらゆる比較を方法として記述する 変更の前に日付が付いたベースライン。チーム外の誰かによるレビュー
成果指標の動き 有利な期間やグループを選ぶ、交絡要因を無視する 事前に登録した期間とグループ。考慮した交絡要因の一覧
事業への影響時間 プロセスのオーナーが帰属を水増しまたは過小にする、帰属を避けるためにインシデントを再分類する 書面で記録される帰属の規則。インシデントと可用性の記録と比較する
成果に結び付いたキャパシティの割合 すべての仕事に一般的な成果をタグ付けする、定型的な仕事のために成果を作り上げる ステークホルダーとレビューする成果の一覧。リンクの質について項目を抽出する

健全な読みは、一部の便益が満たされ、一部は満たされず、少数は不明確で、すべての項目にベースライン、オーナー、述べた方法がある台帳です。一様に成功している台帳は、疑いを持って扱うべきです。

トレードオフ:長所と短所

手法 強み 弱み
正式な便益の台帳 説明責任、取り組みにまたがる学び あらゆる小さな変更に適用すると官僚主義になる
各カードの軽い仮説 安く、習慣を築く 曖昧に書きやすい
統制された実験 原因の強い証拠 トラフィック、時間、サービスに合う設計が要る
前後の比較のみ 単純で素早い 他の変更に交絡される
ステークホルダーの判断 測定値が見逃す価値をとらえる 楽観と政治に左右される
先行指標 早期の軌道修正 本当の成果を予測しないかもしれない
遅行指標 実際の結果を確認する 到着が遅い。多くの原因がある

散文での答えは、証拠の重さを変更の大きさとリスクに合わせることです。小さな変更には軽い仮説と単純な前後の比較を、大きな変更には実験や段階的なロールアウトを使います。常に、何を期待したか、何が起きたか、どれだけ確かかを記録します。

チームで話し合う問い

1. 先四半期に何を出荷し、それが助けるはずだった人々にとって何が変わったか? 主な変更を列挙し、それぞれについて、違いに気づくはずの人の名前を挙げます。その人が何と言うかを尋ねます。ファシリテーターは、誰も答えられない変更に注意してください。それらはリリース後の確認の候補だからです。一か月以内にオーナーとレビューする変更を一つ合意します。

2. 次の重要な変更の価値の仮説は何で、どうやってそれを知るか? 仮説の形式を一緒に埋めます。曖昧な言葉と欠けているベースラインに異議を唱えます。どんな結果がチームに計画を変えさせるかを尋ねます。グループが測定値に合意できないなら、それは作る前の発見のタスクです。

3. 便益を所有するのは誰で、その人はその場にいるか? 各便益に、デリバリーチームの外にオーナーがいることを確認します。オーナーがどのくらいの頻度で証拠を見るかを尋ねます。オーナーがチーム自身であるところでは、他に誰が判断を共有すべきかを話し合います。対話は、ステークホルダー間の継続的な協働を支えます。

4. 数字が改善したとき、他に何が変わったか? 最近主張された改善を取り、同じ期間の他の変更を列挙します。ポリシー、季節性、人員、別のチームのリリース。どれが結果を説明しうるかを尋ねます。改善を、変更によって引き起こされた、関連している、不明確のどれとして記述するかを決めます。

5. 過去の仮説のうち間違っていたものはどれで、それに対して何をしたか? 失敗した期待の話を求めます。すぐに出てこなければ、チームは確認していないか、それについて話していないのかもしれません。帰無の結果の報告を安全で有用にする方法を話し合います。

6. 私たちのキャパシティのどれだけが成果に結び付いていて、それは正しく感じられるか? ひと月の完了した仕事をレビューし、各アイテムに成果、または「サービスを動かし続ける」とタグを付けます。その分割がリーダーの考えと合っているかを尋ねます。成果のない仕事と、それを続けるべきかを話し合います。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、仮説と測定計画を所有し、証拠が早く届くよう、小さなステップで変更を届けるべきです。たとえば必要なイベントをログに記録することで、指標を変更に組み込み、見たものを便益のオーナーに確認してもらうべきです。チームは、失敗した仮説を情報として歓迎するべきです。早期の学びは、間違ったものをより多く作るコストを節約するからです。

サービスと運用のチーム

運用チームは、インシデント、リクエスト、キャパシティへの変更の実際の効果を見ます。手作業の処理時間や繰り返しの問い合わせのような、遅行指標のデータの多くを持ち、変更を吸収するだけでなく、仮説の確認も助けるべきです。紙の上で主張された便益が、サービスデスクが見ているものと合わないときは、声を上げるべきです。

リーダーシップとガバナンス

リーダーは、便益が学びのツールか営業トークかを選びます。ベースラインと方法を求め、誠実な「満たされなかった」という結果を歓迎し、事実が分かる前に設定された便益の数字にチームを縛るのは避けるべきです。ガバナンスは、台帳をポートフォリオとしてレビューし、測定に資金を付け、仮説が失敗した仕事を止める意志を持つべきです。

顧客とユーザー

ユーザーは、変更が役立ったかを知っており、ほとんどの便益の最良の判断者です。彼らは尋ねられ、結果を示され、変更が期待したものを届けなかったときにそう告げられるべきです。彼らのコメントは、それ自体が証拠です。数字が示しているのにユーザーが感じない便益は、よく見てみる価値があります。

実践:サービスマネジメントの例

地域の医療保険会社のITグループが、医療提供者向けの請求ポータルを構築し運営しています。以下の数字は例示です。

グループは、請求の提出に自動の適格性チェックを加える計画です。請求運用のマネージャーとともに書かれた仮説は次のとおりです。「自動の適格性チェックは、提供者の請求担当スタッフが最初から正しい請求を提出する助けになり、修正のために返却される請求が3か月以内に18パーセントから12パーセントに下がると信じる。返却された請求の率から分かり、3月1日にレビューする。」ベースラインは直近12週間の平均で、18パーセント、週ごとの範囲は15から21パーセントです。先行指標は最初の月のチェックの利用です。請求運用のマネージャーが便益のオーナーです。

チームは小さなステップでリリースし、チェックは最初に一つのリージョンで利用可能になります。3週間後、そのリージョンでのチェックの利用は64パーセントです。レビュー日に、返却された請求は、チェックのあるリージョンで13パーセント、ないリージョンで17パーセントに下がります。請求マネージャーは、一つの請求コードに関するポリシーの変更も、その期間に発効したことを指摘します。チームはそれを交絡要因として挙げ、そのコードの請求を両方のグループから取り除き、17.5パーセントに対して14パーセントが残ります。便益の実現は「部分的に満たされた」と記録されます。ベースラインより明確な差で良いが、12パーセントの目標には届かない。チームは台帳に、証拠は一四半期にわたる段階的なロールアウトからのもので、効果は他の提供者では異なるかもしれないことを誠実に書きます。

その後、チームは3か月後に再び確認する計画で、すべてのリージョンにチェックを展開し、提供者からのコメントがメッセージが不明確だと述べているため、エラーメッセージを改善するタスクを加えます。財務責任者は、取締役会向けに単一の数字を求めます。IT責任者は範囲と方法を提示し、証拠が許す以上の精度で数字を述べることを断ります。判断は、次のレビュー日とともに記録されます。

アジャイル、AI、自動化、アナリティクス

アジャイル

作業が始まる前に期待する便益を述べ、リリース後に得をするはずの人々と確認します。注意点は、ベースラインのない便益の主張は物語であることです。

AI

AIのプロジェクトはしばしば大きな便益を約束するので、AI支援の仕事のベースライン、期待される変化、証拠を別々に記録し、生産性の主張を品質とコストと組にします。注意点は、AIツールが作った便益の見積もりは、正確に聞こえながら裏付けがないことがあるため、確認することです。

自動化

すでにシステムにある成果指標の取得を自動化し、便益のレビューのプロセスを完了で測ります。注意点は、指標の自動化されたダッシュボードが、便益が起きたかについての対話に取って代わりうることです。

アナリティクス

成果指標の動きを、証拠の質と帰属の限界とともに報告します。これが情報を与える判断は、何を続け、変え、止めるかです。注意点は、帰属が難しいため、不確実性を記述することです。

業種別の視点

スタートアップ。 便益は収益と継続率に近く、学びの速さが重要です。カードに一行の仮説を書き、素早く確認し、重い台帳を避けます。単純な比較を使い、小さな標本が主張できることを制限することを受け入れます。

中小企業。 オーナーが便益のオーナーで、効果は目に見えます。期待する効果を伴う変更の短い一覧を保ち、四半期ごとにレビューします。小さな利得を大きな数字に膨らませるのは避け、変更のコストと比較します。

大企業。 ポートフォリオ、資金の周期、多くのステークホルダーが、便益の台帳を有用にします。小さな変更には軽く、大きなものには厳密に保ち、事業部門にオーナーを置き、ポートフォリオ全体でレビューします。異なる定義の数字が集約されることに注意します。

政府・公共部門。 成果はしばしば、アクセス、公平さ、安全のような公共財で、収益に還元されません。サービスを受ける人々とともに成果を定義し、混合した証拠を使い、方法を公然と報告します。正式なビジネスケースと便益のレビューが求められるかもしれず、誠実な帰無の結果は公的な説明責任にとって重要です(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

コストは主に注意です。仮説を書くのは数分、ベースラインは1時間か数時間、レビューは短い会議です。実験と段階的なロールアウトには、設計の労力と一定のツールが要ります。便益の台帳は、スプレッドシートや作業追跡システムの欄でよいのです。

見返りは、より良い投資判断です。仮説を確認するチームは、役立たないものを作るのをやめ、役立つものを拡大し、自分たちがどれだけうまく予測するかを学びます。それは、使われない機能と失敗したプログラムのコストを節約します。自分たちのデータからケースを築きます。仮説を伴った変更の割合、確認された割合、のちに放棄または元に戻された仕事のコスト。ITプロジェクトの失敗率についての公表された数字は、出典と方法をたどれない限り避けてください。大きく異なり、文脈なしに引用されることが多いからです。財務的な扱いは次の部にあります(トピック 7.7「投資対効果とビジネスケース」を参照)。

アンチパターンと落とし穴

  • デリバリーを価値として数える。 出荷された機能は手段である。人々への効果を確認する。
  • 失敗しえない仮説。 数字と日付を伴って、具体的にする。
  • 自分の宿題に自分で採点する。 チームの外の便益のオーナーに結果を判断させる。
  • 前後の比較から原因を主張する。 交絡要因を列挙し、可能なところでは比較を使う。
  • 勝利だけを報告する。 帰無と否定的な結果を記録する。成功だけの台帳は誠実でない。
  • 個人に便益の目標を設定する。 人に結び付いた目標は、水増しされた主張を招く。便益をチームと取り組みのレベルに保つ。
  • 過度の精密さ。 小数点の単一の数字ではなく、範囲と方法を報告する。
  • 新しい便益のない仕事を無視する。 それに名前を付け、そのために便益の物語を作り上げない。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
価値を述べる 便益はビジネスケースでのみ主張される 一部の変更に仮説が書かれる すべての重要な変更に、短い仮説、ベースライン、オーナー 承認時に仮説と閾値が固定される。先行指標と遅行指標が定義される 仮説がチームと供給者の間で共有される。ユーザーとともに成果が定義される
価値を確認する リリース後の確認なし デリバリーチームによる時折の確認 独立したオーナーによる予定されたレビュー 比較と交絡要因が文書化される。証拠の質が追跡される ポートフォリオレベルの証拠が資金を導く。チームにまたがる共有の実験
学び 勝利は祝われ、失敗は忘れられる 一部の教訓が記録される 帰無の結果が記録されレビューされる 外れた仮説のパターンが選択と見積もりを改善する 学びが組織全体とパートナーとの計画に供給される

チェックリスト

  • 各重要な変更に、ベースライン、指標、レビュー日を持つ書面の価値の仮説がある。
  • 各便益に、デリバリーチームの外のオーナーがいる。
  • 先行指標と遅行指標が定義され、追跡されている。
  • レビューが、オーナーとともに、合意した日付に行われている。
  • 実行可能なところでは、比較または段階的なロールアウトが使われている。
  • 主張された各結果について、交絡要因が列挙されている。
  • 帰無と否定的な結果が記録され、共有されている。
  • 便益の主張の隣で、証拠の質が追跡されている。
  • 個人に個人的な便益の目標がない。
  • 四半期ごとのポートフォリオレビューが、満たされた、外れた仮説のパターンを見ている。

AIプロンプト

価値の仮説を書く。

[組織の種類] の [ユーザーまたはステークホルダー] のために [変更の説明] を計画しています。今日の問題:[説明]。「[変更]が、[誰]が[何をする]のを助け、[測定可能な改善]になると信じる。[指標]で分かる…」という形で価値の仮説を起案してください。先行指標と遅行指標を一つずつ、必要なベースライン、レビュー日の考え方を提案してください。目標値を捏造せず、私たちのためのプレースホルダーとして残してください。前提と、私たちが調べるべきことを列挙してください。

主張された結果の交絡要因を列挙する。

[変更] が [日付] の間に [指標] を [前] から [後] に改善したと主張しています。その期間に起きた他のこと:[一覧]。もっともらしい交絡要因、それぞれが結果をどう説明しうるか、それを除外するのに役立つデータや比較を列挙してください。証拠が支えることを述べる文言を提案してください。データが支えられない原因を仮定しないでください。前提を列挙してください。

段階的なロールアウトの比較を設計する。

[変更] を、異なる時期に [数] 個のグループにリリースできます:[グループと制約の説明]。変更のあるグループとないグループを比較できる段階的なロールアウトを提案し、どの指標と期間を使うか、比較に何が偏りを生みうるか、異なる結果から何が結論できるかを述べてください。効果の大きさを捏造しないでください。前提とリスクを列挙してください。

便益の台帳の項目をレビューする。

[取り組み] のこの便益の台帳の項目をレビューしてください:[主張、ベースライン、方法、オーナー、レビュー日を含む項目を貼り付け]。欠けている情報、曖昧な言葉遣い、証拠が支えない主張、結果が悪用されうる方法を指摘してください。実際に測ったことに合う、より強い文言を提案してください。前提と、オーナーへの問いを列挙してください。

AIスキル

要点

  • 作る前に、ベースライン、チーム外のオーナー、レビュー日を伴う、検証可能な価値の仮説を書く。
  • 先行指標で舵を取り、遅行指標で確認する。
  • 可能なところで比較し、交絡要因を列挙し、証拠が支えることだけを主張する。
  • 帰無と否定的な結果を記録する。一様に成功している台帳は誠実ではない。
  • 主張の大きさの隣で、証拠の質を追跡する。
  • 成果が確認されるまで、ステークホルダーとユーザーを協働させ続ける。

参考文献とさらなる読書

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.