概要と動機

サービスを構築し運用するチームは、一日中判断を下しています。次に何に取り組むか、リリースは安全か、サービスデスクにもう一人必要か、障害は一度きりのものかパターンなのか。測定がなければ、こうした判断は記憶や逸話、最後に発言した人の意見に頼ることになります。誤った測定があれば、それ以上に悪くなりえます。数字には、意見にはない権威があるからです。このトピックでは、なぜ測定する価値があるのか、二つの伝統がそれぞれ何をもたらすのか、そして誤るとどんな代償があるのかを説明します。

本書では二つの伝統が出会います。アジャイルソフトウェア開発(Agile software development)は、2001年のアジャイルソフトウェア開発宣言で示された、価値観とプラクティスの集まりであり、動くソフトウェア、顧客との緊密な協働、変化への対応を重んじます。その測定の習慣は経験的で局所的です。チームは自分たちのフローを点検し、届けたものを見て、適応します。ITILは、もとは情報技術インフラストラクチャライブラリ(Information Technology Infrastructure Library)の略で、ITサービスマネジメント(IT service management)(ITSM)、すなわちITサービスを設計し、提供し、改善する実践のためのガイダンスの集合です。その測定の習慣はサービス指向で共有的です。合意されたサービスレベル、サービスのカタログ(ITIL自身の綴りは「service catalogue」)、継続的改善の規律がその柱です。2019年版のフレームワークであるITIL 4では、測定とレポートは一般管理プラクティスの一つであり、継続的改善はプラクティスであると同時に指針となる原則でもあります。フレームワークは進化し続けているため、バージョンの詳細に頼る前に、フレームワーク所有者の最新の刊行物を確認してください。

二つの見方は、役に立つ形で異なります。アジャイルは「正しいものを作っているか、仕事はなめらかに流れているか」と問います。ITILは「サービスは利用する人々のニーズを満たしているか、信頼でき、サポートでき、手の届くコストか」と問います。フローだけを測るチームは、ユーザーが信頼できないと感じるサービスへ素早く出荷してしまうかもしれません。サービスレベルだけを測るチームは、すべての目標を達成しながら、変更の提供があまりに遅いためにサービスが時代遅れになるかもしれません。DevOpsの運動は、構築と運用は一つのシステムであり、それを記述する数字も併せて読むべきだという観察から生まれました。Googleが刊行物で説明した規律であるサイト信頼性エンジニアリング(Site reliability engineering)(SRE)は、信頼性の目標と変更のペースとの間に明示的なつながりを加えます。

本書全体で三つの用語が繰り返し現れます。測定値(measure)は、仕事やサービスについて何かを記述します。メトリクス(metric)は、定義された計算式、単位、データソースを持つ測定値であり、二人が計算すれば同じ答えになります。防護柵(guardrail)は、あらかじめ選んでおく第二の測定値またはプラクティスで、最初の測定値が悪用されているときに動きます。防護柵の背後にある警告がグッドハートの法則(Goodhart's law)です。測定値が目標になると、人は仕事ではなく数字を操り始める、というものです(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

測定は何のためにあるか

測定がその場所に値するのは、次の四つの仕事のどれかを果たすときです。

  • 見る。 見えない仕事を見えるようにする。誰も見ていないキュー、三つのチームにまたがるインシデントのパターン、枠を待って九日間止まっている変更など。
  • 決める。 二つの選択肢のどちらかを選ぶ判断に情報を与える。たとえば、あるリクエストの種類を自動化するか、その原因となる欠陥を直すか。
  • 学ぶ。 信念を検証する。新しいレビューの進め方で手戻りが減ると考えるなら、数字がそうなったかどうかを教えてくれる。
  • 説明する。 ユーザー、顧客、リーダーに、サービスが何を提供しているかを誠実に説明し、信頼が証拠に基づくようにする。

この四つのどれも果たさない数字は、負担にすぎません。以降のトピックでは、メトリクスの各ファミリーでこの試金石を繰り返します。

何も測らないことの代償

何も測らないチームが数字から自由になるわけではありません。暗黙の数字で動いています。最も大きな苦情、直近の障害、人々がどれだけ忙しそうに見えるかというマネージャーの感覚です。そこから二つの代償が生じます。

  • フィードバックが遅い。 傾向を見れば早く分かった問題が、不意打ちとして現れます。再問い合わせのじわじわとした増加は、危機になるまで不運に見えます。
  • 改善の根拠がない。 変更が役に立ったかどうか分からないため、どの変更を繰り返すべきかを学べません。

誤ったものを測ることの代償

誤ったものを測ることは、何も測らないことよりしばしば悪い結果を招きます。誤った確信をもって努力の向きを決めてしまうからです。クローズしたチケット数、コード行数、完了したストーリーポイント、記録した時間は、集めやすくグラフにしやすいものですが、どれも活動の測定値であり、ユーザーにとっての価値ではありません。SPACEフレームワークの背後にある研究(Forsgren他、2021年)は、生産性は単一の次元ではとらえられず、活動の数だけを使うと誤解を招くと論じています。

主要な原則

  • 判断のために測る。 各メトリクスは、文章に書いた問いに答え、名前のある選択に情報を与える。誰もそれを言えないなら、廃止する。
  • 二つの見方を結び付ける。 デリバリーのフローとサービスの健全性を同じページで読み、速さが安定性を犠牲にして買われることも、その逆も起こらないようにする。
  • まずアウトカムを、次に活動を測る。 ユーザーの状況が良くなることが試金石である。活動の数は物語を支えるが、物語そのものを語りはしない(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)。
  • チームとサービスを記述し、個人は記述しない。 個人の順位付けは、データを腐らせ、協働を損なう。
  • 小さく始めて育てる。 信頼できる少数のメトリクスは、統治の弱い大量のメトリクスに勝る。
  • まずチームに見せる。 仕事をする人々が最初の読者であり、データが正確かどうかの最良の確認者である。
  • 変わることを想定する。 定義、メトリクス、目標は、判断に情報を与えなくなったら見直す。

メトリクスの定義

以下のメトリクスは、測定の実践そのものの健全性を記述します。ここで「なぜ測るのか」が検証可能になります。これらを示せるチームは、理由を持って測っています。時間や件数に基づくすべての計算式は、その境界を明記しています。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
判断に紐づくメトリクスの割合 報告されたメトリクスのうち、文章の問いと、情報を与える対象の判断が名前付きで存在するものの割合 問いと判断が記録されているメトリクスの数 ÷ 四半期末にダッシュボードで報告されているメトリクスの数 パーセント メトリクス台帳(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照) 測定とレポート、継続的改善 レトロスペクティブのアクション、ワーキングアグリーメント 四半期ごと
ベースラインの網羅率 合意した中核の測定値それぞれについて、開始値が記録されている対象サービスとチームの割合 直近12か月以内にベースラインが記録されたサービスと測定値の組の数 ÷ 対象範囲内のサービスと測定値の組の総数(カタログ外のサービスは除く) パーセント サービスカタログとメトリクス台帳 サービスレベル管理、測定とレポート ステークホルダーレビュー、チームのダッシュボード 四半期ごと
測定の工数 メトリクスを手作業で収集、整形、報告するのに費やしたスタッフの時間 その月に手作業での収集と報告に記録された時間(所見に基づく対応に費やした時間は除く) チーム1つあたり月ごとの時間 時間のメモまたは短いチームアンケート 測定とレポート レトロスペクティブの時間予算 四半期ごと
レビュー時のデータの古さ グループが議論のために集まった時点で、最新のデータ点がどれだけ古いか レビュー会議のタイムスタンプ − ダッシュボード上の最新データ点のタイムスタンプ。メトリクスごとに計算し、中央値と85パーセンタイルで報告する 日 ダッシュボードの更新ログ 測定とレポート ステークホルダーレビュー レビューごと
改善のやり切り率 メトリクスのレビューから生まれた改善アクションのうち、合意した期間内に完了、または意図的にクローズされたものの割合 起票から90日以内に完了、または理由付きでクローズされたアクションの数 ÷ その期間に起票されたアクションの数(起票日は改善台帳に記録された日付から数える) パーセント 継続的改善の台帳またはバックログ 継続的改善 レトロスペクティブのアクション項目 四半期ごと

測定の工数は、意図的に手作業だけを数えます。データを読んで何をするかを決める時間は、この取り組みの目的そのものなので除外されます。そうすることで、収集の自動化が進捗として現れます。

推奨事項

目的から始める

1. メトリクスの前に理由を書く。 提案された測定値ごとに、一文を書きます。「私たちはYを決めるためにXを測る」。この文が書けないなら、その測定値はまだ準備ができていません。この習慣一つで、見栄えだけのメトリクスの大半がダッシュボードに入る前に取り除かれます。

2. 読み手と判断に名前を付ける。 同じ数字でも、チーム、サービスオーナー、経営幹部にとって意味は異なります。誰が読み、どんな選択を支えるのかを書き留めてください。チームの作業用ビューには二十の測定値があってもかまいません。リーダーシップに届けるのは、少数で安定したものにすべきです(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)。

二つの伝統を使う

3. フローの測定値とサービスの測定値を組にする。 仕事がどう動くかを示す測定値(リードタイムや作業アイテムの年齢など、トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)を少なくとも一つ、サービスの振る舞いを示す測定値(インシデントの再発やサービスレベル指標など、トピック 5.2「SLI、SLO、エラーバジェット」を参照)を少なくとも一つ選びます。両者を並べて示せば、速さと安定性を別々のグループが別々のグラフを見て管理するという、よくある失敗を防げます。

4. デリバリーと運用を一つのシステムとして扱う。 『Accelerate』(Forsgren、Humble、Kim、2018年)にまとめられた研究は、ソフトウェアデリバリーの成果をスループットと安定性を釣り合わせた四つの測定値で記述できると報告しています。どの組を採用するにしても、変更に関する数字とインシデントに関する数字は近くに置き、一方が上がれば他方を見に行くようにしてください(トピック 2.8「DORAメトリクス」を参照)。

誠実に測る

5. 互いに引っ張り合う少数の測定値を選ぶ。 単一の数字は過剰な最適化を招くため、速さと品質、量とアウトカム、コストと体験といった組を選びます。組は計算式である必要はありません。同じページに載っていることが必要です。

6. 何かを変える前にベースラインを記録する。 開始値がなければ、改善の主張は物語にすぎません。まず数週間分のデータを取り、平均だけでなく値のばらつきも含めて記録します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。ベースラインはチームを守ることにもなります。悪かった四半期が、成績の低下ではなく、仕事の数え方の変更に続いて起きたことを示せるからです。

習慣を築く

7. 判断に見合う頻度でレビューする。 フローの測定値は、毎週の対話、または継続的ソフトウェアデリバリーの各ステップで行う対話に向いています。サービスレベルとコストの測定値は、毎月または四半期ごとの対話に向いています。誤った頻度でレビューされるメトリクスは、ノイズを生むか、行動が役に立ったはずの瞬間を逃します。

8. 改善の作業で輪を閉じる。 「面白いね」で終わるレビューは、そのデータを無駄にしています。各レビューは、一つか二つの名前付きアクション、オーナー、期日で終え、完了を追跡してください。ITILの継続的改善プラクティスとアジャイルのレトロスペクティブは、同じ規律の二つの呼び名です(トピック 9.5「継続的改善のメトリクス」を参照)。

9. 数字を何に使わないかを明言する。 チームのメトリクスは個人の順位付けや報酬に使わないこと、定義の変更は公開の場で行うことをはっきり述べてください。人は、測定がどう使われるかを信頼できるときに、測定に協力します(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。

悪用の手口と防護柵

測定についてのメトリクスでさえ悪用されえます。以下の各行は、メトリクスと、それが曲げられる典型的な方法、およびそれを明らかにする確認方法を組にしています。

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
判断に紐づくメトリクスの割合 割合を上げるために、後付けですべてのメトリクスにもっともらしい問いと判断を書く 判断ログを抽出して調べる。そのメトリクスのおかげで何が変わったかを尋ね、記入された日付をメトリクスが初めて現れた日付と照合する
ベースラインの網羅率 ベースラインを一度記録したきり更新しない、または都合のよい静かな期間を選ぶ ベースラインごとに期間とサンプルサイズの明記を求める。サービスの大きな変更後にベースラインを見直す
測定の工数 収集作業を記録せずに行う、または供給者に移すことで、帳簿から外す 報告にかかる時間についての短いアンケートと比較する。レビューに供給者の工数も含める
レビュー時のデータの古さ 元の記録が古いままなのに、会議の直前にダッシュボードだけを更新する 更新時刻に加えて、元のシステムにある最新レコードの古さも報告する
改善のやり切り率 割合を満たすために「もはや関係がない」という理由でアクションをクローズする、またはアクションを些細な断片に分割する クローズされたアクションの理由を四半期ごとにレビューし、そのアクションが狙った測定値が動いたかを追跡する

健全な読みとは、目に見えて生きている実践のことです。メトリクスは書面の理由で台帳に加わり、台帳から去り、ベースラインは新しく、レビューから生まれたアクションは完了するか誠実に取り下げられ、チームはデータの収集より、それに基づく行動に多くの時間を使います。すべての行で満点なら、祝う理由ではなく、元のレコードを抽出して確かめる合図です。

トレードオフ:長所と短所

選択 強み 弱み
少なく測る 低コスト、悪用のリスクが低い、信頼が高い 死角がある。判断が逸話に頼る
多く測る 網羅範囲が広い。多くの面で早期警告が得られる 注意が薄まる。統治が手薄になる。収集コストが増える
結び付けたビュー 速さと安定性が釣り合う。共有された責任を支える チーム間で合意した定義と、共通の見る場所が必要
メトリクスに目標を置く 方向性と緊急性を与える 悪用を招く。組になる防護柵が必要
目標のないメトリクス 率直な議論を促す 誰も行動しないレポートに流れやすい

実際的な答えは、結び付けた少数の組を持ち、目標は、よく理解されていてユーザーが求めている条件(サービスレベル目標など)に限って控えめに使うことです。それ以外は議論のための問いです。狙いは判断から判断力を取り除くことではなく、より良い証拠を判断力に与えることです。

チームで話し合う問い

1. 先四半期に、数字が実際に変えた判断はどれか? 具体的な判断を思い出してもらい、そのうちデータに依存したものがあればどれかを整理します。リストが短ければ、それは有益な情報です。現在のレポートの多くが、費用に見合っていないことを意味するからです。ファシリテーターは、判断を実際に変えたメトリクスを記録してください。それらは守るべき候補です。次に、直感で下した判断はどれで、数字が役に立ちえたかを尋ねます。

2. 現在の数字のうち、活動を表すものはどれで、ユーザーにとっての価値を表すものはどれか? 現在のダッシュボードを画面に映し、各メトリクスを活動(クローズしたチケット、実行したビルド、完了したポイント)かアウトカム(ユーザーが仕事をできること、再発しない問題)かに印を付けます。境界線上の例で長く議論してはいけません。目的はバランスを見ることです。活動しかない箇所では、その活動がどんなアウトカムを生むはずなのか、チームがそれをどう知るのかを尋ねます。

3. デリバリーと運用の数字は現在どこにあり、同じ人が両方を見ているか? 測定値の各ファミリーがどこに保存され、誰がレビューしているかをたどります。変更のデータは一つのグループが、インシデントのデータは別のグループがレビューし、共通の会議がないことに、チームはしばしば驚きます。両者が一緒に見られないために見逃されうるパターンは何かを尋ねてください。両者が出会う場所または会議を一つ決めます。

4. 測っていないことのうち、知らなかったら後悔するものは何か? メトリクスではなく不安を挙げてもらいます。「もし〜に気づかなかったら怖い」という形です。答えから候補となる測定値へ、さらにそれを示す最も安価なデータへと進めます。リストは短くしてください。

5. リーダーシップに見せる前に、自分たちの数字について何を信じられる必要があるか? データを信頼できるものにする要素を話し合います。安定した定義、抜き取りによる正確性の確認、除外についての合意などです。チームが持つ疑念を、たとえ小さくても挙げてください。たとえば、一貫せずに使われているステータスなどです。より広く共有する前に直すべき疑念と、数字とともに開示できる疑念を決めます。

6. 次の四半期に三つのメトリクスしか残せないとしたら、どれにして、それはなぜか? 制約が優先順位を迫ります。各自に三つを書いてもらい、比較します。アウトカムでは意見が一致し、活動の測定値では分かれる点を探してください。その三つそれぞれにどんな防護柵が必要かを尋ねます。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームが最も恩恵を受けるのは、速く局所的なフィードバックです。仕事がどれだけ待つか、どこで滞留するか、変更がどれだけの頻度で問題を起こすか。自分たちには豊富な作業用ビューを持ち、外へは少数のものを公開するべきです。アウトプットの量を価値の代用として測りたい誘惑に抵抗し、最初から速さの測定値を品質の測定値と組にしてください(トピック 2.1「フロー指標」を参照)。

サービスと運用のチーム

運用チームはすでに数字とともに生きています。件数、対応時間と解決時間、可用性です。機会は、何が起きたかの報告から、なぜ起きたかの説明へと移ることにあります。再発、根本原因、計画外の作業の割合を通じてです(トピック 2.9「運用作業と計画外作業」を参照)。また、計画の対話にデータを持ち込んで、信頼性の作業が苦情ではなく証拠に基づいて主張されるようにすべきです。

リーダーシップとガバナンス

リーダーは、しばしば偶然に、自分の問いによってインセンティブを決めています。「なぜこれは赤なのか?」と尋ねるリーダーは、チームに赤を隠すことを教えます。「何を学んだか、何が必要か?」と尋ねるリーダーは、チームに誠実に報告することを教えます。ガバナンスの組織は、数字と並んで台帳、防護柵、改善アクションを求め、悪い数字が明らかにした作業に資金を出すべきです(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。

顧客とユーザー

ユーザーは、サービスが動くか、問題が正されるかでサービスを判断します。内部の測定値では判断しません。アンケート、苦情、コメントに表れる彼ら自身の言葉は、チームが大切なものを測れているかどうかの確認として、運用の数字の隣に置かれるべきです(トピック 6.1「顧客満足度のメトリクス」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、サービスデスク、運用チーム、そしてストアフロント、決済、フルフィルメントの各サービスを構築する三つのプロダクトチームを運営しています。以下の数字は例示です。

リーダーシップは、デリバリーのチームが毎日出荷していると報告し、運用チームが可用性は99.9パーセントだと報告しているのに、なぜ顧客はチェックアウトが遅いと苦情を言うのかを尋ねます。各グループは自分たちの測定値では正しく、誰も両者を一緒に見ていません。サービスマネジメントの責任者は、チームがすでに集めているデータから作る、チェックアウトサービスの1ページの結び付けたビューを提案します。

このビューは、直近12週間について四つのことを示します。変更のリードタイムは、中央値が2日、85パーセンタイルが9日です。変更失敗率は8パーセントです。チェックアウトでのインシデントは14件で、そのうち6件が一つの原因を共有しており、最近のリリースで入った遅いデータベースクエリです。復旧までの時間の中央値は40分ですが、ページ読み込み時間の95パーセンタイルは6週間にわたってじわじわと伸びています。サービスは技術的には稼働し続けていたため、可用性の数字にはこのパターンは現れません。

グループは隠れていたものを見ます。可用性は「チェックアウトが応答する」として測られていましたが、ユーザーが体験するのは「チェックアウトが十分に速く応答する」ことです。プロダクトチームと運用チームは、顧客のコメントを読んだプロダクトオーナーが目標を設定するチェックアウトのレイテンシ指標を追加すること、繰り返し起きたインシデントの原因をオーナー付きの問題レコードとして扱うこと、結び付けたビューを隔週でレビューすることに合意します。一つの判断が記録されます。クエリを直し、リリースパイプラインにパフォーマンスのチェックを加えるため、継続的ソフトウェアデリバリーの一定期間、チェックアウトの新機能を止める、というものです。

悪用のリスクは一か月以内に現れます。運用チームは、14件のインシデントのうち2件が「サービスリクエスト」として起票されていたことに気づきます。リクエストの区分には解決目標がないためです。チームは、インシデントに目標を置いたことで、境界線上の案件をリクエストに分類するよう人々を促していたと悟ります。再分類された割合をビューに加え、毎月10件のチケットを抽出して調べます。変更の後、ページ読み込み時間の95パーセンタイルは下がり、繰り返しのインシデントは減り、チームはこのビューが判断を変えたため維持します。

アジャイル、AI、自動化、アナリティクス

アジャイル

継続的デリバリーと継続的なステークホルダーの関与は、小さな変更の安定した供給と定期的なフィードバックをもたらします。これは、少数の誠実な数字がまさに必要とするものです。有用なプラクティスは、定期的な改善の対話ごとに同じ少数の測定値をレビューし、チームが次に何を変えるかを尋ねることです。注意点は、レビューを状況報告にしないことです。判断が結び付いていない数字は、負担です。

AI

AIが支援する仕事は、起案したチケット、提案した変更、書いた記事といったアウトプットの数を、ユーザーが受け取る価値を上げることなく増やしうるものです。AI支援の仕事の量の測定値には必ず、人が修正しなければならなかった下書きの割合や、AIが回答したリクエストの再問い合わせ率といった品質の測定値を組にしてください。注意点は、AIの利用についての数字が示すのは導入であって便益ではないことです。したがって、その数字が示せないことを述べてください。

自動化

タイムスタンプとステータスは、記録システムから自動で収集し、誰も数字をレポートに入力しないようにします。早期に導入する価値のあるプラクティスは、欠けたタイムスタンプや不可能な順序に印を付ける、小さな自動チェックです。注意点は、自動化自体も測定が必要だということです。黙って失敗するパイプラインやボットは、下流のすべての数字を健全に見せてしまいます。

アナリティクス

グラフを作る前に、問いと判断を決め、各割合の背後にいくつのアイテムがあるかを示します。単一の平均ではなく、パーセンタイルと傾向を使い、定義の変更はすべてグラフに印を付けます。注意点は不確かさです。アイテム数が少ないと割合は大きく動くため、一か月分のデータで行動するのは避けてください。ITIL 5については特に、トピック 1.8「ITIL 5の測定と価値の成果」を参照してください。

業種別の視点

スタートアップ。 小さなチームはプロセスが少なく、信頼が強いのが利点です。リスクは、必要が生じる前に大企業のダッシュボードを持ち込むことです。創業者が毎週読む二、三の測定値(変更のリードタイム、簡単な信頼性の指標、ユーザーからの直接のフィードバックなど)から始め、その定義を書き留めてください。

中小企業。 ITを運営する人が、しばしばオーナーに直接報告しており、顧客からの苦情一件がどのグラフよりも重みを持つことがあります。測定値は少なく保ち、ツールがすでに出すデータを使い、ユーザーとの対話を優先してください。ベンダーが提供するレポートは、ベンダーに自身のインセンティブがあるため、多少の注意を持って扱います。

大企業。 規模は、比較可能な数字への要求と、それを悪用する圧力を増幅します。書面の定義がある少数の標準セットを使い、チームの作業用ビューと集約ビューを分け、まったく異なる種類のサービスを運営するチーム同士の比較は避けてください。メトリクス台帳、共有された定義、レビューの頻度が不可欠になります。

政府・公共部門。 契約上のサービスレベル、監査要件、公的報告の義務によって、一部の測定値は交渉の余地がなくなります。それらは設計上の入力として扱ってください。満たし、隣に防護柵を示し、使った定義を明記します。公的な説明責任は悪い知らせを隠すコストを高めるため、率直な報告のための安全な内部チャネルを築いてください(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

測定の動機は、より低いコストでより良い判断を下すことです。測定は優先順位付けを支え、無駄がどこにあるかを示し、サービスの低下の早期警告を与え、投資要求の証拠を提供します。

コストにはいくつかの部分があります。ツールは、すでに所有していることが多いものです。チケットシステム、課題管理、バージョン管理、監視などです。メトリクスを定義し、ビューを作り、台帳を維持するスタッフの時間があります。レビュー会議の継続的なコストがあり、これが最大で、最も価値のあるものです。測定の実践の総保有コスト(TCO)には、所見に基づいて行動するコストも含まれます。修正の予算がない洞察は、ほとんど見返りがないからです。

見返りを万能の数字で述べるのは難しく、本書はそれを捏造しません。ケースを築く有用な方法は、変更の前後で自分たち自身のベースラインを測ることです。手作業のレポートに費やす時間、再問い合わせ、データが誤っていたために覆された判断、遅れて見つかった不意打ちなどです。期待されるパターンは、不意打ちの減少、議論の短縮、運用の数字とユーザー体験とのより良い一致です。かけた労力と節約した労力を比べる単純な投資収益率(Return on investment)(ROI)の比較は、妥当な出発点であり、その方法はトピック 7.7「投資対効果とビジネスケース」で扱います。

アンチパターンと落とし穴

  • 何もかも載せたダッシュボード。 数十のグラフ、オーナーなし、判断なし。少数を選び、それぞれが情報を与える判断に名前を付け、残りは廃止する。
  • 片側だけの測定。 安定性のない速さ、または関連性のない安定性。フローの測定値とサービスの測定値を組にする。
  • 人の測定。 個人の順位付けはデータを腐らせ、助け合いを妨げる。チームとサービスの水準で報告する。
  • ベースラインより先の目標。 開始値のない目標は推測である。まずベースラインを記録し、目標は少なくとも一回のレビューサイクルの後に設定する。
  • アクションのないレポート。 変更を生まないレビューは、人々にそれを無視することを教える。各レビューは、名前付きのアクション、オーナー、期日で終える。
  • 黙った定義変更。 トレンドラインが無意味になる。すべての変更を理由とともに記録し、グラフに印を付ける。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
目的と選定 ツールが提供するからという理由でメトリクスを選ぶ 一部のメトリクスに明記された目的がある 報告されるメトリクスごとに、書面の問いと判断がある メトリクスの集合を判断に照らしてレビューし、使われなければ廃止する 共有されたアウトカムを中心に、ユーザーや供給者と共同でメトリクスを設計する
アジャイルとITILの結び付けたビュー デリバリーとサービスのデータが別々に保たれる 少数のチームが両方を併せて見ている サービスごとに、フローとサービスの健全性の共通ビューがある 結び付けたビューを傾向として追い、改善の作業と結び付ける チーム横断と供給者のビューをユーザーのアウトカムに結び付ける
ベースラインと工数 ベースラインなし、手作業での収集 一部のサービスにベースラインがあり、収集は手作業と自動が混在 中核の測定値にベースラインが記録され、収集はほぼ自動 変更後にベースラインを更新し、工数を追跡して削減する サービスの変化に応じて、ベースラインと定義を継続的に調整する
改善での活用 数字は見て忘れられる 悪い週の後にときどきアクションを取る すべてのレビューが名前付きアクションで終わる アクションのやり切りを測定し、資金を付ける 改善が全員から流れ込み、チーム横断で可視化される

チェックリスト

  • 報告される各メトリクスに、文章の問いと、情報を与える対象の判断が名前付きで存在する。
  • 各ビューの読み手が明示され、チームのビューとリーダーシップのビューが分けられている。
  • 少なくとも一つのフローの測定値と一つのサービスの測定値が、同じページに載っている。
  • 中核の測定値ごとに、期間とサンプルサイズを伴うベースラインが存在する。
  • すべての時間の測定値が、時計の開始と停止の位置を明記している。
  • すべてのメトリクスの隣に、防護柵が示されている。
  • 手作業での収集の工数が把握され、最大の手作業が自動化の観点でレビューされている。
  • チームは、リーダーシップより先に自分たちのデータを見る。
  • 個人の順位付け、報酬、懲戒がメトリクスに結び付いていない。
  • 各レビューが、少なくとも一つの名前付きの改善アクション、オーナー、期日で終わる。
  • 過去一年に、少なくとも一つのメトリクスを廃止または再定義した。

AIプロンプト

各メトリクスの目的の記述を起案する。

私たちは [チーム名] で、[サービスまたはプロダクト] を担当しています。現在のダッシュボードには、次のメトリクスが表示されています:[定義付きのメトリクスの一覧]。それぞれについて、「私たちはYを決めるためにXを測る」という形式の一文を起案し、私が提供した情報から判断を推測できないメトリクスには印を付けてください。各文を完成させるために私が答えるべき問いを提案してください。ベンチマークの値や目標を捏造しないでください。前提を列挙してください。

デリバリーとサービスのビューを結び付ける。

[サービス名] について、私たちのデリバリーの測定値は [定義とデータソース付きの一覧]、サービスの測定値は [定義とデータソース付きの一覧] です。両方を一緒に示し、各速さの測定値を安定性または品質の測定値と組にし、それぞれに必要なデータを注記する1ページのレイアウトを提案してください。二つの集合の間で定義が衝突している箇所を特定してください。値やしきい値を捏造しないでください。前提と、判断できなかったことを列挙してください。

ベースラインを計画する。

[プラクティスまたはツール] を変更する前に、[チームまたはサービス] の [メトリクス名] のベースラインを記録したいと考えています。データは [ソース] から得られます。データを収集する期間、記録すべき要約統計量(パーセンタイルを含む)、何をなぜ除外するか、期間中に仕事の数え方が変わった場合にそれをどう注記するかを提案してください。値を仮定しないでください。前提と、あなたが見るデータ品質のリスクを列挙してください。

行動につながるレビューを準備する。

[読み手] と一緒に、[メトリクスの集合] の [毎週、毎月、または四半期ごと] のレビューを行います。数字を読むことから、オーナーと期日の付いた一つか二つの改善アクションを選ぶことへ進む、議題と短いファシリテーションの問いの組を起案してください。各メトリクスの防護柵に照らして悪用を確認するプロンプトを含めてください。データを捏造しないでください。グループとその文化についての前提を列挙してください。

AIスキル

要点

  • 見る、決める、学ぶ、説明するために測る。この四つのどれも果たさない数字は負担である。
  • アジャイルは、フローについての速く局所的なフィードバックをもたらし、ITILは、信頼性と価値についての共有されたサービスレベルのビューをもたらす。両方を併せて読む。
  • 何も測らなければ判断は逸話に委ねられ、誤ったものを測れば誤った確信をもって努力の向きが決まる。
  • 少数のメトリクスから始め、それぞれに書面の目的、ベースライン、防護柵を持たせる。
  • チームとサービスを記述し、個人は記述しない。チームに自分のデータを先に見せる。
  • 輪を閉じる。アクションを生まないレビューは、データを無駄にする。

参考文献とさらなる読書

  1. Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  5. Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  7. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  8. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  9. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  10. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  11. Wikipedia, Agile software development.
  12. Wikipedia, ITIL.
  13. Wikipedia, Information technology service management.
  14. Wikipedia, DevOps.
  15. Wikipedia, Site reliability engineering.
  16. Wikipedia, Goodhart's law.
  17. Wikipedia, Return on investment.