第1部の導入:測定の基礎
測定が、サービスを構築し運用するチームの役に立つのは、目的を持って選び、誰かが責任を持ち、信頼できるデータから導き、注意深く読み、記述対象である仕事そのものをゆがめないようにしている場合に限られる。
継続的デリバリーを実践するチームも、ITサービスマネジメント(ITSM)を実践するチームも、数字を絶え間なく生み出します。クローズしたチケット、完了したストーリー、実施したデプロイ、解決したインシデントなどです。数字を持つこと自体は簡単です。難しいのは、人が何かを決める助けになる数字を持つことであり、多くのメトリクスプログラムがつまずくのはその隔たりです。この部では、個々のメトリクスを定義する前に、以降のすべての部が拠り所とする共通の土台を示します。また、本書が全体を通して持ち続ける視点も加えます。ITIL 5、AI、自動化、アナリティクスが、サービス組織の測定するものをどう変えるか、という視点です。
土台となる内容は、七つの問いを順にたどります。そもそもなぜ測定するのか、何も測らない、あるいは誤ったものを測るとどんな代償があるのか。測定値はどのようにして目標へと変わり、真実を語らなくなるのか。そもそも何を測る価値があるのか。各メトリクスを誰が定義し、所有し、廃止するのか。データはどこから来て、どこまで信頼できるのか。チケットやフローのデータが偏り、しばしば疎であることを踏まえて、数字をどう読むべきか。さらに一つのトピックでは、確立されたフレームワークが答えの整理をどう助けるかを示し、最後のトピックでは、所有者が説明するITIL 5が測定にとって何を意味するのかを、検証できることとできないことを分けて問います。
本書に初めて触れる方は、まずこの部を読み、後続のメトリクスがおかしな振る舞いをしたときにもここへ戻ってください。後続の部で起こるメトリクスの失敗の多くは、ここで紹介する考え方のどれかに行き着きます。本書のメトリクスは、チーム、サービス、システムを記述するものです。個人の順位付けには決して使いません。
この部のトピック
- 1.1 なぜサービスマネジメントを測定するのか:サービスを構築し運用するチームがなぜ数字を必要とするのか、アジャイルとITILがそれぞれ測定に何をもたらすのか、そして何も測らない、あるいは誤ったものを測ることの代償。
- 1.2 グッドハートの法則とメトリクスの心理学:他のすべてのトピックの背後にある防護柵。測定値が目標へと変わる仕組み、チケットやデリバリーのデータで悪用が起こる仕組み、それを防ぐ習慣を扱います。
- 1.3 アウトプットよりアウトカム:何を測るかを選ぶ:価値、アウトカム、アウトプット、活動、先行指標と遅行指標、そして優れたメトリクスの試金石としてのITILの価値の共創。
- 1.4 メトリクスのガバナンスとオーナーシップ:メトリクスのオーナー、定義、レビューの頻度、廃止、そして誰が何を見られるか。
- 1.5 データソースと計装:ITSMツール、課題管理、バージョン管理、継続的インテグレーション/デリバリーのパイプライン、監視、構成管理データベース(CMDB)、アンケートといったデータソース。データ品質、タイムスタンプ、ステータスモデルに注意を払います。
- 1.6 サービスメトリクスのための統計リテラシー:平均よりパーセンタイル、偏った分布、小さな標本、管理図、そしてチケットやフローのデータに対する誠実な不確かさの示し方。
- 1.7 測定フレームワーク:ゴール・クエスチョン・メトリック(GQM)、目標と主要な成果(OKR)、バランススコアカード、重要成功要因と重要業績評価指標(KPI)、そしてそれらをITILのプラクティスと組み合わせる方法。
- 1.8 ITIL 5の測定と価値の成果:所有者自身の刊行物から検証した、測定可能な価値、デジタルプロダクト、AI対応環境に対するITIL 5の強調点と、今日から測定できる土台(オーナーシップ、アウトカム、AIの監督)。
これらのトピックの相互関係
これらのトピックは、はしごではなく輪を成しています。トピック1.1(トピック 1.1「なぜサービスマネジメントを測定するのか」を参照)が目的を与え、トピック1.3(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)がその目的を何を測るかの選択へと変えます。アウトカムに焦点を当てて選んだメトリクスにも、定義、オーナー、レビュー日が必要です。これがトピック1.4(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)の仕事です。トピック1.7(トピック 1.7「測定フレームワーク」を参照)で扱うゴール・クエスチョン・メトリックのようなフレームワークは、ゴールから少数の測定値へと進む再現可能な方法を与えるため、トピック1.3と1.4と自然に組み合わさります。
データと統計は、もう一つの組を成します。よく選んだメトリクスも、背後にある記録の質を超えることはできません。トピック1.5(トピック 1.5「データソースと計装」を参照)は、タイムスタンプ、ステータスモデル、ツールの設定が数字の意味をどう形作るかを説明します。トピック1.6(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)は、その数字をパーセンタイル、管理図、不確かさの率直な記述を使って誠実に読む方法を扱います。弱いデータは優れた統計を台無しにし、弱い統計は優れたデータを無駄にします。そのため、この二つは併せて読むのが最善です。
トピック1.8(トピック 1.8「ITIL 5の測定と価値の成果」を参照)は、同じ輪を変化するフレームワークに適用します。どのバージョンにも必要な土台を測り、未検証の主張にはそのように印を付けます。トピック1.2(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)は、防護柵として他のすべてにまたがっています。トピック1.3で選び、トピック1.4で統治し、トピック1.5のデータソースから導いたメトリクスでも、人がそれによって評価されるようになれば、悪用されうるからです。ガバナンスは、誰が何を見られるか、メトリクスをどう使うかを制限します。アウトカムに焦点を当てた選択は、悪用の見返りを小さくします。ここで紹介し、本書全体で発展させるペアの測定値は、ある数字が別の数字を検証することを可能にします。そのため、後続の部のすべてのメトリクスには、悪用の手口と防護柵が付いており、この部はその理由を説明します。