アナリティクスとデータ品質のメトリクス
この本のすべての数字は、その背後のデータと分析と同じ程度にしか信頼できない。したがって、データの品質、分析の健全性、判断での結果の利用を測り、数字が示せないものを常に述べる。
概要と動機
アナリティクス(analytics)は、問いに答え判断に情報を与えるためのデータと統計の利用です。サービスマネジメントでは、チケットの単純な週次の件数から、どの変更が失敗するかを予測するモデルまで幅があります。アナリティクスは、アジャイルの実践、AI、自動化と並ぶこの本の第四のレンズで、他の三つのレンズが依存するものでもあります。貧弱なデータ品質(data quality)の上に築かれたダッシュボードは、間違った問いに自信を持って答えます。
データ品質は性質の集合です。データが完全か、正確か、一貫しているか、適時か、一意か、妥当か。前のトピックは、サービスのデータがどこから来て、どう読むかを扱いました(トピック 1.5「データソースと計装」とトピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。このトピックは、第4部が変更を測るのと同じように、それらの考え方を、チームが自分のデータと分析について追跡できる測定値に変えます。また、実践としてのアナリティクスも扱います。尋ねられる問い、使われる方法、誰がそれらを確認するか、結果が判断を変えたか。
アナリティクスは、スケールするので魅力的です。一人のアナリストが多くのチームに仕えられ、一つのモデルがすべてのチケットを採点できます。同じ規模が間違いを増幅します。共有のデータセットで誤読された定義は、その上に築かれたすべてのレポートに広がり、過去の行動で訓練されたモデルは、古い偏りを速度をもって繰り返しえます。クエリ、チャート、要約を書くAIツールは、分析をより安くし、また自信を持って間違いを作りやすくもするので、確認がより重要になります。
ここで使う用語。データセットは、チケットやデプロイなどのレコードの、定義された集まりです。系譜は、データがどこから来て、何をされたかの記録です。突合は、一致すべき二つの情報源を比較します。データコントラクトは、データセットの生産者と利用者の間の、その構造、意味、品質についての合意です。分析は、問い、方法、結果です。不確実性は、データと方法を踏まえて、値が収まりうる範囲です。判断ログは、数字が情報を与えた判断を記録します。
主要な原則
- 問いと判断から始める。 判断が付いていない分析は、オーバーヘッドである。
- データについてのデータを測る。 完全性、適時性、突合は、チームが所有できる測定値である。
- 系譜を保つ。 情報源までたどれない数字は、訂正できない。
- 不確実性と限界を述べる。 率の背後にある件数を示し、数字が示せないものを述べる。
- 分析をコードのように確認する。 定義とクエリをレビューし、バージョン管理に保つ。
- 人々を守る。 人々の行動に対するアナリティクスにはプライバシーの制限が要り、結果はチームとサービスを記述する。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 必須フィールドの完全性 | それを使うメトリクスに必要なすべてのフィールドが揃ったレコードの割合 | すべての必須フィールドが存在し妥当なレコード ÷ 範囲内のレコード | パーセント | 元のシステムの抽出とデータ品質の確認 | 測定とレポート、ナレッジマネジメント | レコードの完了の定義 | 毎月 |
| データの鮮度 | レポートが読まれる時点での、データセットの最新データの経過時間 | データセット横断の(レポートが読まれた時刻 − 最新のレコードが読み込まれた時刻)の中央値と最大値 | 時間 | パイプラインのログとデータセットのメタデータ | 測定とレポート | 速いフィードバック | 毎週 |
| 突合の差異 | 同じ量について一致すべき二つの情報源の差 | 情報源Aと情報源Bの絶対差 ÷ 情報源A。述べられた量の標本と期間について | パーセント | 二つの元のシステム | 測定とレポート、財務管理 | 定義についての作業合意 | 四半期ごと |
| 系譜の網羅 | 報告されるメトリクスのうち、情報源、変換、オーナーが文書化されている割合 | 系譜が文書化された台帳のメトリクス ÷ 報告されたメトリクス | パーセント | メトリクスの台帳とデータカタログ | ガバナンス | チームの合意 | 四半期ごと |
| パイプラインの実行の失敗率 | データパイプラインの実行のうち、失敗した、または不完全なデータを読み込んだ割合 | 失敗した、または不完全なデータを読み込んだデータパイプラインの実行 ÷ 開始された実行 | パーセント | データパイプラインのログ | 測定とレポート | データのための継続的インテグレーション | 毎週 |
| 分析のレビュー率 | 公表された分析のうち、使われる前に第二の人にレビューされた割合 | 記録されたレビューのある分析 ÷ 判断する聞き手に公表された分析 | パーセント | 分析の台帳とレビューのログ | 測定とレポート、継続的改善 | ピアレビュー | 四半期ごと |
| 判断での利用率 | 報告されたメトリクスのうち、その期間に記録された判断で引用された割合 | 判断ログの項目で引用されたメトリクス ÷ 報告されたメトリクス | パーセント | 判断ログとメトリクスの台帳 | 継続的改善 | 振り返りのアクション | 四半期ごと |
完全性は、フィールドが妥当な値を含む場合にのみ存在すると数えるので、「n/a」のようなプレースホルダーは数えません。突合の差異は、ある月のチケット件数などの名前の挙がった量の標本に適用され、その標本を述べます。
推奨事項
データ品質を見えるようにする
1. データ品質をメトリクスの観点で定義する。 最も重要なメトリクスが依存するフィールドとタイムスタンプを列挙し、それぞれの妥当性がどう見えるかを定義します。欠けたタイムスタンプは時間の測定値を壊すので、これらを最初に確認します。
2. レポートだけでなく、情報源で確認する。 チケットのフォームの必須フィールドのように、データが作られるときに実行される品質の確認は、後のどの整理でも完全には直せないエラーを防ぎます。データが読み込まれるときにも確認を加えます。
3. 数字の隣に品質を公表する。 メトリクスを示すダッシュボードに、完全性と鮮度を示します。読み手は、尋ねなくてもデータの品質を見られるべきです。
4. 予定に沿って突合する。 四半期ごとに、少なくとも一つの量を二つのシステム間で比較します。たとえば、変更の記録とパイプラインにある変更の数です。差異を調べて説明し、所見を記録します。
分析を誠実に保つ
5. 問いと判断を先に書く。 分析の前に、問い、それが情報を与える判断、誰が決めるかを記録します。判断が過ぎたら、何が決まったかを記録します。
6. 系譜と定義を一つの台帳に保つ。 各メトリクスを、その情報源、変換、オーナー、レビューの日付にリンクします(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。定義の変更は、理由とともに記録され、チャートに印を付けられます。
7. 各分析をレビューする。 判断に使われる分析について、第二の人が定義、クエリ、結論を確認します。クエリをバージョン管理に保ち、再実行できるようにします。
8. 不確実性と限界を述べる。 各率の背後にあるアイテムの数、重要なところでは区間、分析が示せないものを示します。データが支えないところでは、単一の数字の精度を避けます。
利用を統治する
9. 共有のデータセットにデータコントラクトを使う。 データセットを生産するチームが、その意味、フィールド、鮮度、既知の問題を述べ、変わるときに利用者に伝えます。互換性を壊す変更には通知が要ります。
10. データの中の人々を守る。 誰が生のレコードを見られるか、データをどれだけ保つか、レポートの最小グループサイズは何かを決めます。アナリティクスをチームとサービスのレベルに保ち、適用されるプライバシーの規則を確認します。
11. レポートとデータセットを廃止する。 誰も使わないレポートも、なお保守のコストがかかり、誤解を招きうるものです。利用をレビューし、判断で引用されないものを廃止します。
12. AI支援の分析を、確認されるまでレビューされていないものとして扱う。 AIツールは、正しく見えて間違っているクエリや要約を書きえます。クエリをレビューし、小さな既知の標本で再実行し、確認されたことを記録します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 必須フィールドの完全性 | プレースホルダーや既定値でフィールドを埋める、フィールドを任意にする | 内容の妥当性の確認。本物の値のためにレコードを抽出する |
| データの鮮度 | イベントではなく読み込みにタイムスタンプを付ける、空の更新を読み込む | イベント時刻を読み込み時刻と照らして確認する。読み込みごとの行数 |
| 突合の差異 | たまたま一致する量を選ぶ、一致させるために一方の情報源を調整する | 量をローテーションする。調整の監査証跡を保つ |
| 系譜の網羅 | 系譜を表面的に文書化する、項目間でテキストをコピーする | 項目を抽出し、一つのメトリクスをエンドツーエンドでたどる |
| パイプラインの実行の失敗率 | 失敗した実行を再試行済みまたは成功とマークする、ログを削除する | レコード数を元と比較する。ギャップでアラートを出す |
| 分析のレビュー率 | 形式的なレビュー、判断の後のレビュー | レビュー担当者のメモを確認する。使う前のレビューを求める |
| 判断での利用率 | 判断への効果なしにログでメトリクスを引用する | 何が変わったかを尋ねる。項目を抽出する |
健全な読みは、見えて安定したデータ品質の数字、説明される情報源間の差異、使われる前にレビューされる分析、そして判断が必要とするたびに現れては消えるメトリクスです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 入力時の厳格なデータ検証 | エラーを早く防ぐ | ユーザーへの摩擦。プレースホルダーの入力 |
| 事後のデータ整理 | 柔軟。ユーザーを遅くしない | 原因を隠す。一部のレポートにエラーが残る |
| 中央のアナリティクスチーム | 一貫した方法と品質 | ボトルネック。仕事からの距離 |
| チームによるセルフサービスのアナリティクス | 速い。仕事に近い | 一貫しない定義。不均一な品質 |
| AI支援の分析 | 速い下書き。障壁を下げる | 自信に満ちたエラー。弱い再現性 |
散文での結論は、情報源でエラーを防ぎ、定義と系譜を一箇所で共有し、判断に情報を与えるあらゆる分析にレビューを求めることです。セルフサービスとAIからの速度は、確認が追い付くときに歓迎されます。
チームで話し合う問い
1. ダッシュボードの数字のうち、その下のデータが間違っていたら最も悔やむ三つはどれか? 判断や目標を駆動する数字から始めます。データが何に依存し、誰が情報源を所有するかを尋ねます。人々はしばしば、重要な数字が手で入力されたフィールドに依存していることを発見します。今月確認するものを一つ選んで追跡します。
2. 二つのレポートが食い違ったのはいつで、どう解決したか? 食い違う数字の話は、定義がどこで異なるかを示します。解決が記録されたか、原因が直されたかを尋ねます。ファシリテーターは、異なるタイムゾーンやステータスの定義など、繰り返される原因を記録してください。一つの定義とオーナーに合意して追跡します。
3. 私たちが最もよく見るレポートのデータは、どれだけ古いか? 多くの人は知りません。鮮度がどう示されるか、古い読み込みに気づくかを尋ねます。時代遅れの判断のコストを話し合います。レポートに鮮度を加えて追跡します。
4. 判断を変えた最後の分析を、誰がレビューしたか? 定義とクエリに第二の目があるかを探します。なければ、なぜかを話し合います。どんなレビューが釣り合いが取れているかを尋ねます。重要な判断に情報を与えるあらゆる分析に対する、単純なレビューのステップを選んで追跡します。
5. 最もよく使うメトリクスが私たちに教えられないことは何か? 限界に名前を付けることは、うまく行われたアナリティクスの習慣です。サポートに連絡しないユーザーなど、具体的な盲点を求めます。限界をメトリクスの隣に記録します。盲点を覆う測定値を加えて追跡します。
6. クエリや要約を書くのにAIツールをどう使い、どう確認しているか? ポリシーではなく、実際の実践を求めます。レポートに使われるレビューされていない出力に耳を傾けます。既知の標本での再実行など、単純な確認を話し合います。AI支援の分析の規則に合意して追跡します。
四つの視点
プロダクトとデリバリーのチーム
あなたのツールは、他の人々が分析するデータの多くを生み出します。タイムスタンプ、識別子、ステータスを信頼できるものに保ち、フィールドが変わるときにデータの利用者に伝えます。データを生み出す新しい機能の完了の定義に、データ品質を含めます。
サービスと運用のチーム
チケットのデータは、人々が圧力のもとでフォームをどう埋めるかに依存します。正しい入力を簡単な入力にし、ツールでデータ品質を確認し、メトリクスが仕事を誤読するときに声を上げます。数字を改善するためにレコードの日付を遡ったり、一括更新したりしてはいけません。
リーダーシップとガバナンス
判断や目標を支えるあらゆる数字の隣に、データ品質と系譜を求めます。ダッシュボードだけでなく、データエンジニアリングとレビューの時間に資金を付けます。プライバシーを守り、人を評価するために個人へのアナリティクスを使うのを避けます。
顧客とユーザー
あなたについてのデータは、サービスがあなたをどう扱うかを駆動するので、何が収集されどう使われるかを尋ねてください。アンケートの回答のように、あなたのフィードバックがデータに含まれるところでは、それがどう守られ、どう判断に届いたかを尋ねてください。
実践:サービスマネジメントの例
地域の公益事業会社のIT部門が、役員チームのために、インシデントの解決時間と変更失敗率のダッシュボードを築きます。この例の数字は例示です。ダッシュボードは、解決時間の中央値が3.1時間、変更失敗率が4パーセントであることを示します。
アナリストは、立ち上げの前に品質を確認します。解決のタイムスタンプの必須フィールドの完全性は91パーセントで、欠けたレコードは、ほとんどが事後に入力された重大インシデントです。鮮度は26時間で、抽出が夜間に走るためです。変更の記録とパイプラインを突合すると、パイプラインにある本番の変更が変更の記録より8パーセント多く、したがって失敗率には分母の問題があります。
チームは変更を行います。チケットのフォームは解決の時刻を求め、それが開始の時刻より後であることを確認します。ダッシュボードは、各数字の背後にあるインシデントの数、データの経過時間、使われたフィールドの完全性を示します。データコントラクトは、変更の記録が承認された変更の記録システムで、パイプラインがデプロイの記録システムであることを、月次の突合とともに述べます。最初の突合は、ギャップを、パイプラインにのみ記録された緊急の変更として説明します。
ある管理者が、完全性を改善するために解決時刻が欠けたインシデントを除外することを提案するとき、悪用のリスクが現れます。チームは断り、入力を直します。結果は、より広い中央値の区間と、6パーセントの変更失敗率です。判断ログには、役員チームが目標を設定する前に1四半期待つことを選んだと記録されます。難しいまま残るもの。日付を遡った入力はすべて検出できるわけではなく、突合は手作業の識別子のリンクに依存しています。
アジャイル、AI、自動化、アナリティクス
アジャイル
短いフィードバックループはデータ品質を助けます。フォームを直し、翌日のデータを確認し、ユーザーに尋ねる。良い実践は、データを入力する人々との定期的な改善の対話で、データ品質の数字をレビューすることです。注意点は、フィールドとステータスへの継続的な変更は傾向を壊すため、すべての定義の変更を記録することです。
AI
AIはクエリを書き、チャートを下書きし、コメントを要約し、異常に旗を立てられ、またもっともらしい結果を捏造もしえます。AI支援の分析を、人がクエリを確認して小さな既知の標本で再実行するまで、レビューされていないものとして扱い、確認されたことを記録します。注意点は、アンケートのコメントのAIによる要約は言葉と調子を誤読しうるため、原文の標本を読むことです。
自動化
読み込み時とレポート時のデータ品質の確認を自動化し、パイプラインを失敗とギャップで測ります。読み込みの欠落と量の急な変化でアラートを出します。注意点は、自動の整理規則は情報源の問題を隠しうるため、何が変更され、なぜかを報告することです。
アナリティクス
このトピックはアナリティクスについてなので、実践はすべてのメトリクスに短いメモを付けることです。その問い、判断、系譜、品質、限界。これが情報を与える判断は、行動するのに数字を十分に信頼するかです。注意点は、きれいに見えるダッシュボードが弱いデータの上にありうるため、結果の隣に品質の数字を示し、サービスマネジメントメトリクスの定義を一つの台帳に保つことです。
業種別の視点
スタートアップ。 データは小さく変化しています。各メトリクスに単一の真実の情報源を保ち、定義を短い文書に書き、問いが明確になる前にデータ基盤を築くのは避けます。
中小企業。 データは、固定のレポートを持つホスティングされたツールにあるかもしれません。ツールが各測定値をどう定義するかを確認し、検証のために標本をエクスポートし、レポートが示せないものの短い一覧を保ちます。
大企業。 多くの情報源とチームは、対立する定義を生みます。共有のメトリクスの台帳、データコントラクト、定期的な突合を使い、チームに自分たちのデータを確認する手段を与えます。
政府・公共部門。 記録は、保持、アクセス、公的報告の規則の対象かもしれません。公表されるあらゆる数字の系譜を文書化し、人についてのデータのプライバシーの規則を保ちます(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは、データ品質の確認、突合、文書化、レビューのスタッフの時間と、使う場合にはデータパイプラインとカタログのツールです。その多くは、チケットのフォームでの検証のような、小さなステップから始められます。
見返りは、より良い数字に基づく判断、どのレポートが正しいかを議論する時間の減少、誤読された数字が遅れて見つかったときの手戻りの減少です。数字ではなく、パターンとして記述します。覆される判断が減り、論争が減る。ケースに数字が要るなら、変更の前後で、突合の差異や、レポートの論争の解決に費やす時間といった、自分たち自身のベースラインを測ります(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- レポートだけで整理する。 情報源がエラーを生み続ける。入力と読み込みの確認を直す。
- 品質の数字のないダッシュボード。 読み手は数字を判断できない。完全性、鮮度、件数を示す。
- 文書化されていない定義。 数字が静かに意味を変える。系譜と変更ログを保つ。
- レビューされていない分析。 エラーが判断に届く。第二の目を求める。
- AIの要約を信頼する。 流暢で間違っていることがある。クエリを確認し、原文を抽出する。
- 個人へのアナリティクス。 監視に変わり、データを腐敗させる。最小グループサイズを伴ってチームのレベルで報告する。
- レポートを廃止しない。 蓄積して誤解を招く。利用をレビューして取り除く。
- 不確実性のない単一の数字。 過剰反応を招く。件数と範囲を示す。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | 協調 |
|---|---|---|---|---|---|
| データ品質 | 不明な品質。手作業のスプレッドシート | 主要なフィールドの完全性が確認される | 入力時と読み込み時の品質の確認がレポートに示される | 突合と品質の傾向が周期に沿ってレビューされる | 品質がチーム間のデータコントラクトで管理される |
| 系譜と定義 | 定義が人々の頭の中にある | 一部の定義が書かれる | 情報源、オーナー、変更ログを持つ台帳 | 主要なメトリクスの系譜がエンドツーエンドでたどられる | 定義がチームと供給者の間で共有される |
| 分析の実践 | 一度限りのレポート。レビューなし | 一部のピアレビュー | 問い、判断、レビューが記録される | 分析が再利用され、レビューされ、廃止される | アナリティクスが、結果のフィードバックとともに判断に組み込まれる |
チェックリスト
- 各主要なメトリクスが、依存するフィールドとタイムスタンプを列挙している。
- 必須フィールドが、後の整理だけでなく、入力時に検証されている。
- レポートが、完全性、鮮度、各率の背後にある件数を示している。
- 毎四半期、少なくとも一つの量が二つの情報源で突合されている。
- 台帳が、各メトリクスの情報源、変換、オーナー、レビューの日付を記録している。
- 定義の変更が記録され、チャートに印が付けられている。
- 判断に情報を与える分析が、第二の人にレビューされている。
- 既知の標本での確認を含む、AI支援の分析の規則がある。
- 人に関連するデータについて、アクセス、保持、最小グループサイズが定義されている。
- 各メトリクスに、悪用の手口と、その隣に示された防護柵がある。
AIプロンプト
メトリクスのデータ品質の確認を起案する。
私たちはこのメトリクスを報告しています:[メトリクス名]。定義は [時計の開始と停止を含む定義] です。[ツール] の次のフィールドに依存します:[フィールドを列挙]。完全性、妥当性、適時性、一貫性のデータ品質の確認を提案し、各確認をどこで実行するか(入力時、読み込み時、レポート内)を述べてください。しきい値を捏造せず、プレースホルダーを使ってください。前提に印を付け、私が答えるべき問いを列挙してください。
使われる前に分析をレビューする。
以下は、判断に使う予定の分析です:[個人データなしで、問い、方法、クエリまたはステップ、結果を貼り付け]。不明確な定義、誤った分母、小さな標本、欠けた不確実性、データを超えた結論についてレビューしてください。テキストにない事実を仮定しないでください。判断できなかったことと、人のレビュー担当者が確認すべきことを列挙してください。
二つのシステム間の突合を計画する。
二つのシステムが [量] について一致するはずです:[システムA] と [システムB]。突合の計画を提案してください:標本、期間、レコードの照合方法、差異の分類方法、所見の記録方法。期待される差異を捏造しないでください。前提と、私が必要とするアクセスを列挙してください。
データ品質の測定値の悪用のリスクをレビューする。
私たちは次のデータ品質の測定値を報告しています:[測定値と定義を貼り付け]。文脈:[チームの規模、ツール、聞き手]。各測定値について、データを改善せずによく見えうる現実的な方法を列挙し、防護柵を提案し、その防護柵がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提を列挙してください。
AIスキル
- データ品質:データセットの品質を定義し確認するときに使います。
- データパイプライン:サービスのデータを読み込むパイプラインを設計しレビューするときに使います。
- 統計分析:方法とその不確実性が問いに合っているかを確認するときに使います。
- サービスマネジメントメトリクスのスキル:メトリクスとその組になる防護柵を扱うトピックを探すときに使います。
要点
- 数字はそのデータと同じ程度にしか信頼できないので、完全性、鮮度、突合を測り、結果の隣に示す。
- 系譜と定義を一つの台帳に保ち、すべての変更を記録する。
- AI支援のものを含め、判断に情報を与える前に分析をレビューする。
- 不確実性と限界を述べ、各率の背後にある件数を示す。
- アナリティクスをチームとサービスのレベルに保ち、人についてのデータにはプライバシーの制限を設ける。
参考文献とさらなる読書
- Wikipedia, Analytics.
- Wikipedia, Data quality.
- Wikipedia, Data lineage.
- Wikipedia, Data governance.
- Wikipedia, Statistical process control.
- Wikipedia, Goodhart's law.
- Wikipedia, Reproducibility.