ツールの全体像
答えが要る問いと、信頼できるデータのためにツールを選び、データを持ち運べるものに保ち、数字を読む価値のあるものにする習慣より、プラットフォームに使う費用を少なくする。
概要と動機
ツールは、メトリクスプログラムが最もよく間違える場所で、正反対の二つの方向に間違えます。一部の組織は、最初に大きなアナリティクスのプラットフォームを買い、のちに、合意した定義も、整ったデータも、聞き手もないことを発見します。他の組織は、一人だけが理解するスクリプトとスプレッドシートの山を築き、その人が異動するとプログラムが終わります。どちらもツールから始めて、それが答えるはずの問いを無視しています。
この領域は混み合っていて素早く変わるので、このトピックは意図的にベンダー中立です。ツールの種類、それらの間のデータの流れ、築くことと買うことのトレードオフ、選ぶ基準を記述します。製品名は挙げません。製品名はすぐに古くなり、本は現在の機能や価格の案内として不向きだからです。測定の原則はベンダーによって変わりません。何を測っているか、データがどこから来るか、誰が所有するか、どう読まれるかを知ること。
サービスメトリクスのプログラムが必要とするデータの多くは、すでに記録システムにあります。ITサービスマネジメント(IT service management)のツールは、インシデント、リクエスト、問題、変更、構成の記録を保持します。ソース管理、ビルド、テスト、デプロイのシステムは、エンジニアリングの仕事の履歴を保持します。監視とオブザーバビリティ(observability)のシステムは、可用性、レイテンシ、エラーのデータを保持します。アンケートのツール、財務システム、人事システム、契約のリポジトリが残りを保持します。メトリクスプログラムは、それらの中で行われる仕事を妨げずに、これらの情報源を結合します(トピック 1.5「データソースと計装」を参照)。
データを情報源から分析できる場所に移すことはデータパイプライン(data pipeline)で、古典的なパターンは抽出・変換・読み込み(extract, transform, load)です。情報源から読み、整形して整理し、ストアに書く。ストアは、複数のシステムからのデータを分析のために整理した統合リポジトリであるデータウェアハウス(data warehouse)かもしれません。プログラムはこれらのシステムにアプリケーションプログラミングインターフェース(application programming interface)を通じてアクセスし、それは、あるソフトウェアが別のソフトウェアに、定義された方法でデータを求める方法です。流れるものの質が、すべてのチャートの質を決めます。データ品質(data quality)は、正確さ、完全性、一貫性、適時性を網羅し、それを維持する規律がデータガバナンス(data governance)です。
財務の側面にも注意が要ります。ツールの総所有コスト(total cost of ownership)には、ライセンス、インフラ、連携、研修、管理、そしてそれを離れるコストが含まれます。ベンダーロックイン(vendor lock-in)は、供給者の切り替えが非常に高くつくため、顧客が実質的に縛られる状況です。メトリクスプログラムは、定義、履歴、ダッシュボードがツールの内部に蓄積し、後で取り出すのが難しいので、特に露出しています。
アジャイルの狙いがアプローチを形作ります。継続的デリバリーはプログラムに当てはまります。一つのチームのための一つの情報源から一つの見方への、最も薄い動く経路を立ち上げ、その利用から学び、拡張する。ステークホルダーの継続的な関与は、数字を使う人々がツールの選択に参加することを意味します。継続的改善と継続的な進化は、ツールが変わると予期されることを意味するので、完璧さよりも持ち運べることが重要です。持続可能なペースは、プログラムが、測る仕事を飢えさせるデータエンジニアリングのプロジェクトにならないことを意味します。そして意欲のある個人は、上から押し付けられたツール、特に監視のように感じるツールよりも、自分たちが選ぶのを助け、理解しているツールで、より良い仕事をします(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。
このトピックは、ダッシュボード設計の指針(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)と、第1部のガバナンスのトピックに頼っています。
主要な原則
- ツールの前に問い。 問いと測定値を先に書き、それからどんなツールが要るかを見る。
- 記録システムを使う。 仕事が行われる場所からデータを取り、人々に二度入力させない。
- 定義をツールの外に保つ。 メトリクスの定義を、プラットフォームの変更を生き延びる、平易で持ち運べる形で維持する。
- 持ち運べるデータを好む。 データをオープンな形式で、文書化されたインターフェースとともに保存し、出口の道を保つ。
- 薄く始めて育てる。 一つの情報源、一つの見方、一つのチーム、それから拡張する。
- 完全なコストを数える。 ライセンスは、連携、データの整理、保守のコストの一部にすぎない。
- 人々を守る。 ツールはチームとサービスに集約し、アクセス規則を強制し、監視をしにくくするべきである。
- パイプラインをサービスとして扱う。 オーナー、監視、テスト、失敗への対処方法が要る。
メトリクスの定義
以下の測定値は、メトリクスのツールとそのデータ供給の健全性を記述します。インフラを誠実に保つための、プログラムのチーム向けのもので、人を評価するために使いません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 情報源の網羅 | 合意した測定値に必要な記録システムのうち、メトリクスのストアに自動で供給される割合 | 接続されテストされた情報源 ÷ 合意した測定値に必要な情報源 | パーセント | 情報源の棚卸し、パイプラインの設定 | 情報・技術管理、サービス構成管理 | パイプラインの継続的デリバリー | 四半期ごと |
| パイプラインの信頼性 | 予定されたデータの読み込みのうち、確認に通って期限内に完了した割合 | 確認に通って期限内の読み込み ÷ 予定された読み込み | パーセント | パイプラインのログとテスト結果 | 監視とイベント管理 | 自動化されたテストと速いフィードバック | 毎週 |
| 新しい測定値までの時間 | 新しい測定値の承認されたリクエストから、定義カードを伴う利用可能までの経過時間 | 承認から公開までの日数の中央値と85パーセンタイル | 日 | リクエストとリリースの記録 | サービスリクエスト管理、変更実現 | 価値の小さな増分 | 四半期ごと |
| 突合率 | 抽出した確認で、メトリクスのストアと元のシステムの間で一致した主要な数字の割合 | 許容範囲内で一致した数字 ÷ 確認した数字 | パーセント | 突合の確認 | 情報・技術管理 | 信頼できるフィードバック | 毎月 |
| 手作業の割合 | 定期的なレポートの労力のうち、手作業の収集と整理に費やされた割合 | 手作業のステップの時間 ÷ 定期的なレポートの総時間 | パーセント | 時間の見積もり、チームのアンケート | 継続的改善 | トイルの排除 | 四半期ごと |
| 出口の準備 | 定義、履歴、ダッシュボードが、文書化された使える形でエクスポートできるか | テストされ完全なエクスポート ÷ 計画されたエクスポートのテスト | パーセント | エクスポートのテストの記録 | 供給者管理、サービス継続管理 | 持続可能な選択 | 毎年 |
| 支援するチームあたりのツールのコスト | プログラムのツールの年間の完全なコストを、それが仕えるチームで割ったもの | (ライセンス + インフラ + 保守の労力)÷ 仕えるチーム | チームあたりの通貨 | 財務と労力の記録 | サービス財務管理 | 持続可能なペース | 毎年 |
情報源は、存在するものではなく、合意した測定値が必要とするもので数え、無関係なシステムを接続して網羅を上げられないようにします。突合には、事前に標本と許容範囲を選ぶことが要ります。支援するチームあたりのツールのコストは、選択肢を比較するのに使う記述的な数字で、押し下げる目標ではありません。パイプラインを保守する人々の労力を含みます。
推奨事項
何が要るかを決める
1. 要件を問いと測定値として書く。 プログラムが公表すると合意した測定値(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)、それぞれが必要とする情報源、それぞれがどれだけ新しくなければならないか、誰が見てよいか、履歴をどれだけ保つ必要があるかを列挙します。必須のものと好みを区別します。二ページの短い文書は、長い提案依頼書より良いものです。
2. すでに所有しているものを棚卸しする。 多くの組織には、サービスマネジメント、エンジニアリング、監視のツールにアナリティクスの機能があり、使われていません。多くは、すでにニーズの一部に答えるスプレッドシート、スクリプト、レポートを持っています。これらに何ができるかを見ることから始めます。最も安いツールは、すでに支払われ、すでに理解されているものです。
3. ツールの前にデータを棚卸しする。 各情報源について、データが完全で、一貫して入力され、インターフェースを通じてアクセスできるかを確認します。ツールは、誰も使わないインシデントのカテゴリ、事後に作られる変更の記録、上書きされるタイムスタンプを直せません。最も価値のある初期の仕事の一部は、情報源でのデータ取得を直すことです(トピック 7.4「構成とCMDB品質のメトリクス」を参照)。
築く、買う、あるいは組み合わせる
4. 築くことと買うことを、完全なコストと適合で比較する。 アナリティクスのプラットフォームやパッケージ化されたエンジニアリングのアナリティクス製品を買うと、既成のコネクタ、チャート、サポートが得られますが、その代償は、ライセンス、固定された世界のモデル、依存です。パイプラインと見方を築くと、適合と統制が得られますが、その代償は、エンジニアリングの時間と保守です。ほとんどの組織は組み合わせに落ち着きます。十分良いところでは組み込みのレポートを使い、見方には汎用の分析ツールを使い、他に合うものがないところでは薄いコネクタを築く。
5. 実際のデータでプロトタイプをテストする。 約束する前に、自分たちの二つか三つの測定値で、実際のデータと実際のユーザーを使う、時間を区切った試行を行います。接続にどれだけかかったか、ツールが自分たちの定義をどれだけうまく扱ったか、分布とパーセンタイルを示せたか、アクセスをどう制御したかを確認します。マーケティングのデモはきれいなデータを使いますが、あなたのデータはそうではありません。
6. 入る前に出口を計画する。 定義、履歴、ダッシュボードをどうエクスポートできるかを尋ね、それをテストします。オープンなインターフェースと標準の形式を持つツールを好み、メトリクスの定義と整理したデータの自分たちのコピーを保ちます。離れるコストは、とどまるコストの一部で、信頼できる出口は交渉上の立場を改善します(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。
明確な基準で選ぶ
7. ベンダー中立の選定基準を使う。 有用な基準には次があります。必要なデータソースに、保守されたコネクタがあるか。定義を書き、バージョン管理し、レビューできるか。ツールは、平均と件数に加えて、分布、パーセンタイル、傾向を示せるか。チームとサービスに集約し、個人レベルの見方を制限できるか。ロールベースのアクセスと監査に対応しているか。データはオープンな形式でエクスポートできるか。ベンダーは変更、停止、セキュリティインシデントをどう扱うか。3年後に予想する規模でいくらかかるか。
8. 組み込みのスコアリングに警戒する。 一部のツールは、複合スコア、人のランキング、「生産性」の指数を最初から提供します。これらは採用しやすく、弁護しにくいものです(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。そうした機能をオフにできるかを確認し、何かをオンにする前にポリシーを設定します。
9. 使う人々を関与させる。 チームに、最終候補の選択肢を自分たちのデータで試してもらいます。彼らの問いは、要件の文書が見せなかった限界を露わにします。セキュリティ、プライバシー、財務、調達を早くから含めます(トピック 8.1「セキュリティインシデントと脆弱性のメトリクス」を参照)。
パイプラインをサービスとして運用する
10. パイプラインを自動化し、テストし、監視する。 データの読み込みを、他の本番のサービスと同様に扱います。件数、範囲、重複、鮮度の自動の確認を実行します。失敗でアラートを出し、データ品質の状態をダッシュボードに示します。変換のロジックをバージョン管理し、コードのようにその変更をレビューします(トピック 5.5「監視とアラート品質のメトリクス」を参照)。
11. 定義のカタログを保つ。 各測定値の定義、計算式、情報源、オーナー、限界を持つ共有のカタログを維持します。平易なテキストファイルのリポジトリ、データカタログのツール、あるいはウィキでもよい。重要なのは、それが意味についての真実の情報源であり、ダッシュボードがそこから読むか、そこにリンクすることです(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
12. 毎年ツールをレビューする。 毎年、ツールのコスト、プログラムが使う部分、手作業が残る場所、どんな新しい選択肢があるかを確認します。誰も使わないものを廃止します。プログラムが成熟するにつれて、築くか買うかのバランスを再考します。変化を、仕事の通常の一部として計画します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 情報源の網羅 | 簡単なまたは無関係な情報源を接続する、使えるデータを運ばない接続を数える | 合意した測定値で数える。情報源ごとのデータの完全性を確認する |
| パイプラインの信頼性 | 読み込みが常に通るよう確認を緩める、予定する読み込みを減らす | 確認の強さをレビューする。突合と情報源の行数を追跡する |
| 新しい測定値までの時間 | 定義やテストなしに公開する、新しい測定値として数えるものを狭める | 完了に定義カードと突合の確認を求める |
| 突合率 | 確認する簡単な数字を選ぶ、外れの後に許容範囲を広げる | 確認の前に標本を選ぶ。許容範囲を事前に固定する。難しい数字を含める |
| 手作業の割合 | 手作業を過小に述べる、労力を他の予算に隠す | 仕事をする人々に尋ねる。各報告周期の終盤に費やした時間と比較する |
| 出口の準備 | 部分的なエクスポートをテストする、文書化された計画を準備と数える | 標本を別のツールに完全に復元する。定義と履歴を検証する |
| 支援するチームあたりのツールのコスト | 保守の労力を除く、紙の上でチームを加える | スタッフの時間を含める。自分たちの見方を実際に使っているチームを数える |
健全な読みは、期限内に届いて情報源と突合するデータ、定義とともに公表される新しい測定値、減る手作業、そして少なくとも一度はテストされた出口です。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 各ツールの組み込みレポート | 安い。すでにある。理解されている | サイロ。ツール間で一貫しない定義 |
| 一つのベンダーの単一スイート | 統合されている。契約が一つ | ロックイン。自分たちではなくベンダーのモデルに合う |
| パッケージ化されたエンジニアリングのアナリティクス製品 | 速い開始。既成のコネクタ | 固定されたモデル。個人レベルのスコアリングのリスク。規模でのコスト |
| 汎用の分析・可視化ツール | 柔軟。広く利用できるスキル | データの供給と設計スキルが要る |
| 変換層を伴うウェアハウス | 強い統制。情報源をまたぐ結合 | エンジニアリングの労力。オーナーシップが要る |
| スプレッドシートとスクリプト | 始めやすい。ライセンスなし | 脆い。個人に依存する。監査しにくい |
| オープンソースのスタック | 統制。ライセンスのコストなし | 保守の労力。サポートは自分次第 |
| 手作業で集めたメトリクス | ツールなしで機能する | 遅い。エラーを起こしやすい。持続しにくい |
散文での答えは、すでに持っているものから始め、本当の問いに答える最も薄い接続を加え、定義とデータを持ち運べるものに保ち、軽いものが判断を明らかに制限するときにだけ、より重いツールに移ることです。
チームで話し合う問い
1. 毎月手作業で生み出している数字はどれで、やめるには何が要るか? 手作業のレポートとそれにかかる時間を列挙します。それぞれの情報源と、それにインターフェースがあるかを見つけます。ファシリテーターは、どのレポートを単にやめられるかを尋ねてください。自動化するものを一つ、廃止するものを一つに合意します。
2. 現在のレポートツールが明日なくなったら、何を失うか? その内部にのみ存在する定義、履歴、ダッシュボードに名前を付けます。そのうちどれがエクスポートできるかを確認します。コピーを保つ場所に合意します。
3. 私たちのシステムのデータで最も信頼していないものはどれで、なぜか? 入力の習慣、既定値、上書きされるフィールドを見ます。それぞれの歪みが、公表する測定値にどれだけ影響するかを見積もります。最小の労力で最も多くの信頼を加える情報源の修正に合意します。
4. ツールは、私たちが見せたくないものを、何を人々に見せるか? 個人レベルの見方、活動ログ、ランキングを確認します。何を制限またはオフにするかを決め、誰かが機能を使う前に規則を書き下します。
5. 新しい測定値を加えるのにどれだけかかり、何が私たちを遅くするか? 最近のリクエストを承認から利用可能までたどります。待ちに印を付けます。承認、欠けている定義、手作業の整理など、取り除くものに合意します。
6. このツールの、1チームの1年間の完全なコストはいくらか? ライセンス、インフラ、連携、研修、それを保守する人々の時間を足します。それが改善した判断と比較します。何への支払いをやめるかを話し合います。
四つの視点
プロダクトとデリバリーのチーム
チームは、余分な入力なしに仕事から来るデータと、自分たちの問いに答える見方を望みます。ツールの選択とテストを手伝い、自分たち自身の測定値の定義を所有し、個人をランク付けする機能を拒むべきです。彼らの時間は最も希少な入力で、仕事を二度記録するよう求めるツールは、抵抗されます。
サービスと運用のチーム
運用チームは情報源を、しばしばパイプラインも運用します。パイプラインを、監視とテストを伴うサービスとして扱い、情報源のデータフィールドを信頼できるものに保ち、コネクタを壊す記録システムの変更に旗を立てるべきです。数字が間違っているときに最初に気づく立場にあります。
リーダーシップとガバナンス
リーダーはプログラムに資金を付け、期待を設定します。ライセンス価格ではなく総コストを求め、持ち運べることと出口を要求し、定義の問題を解決するためにプラットフォームを買うのに抵抗し、プライバシーとアクセスの規則を主張するべきです。控えめな開始を受け入れ、それが改善する判断で判断するべきです。
顧客とユーザー
顧客とユーザーがツールを目にすることはまれですが、その結果とともに生きています。彼らについてのデータが保存され、結合され、分析されます。何が収集され、どれだけ保たれ、誰が見て、どう守られるかについての明確な規則に値します。測定値が彼らのフィードバックに依拠するところでは、ツールは同意と匿名性を尊重するべきです。
実践:サービスマネジメントの例
地域の物流会社には、サービスマネジメントのツール、ソース管理とデプロイのシステム、監視のプラットフォーム、アンケートのツールがあり、それぞれが固有のレポートを生み出します。サービスマネジメントの責任者は、12のチームのサービスの健全性の単一の見方を望みます。ベンダーが、3年契約のオールインワンのアナリティクスのプラットフォームを提供します。以下の数字は例示です。
サービスマネジメントの責任者は、まず問いと、チームとリーダーがダッシュボードのセッションで合意した14の測定値を書きます。彼女は、すでにあるものを棚卸しします。サービスマネジメントのツールはインターフェースを通じてインシデントと変更のデータをエクスポートでき、デプロイのシステムはデプロイのタイムスタンプを提供し、監視のプラットフォームは目標に対する可用性を報告します。彼女はチームの代表の小さなグループに、実際のデータを使った三つの測定値で、二つの選択肢をテストするよう頼みます。ベンダーのプラットフォームと、汎用の可視化ツールに小さなデータストアと薄いコネクタを組み合わせたもの。
試行は違いを見つけます。プラットフォームは2日ですべての情報源に接続しましたが、リードタイムを平均として計算し、高いパーセンタイルを示せず、オフにできない組み込みの「チーム生産性スコア」があり、ダッシュボードの定義をエクスポートすると、他のどのツールも読めないファイルが生じました。組み合わせは接続に11日かかりましたが、中央値とパーセンタイルを示し、定義をリポジトリの平易なテキストとして保ち、データストアで個人レベルのフィールドを制限しました。グループはまた、変更の記録の30パーセントがデプロイの後に作られていることを発見し、どのツールが読んでもリードタイムは間違っていました。情報源での入力の習慣を直すことが、最初の仕事になります。
会社は組み合わせを選びます。情報源の網羅は、2四半期で、必要な八つの情報源のうち三つから七つに上がります。パイプラインの信頼性は、確認に通って期限内の読み込みが71パーセントから始まり、チームがテストと失敗のアラートを加えた後、96パーセントに達します。新しい測定値までの時間は、中央値31日から9日に下がります。月次レポートの手作業は、約40時間から6時間に下がります。ある部長が、ベンダーのプラットフォームの生産性スコアを加えて、チームの単一のランキングを得られないかと尋ねます。サービスマネジメントの責任者は、トピック1.2の分析を説明し、会社の他の場所で似たスコアが使われたときに何が起きたかを示し、現在のバランスの取れた見方を提案します。判断は記録され、スコアの機能は、それを持つどのツールでも無効にされます。
アジャイル、AI、自動化、アナリティクス
アジャイル
実際のチームと実際の問いで小さな実験としてツールを選び、方向を変える能力を保ちます。注意点は、早期に行われた大きなプラットフォームの決定は、チームが何を必要とするかを学ぶ前に、定義を固定してしまうことです。
AI
今や多くのアナリティクスとサービスマネジメントのツールにAI機能が含まれます。AIが何をし、どんなデータで、どんな条件で、その出力がどう確認され、どうオフにするかを尋ね、AI機能を他の利用と同様に測ります(トピック 10.5「AIガバナンスとリスクのメトリクス」を参照)。注意点は、既定でオンのAI機能はレポートを静かに変えうるため、各リリースについて供給者に尋ねることです。
自動化
文書化されたインターフェースを通じてデータを自動で収集でき、データを持ち運べるものに保てるツールを好みます。連携を失敗と新しい測定値までの時間で測ります。注意点は、独自のコネクタは自分のデータを持ち出しにくくしうるため、エクスポートをテストすることです。
アナリティクス
ツールを、情報源の網羅、突合、新しい問いに答えるまでの時間で判断します。これが情報を与える判断は、どのツールを採用し、維持し、離れるかです。注意点は、デモのデータはきれいに見えるため、自分たちの乱雑なデータでテストすることです。
業種別の視点
スタートアップ。 プロダクトと既存のツールがすでに提供するものを使います。スプレッドシートと、使っているツールの組み込みレポートで、初期の問いのほとんどに答えられます。問いが安定し、手作業が痛むまで、データ基盤に抵抗します。メトリクスの定義を書き留めておき、後の移行を容易にします。
中小企業。 少ない測定値と少ないシステムは、単純なツールを意味します。組み込みのレポートとスプレッドシートで、しばしば十分です。主なリスクは、一人の頭の中にだけあるデータと、エクスポートのないツールです。離れられる製品を選び、定義を書き留めます。
大企業。 多くのシステム、多くのチーム、多くの定義は、統治されたデータストア、定義のカタログ、階層化された見方を主張します。分散したオーナーシップは、すべてのレポートを築く中央のチームよりうまく機能します。ロックイン、アクセス制御、プライバシー、供給者の評価に注意を払い、パイプラインをサービスとして提供する小さなプラットフォームのチームを検討します。
政府・公共部門。 調達の規則、データの主権、アクセシビリティが、ツールの選択に影響します。契約が長く、行政が変わるため、オープンな標準と持ち運べることは価値があります。セキュリティ評価、記録の保持、公的開示の規則に備え、ホスティングと調達に関する現在のガイダンスを確認します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストには、ライセンスまたはサブスクリプション、インフラ、連携とコネクタの作業、データの整理、定義とカタログの作業、研修、サポート、パイプラインを健全に保つ繰り返しの労力が含まれます。築く選択肢には過小に見積もりやすいエンジニアリングのコストが伴い、買う選択肢には規模とともに増える料金と離れるコストが伴います。
見返りは、節約された報告の労力、より速い答え、数字についての少ない論争、信頼されたデータからのより良い判断から来ます。自分たち自身のデータからケースを築きます。今、手作業のレポートに費やす時間、一つの数字の競合するバージョンの数、問いと答えの間の遅れ、重複するツールのコスト。たどれる出典と自分たちの文脈への関連性がない限り、アナリティクスの見返りについてのアナリストの数字の引用は避けます。公正な比較は、出口を含め、各選択肢の3年間の完全なコストを数えます(トピック 7.5「サービスコストとユニットエコノミクス」とトピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- ツールが先、問いは後。 プラットフォームが届き、誰もそれに何を尋ねるか分からない。測定値を先に書く。
- 定義の問題を直すために買う。 意味についての不一致は、どのツールでも続く。定義を決着させる。
- 組み込みの個人スコア。 誘惑し、歪める。無効にして、最初にポリシーを設定する。
- 出口がない。 履歴と定義が閉じ込められる。エクスポートをテストし、コピーを保つ。
- 一人のパイプライン。 その人が去ると止まる。文書化し、テストし、オーナーシップを共有する。
- 二重入力。 人々が同じ仕事を二度記録し、両方の質が下がる。記録システムからデータを取る。
- 早すぎる過剰設計。 一つの見方が価値を証明する前に、データ基盤が届く。薄く始める。
- データ品質を無視する。 汚れたデータの上のきれいなチャートは、より説得力をもって誤解を招く。情報源での取得を直す。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| データの供給 | 手作業の収集。スプレッドシート | 一部の自動のフィード。個人のスクリプト | 合意した情報源が、テスト済みのパイプラインを通じて共有のストアに供給する | 信頼性、突合、鮮度が管理され可視化される | チームと供給者にまたがる共有のコントラクトを持つ分散したパイプライン。フィードバックから情報源が改善される |
| 定義とカタログ | 人々の頭の中 | 一部が文書化される | オーナー付きの定義の一つのカタログ。バージョン管理されレビューされる | カタログがダッシュボードを駆動する。変更がユーザーとレビューされる | 定義がチームと供給者に共同所有される。判断に情報を与えなくなると廃止される |
| 選択とコスト | その場限りの購入 | 重複するツール | 基準が書かれる。出口がテストされる。完全なコストが数えられる | 支援するチームあたりのコストと手作業が管理される | ツールの選択がユーザーと定期的にレビューされ、ニーズが変わるにつれて適応する |
チェックリスト
- ツールを比較する前に、合意した測定値とその問いが書かれている。
- 既存のツールとレポートが棚卸しされ、最初にテストされている。
- 主な情報源のデータ品質が確認され、最悪のギャップが直されている。
- 選定基準が書かれ、分布、アクセス制御、エクスポートを含んでいる。
- あらゆる約束の前に、実際のデータと実際のユーザーによる時間を区切った試行が行われた。
- 個人レベルのスコアリングとランキングの機能が、ポリシーで無効化または制限されている。
- 定義が、単一のツールの外の、持ち運べるカタログに保たれている。
- パイプラインに、オーナー、自動の確認、監視、失敗のアラートがある。
- 定義と履歴のエクスポートがテストされている。
- 出口を含む、3年間の完全なコストが数えられている。
AIプロンプト
問いから要件を書く。
以下は私たちの聞き手が尋ねる問いと、公表を予定している測定値です:[貼り付け]。メトリクスのツールまたはパイプラインのための、二ページの要件の文書を起案してください。データソース、鮮度、アクセス制御、保持、分布とパーセンタイル、エクスポートと持ち運べること、必須と好みの一覧を網羅してください。製品名を挙げないでください。前提と、チームと確認する点を列挙してください。
ツールの試行を計画する。
私たちはメトリクスのプログラムのために [選択肢] を比較しています。私たちの三つの測定値と実際のデータを使う、2週間の試行を設計してください。何をテストするか、書面の基準に照らして選択肢をどう採点するか、誰が参加するか、アクセス制御とエクスポートをどう確認するか、どんな証拠を記録するかを述べてください。特定の製品について結果を主張しないでください。前提とリスクを列挙してください。
データパイプラインをレビューする。
以下は、[情報源] から私たちのダッシュボードへデータがどう流れるかの説明です:[貼り付け]。データが遅れる、重複する、上書きされる、失われうる箇所を特定し、それぞれに自動の確認を示唆してください。主要な数字を情報源と突合する方法を提案してください。システムの振る舞いを捏造しないでください。前提と、説明から分からなかったことを列挙してください。
完全なコストを比較する。
私たちのメトリクスプログラムのために、ツールを築く、買う、組み合わせる場合の3年間の完全なコストの比較を手伝ってください。各選択肢のコストの区分を、ライセンス、インフラ、連携、データの整理、研修、保守、出口を含めて列挙してください。私たち自身の数字を入れる空欄のある表を提供してください。価格を提示しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:要件を書くときに、各測定値のデータソースと防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:ツールの決定記録が、定義、データソース、防護柵を備えているかを確認するときに使います。
要点
- 問いと測定値を先に書き、それに仕えるようにツールを選ぶ。
- 記録システムを使い、情報源でのデータ取得を直し、突合をテストする。
- 定義とデータを持ち運べるものに保ち、約束する前に出口をテストする。
- 個人レベルのスコアリングとランキングを無効にし、機能をオンにする前にポリシーを設定する。
- パイプラインを、オーナー、テスト、監視を伴うサービスとして運用する。
- 数年にわたる完全なコストを数え、本当の問いに答える最も薄い経路から始める。
参考文献とさらなる読書
- Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
- Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
- Axelos, ITIL 4 Foundation, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, IT service management.
- Wikipedia, Observability (software).
- Wikipedia, Data pipeline.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data warehouse.
- Wikipedia, Application programming interface.
- Wikipedia, Data quality.
- Wikipedia, Data governance.
- Wikipedia, Total cost of ownership.
- Wikipedia, Vendor lock-in.