概要と動機

多くのメトリクスプログラムは、労力をダッシュボードに費やし、それを支えるパイプにはほとんど費やしません。これは逆です。一貫しないタイムスタンプ、誰も更新しないステータス欄、先月静かに止まった連携の上に作られた磨き上げたグラフは、権威があるように見えて、誤っています。このトピックは、本書の残りの部分のための地味な土台を扱います。サービスとデリバリーのデータはどこから来るのか、各情報源はどのくらい信頼できるのか、誰かが気づく前にメトリクスを無効にしてしまうデータ品質の失敗は何か。

情報源はいくつかのファミリーに分かれます。ITサービスマネジメント(IT service management、ITSM)ツールは、インシデント、リクエスト、問題、変更を記録し、ITILはこれらをサービス運用の中核のレコードとして扱います。課題管理システム(issue tracking system)は、アジャイルのチームのバックログと作業アイテムの動きを記録します。バージョン管理(version control)は、コミット、ブランチ、マージを記録します。継続的インテグレーションと継続的デリバリー(CI/CD)のパイプラインは、ビルド、テスト結果、デプロイを記録します。監視とオブザーバビリティ(observability)のプラットフォームは、稼働中のシステムからテレメトリ、つまりメトリクス、ログ、トレースを出します。構成管理データベース(configuration management database、CMDB)は、さまざまなものが関連するサービスとコンポーネントを記録します。アンケートは、満足度や労力のように、システムが観察できないものを記録します。

パイプラインが書き込むデプロイのイベントは客観的で偽造しにくく、作業の何時間も後に変更されたチケットのステータスは回想であり、アンケートの回答は認識です。数字の背後にどの種類のレコードがあるかを知れば、まずどの失敗を探すべきかが分かります。

アジャイルとITILの見方は、同じデータで出会います。どちらもタイムスタンプ付きの状態機械なので、すべての状態変化を信頼できる時刻付きのイベントとして記録し、メトリクスはそのイベントから導きます。

このトピックでは三つの用語が繰り返し現れます。記録システム(system of record)は、ある事実について権威を持つ唯一の情報源です。たとえば「デプロイが起きた」という事実にとってのパイプラインです。計装(instrumentation)は、コード、設定、ツール連携によるイベントの意図的な取得で、誰も手で入力せずにメトリクスを計算できるようにします。ステータスモデル(status model)は、作業アイテムやレコードがとりうる状態の集合と、その間の許される移動です。ステータスモデルが、そもそもどの時計を計算できるかを決めます。

大企業や公共部門の規模では、問題は複合します。データはコネクタ、抽出・変換・ロード(extract, transform, load、ETL)のジョブ、レポート層を通り、一つひとつの中継ぎが意味のずれの機会になります。元で一つの意味を持つ項目が、ウェアハウスではわずかに異なる意味になりうるのに、数字はもっともらしく見えます。対策は、イベントとダッシュボードの間の距離を縮め、パイプラインを定期的に確認することです。

主要な原則

  • 要約ではなくイベントを取得する。 生の状態変化をタイムスタンプ付きで保存し、そこからメトリクスを計算する。そうすれば、履歴を失わずに定義を変えられる。
  • 自己申告より観測を優先する。 システムがそのイベントを見られるなら、それを使う。人の報告は、人にしか言えないことのために取っておく。
  • 事実ごとに記録システムを一つ指名する。 重複した情報源は食い違い、その食い違いが両方への信頼を損なう。
  • メトリクスの前にステータスモデルを設計する。 存在しない状態や、チームごとに意味が異なる状態から、時計は計算できない。
  • パイプラインをプロダクトとして扱う。 オーナー、テスト、監視、変更ログがある。データ品質は静かに劣化するからだ。
  • 出所を示す。 ダッシュボード上のすべての数字は、一、二回のクリックで元のレコードにたどれるようにする。
  • 使うものだけを集め、守る。 すべての項目はコストであり、人に関わる場合はプライバシー上の義務である。

メトリクスの定義

以下のメトリクスは、データ供給そのものの健全性を測ります。計器のための計器盤です。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
情報源の網羅率 対象範囲内のサービスとチームのうち、イベントが自動でメトリクスストアに届くものの割合 自動フィードがあるサービスまたはチームの数 ÷ 対象範囲内のサービスまたはチームの数。「対象範囲」はメトリクス台帳に列挙されている パーセント メトリクス台帳とパイプラインの設定 測定とレポート、サービス構成管理 ツールに関するチームのワーキングアグリーメント 四半期ごと
タイムスタンプの完全性 クローズされた作業アイテムのうち、メトリクスの時計に必要なすべてのタイムスタンプを持つものの割合 必要な状態変化のタイムスタンプがすべてそろっているクローズ済みアイテムの数 ÷ その期間にクローズされたアイテムの数。まだ開いているアイテムは除く パーセント ITSMツールまたは課題管理の履歴 インシデント管理、サービスリクエスト管理 ボードまたはワークフローの履歴 毎月
遡及記録率 事後に記録された状態変化の割合。イベントの時刻と入力された時刻の差で測る イベント時刻より24時間を超えて後に入力された状態変化の数 ÷ その期間の状態変化の数。時計はイベントで始まり、入力で止まる パーセント 追跡システムの監査証跡、またはパイプラインのイベント時刻と入力時刻の対比 変更実現、インシデント管理 完了の定義 毎月
データの鮮度 ダッシュボードが閲覧される時点で、最新のデータがどれだけ古いか 閲覧時刻 − 読み込まれた最新のイベント時刻。中央値と95パーセンタイルを報告する 時間 パイプラインの実行ログとダッシュボードの読み込みログ 測定とレポート ステークホルダーレビューの準備 毎週
突合の差異 同じ件数についての二つの情報源の食い違い 二つの件数の差の絶対値 ÷ 記録システムの件数。期間と範囲を固定する パーセント 記録システムとレポート層 サービスレベル管理、財務管理 リリースレポートの確認 毎月
ステータスモデルのずれ 使われている異なるステータス名や遷移の数の、文書化されたモデルとの比較 その期間に観測された、文書化されていないステータスまたは遷移の数(件数)。文書化されたものは除く 件数 追跡システムのワークフロー設定とイベント履歴 継続的改善 ワークフローに関するワーキングアグリーメント 四半期ごと
アンケートの回答率 招待された人のうち、アンケートを完了した人の割合 完了した回答の数 ÷ 配信された招待の数。不達の招待は除く パーセント アンケートツール サービスレベル管理、顧客体験 ステークホルダーレビューと改善のフィードバック アンケートの回ごと

タイムスタンプの完全性はクローズされたアイテムだけを数えるため、古い未解決アイテムの山がギャップを隠すことはありません。遡及記録率の24時間というしきい値は一例です。チームは仕事に合うしきい値を選び、書き留めます。

推奨事項

すべてのメトリクスをその情報源に対応づける

1. ダッシュボードを作る前に情報源の地図を作る。 メトリクスごとに、記録システム、時計を開始するイベント、停止するイベント、情報源のオーナー、既知の失敗モードを記録します。システムに名前を付けられないなら、その数字がどこから来るのかをまだ知らないということです。地図はメトリクス台帳に置きます(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。

2. 事実ごとに記録システムを一つ選ぶ。 デプロイはパイプラインが、インシデントはITSMツールが、コードの変更はバージョン管理が、サービスの関係はCMDBが記録します。二つのツールが同じ事実を持つなら、どちらが優先かを決め、他方がそこから読むようにします。そうすれば、突合は議論ではなく確認になります。

イベントが起きた瞬間に取得する

3. レポートではなくイベントを計装する。 デプロイはパイプラインに、マージはバージョン管理のホストに、アラートは監視システムに記録させます。誰かが項目を更新するのを覚えていることに頼るデータは、イベントからの距離と作業負荷とともに劣化します。自動化されたイベントがあるなら、同じ事実に対する人が入力した代用よりも、それを優先してください(トピック 2.8「DORAメトリクス」を参照)。

4. ステータスの変更を仕事の副産物にする。 ブランチのマージで作業アイテムが「レビュー中」に動く、あるいはデプロイで「リリース済み」に動くなら、誰も覚えている必要がありません。バージョン管理、パイプライン、追跡システム間の連携は、遡及記録の大半を取り除きます。

5. 生のイベントを保持し、変更不可にする。 各状態変化を、イベント時刻、入力時刻、行為者の種類(人か自動化)とともに保存します。修正は上書きではなく新しいイベントとして書き、修正の履歴自体をデータにします。

時間を正しく扱う

6. 時間を一つの標準で記録する。 タイムスタンプは、協定世界時(Coordinated Universal Time、UTC)で、ISO 8601やRFC 3339で定義されるような曖昧さのない形式で保存し、表示のときだけ現地時間に変換します。タイムゾーンの混在や夏時間の切り替えは、静かに負の所要時間や1時間ずれた時計を生みます。

7. 時計の規則をデータのある場所に書く。 時間の測定値ごとに、どのイベントが時計を開始し、どれが停止し、どのステータスが一時停止させるかを述べます。一時停止状態は設計上の判断です。各一時停止状態がどのくらいの頻度で使われているかを報告してください。サービスデータが最も形作られやすいのは時計だからです(トピック 3.3「インシデントの対応時間と解決時間」を参照)。

ステータスモデルを設計する

8. ステータスモデルを小さく、共有され、文書化された状態に保つ。 ステータスが増えるたびに、チームごとの異なる解釈を招きます。各状態が何を意味するか、誰がそこへ作業を動かせるか、どの遷移が許されるかを、一文で定義します。作業アイテムの年齢とフローの測定値はこのモデルに依存し(トピック 2.1「フロー指標」を参照)、チーム間の比較は、チームが同じ状態に同じ言葉を使うことに依存します。データが意外な結果を示したら、まずワークフローを疑ってください。ワークフローや項目へのすべての変更を日付と理由とともに記録し、文書化されていないステータスをずれの兆候として数えます。

パイプラインを誠実に保つ

9. パイプラインをソフトウェアのようにテストする。 行数を元と照合し、必須項目の存在を確認し、重複を確認し、フィードが止まったら通知します。すべてのダッシュボードに鮮度の指標を加え、閲覧者がデータの古さを見られるようにします。先月の数字を画面に残したままのコネクタの静かな障害は、この領域で最もよくあり、最も被害の大きい失敗の一つです(トピック 11.1「サービスメトリクスのダッシュボード設計」を参照)。

10. 定期的に突合し、手で抽出調査をする。 固定した期間についてレポート層の件数を元と比べ、差を調べます。それから、生のレコードを少数読みます。15分の抽出が、自動チェックにはできないこと、たとえば予想外の使われ方をしているステータスを見つけることがよくあります。

人とアンケートを慎重に扱う

11. アンケートは人にしか言えないことのために取っておく。 満足度、労力、信頼、ウェルビーイングは、システムのデータからは観察できません。直接尋ね、アンケートは短く保ち、タイミングを変え、回答率と回答者を報告してください。回答する人は回答しない人と異なるからで、これは選択バイアス(selection bias)の一種です。自由記述のコメントは全文を読みます(トピック 6.1「顧客満足度のメトリクス」を参照)。

12. 個人データを保護し、データをチームのレベルに保つ。 仕事についてのイベントデータは、コミットの作者、担当者欄、チャットの記録を通じて個人を特定しうるものです。メトリクスが必要とする水準で収集し、チームとサービスに集約し、管轄と組織のプライバシー規則を適用してください。個人レベルのデータは、一度集められると順位付けに使われやすく、情報源を腐らせます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
情報源の網羅率 ほとんどイベントを運ばないフィードでも、接続したらサービスを網羅したと数える。難しいサービスを対象範囲から外す カバーされたサービスごとのイベント量を、既知の活動と比較する。対象範囲の一覧をサービスカタログと照合してレビューする
タイムスタンプの完全性 検証を満たすために、必須のタイムスタンプをクローズ時刻で埋める 連続する状態間のギャップの分布。クローズされたアイテムを抽出し、時刻がもっともらしいか確かめる
遡及記録率 しきい値のすぐ内側で変更を入力する。しきい値を広げる。すべての変更を一括更新で記録する 時間帯別の入力時刻のパターン。自動化によるものと手作業によるものの変更の割合。一括編集の監査
データの鮮度 最新のイベントの時刻ではなく、最後の更新の時刻を表示する 最新のイベント時刻をダッシュボードに表示する。フィードが新しいイベントを届けないときに通知する
突合の差異 突合が合う期間や範囲を選ぶ。原因を見つけずに、元に合わせてレポート層を調整する 期間と範囲をあらかじめ固定する。見つけた原因を記録し、四半期ごとにレビューする
ステータスモデルのずれ 指摘されないように、既存のステータスを新しい意味で再利用する。記録せずにステータスを追加する レビューのたびに、ワークフローの設定を台帳と比較する。珍しい状態にあるアイテムを抽出して読む
アンケートの回答率 回答しそうな人だけを招待する。満足しているユーザーにリマインダーを送る。回答を偏らせる報酬を提供する 回答者の構成をユーザー全体と比較する。回の別の回答の分布。レビューで自由記述コメントを読む

健全な読みとは、退屈な数字の集合です。網羅率は高く、遡及記録は低く減少傾向にあり、鮮度は約束の範囲内で、突合の差異がゼロでないときには必ず既知の原因があります。数字が動いたとき、仕事が変わったのか、計器が変わったのかを、誰かが言えるのです。

トレードオフ:長所と短所

手法 強み 弱み
自動でのイベント取得 客観的で、タイムリーで、構築後は手間が少ない 計装した範囲だけをカバーする。ツールが変わると静かに壊れる
手作業での入力とステータス更新 文脈と判断を捉える。連携なしで機能する 遅く、一貫せず、悪用されやすい
一つの中央メトリクスストア 一つの定義、テストと統治のための一か所 資金とオーナーシップが必要。ボトルネックになりうる
各チームが自分のデータを持つ 現場の仕事に合う。始めるのが速い 定義が分岐する。集約が信頼できない
生のイベントを長期保持する 定義を変えても、履歴を再計算できる ストレージとプライバシーのコスト。守るものが増える

観測できるものは自動化し、できないものは人に尋ね、生の記録を残してください。まず、チームが実際に使う二、三のメトリクスの背後にある情報源に投資し、考えうるすべての数字のためのデータ基盤には投資しないことです。

チームで話し合う問い

1. 最も重要なメトリクスについて、記録システムはどれで、それをどうやって知っているか? グループに、数字をダッシュボードから最初のイベントまでたどってもらいます。人や変換がデータに触れる箇所をすべて記録します。ファシリテーターは、誰も説明できない手順を探してください。最初の調査はそこから始めるべきだからです。

2. 私たちのタイムスタンプのうち、システムが書くものはどれで、人が入力するものはどれか? 応答時間、解決時間、サイクルタイムなど、使われている時計を列挙します。各開始と停止を、自動か手動かで印を付けます。手動のものについては、イベントの通常どのくらい後に入力されるかを尋ねます。最も議論されるメトリクスが、最も信頼できないタイムスタンプに依拠していることが、この議論でしばしば明らかになります。

3. 私たちのステータスは何を意味し、すべてのチームが同じものを意味しているか? ワークフローをボードに置き、異なるチームの人々に各状態を自分の言葉で説明してもらいます。説明を比較します。時計が一時停止する状態を数え、誰がなぜそれを使えるのかを尋ねます。曖昧さを取り除く変更を一つ決め、理由とともに記録します。

4. フィードが静かに止まったら、どうやって気づくか? ダッシュボードのデータが最新であることを、最後に誰かが確認したのはいつかを尋ねます。止まったコネクタを一日以内に捉えるには、どんな通知や鮮度の指標が必要かを話し合います。ファシリテーターは、「気をつける」という一般的な意図ではなく、名前のあるオーナーと具体的な確認を求めてください。

5. 集めているのに使わないものは何か、使っているのにうまく集めていないものは何か? 項目の一覧とメトリクスの一覧を並べて置きます。どの判断にも使われない項目と、貧弱な項目に依存するメトリクスに印を付けます。今四半期に、収集をやめる項目を一つ、改善する項目を一つ決めます。

6. 私たちのアンケートに答えるのは誰で、答えないのは誰か? 回答者を、ユーザーまたはチームメンバーの全体と比較します。グループ別、時間帯や曜日別の回答率を見ます。沈黙が何を意味するかを話し合い、圧力をかけずに静かなグループへ届く方法を考えます。すべてのアンケート結果の隣に、回答率をどう示すかを決めます。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、コミット、レビュー、ビルド、デプロイといった客観的なデータの大半を生み出します。ステータスの変更が仕事の副産物になる計装から恩恵を受け、追加の労力なしにボードを誠実に保てます。ワークフローを小さく保ち、バージョン管理の活動を労力の測定値として使うことには注意してください(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)。

サービスと運用のチーム

サービスのチームは、しばしばインシデントの最中の、圧力下の人が作成したレコードに依存します。時計の規則、一時停止状態、優先度の欄は、ずれが生じる場所です。運用チームは、アラートの時刻や確認応答の時刻のような主要な時刻の取得を、可能な限り自動化し、一時停止状態の使用を監査し、互いに確認できるよう、監視データをチケットの記録とは別に保つべきです(トピック 5.5「監視とアラート品質のメトリクス」を参照)。

リーダーシップとガバナンス

リーダーは、データ基盤にどれだけ投資するかを決め、データが誠実なままでいられるかを左右するインセンティブを設定します。数字が動いた理由を尋ねる前に、それがどこから来るかを尋ね、パイプラインのオーナーシップを継続的な仕事として資金を出し、すべてのレポートに鮮度の日付と定義を期待するべきです。ガバナンスの組織は、情報源や定義の文書化された変更を、失敗ではなく普通の出来事として扱うべきです。

顧客とユーザー

ユーザーは、体験について最も重要なデータを、通常はアンケートへの回答、やり取りの評価、問題の報告を通じて提供します。何が収集され、なぜか、その結果として何が変わるかを知る必要があります。短いアンケートと目に見えるフォローアップは、回答率を健全に保ちます。顧客向けのサービスレベルのレポートは、情報源と定義を明記するべきです(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者に、プラットフォームチーム、三つのプロダクトチーム、サービスデスクがあります。この例の数字はすべて例示です。

リーダーシップは、月次レポートの変更リードタイムが、中央値で9日から3日に一四半期で短縮したのに、プロダクトチームは仕事の進め方に変化はないと報告しているのはなぜかと尋ねます。プラットフォームエンジニアリングの責任者は計器を疑い、そのメトリクスの情報源の地図を求めます。

地図は、リードタイムがITSMツールで変更レコードが作成されたときに始まり、そのステータスが「実装済み」に設定されたときに止まることを示します。二つのプロダクトチームが、作業の準備ができた後にレコードを作成するようになっていて、時計の開始が遅れていました。40件のレコードの抽出で、12件がデプロイと同じ日に作成されていたことが分かります。パイプラインのデプロイのイベントと「実装済み」のステータスの入力の差で測った遡及記録率は、チームが設定した24時間のしきい値を超えるものが31パーセントでした。

チームは三つの変更を行います。第一に、時計の開始を、バージョン管理から取った、その変更に紐づく最初のコミットに移し、停止をパイプラインが書くデプロイのイベントに移します。第二に、ITSMツールがパイプラインからステータスを受け取り、「実装済み」はもう手で入力されません。第三に、ダッシュボードに鮮度の指標を加え、パイプラインとITSMツールの間で変更の件数を突合します。

新しい定義の下では、リードタイムの中央値は7日、95パーセンタイルは21日となり、遡及記録率は4パーセントに下がります。リーダーシップは最初、7日を悪化した結果と読みます。プラットフォームの責任者は、古い数字がレコード作成の遅れの産物だったと説明します。判断ログに書かれた決定は、過去二四半期を生のイベントから再計算して示し、定義の変更をグラフに印すことです。チームが捉えた悪用のリスクは巧妙でした。誰も数字を偽造していないのに、レコード作成の遅れが見栄えの良い数字を生み出していたのです。突合の差異は今や防護柵として働き、生のレコードの抽出は四半期ごとにレビューされます。

アジャイル、AI、自動化、アナリティクス

アジャイル

機能と並行して、小さな段階で計装を築きます。各リリースが、それを測るのに必要なイベントを加えるようにし、イベントの定義は、数字を読む人々と合意します。実際的な一歩は、そのイベントを変更の完了の定義に加えることです。注意点は、ローンチ後に測定を後付けすると、初期のデータにギャップが生じ、後からの修正では取り戻せないことです。

AI

AIシステムは、新しいデータソースを加えます。プロンプト、応答、ツール呼び出し、人による編集、上書きです。誰または何が行動したか、どのモデルバージョンが動いたか、人が結果を変更したかを、プライバシーと保持の規則に従って取得します。注意点は、プロンプトの記録が個人情報や機密データを取り込みうることなので、始める前に何を保存するかを決めてください。

自動化

イベントが起きた瞬間に、記録システムから自動で取得し、既知の入力でパイプラインをテストします。自動化自体も情報源です。実行、失敗、再試行、ロールバックを記録します。注意点は、壊れたコネクタが平坦で健全に見える数字を生む静かな失敗なので、データの鮮度をメトリクスとして監視してください。

アナリティクス

毎四半期、少なくとも一つの数字を独立した情報源と突合し、その差異を公開します。これが情報を与える判断は、メトリクスを使うのに十分に信頼できるかどうかです。注意点は、きれいに見えるダッシュボードが貧弱なデータの上に立っていることがありうるので、結果の隣にデータの完全性を示してください。

業種別の視点

スタートアップ。 データは乏しく、信頼は高いのが利点です。追加の労力が要らないため、パイプラインとバージョン管理を主要な情報源として使い、ステータスモデルは少数の状態に留めます。各定義とその情報源を1ページに書き、チームが倍になったら見直してください。

中小企業。 ホスト型のサービスデスクでITを一人が運営していることがよくあります。ツールのレポートを使い、供給者に定義を書面で求め、ロックインを避けるために定期的に生のデータをエクスポートします。

大企業。 多くのツール、多くのチーム、連携の層は、定義のずれの最大のリスクを生みます。共有のイベントモデル、名前付きオーナーのいる中央メトリクスストア、自動の突合と鮮度のチェックに投資してください。企業全体で小さなステータスの語彙に合意し、チームがローカルな状態を加えるのは、それへの対応付けを明記した場合に限ります。

政府・公共部門。 レコードには、保持、監査、アクセス、プライバシーの法律が適用される場合があり、調達によってツールやデータ形式が固定されることもあります。これらを設計上の入力として扱ってください。監査証跡を保ち、イベントからレポートまでの系譜を文書化し、契約でデータのエクスポートの権利を交渉します。報告義務により、文書化された定義が不可欠になります(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

このトピックのコストには三つの部分があります。第一は構築の労力で、連携、メトリクスストア、ステータスモデルの整理です。第二は運用の労力で、パイプラインのオーナー、フィードの監視、四半期ごとの突合と抽出調査のルーチンです。第三は、保持するデータのためのプライバシーとセキュリティの管理のコストです。

見返りは、見かけどおりの意味を持つ数字に基づく判断から生まれます。貧弱なデータは、誤った投資、誰の数字が正しいかをめぐる議論、信頼を損なう再計算された結果を招きます。便益は、自分で測れるパターンで説明してください。月次レポートを作るのにかかる時間の前後の比較、四半期あたりの突合をめぐる争いの数、遡及記録率とタイムスタンプの完全性の経時変化です。総保有コストは人が支配的なので、パイプラインのオーナーの時間を数えてください。

アンチパターンと落とし穴

  • 情報源の地図より先にダッシュボードを作る。 グラフは完成して見えるが、意味は不明のまま。まず情報源、時計、オーナーを地図にする。
  • 時間の測定値を手作業のステータス更新に頼る。 入力の遅れが時計を作り話にする。イベントがあるところでは、パイプラインとバージョン管理のイベントから遷移を自動化する。
  • 一つの事実に複数の記録システム。 争いが続く。一つを選び、他はそこから読むようにする。
  • 黙った定義変更。 トレンドラインが無意味になる。すべての変更を理由とともに記録し、グラフに印を付ける。
  • 不完全なデータの平均。 欠けたタイムスタンプはランダムではなく、厄介なアイテムが飛ばされがちである。結果の隣にタイムスタンプの完全性を報告する。
  • 役に立つかもしれないからとすべてを集める。 判断に役立てないままコストとプライバシーのリスクが上がる。名前のある問いが必要とするものを集める。
  • 鮮度の指標がない。 古いダッシュボードは、最新のものと同じに見える。すべてのビューに最新のイベントの古さを示す。
  • 目的のない個人レベルのデータ。 順位付けを誘惑し、情報源を損なう。チームとサービスのレベルに集約し、アクセスを制限する。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
情報源と取得 エクスポートから手作業で数字を組み立てる 一部のツールは自動でレポートに供給され、他は手作業 各メトリクスに名前付きの記録システムが一つあり、イベントがあるところでは自動取得する 網羅率と完全性を測り、傾向として追う イベントが合意されたインターフェースを通じてチームと供給者の間で共有され、エクスポートの契約がある
時間とステータスのモデル 人によって時間の記録も読み方も異なる 一部のチームがワークフローを文書化している 一つの時間標準と、時計の規則が書かれた共有のステータス語彙がある ずれと遡及記録を監視し、変更を理由とともに記録する 判断に情報を与えなくなったモデルを、供給者や顧客と共同で見直す
パイプラインの品質 誰かが苦情を言ったときに失敗が見つかる 時折の手作業の確認 行数、重複のチェック、各ダッシュボードの鮮度の指標がある 突合が予定され、原因がレビューされる。パイプラインにオーナーがいる パイプラインの健全性がサービスのように報告され、改善に資金が付く
アンケートとプライバシーの実践 アドホックなアンケート。プライバシーレビューなし 一部のチームに標準の質問がある 回答率を示す短い定期的なアンケート。データはチームのレベルに保つ 回答者の構成をレビューして対処する アンケート結果とプライバシーの実践をユーザーと公開して共有する

チェックリスト

  • 報告されるすべてのメトリクスに、名前付きの記録システムと、名前付きの情報源のオーナーがある。
  • 情報源の地図がメトリクス台帳に保存されている。
  • すべての時間の測定値が、時計の開始、停止、一時停止の位置を明記している。
  • タイムスタンプは曖昧さのない形式のUTCで保存され、サーバーの時計が同期されている。
  • イベントがあるところでは、ステータスの変更が自動化によって生成される。
  • 生のイベントがイベント時刻と入力時刻とともに保持され、修正は新しいイベントになっている。
  • ステータスモデルが文書化され、すべての変更が理由とともに記録されている。
  • すべてのダッシュボードが、最新のデータの古さを示している。
  • 件数は予定に従って元と突合され、原因が記録されている。
  • 毎四半期、生のレコードの抽出が読まれている。
  • すべてのアンケート結果とともに、回答率と回答者の構成が示されている。
  • 個人データは最小化され、チームとサービスのレベルに集約されている。

AIプロンプト

メトリクスの情報源の地図を作る。

次のメトリクスの背後にあるデータを文書化しています:[メトリクス名]、定義は [定義] です。使っているツールは [ツールの一覧。例:追跡システム、ITSMツール、パイプライン、監視] です。次の項目を持つ情報源の地図を起案してください:時計を開始するイベント、停止するイベント、それぞれの記録システム、イベントを作るのが誰または何か(人か自動化)、起こりうる失敗モード、各失敗を検出する確認。ツールの機能やベンチマークの値を捏造しないでください。前提と、地図を完成させるために私が答えるべき問いを列挙してください。

ステータスモデルのあいまいさをレビューする。

[チームまたはサービス] のワークフローは次のとおりです:[ステータスと許される遷移の一覧。分かれば各々の一行の意味]。ここから計算する時計は [時計の一覧] です。あいまいなステータス、時計が誤解を招く形で停止または一時停止しうる状態、二つのチームが同じ言葉を違って読みうる箇所を特定してください。時計を支えられる、より小さなモデルを提案し、何が失われるかを述べてください。私たちのツールの設定を推測しないでください。前提を列挙してください。

フィードのデータ品質チェックを設計する。

[データの種類。例:変更レコード] を [元のシステム] から [宛先] へ [スケジュール] で読み込んでいます。必須項目は [項目の一覧] です。完全性、重複、鮮度、元との突合について、実用的なチェックの集合を、提案する通知と各々のオーナーの役割とともに提案してください。[チームの規模] 人のチームが維持できる程度に小さくしてください。しきい値を捏造せず、必要なものは私に尋ねてください。前提を列挙してください。

短いアンケートと、その回答率の計画を起案する。

[読み手] について [体験のテーマ。例:リクエストの履行を得るための労力] を測りたいと考えています。中立的な質問を [数] 個、送る時期と方法の計画、回答率と回答者の構成の報告方法を起案してください。回答を偏らせうる言い回しに印を付け、データを [ツールまたは場所] に保持することを踏まえたプライバシー上の配慮を注記してください。ベンチマークの回答率を捏造しないでください。前提を列挙してください。

AIスキル

要点

  • すべてのメトリクスは名前付きの記録システムに依存するため、グラフを作る前に情報源を地図にする。
  • イベントが起きた瞬間に自動で取得し、生のイベントを保持して、履歴を失わずに定義を変えられるようにする。
  • 時間もデータである。一つの標準を使い、時計の規則を書き、遡及記録に注意する。
  • ステータスモデルを小さく、共有され、文書化された状態に保ち、すべての変更を記録する。
  • パイプラインを、オーナー、テスト、鮮度の指標、定期的な突合を備えたプロダクトとして扱う。
  • アンケートは人にしか言えないことのために使い、回答率を示し、個人データはチームのレベルに保つ。

参考文献とさらなる読書

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
  5. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  6. ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
  7. ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
  8. Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Information technology service management.
  11. Wikipedia, ITIL.
  12. Wikipedia, Issue tracking system.
  13. Wikipedia, Version control.
  14. Wikipedia, CI/CD.
  15. Wikipedia, Observability (software).
  16. Wikipedia, Configuration management database.
  17. Wikipedia, Extract, transform, load.
  18. Wikipedia, Data quality.
  19. Wikipedia, Coordinated Universal Time.
  20. Wikipedia, Selection bias.