予測と予測分析のメトリクス
予測とは、実績を持つ範囲であり、守るべき日付や数字ではない。したがって、実際の結果が述べられた範囲に入った頻度、範囲がその幅について誠実だったか、それによって誰かがより良い判断をしたかを測る。
概要と動機
予測(forecasting)は、過去のデータと述べられた前提から、将来の量を見積もります。サービス組織は、サポートの需要、プラットフォームのキャパシティ、仕事が終わる日付、変更が失敗する確率、来年のサービスのコストを予測します。機械学習モデルを含む予測モデルは、これを個々のアイテムの採点に拡張します。どのチケットが目標を破るか、どの変更がリスクが高いか、どのインシデントが再発しそうか。
予測と予測モデルは、ありふれた形で失敗します。サービス、チーム、ツールが変わったため、過去が将来に似ないかもしれません。データが薄い、あるいは偏っているかもしれません。単一の数字が区間より役立って見えるため、範囲が狭すぎるかもしれません。そして予測がコミットメントとして使われ、人々がそれを実現させようと働く、あるいはそれと矛盾するものを隠すかもしれません。
前のトピックは、特定の用途のための予測を示しました。スループットからのデリバリーの日付(トピック 2.5「デリバリーの予測と計画のメトリクス」を参照)、需要からのキャパシティ(トピック 5.4「キャパシティとパフォーマンスのメトリクス」を参照)、コスト(トピック 7.5「サービスコストとユニットエコノミクス」を参照)。このトピックは、あらゆる予測や予測モデルの質を測る一般的な方法を示し、それはそれらすべてに適用されます。また、出力が行動を駆動する予測モデルも扱い、そこでは間違った予測のコストが誰かにかかります。
ここで使う用語。点予測は、単一の予測された値です。予測区間は、述べられた確率で実際の値を含むことを意図した範囲です。較正は、述べられた確率と観察された頻度の一致です。80パーセントと言った予測のうち、約80パーセントが実現するべきです。予測誤差は、予測と実績の差です。ベースラインの予測は、「前の期間と同じ」などの単純な方法で、より複雑な方法がそれと比較されます。偽陽性は、起きない事象の予測で、偽陰性は、起きる事象を予測しそこなうことです。ドリフトは、データ、あるいは入力と成果の関係の変化で、時間とともにモデルの正確さを下げます。
主要な原則
- 範囲で予測し、実績を保つ。 一度も確認されない予測は、改善できない。
- 単純なベースラインと比較する。 「前の期間と同じ」に勝てない複雑なモデルは、そのコストに値していない。
- 較正は正確さと同じくらい重要である。 90パーセントと言う予測は、10回に約9回正しいべきである。
- 誤りのコストを判断に合わせる。 誤報と見逃しのコストは同じではない。
- ドリフトを見る。 世界が変わると予測は劣化するので、監視する。
- 予測はコミットメントではない。 それを人々の目標にしない。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 予測区間の網羅 | 実際の結果のうち、述べられた予測区間の内側に収まった割合 | 区間内の結果 ÷ 評価された予測。評価された予測とは、結果が分かっているもの | パーセント | 予測のログと実績 | キャパシティ・パフォーマンス管理、財務管理 | スループットからの範囲を伴う予測 | 四半期ごと |
| 予測誤差 | 予測と実績の差の典型的な大きさ | 評価された予測にわたる絶対誤差の中央値とその85パーセンタイル。絶対誤差 =(予測 − 実績)の絶対値 ÷ 実績 | パーセント | 予測のログと実績 | キャパシティ・パフォーマンス管理 | 計画のレビュー | 四半期ごと |
| ベースラインに対する技能 | 単純なベースラインに対する、予測方法の改善 | 1 −(方法の絶対誤差の中央値 ÷ ベースラインの絶対誤差の中央値)。同じ予測にわたって | 比 | 予測のログ、ベースラインのログ、実績 | 継続的改善 | 実験して比較する | 四半期ごと |
| 較正のギャップ | 述べられた確率と観察された頻度の差 | 各確率の区分について、(述べられた確率 − 観察された割合)の絶対値を区分にわたって平均したもの。述べられた件数未満の区分は別に報告する | パーセントポイント | 確率的な予測のログと結果 | リスク管理、変更実現 | 見積もりについての振り返り | 四半期ごと |
| アラートの適合率と再現率 | 予測のアラートやスコアについて、正しかったアラートの割合と、捉えられた事象の割合 | 適合率 = 真陽性 ÷(真陽性 + 偽陽性)、再現率 = 真陽性 ÷(真陽性 + 偽陰性) | パーセント | 予測のログと結果 | インシデント管理、イベント管理 | モデルの完了の定義 | 毎月 |
| 予測のドリフトのシグナル | 基準の期間と比べた、時間にわたる誤差の上昇 | 直近の窓の絶対誤差の中央値 − 基準の窓の絶対誤差の中央値。窓のサイズを述べる | パーセントポイント | 予測のログと実績 | 継続的改善、キャパシティ管理 | 検査と適応 | 毎月 |
| 予測と判断のリンク | 予測のうち、記録された判断で引用された割合 | 判断ログで引用された予測 ÷ 公表された予測 | パーセント | 判断ログと予測のログ | 継続的改善、ガバナンス | アクションのレビュー | 四半期ごと |
予測誤差と網羅は、結果が分かっている予測についてのみ計算されるので、最近の予測はそれまで除外されます。適合率と再現率は事象の定義に依存するため、「48時間以内にインシデントを起こす変更」などの事象の定義を、メトリクスとともに述べます。
推奨事項
誠実に予測する
1. 単一の日付ではなく、範囲を公表する。 「12から18営業日の間、確信度85パーセント」のように、述べられた確率を伴う区間を与え、その背後にある前提を説明します。単一の数字はコミットメントを招きます。
2. 予測のログを保つ。 各予測を、行われたときに記録します。量、値または範囲、日付、方法、前提。実績が分かったときに加えます。ログがなければ、実績はありません。
3. 単純なベースラインから始める。 あらゆる新しい方法を、前の期間の値や最近の平均のような素朴な方法と比較します。複雑な方法が時間にわたって明確にそれに勝たないなら、単純なものを保ちます。
4. 予測を無効にする前提を述べる。 需要の予測は、大きなローンチ、停止、新しい顧客グループがないと仮定しています。前提を数字の隣に書き、読み手がいつ疑うべきかを知るようにします。
質を測る
5. 網羅と較正を確認する。 結果が区間に収まる頻度を数えます。85パーセントの区間が半分の時間しか結果を含まないなら、狭すぎます。小さな標本はノイズが多いので、較正を件数とともに報告します。
6. 誤差を分布として読む。 10パーセントの誤差の中央値は、最も重要な、時折の50パーセントの外れを隠しえます。高いパーセンタイルと最大の外れを示し、それをレビューします。
7. 測定値を判断のコストに合わせる。 予測のアラートでは、誤報と見逃しのコストに応じて、適合率か再現率を選びます。不正のアラートと低リスクのルーティングの提案とでは、バランスが異なります。
8. ドリフトを見る。 最近の誤差を基準の期間と比較し、上昇を調べます。一般的な原因は、新しいサービス、変わったプロセス、新しいツール、データの記録の仕方の変化です。
予測をうまく使う
9. 予測を判断にリンクする。 予測がどの判断に情報を与えるかを述べ、何が決まったかを判断ログに記録します。誰も使わない予測を廃止します。
10. 予測を人々の目標から遠ざける。 デスクのノルマになるインシデント量の予測は、報告を歪めます。予測を、システムについての情報として扱います。
11. 予測に基づく行動に、人に説明責任を持たせ続ける。 アイテムを採点するモデルでは、オーナー、スコアに対してとられる行動、人がそれをどう上書きできるか、エラーがどう報告されるかを名指しします。抽出した事例で偽陽性と偽陰性をレビューします。
12. バイアスと害を見る。 過去の判断で訓練されたモデルは、その偏りを繰り返しえます。異なる結果になるユーザーやサービスのグループについて結果を確認し、確認が示せないものを報告します。この本は法的助言を与えないので、義務は自分たちの法律顧問とともに確認します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 予測区間の網羅 | 網羅がよく見えるまで区間を広げる、簡単な予測だけを評価する | 網羅とともに区間の幅を報告する。ログされたすべての予測を評価する |
| 予測誤差 | 結果の直前に予測を修正する、評価の窓を選ぶ | ログされた元の予測を使う。窓を事前に固定する |
| ベースラインに対する技能 | 弱いベースラインを選ぶ、評価のデータで方法をチューニングする | ベースラインを事前に合意する。チューニングに使っていないデータで評価する |
| 較正のギャップ | 少ない区分や少ない件数を使う、ギャップを隠すために区分を統合する | 区分ごとの件数を報告する。最小件数 |
| アラートの適合率と再現率 | 事後に事象を再定義する、重複を数える | 事象の定義を事前に固定する。重複を除く。アラートを抽出する |
| 予測のドリフトのシグナル | 基準の期間をリセットする、ゆっくりしたドリフトを無視する | 基準の窓を固定し、予定に沿ってレビューする |
| 予測と判断のリンク | 判断に影響しないままログで予測を引用する | 何が変わったかを尋ねる。項目を抽出する |
健全な読みは、述べられた割合の結果を、ばかばかしいほど広くなることなく覆う区間、複雑な方法が明確な差で勝る単純なベースライン、気づかれて調べられるドリフト、そして判断に現れる予測です。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 単純なベースラインの予測 | 説明と保守が容易。過学習しにくい | パターンと変化を見逃す |
| 統計または機械学習のモデル | より多くのパターンを捉える。アイテム横断でスケールする | 説明が難しい。ドリフト。監視とデータが要る |
| 点予測 | 伝えやすい | 偽の精度。コミットメントを招く |
| 区間予測 | 不確実性について誠実 | 伝えにくい。曖昧と読まれうる |
| 専門家の判断 | モデルが欠く文脈を使う | 偏りがある。追跡が難しい |
散文での結論は、単純に始め、ログを保ち、区間を示し、ベースラインに照らして場所に値するときにだけ複雑さを加えることです。判断とモデルは、両方がログされ確認されれば、一緒に機能しえます。
チームで話し合う問い
1. 私たちが最後に行った予測は何で、結果はどうなったか? ほとんどのチームは、予測がログされていないため知りません。数字、前提、実績を求めます。驚きがデータから来たか、前提から来たかに気づきます。その例で予測のログを始めて追跡します。
2. どの予測をコミットメントとして扱い、間違ったとき誰が払うか? デリバリーの日付や量の数字など、目標になった予測を探します。誰が圧力を感じ、何をするかを尋ねます。範囲と、それを伝えるのに使う言葉を話し合います。一つのコミットメントを、前提を伴う範囲に書き直して追跡します。
3. 私たちの予測モデルやツールは、「前の期間と同じ」に勝つか? ベンダーの主張ではなく、比較を求めます。チームにはしばしばベースラインがありません。同じ事例で公正に比較する方法を話し合います。1四半期、ベースラインを並行して走らせて追跡します。
4. 誤報は私たちにいくらかかり、見逃しはいくらかかるか? これが適合率と再現率のバランスを決めます。実際の例を求めます。コストは、オンコールのエンジニアと顧客のように、人によってしばしば異なります。どの誤りがより重要かに合意して追跡します。
5. 私たちの予測が機能しなくなる原因は何で、私たちは気づくか? 新しい製品、新しいツール、データの異なる記録の仕方といった変化を話し合います。ドリフトを示すシグナルを求めます。ドリフトの確認とオーナーを加えて追跡します。
6. 予測に基づいて行動するのは誰で、その人はノーと言えるか? 採点されたアイテムについて、何が起きるかを誰が決めるかを尋ねます。上書きのない自動の行動を探します。エラーがどう報告され訂正されるかを話し合います。上書きの規則を書いて追跡します。
四つの視点
プロダクトとデリバリーのチーム
自分たち自身の履歴から予測し、範囲を与えます。予測をログに記録して実績と比較し、新しいツールやチームの変更のように、履歴を悪い指針にする変化にマークを付けます。チームのローカルな計画の数字を、チーム間の比較に入れません。
サービスと運用のチーム
需要、キャパシティ、インシデントの予測は、人員配置と予防を助けます。ノルマを設定するためではなく、計画するために使います。ノイズを上げるアラートモデルに注意し、モデルをチューニングできるよう偽陽性を報告します。
リーダーシップとガバナンス
予測の値だけでなく、その背後にある実績と、区間を求めます。予測を人々の目標にするのを避けます。運用で使われる予測モデルについては、オーナー、上書きの規則、バイアスの確認を求めます。
顧客とユーザー
あなたは予測の影響を、待ち、停止、あなたについて下される判断として感じます。あなたに影響する予測がどう確認され、どう異議を唱えられるかを尋ねてください。間違った結果についてのあなたの報告は、モデルが必要とするフィードバックの一部です。
実践:サービスマネジメントの例
地方政府機関のITサービスデスクが、人員配置を計画するために週次のチケット量を予測します。この例の数字は例示です。ベンダーのツールが機械学習の予測を提供し、マネージャーはそれを採用すべきかを知りたい。
チームは予測のログを始めます。10週間、毎週三つの予測を記録します。ベンダーの点予測、素朴なベースライン(直近4週間の平均)、ベースラインの最近の誤差からの範囲。その後、それぞれの予測誤差を計算します。ベンダーの誤差の中央値は11パーセント、ベースラインは13パーセントで、ベースラインに対する技能は15パーセントです。ベンダーの85パーセンタイルの誤差は38パーセントで、ツールが使うデータにない、機関の告知がある週に大きな外れがあります。
チームはベンダーの予測を一つの入力として採用し、既知のイベントのフィールドを加え、過去の誤差に基づく範囲を公表します。述べられた85パーセントの範囲の予測区間の網羅は、10週間で約80パーセントですが、件数が少ないので、10件は少ないという注意とともに報告します。また、直近8週間の誤差を最初の8週間と比較するドリフトの確認も設けます。
悪用のリスクが現れます。チームリーダーが、予測が人員配置の設定に使われるので、チームが十分に人員配置されて見えるよう予測に余裕を加えることを提案します。チームは予測を誠実に保ち、人員の余裕を別の判断として記録します。難しいまま残るもの。ツールが見えないイベントは、なお大きな外れを引き起こし、10週間のデータは較正を判断するのに十分ではありません。計画は、より長い期間の後にもう一度レビューすることです。
アジャイル、AI、自動化、アナリティクス
アジャイル
短い計画の周期は、チームが頻繁に予測を確認し、ステークホルダーとともにそれを修正することを可能にします。良い実践は、チーム自身のスループットからの範囲で予測し、定期的な改善の対話で実績をレビューすることです。注意点は、約束として扱われる予測は、余裕の上乗せ、隠すこと、仕事の分割につながることです。
AI
機械学習モデルとAIアシスタントは、精度の外見を伴って、予測とリスクのスコアを生み出せます。ベースラインと比較し、オーナーを保ち、較正と偽陽性・偽陰性の率を抽出で確認し、スコアに基づいてとられる行動に人に説明責任を持たせ続けます(トピック 10.5「AIガバナンスとリスクのメトリクス」を参照)。注意点は、AIが生成した予測は、区間も述べられた前提もなく自信のある数字を与えうるため、両方を求めることです。
自動化
予測のログ、実績の収集、誤差と網羅の計算を自動化し、実績が自ずと築かれるようにします。予測に続く自動の行動を、誤った行動で測ります。注意点は、キャパシティのスケーリングやページングのように、予測に基づいて行動する自動化は、予測の誤差をユーザーに見えるものにするため、制限とレビューを加えることです。
アナリティクス
このトピックは予測のアナリティクスです。誤差を分布として、網羅を件数とともに、ドリフトを使った窓とともに示します。これが情報を与える判断は、予測をどれだけ信頼するか、方法をいつ置き換えるかです。注意点は、小さな標本は不安定な較正を与えるため、各数字の背後にある予測の数を述べることです(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)。
業種別の視点
スタートアップ。 履歴が短く、サービスが頻繁に変わるため、予測は弱い。単純なベースラインと広い範囲を使い、短いログを保ちます。データがある前に、予測のツールを買うのは避けます。
中小企業。 季節性と少数の大口顧客が支配的です。前年の同じ期間をベースラインとして使い、パターンを破るイベントに注意します。精度を主張するベンダーの予測には注意します。
大企業。 チームにまたがる多くの予測には、共通のログと定義が要ります。チーム間で方法を公正に比較し、予測の正確さでチームをランク付けするのは避けます。ドリフトについてモデルを予定に沿ってレビューします。
政府・公共部門。 予測はしばしば公開される予算と人員配置の判断を支えます。方法と前提を文書化し、人々に影響する自動化された判断の規則を確認します。データを破る政策の変更のような外部のイベントに備えます(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは、データの仕事、予測のログ、使う場合のモデリングのツール、レビューの時間、ドリフトのためのモデルの監視です。ログと素朴なベースラインから始めるのは、ほとんどコストがかかりません。
見返りは、より良い計画です。必要の前に届くキャパシティ、需要に合う人員配置、少ない驚き。帰属が難しいので、数字を主張するのは避けます。予測の方法のコストと誤差をベースラインと時間にわたって比較し、前提を範囲として述べます(トピック 7.7「投資対効果とビジネスケース」を参照)。リスクの側は、ドリフトしたモデルへの過度の依存のコストと、偽の精度に基づく判断のコストです。
アンチパターンと落とし穴
- 約束として扱われる単一の数字の予測。 余裕の上乗せと非難を生む。前提を伴う範囲を公表する。
- 予測のログがない。 学ぶ方法がない。予測と実績を記録する。
- ベースラインなしにモデルを買う。 利得が不明。「前の期間と同じ」と比較する。
- 訓練データで正確さを判断する。 モデルを持ち上げる。後のデータで評価する。
- 偽陽性を無視する。 ノイズの多い予測は、人々にそれを無視するよう訓練する。適合率と再現率を報告する。
- 人々の目標としての予測。 データを歪める。計画に使う。
- ドリフトの確認がない。 モデルは静かに劣化する。時間にわたる誤差を監視する。
- 人のオーナーのいない予測。 間違った行動に答える人がいない。オーナーと上書きの規則を名指しする。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | 協調 |
|---|---|---|---|---|---|
| 予測の実践 | 単一の数字。記録なし | 一部の範囲。非公式なメモ | 範囲、前提、実績を持つ予測のログ | 誤差、網羅、ベースラインが周期に沿って比較される | 予測と方法が実験を通じて改善され、チーム間で共有される |
| 予測モデル | ベンダーの主張を受け入れる | ベースラインと比較したパイロット | モデルごとのオーナー、評価、上書きの規則 | ドリフト、適合率、再現率が監視される | モデルのライフサイクルが、監督と廃止とともに管理される |
| 判断での利用 | コミットメントとしての予測 | 予測が意思決定者に示される | 予測がログで判断にリンクされる | 判断が予測の結果に照らしてレビューされる | 判断が予測の不確実性に適応する |
チェックリスト
- 予測のログが、量、値または範囲、日付、方法、前提を記録している。
- 実績が加えられ、予測誤差が分布として報告されている。
- あらゆる複雑な予測と並行して、単純なベースラインが走っている。
- 区間の網羅が、区間の幅と件数とともに報告されている。
- 予測のアラートが、固定された事象の定義に対して、適合率と再現率を報告している。
- ドリフトが、固定された基準の窓に対して確認されている。
- すべての予測モデルに、オーナー、上書きの規則、レビューの日付がある。
- 予測が判断ログで判断にリンクされている。
- 予測が個人の目標として使われていない。
- 各メトリクスに、悪用の手口と、その隣に示された防護柵がある。
AIプロンプト
予測のログとベースラインを設計する。
私たちは [目的] のために [量] を予測します。私たちのデータは [履歴と情報源の説明] です。フィールドを持つ予測のログ、単純なベースラインの方法、後で誤差と区間の網羅をどう計算するかを提案してください。期待される正確さを捏造しないでください。前提に印を付け、データについて私が答えるべき問いを列挙してください。
予測の方法をベースラインに対して評価する。
以下は [期間] のログされた予測と実績です:[個人情報のないデータを貼り付け]。ベースラインの予測を並べています。それぞれについて、絶対パーセント誤差の中央値と85パーセンタイル、区間が与えられている場合は区間の網羅、ベースラインに対する技能を計算してください。データを超えて外挿しないでください。件数を述べ、判断できなかったことを述べ、前提を列挙してください。
予測モデルの監督をレビューする。
私たちは [何を予測し、どんな行動が続くかの説明] モデルを使っています。その監督のレビューを起案してください:オーナー、求めるべき評価の証拠、エラーの報告方法、上書きの規則、ドリフトの確認、バイアスについての問い。法的要件についての主張をせず、私たちの法律顧問への問いを列挙してください。前提に印を付けてください。
予測の測定値の悪用のリスクをレビューする。
私たちは次の予測の測定値を報告しています:[測定値と定義を貼り付け]。文脈:[チームの規模、ツール、聞き手]。各測定値について、予測を改善せずによく見えうる現実的な方法を列挙し、防護柵を提案し、その防護柵がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提を列挙してください。
AIスキル
- 需要予測:範囲を伴う需要予測を築き確認するときに使います。
- トレンド分析:予測の前に傾向と変化を調べるときに使います。
- 機械学習モデルカード:予測モデルの目的、データ、限界を文書化するときに使います。
- サービスマネジメントメトリクスのスキル:メトリクスとその組になる防護柵を扱うトピックを探すときに使います。
要点
- 予測とは実績を持つ範囲なので、予測をログに記録し、実績と比較する。
- あらゆるモデルを単純なベースラインと比較し、複雑なものは明確に勝つ場合にのみ保つ。
- 区間の網羅と較正を、その背後にある件数とともに確認する。
- 誤報と見逃しのコストに応じて、適合率か再現率を選ぶ。
- 予測を人々の目標にせず、予測に基づく行動に人に説明責任を持たせ続ける。
参考文献とさらなる読書
- Wikipedia, Forecasting.
- Wikipedia, Prediction interval.
- Wikipedia, Machine learning.
- Wikipedia, Concept drift.
- Wikipedia, Precision and recall.
- Wikipedia, Capacity planning.
- Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/