ナレッジマネジメントのメトリクス
ナレッジは、どれだけ存在するかではなく、必要な瞬間に使われ信頼されるかで測る。リンク率、再利用、鮮度、見つけやすさを併せて見て、記事数のすべてを、スコアではなく仕事についての問いとして扱う。
概要と動機
サービスチームは毎日ナレッジを蓄積します。サービスの復旧のしかた、分かりにくいエラーメッセージが本当は何を意味するか、前回どの回避策が持ちこたえたか。ナレッジマネジメント(knowledge management)は、そのナレッジを、次に必要とする人が利用できるようにする規律です。ITIL 4(AXELOSが刊行した2019年版のフレームワークで、本書の広く文書化された基礎)では、ナレッジマネジメントはそれ自体がプラクティスであり、ITILはまた、それがインシデント対応、問題対応、サービスデスクを支えることを期待しています。このトピックは、その支えが本物かどうかを見分ける方法を扱います。
ナレッジマネジメントの有用なアウトプットの大半は、ナレッジベース(knowledge base)、つまり記事、手順書、既知のエラーのレコード、短いハウツーの回答の保管場所に行き着きます。手順書(runbook)は、日常的な運用や復旧のための書面の一連の手順です。記事は、チームが知っていることの明示的な部分です。経験豊富な人々の暗黙知(tacit knowledge)、たとえばあるアラームがノイズだという感覚は、完全には書き下せず、このトピックのどのメトリクスもそれを直接測りません。
ITILの見方では、ナレッジはライフサイクルを持つ管理された資産です。作成され、レビューされ、公開され、使われ、廃止されます。アジャイルの見方では、文書化は自らの場所を勝ち取らなければならず、対話とペアリングが多くを担い、書面のナレッジは仕事を終えることの副産物です。どちらの見方も、テストについては同意します。そのナレッジは、なかった場合より速く、あるいは良く、誰かが本当の問題を解決する助けになったか。
二つの見方を最も直接結び付ける手法は、サービスイノベーションのためのコンソーシアムによる方法論である、ナレッジ中心のサービス(Knowledge-Centered Service、KCS)です。KCSでは、ナレッジは事後ではなく、問題を解決する一部として取得され、改善されます。人々は二つのループで働きます。解決のループは解決の瞬間です。既存の記事を検索し、見つかれば再利用して改善し、なければ作成する。進化のループは、ナレッジがどう機能しているかを調べ、その周りのしくみを改善する、より長いサイクルです。KCSはまた、解決されたケースが記事に紐づけられる率など、独自の指標も提案します。このトピックはそれらの考え方をベンダー中立の形で要約します。KCSを正式に採用するチームは、コンソーシアム自身のプラクティスガイドを読むべきです。
ナレッジベースの記事の数は、アウトカムではなく在庫であり、配慮と同じくらい簡単に放置でも増えます。以下のメトリクスは、代わりに使用の瞬間に結び付いています。クローズされたケース、行われた検索、読み手の反応です。それらでさえ曲げられうるものです(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
問い合わせと処理の測定値は、サービスデスク(service desk)に属します(トピック 3.1「サービスデスクのメトリクス」を参照)。量と繰り返しのパターンはインシデントのデータから来ます(トピック 3.2「インシデントの件数と優先度」を参照)。ユーザーがエージェントなしに記事を消費するセルフサービスの成功は、別に扱います(トピック 3.7「セルフサービスと自動化のメトリクス」を参照)。このトピックは、ナレッジ自体の健全性と、問題を解決する人々による使われ方にとどまります。
主要な原則
- 仕事の現場での使用を測る。 解決されたケースに紐づけられた、あるいは検索で見つかった記事は、価値の証拠である。ただ存在するだけの記事はそうではない。
- 仕事の流れの中で取得する。 解決中に書かれたナレッジは、別個の文書化の取り組みで書かれたナレッジより新鮮で安い。そのためメトリクスは、仕事を終える一部としての取得を報いるべきである。
- 鮮度を使用と併せて読む。 古いことは誤りと同じではない。レビューの労力は、ほとんど読まれないページのカタログ全体に均等に広げるのではなく、頻繁に使われる記事に向ける。
- 関連性を抽出する。 ケースと記事の間のリンクが証明するのは、誰かがリンクを作ったことだけである。記事が本当に合っていたかについての人による小さな抽出が、リンクが意味を持つかを教える。
- チームとナレッジの領域を記述し、個人は記述しない。 一人あたりの貢献の件数は、共有の資産を競争に変え、人々にくずを書くことを教える(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
- すべての量のメトリクスを品質のシグナルと組にする。 リンク率と関連性、記事の作成と重複、再利用と読み手のフィードバック。
メトリクスの定義
表は七つのメトリクスを挙げています。鮮度のレビュー期間などの時間の窓は、チームが選んで書き留めるものであり、ここのどの値もベンチマークではありません。全体を通じて「ケース」とは、ITSM(ITサービスマネジメント)ツールのインシデントまたはサービスリクエストのレコードを指し、重大インシデントは、比率をゆがめないよう別に報告します(トピック 3.4「重大インシデントのメトリクス」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| ナレッジのリンク率 | 解決された時点で、少なくとも一つのナレッジ記事が紐づけられている解決済みケースの割合 | その期間に解決され、少なくとも一つの記事が紐づいたケース ÷ その期間に解決されたケース。解決日で数える。重大インシデント、重複としてクローズされたケース、人の作業なしに自動クローズされたケースは除く | パーセント | ITSMツール:ケースと記事のリンクのテーブル | ナレッジマネジメント、インシデント管理 | 学んだことを取得することを含む完了の定義 | チームは毎週、レビューは毎月 |
| 再利用比率 | 記事へのリンクのうち、そのケースの間に作成されたものではなく、既存の記事を指すものの割合 | ケースが開く前から存在していた記事へのリンク ÷ その期間の解決済みケースで作られたすべての記事へのリンク。ケースがクローズした後に加えられたリンクは除く | パーセント | ITSMツール:ケースの開始日に対する記事の作成日 | ナレッジマネジメント、継続的改善 | 手戻りより再利用、コードベースとそのドキュメントの共有オーナーシップ | 毎月 |
| 記事の鮮度 | 使用中の記事のうち、述べたレビューの窓内にレビューされた、あるいは使われて正しいと確認されたものの割合 | レビューまたは確認された使用の日付が窓内にある使用中の記事 ÷ 使用中の記事。記事は、直近12か月(チームの選択)にケースに紐づけられたか読み手に閲覧されていれば使用中。下書きと廃止された記事は除く | パーセント | ナレッジベースのメタデータと閲覧ログ | ナレッジマネジメント、サービスデスク | ドキュメントのバックログのリファインメント、レトロスペクティブのアクション | 毎月 |
| ゼロ件検索の率 | ナレッジの検索のうち、記事が一つも返らないものの割合 | 結果ゼロの検索 ÷ すべての検索。ボットや自動チェックによる検索は除く。1分以内に繰り返された検索は一度として数える | パーセント | ナレッジベースまたはポータルの検索ログ | ナレッジマネジメント、サービスデスク、サービスリクエスト管理 | 満たされないユーザーのニーズの発見、バックログの入力 | 毎週 |
| 役に立った率 | 記事が役に立ったと述べる読み手のフィードバックの割合。回答率とともに示す | その期間の記事についての、役に立った票 ÷(役に立った票 + 役に立たなかった票)。回答率 = フィードバックの票 ÷ 記事の閲覧数 | パーセント。回答率とともに | ナレッジベースのフィードバックウィジェットと閲覧ログ | ナレッジマネジメント、顧客体験 | ドキュメントについてのステークホルダーレビューのフィードバック | 毎月 |
| 公開までの時間 | 記事の下書きが作成されてから、レビューされて読み手に見えるようになるまでの経過時間 | 時計は下書きの作成で始まり、公開(または最初に承認された可視状態)で止まる。「保留、プロダクトのリリース待ち」の状態にある時間は除く。中央値と85パーセンタイルで報告する | 日(中央値と85パーセンタイル) | ナレッジベースのワークフロー履歴 | ナレッジマネジメント | 開始から完了までの作業アイテムのリードタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎月 |
| 貢献の広がり | 記事の作成と改善が、名前を挙げずに測ったチーム全体にどう広がっているか | その期間に記事を作成または改善した個別の貢献者 ÷ その期間にケースを解決したチームのメンバー。チームについてのみ報告し、名前の一覧としては決して報告しない | パーセント | チームの所属に結合したナレッジベースの編集履歴 | ナレッジマネジメント、継続的改善 | 集団でのオーナーシップ、ペアリングとスウォーミング | 四半期ごと |
ナレッジのリンク率には、見落としやすい時計があります。リンクは、一週間後に誰かが片付けるときではなく、ケースが解決されるときに存在しなければなりません。遅いリンクは解決の間の使用ではなく、整理を測ることになるからです。再利用比率は、信頼できる記事の作成日に依存します。記事が移行または一括インポートされると、作成日がリセットされ、移行に印を付けるまで比率は誤解を招きます。
推奨事項
ナレッジが何のためにあるかを決める
1. すべてのナレッジのメトリクスを、利用の場面に結び付ける。 ナレッジが仕える人々に名前を付けます。初回問い合わせで解決するサービスデスクのアナリスト、アラートを扱うオンコールのエンジニア、自分で解決するユーザー。それぞれの読み手に異なる測定値が必要です。オンコールのエンジニアのための手順書は、手順がサービスを復旧したかで判断され、パスワードのリセットの記事は、ユーザーがデスクに連絡しなくなったかで判断されます。台帳に記録します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
2. 記事数ではなく、リンク率と関連性から始める。 リンク率は、ナレッジが解決の瞬間にそもそも入っているかを示します。最初から、毎月、人が20か30件のリンクされたケースを読み、記事が合っていたかを判断する小さな抽出と組にします。リンクの半分が無関係な70パーセントのリンク率は、誠実なリンクの40パーセントのリンク率より悪いものです。前者は、後者が露わにするナレッジのギャップを隠すからです。
3. 「記事が存在しない」と「記事はあるが見つからなかった」を分ける。 リンクなしでクローズされたケースでは、理由が異なり、修正も異なります。「記事が存在しなかった」と「記事が見つからなかった」のような短いクローズの選択肢を加え、リンクのないケースの割合として報告します。前者は書くべき内容を指し、後者は検索、命名、構造を指します。デスクを遅くするところでは、選択肢を任意にして、代わりに抽出します。
仕事が終わるときにナレッジを取得する
4. 取得を完了の定義の一部にする。 アジャイルのチームでは、サービスの振る舞いを変える作業アイテムは、手順書、既知のエラーのレコード、ヘルプ記事が更新されるまで完了ではありません。サービスデスクでは、発見を要したケースは、発見が取得されるか既存の記事が改善されるまで、解決ではありません。これは解決のループで働くというKCSの考え方で、書く人が文脈を新鮮に持っているため、書くコストを低く保ちます。
5. 軽量な下書きの状態を認める。 多くのチームは、誰かが見られるようになる前にすべての記事が重いレビューを通らなければならないために、ナレッジを失っています。KCS流のプラクティスは、チームに見える作業中の記事と、より広い読み手に見える検証済みの記事を区別します。遅いレビューが漠然とした不満ではなくキューとして現れるよう、両方の段階の公開までの時間を、中央値と85パーセンタイルで、別々に測ります(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
6. 作成より改善を好む。 近い重複の記事が積み上がると、検索が悪くなり、鮮度を保つのがより難しくなります。作成数と並べて再利用比率を見て、作成が増える一方で再利用が下がっていれば、重複を探します。統合と廃止を簡単で可視にし、統合を前向きな貢献として数えます。
ナレッジを最新で見つけやすく保つ
7. 使われている記事をレビューする。 レビューの労力を、使用の多い場所に集中させます。使用中の記事を、リンクまたは閲覧された頻度で並べ、上位のグループには、長い裾より短いレビューの窓を設定します。誰も読まない古い記事のコストは小さく、解決の三分の一に現れる古い記事は、数百のケースを誤らせえます。カタログ全体の平均がそれを隠さないよう、頻繁に使われるグループの鮮度を独自の行として報告します。
8. 失敗した検索をバックログのアイテムとして扱う。 毎月、最も頻繁なゼロ件検索を読み、それぞれについて、記事を書く、同義語を加える、記事の名前を変える、あるいは問いが別の場所に属すると受け入れる、のどれにするかを決めます。これにより、メトリクスが、チームが取り組める短く具体的な一覧に変わります。また、実際の語彙も示します。ユーザーやアナリストが、サービスカタログ(service catalogue)が使う言葉を使うことはまれだからです。
9. 票の背後にある言葉を読む。 役に立った率は安価でノイズが多いものです。回答率は通常低く、強い意見に偏ります。役に立った率の隣に回答率を示し、最もよく閲覧される記事への書かれたコメントを、定例のレビューで読みます。「手順4は新バージョンにはもうない」のような一つのコメントは、ラベルのない千の票よりも価値があります。
10. ナレッジを問題とポストモーテムに結び付ける。 同じ記事で繰り返し解決される再発インシデントは、問題管理へのシグナルです。問題管理は根本の原因を探し、記事の必要性を取り除くかもしれません(トピック 4.1「問題管理のメトリクス」を参照)。既知のエラーのレコードとポストモーテムの教訓は、独自のライフサイクルを持つナレッジ資産です(トピック 4.2「ポストモーテムと学習のメトリクス」とトピック 4.6「技術的負債と既知のエラー」を参照)。毎四半期、最もリンクされた記事の上位十件を見て、原因を直すことでどれを廃止すべきかを尋ねます。
順位付けせずに統治する
11. 貢献をチームのレベルで報告する。 貢献の広がりは、ナレッジの仕事が共有されているか、二人に集中しているかを教えます。それはバスファクター(bus factor)が二であるのと同じパターンなので、見る価値のあるリスクです。それが、編集の量を報いる著者のランキング表に変わってはいけません。そうなれば、人々に記事を分割したり些細な変更をしたりすることを教えます。集中が現れたら、時間、支援、書く許可についてのチームの対話として扱います(トピック 9.4「スキルと学習のメトリクス」を参照)。
12. 役に立たなくなった測定値を廃止する。 誰もリンク率に基づいて行動しないなら、注意を関連性や頻繁に使われるグループの鮮度に移します。定義の変更を理由とともに記録します。計算式が変わると傾向線が壊れるからです(トピック 1.5「データソースと計装」を参照)。
悪用の手口と防護柵
定義の表のすべてのメトリクスがここに現れます。ナレッジのメトリクスは特に悪用に弱いものです。リンクやレビューの行為は素早いクリックですが、本当の価値は内容にあるからです。
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| ナレッジのリンク率 | クローズ前にすべてのケースに、しばしば一般的な、あるいは非常に人気のある記事を何でも付ける、事後に一括でリンクする | リンクされたケースの月次の関連性の抽出。同じ少数の記事に向かうリンクの割合。解決のタイムスタンプに対するリンクのタイムスタンプ |
| 再利用比率 | ケースごとに新しい記事を作ってすぐにリンクし、次回に再利用として数えられるようにする、あるいは比率が完璧に見えるよう決して作成しない | 定期的な検索で見つかる重複記事の率。「記事が存在しなかった」という理由でクローズされたケースの割合 |
| 記事の鮮度 | 確認せずに記事をレビュー済みと印する、些細な編集でレビュー日をリセットする、レビューしやすい記事だけを数える | 最近レビューされた記事を実際のサービスに照らして試す抽出。同じ記事の役に立った率と書かれたコメント |
| ゼロ件検索の率 | どんなクエリにも一致する曖昧な、あるいは包括的な記事を加える、キーワードを詰め込む、扱いにくい検索語をログから除外する | クリックスルーの後、短い窓内に同じ話題で問い合わせがあるか。役に立った率。上位の検索語を手で読む |
| 役に立った率 | 満足している読み手にだけ投票を促す、役に立たなかったという選択肢を隠す、チーム内から投票する | 率とともに示す回答率と回答者の構成。書かれたコメント。記事を読んだ後の問い合わせ率 |
| 公開までの時間 | 時計を止めるために薄いスタブを公開する、記事を断片に分割する、時計が除外する状態に下書きを移す | 最近公開された記事の関連性と役に立った率。除外された状態にある下書きの数と年齢 |
| 貢献の広がり | 全員が貢献者に見えるよう、些細な編集をする、ノルマを満たすために一文を加えるよう頼む | 抽出した編集の大きさと実質。貢献された記事の再利用と役に立った率。レポートに名前を載せない |
健全な読みは、人による抽出が関連すると確認したリンクされた記事、ナレッジベースが成熟するにつれて上がる再利用比率、最近の検証済みレビューのある頻繁に使われる記事の集合、チームが取り組んでいる検索の失敗の短い一覧、チーム全体に広がる貢献を示します。真に新しかったために記事がないケースがいくつかあるのは、失敗している基盤ではなく、誠実な基盤のしるしです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 高いリンク率を目標にする | 取得と再利用を日常のルーチンに押し込む。理解しやすい | 無意味なリンクを招く。記事が存在しないギャップを隠す |
| 手作業で関連性を抽出する | リンクが意味を持つかを明らかにする。共有の基準を築く | アナリストの時間がかかる。小さな抽出はノイズが多い。抽出する人の判断に依存する |
| 固定の予定ですべてをレビューする | 計画も監査もしやすい。均等に適用される | 誰も読まない記事に労力を使う。頻繁に使われるものを無視する |
| 使用に応じてレビューする | 誤ったナレッジが最も害になる場所に労力を向ける | 信頼できる閲覧とリンクのデータが要る。裾の記事は見られずに腐りうる |
| 正式なKCSの採用 | 首尾一貫した試されたプラクティスと指標の集合を与える | 持続的な投資、コーチング、ツールの支援が要る。ごく小さなチームには重い |
| 記事の代わりに対話とペアリング | 判断と文脈を伝える。オーバーヘッドが低い | シフト、休暇、離職にはスケールしない。ナレッジが人とともに去る |
ナレッジが使われ信頼されているかを見るのに十分なだけを測り、節約した労力を内容に使ってください。小さなチームには、月次の関連性の抽出付きのリンク率と、検索の失敗の短い一覧で、完全なプログラムになります。大きなデスクでは、誰かがレビューを所有してそれに基づいて行動する場合にのみ、完全な集合が見合います。
チームで話し合う問い
1. 最後に難しいケースを解決したとき、ナレッジはどこから来て、その後どこへ行ったか? 実際に労力を要した最近のケースを選び、学んだことの経路をたどります。記事が見つかったのか、同僚に尋ねたのか、ゼロから答えを導いたのか。同じ問題を持つ次の人が、5分以内に答えを見つけられるかを尋ねます。ファシリテーターは、チームが知っていることとナレッジベースが保持していることのギャップを探してください。
2. 来月、リンク率を述べた目標まで引き上げるとしたら、誰も助けずにどうやってそれを行うか? 悪用の一覧を明示し、非難ではなく、設計の入力として扱います。よくある答えは、一般的な記事をリンクする、クローズ時に一括でリンクする、最も人気のある記事を選ぶ、です。各答えについて、表のどの防護柵がそれを、どのくらい早く捉えるかを尋ねます。ファシリテーターは、月次の関連性の抽出のような新しい確認を少なくとも一つ、そのオーナーとともに持ち帰ってください。
3. 最も頼りにしている五つの記事はどれで、最後に実際のサービスに照らして検証されたのはいつか? 最もリンクされ、最も閲覧された記事を見て、そのうち二つを一緒に声に出して読みます。この対話は、最も影響の大きい記事が、最も配慮されていないものであることを示すことが多く、これが使用によるレビューの論拠です。
4. 人々は、私たちにないもので何を検索しているか? 上位のゼロ件検索と、リンクなしのケースの理由を持ち寄ります。書くべき記事、加えるべき言葉、他のチームに属する問いにグループ化します。ファシリテーターは、次の三つの項目の短い一覧を取得し、それらが特別なプロジェクトではなく、通常の仕事の中でどう書かれるかを計画してください。
5. 私たちのナレッジを誰が書き、書くことに何のコストがかかるか? 取得について率直に話し合います。書くことは仕事の一部と見られているのか、仕事の後の余分な仕事なのか。重いテンプレート、遅いレビュー、間違うことへの恐れ、きつい勤務の終わりの時間のなさのうち、何が遅くしているかを尋ねます。ファシリテーターは、個人を追及するのではなく、ツール、時間、許可の変更へ導いてください。
6. 私たちの記事のうち、必要としなくなるべきものはどれか? 最も再利用された記事を取り、それらがどんな繰り返される原因を回避しているかを尋ねます。月に200回使われるリセット手順は、プロダクトの欠陥、分かりにくい画面、欠けている自動化の症状かもしれません。どの項目を問題管理やプロダクトチームに渡し、どれを自動化するかを決めます(トピック 3.7「セルフサービスと自動化のメトリクス」を参照)。ファシリテーターは、良いナレッジの仕事の最良の結果が、記事がより少なくなることであることもある、と述べてください。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、サービスが必要とするナレッジの多くを作ります。機能の振る舞い、新しいエラーが何を意味するか、ロールバックの方法。リリース前にそのナレッジが取得されなければ、サービスデスクとオンコールのチームは苦労して学ぶことになります。手順書とヘルプ記事を完了の定義に含め、自分たちが所有するサービスのリンク率と検索の失敗をフィードバックとして見ます。同じ記事が何度もリンクされるときは、ドキュメントの成功ではなく、プロダクトへの欠陥報告として扱います。
サービスと運用のチーム
サービスデスクと運用のチームは、ナレッジベースの主な作り手であり利用者なので、メトリクスは主に彼らが使うものです。解決のループを誠実に回します。まず検索し、再利用して改善し、合うものがなければ作成する。関連性の抽出付きのリンク率を使い、ゼロ件検索をバックログとして読みます。ナレッジベースは共有のツールで、個人の件数がそれを損なうため、著者や編集者のランキング表は避けます(トピック 3.1「サービスデスクのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、ナレッジの仕事に時間が与えられるかを決め、したがってナレッジの質を決めます。記事数を尋ねる前に、関連性の抽出と、頻繁に使われる記事の鮮度を求めます。防護柵のないリンク率や記事の作成への目標には抵抗し、重複の統合のような良い理由で数字が下がったら、その旨を聞くことを期待します。使用の多い記事のレビューと、記事を不要にする修正に資金を出します。
顧客とユーザー
ユーザーは、検索、ポータル、チャットボット、アナリストが与える回答を通じてナレッジに出会います。彼らが気づくのは、最初の回答が正しいか、繰り返さなければならないかです。記事についての彼ら自身のフィードバック、空振りした検索、繰り返しの問い合わせは、このトピックのすべてに対する最良の防護柵です。ユーザーに記事を評価してもらうなら、フィードバックがどうなるかを伝え、目に見える形で行動します(トピック 6.1「顧客満足度のメトリクス」を参照)。
実践:サービスマネジメントの例
中規模の保険会社が、複数の拠点のスタッフを支える、約十数人のアナリストの社内ITサービスデスクを運営しています。デスクは、保険金請求アプリケーションと文書ポータルを所有する二つのプロダクトチームとナレッジベースを共有しています。この例の数字はすべて例示です。
リーダーシップは、より良い初回問い合わせでの解決(トピック 3.1「サービスデスクのメトリクス」を参照)を求め、ナレッジのリンク率の目標を、例示的な38パーセントから60パーセントに設定します。六週間以内に、ダッシュボードは64パーセントを示します。サービスデスクのリーダーは納得しません。アナリストは依然として答えを見つけられないと不満を言い、プロダクトチームのリードは、自分が所有する三つの記事が、クローズされたケースのほとんどに現れると述べるからです。
チームは悪用レビューと関連性の抽出を行います。前の月から無作為に選んだ、リンクされた30件のケースを読み、記事がケースに合っていたかを判断します。例示的な集計では、30件のリンクのうち11件が、一般的な「チケットの起票方法」の記事、あるいは問題に対処しない一般的なネットワークの概要へのものでした。また、リンクがケースのクローズの数秒以内に作られていたことも分かり、これは使用ではなく習慣を示唆するパターンです。デスクのリーダーは、上がっている再利用比率と、「記事が存在しなかった」という理由のリンクなしのケースの割合がほぼゼロまで下がっていることを見ます。アナリストが今は最も近い記事を選ぶからです。ナレッジのギャップが見えなくなったのです。
チームは三つの決定を下します。第一に、リンク率の目標は取り下げられ、関連性で調整したビューに置き換えられます。リンク率は、抽出した関連するリンクの割合の隣に報告され、「記事が存在しなかった」というクローズの理由は選びやすくされ、失敗として扱われません。第二に、ゼロ件検索を毎月読み、上位の五つが、デスク全体で共有される次の執筆タスクになります。第三に、最もリンクされた20の記事が、関連するプロダクトチームが所有して、一か月以内に鮮度のレビューを受け、一つのサービスのケースの四分の一超にリンクされている記事は、恒久的な修正の候補として問題管理に渡されます(トピック 4.1「問題管理のメトリクス」を参照)。
二か月後、見出しのリンク率は例示的な51パーセントに戻り、悪い知らせのように感じられます。抽出した関連性は、例示的に63パーセントから85パーセントに上がり、ゼロ件検索の率は下がり、文書ポータルの繰り返されるサインインの問題が原因のところで直され、三つの記事が廃止されました。リーダーは、生のリンク率ではなく、関連性と廃止された回避策でプログラムを判断するよう、リーダーシップに求めます。
アジャイル、AI、自動化、アナリティクス
アジャイル
ナレッジを問題を解決することの副産物として扱い、記事が役に立ったかについてのユーザーからの短いフィードバックを得ます。注意点は、記事数の目標が薄く重複した内容を生むことです。
AI
AIは、記事を起案し、ナレッジベースから質問に答え、ギャップを浮かび上がらせられ、品質が下がっていても記事数と使用を押し上げえます。リンク率と再利用を、役に立った率と、公開前に人がレビューしたAI起案の記事の割合と組にしてください。注意点は、古い、あるいは誤った記事がAIによって自信を持って提供されると、誤りが拡大することです。
自動化
検索、閲覧、リンクのイベントを自動で取得し、オーナーへの鮮度のリマインダーを自動化します。自動化を、いくつのリマインダーが更新につながるかで測ります。注意点は、記事の公開を取り消す自動的な期限切れが、有用な内容を取り除きうることです。
アナリティクス
検索ログを使ってゼロ件のクエリを見て、役に立った率を回答数とともに示します。これが情報を与える判断は、どの記事を書き、直し、廃止するかです。注意点は、記事の閲覧が、助けを得たことと同じではないことです。
業種別の視点
スタートアップ。 ナレッジは少数の人の頭の中とチャットの履歴にあります。夜間に何が壊れるかについて短い手順書の一覧を書き、各インシデントの後に修正を記録します。上位の手順書がまだ機能するかの月次の確認が、十分な測定です。
中小企業。 一人が、サービスデスク、管理者、ナレッジのオーナーを兼ねていることがよくあります。リスクはバスファクターで、その人がいなくなればナレッジも消えます。簡単な共有リポジトリを使い、記事を短く保ち、請負者や同僚に主要な手順を試してもらいます。最も使われるページの定期的な読み通しは、どのダッシュボードにも勝ります。
大企業。 規模は重複した記事と不均一な品質をもたらします。リンク率、鮮度、再利用の共通の定義を使い、サービスとチーム別に報告し、使用の多い記事にオーナーを指名します。サービスの構成とナレッジベースの古さが異なるため、チームの比較は避けます。
政府・公共部門。 記録の規則、アクセシビリティの要件、監査の期待が、ナレッジの保管、レビュー、廃止の仕方を左右することがあります。それらを設計上の入力として扱い、市民に影響する記事の承認の証跡を保ち、アクセシブルな内容を公開します。市民からのフィードバックと検索の失敗は特に価値があります(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
ナレッジのメトリクスのコストは控えめです。ツールのデータは、通常、ITSMプラットフォームとナレッジベースにすでにあります。主なコストは、測定値を定義する時間、関連性を確認する小さな月次の抽出、使用の多い記事のレビューの時間、問題を解決しながらナレッジを取得する規律です。ナレッジのプラットフォームに使えるリンクや検索のデータがなければ、その計装のコストを含めます(トピック 1.5「データソースと計装」を参照)。
見返りはパターンであり、本書はそれについて数字を示しません。アナリストが正しい記事を素早く見つけると、解決はより速く一貫し、新しいスタッフが早く役に立つようになり、オンコールのエンジニアは少数の専門家にあまり頼らなくなります。ユーザーが自分で答えを見つけると、デスクは既知の質問についての再問い合わせを減らします。メトリクスは、ナレッジが欠けている、古い、使われていない箇所を示して役立ち、限られた執筆の時間が重要な記事に向かいます。
総保有コストには維持が含まれます。記事はサービスが変わるにつれて劣化するので、レビューの時間は継続的なコストであり、それを無視するプログラムは便益を過大に見積もります。自分たちのチームの見返りを見積もるには、変更の前後で自分たちのケースの抽出を比較し、前提にラベルを付けてください。
アンチパターンと落とし穴
- 記事数や閲覧を成功として数える。 量は雑然とともに増え、閲覧は混乱のしるしでもありうる。代わりに、解決での使用、関連性、フィードバックを測る。
- 関連性の確認のないリンク率の目標。 人々は何でも記事を付ける。リンクされたケースを毎月抽出し、率の隣に関連する割合を報告する。
- 著者や編集者に順位を付ける。 個人の集計は、薄い編集と記事の分割を生む。貢献の広がりをチームについて報告し、キャパシティの問題として議論する。
- すべての記事を一つの固定の予定でレビューする。 労力が誰も読まないページに行く。使用に応じてレビューし、使われないものは廃止する。
- 時計を止めるためのスタブの公開。 素早く薄い記事は、公開までの時間を無効にする。役に立った率とフォローアップの問い合わせ率と組にする。
- 失敗する検索を無視する。 失敗した検索は、満たされないニーズの最も明確なシグナルである。毎月読み、上位のアイテムを仕事に変える。
- ナレッジを仕事から切り離す。 四半期末の文書化プロジェクトは、古いページを生む。解決の間に、また完了の定義の中で取得する。
- ナレッジベースを恒久的なものとして扱う。 内容は劣化する。廃止と統合を日常的にし、評価する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 取得とリンク | ナレッジは頭とチャットの中にあり、リンクはまれ | 一部のチームが記事をケースにリンクするが、実践はまちまち | リンクと取得についての書面の規則が一つあり、クローズの理由が記録される | リンク率と関連性の抽出を毎月レビューし、改善に結び付ける | 取得が、デスク、運用、プロダクトのチーム全体のワークフローの一部であり、判断に情報を与えなくなれば定義が見直される |
| 鮮度とオーナーシップ | オーナーがなく、記事は見られずに古くなる | 主要なサービスにオーナーが指名されている | レビューの窓が設定され、頻繁に使われる記事にはより短い窓がある | 使用の多い記事の鮮度を傾向として追い、資金が付く | レビューの責任が供給者やプロダクトチームと共有され、廃止は日常的である |
| 見つけやすさとフィードバック | 検索は場当たり的で、検索データがない | 検索ログはあるが読まれていない | ゼロ件検索と読み手のフィードバックが定めた頻度でレビューされる | 検索の失敗がバックログを導き、問い合わせのデータと組になる | ユーザー、アナリスト、チャットボットが一つのナレッジの情報源を利用し、フィードバックが目に見える形で内容を変える |
| 改善での利用 | メトリクスがあっても件数 | 件数がチームに示される | メトリクスが防護柵と組になり、チームに先に示される | 頻繁にリンクされる記事が、問題管理と自動化の判断に供給される | ナレッジ、問題、プロダクトのバックログがチーム横断で一緒に管理される |
チェックリスト
- 各ナレッジのメトリクスが、仕える読み手と、情報を与える判断を挙げている。
- リンク率に、時計、除外、重大インシデントの扱いを含む書面の定義がある。
- 月次の抽出で、リンクされた記事がケースに関連していることを確認している。
- ケースのクローズが、「記事が存在しなかった」と「記事が見つからなかった」を別の理由として記録している。
- 公開までの時間が、下書きと公開の段階を分けて、中央値と高いパーセンタイルで報告されている。
- 使用中の記事にレビューの窓が設定され、最も使われるものにはより短い窓がある。
- 上位のゼロ件検索が毎月読まれ、バックログのアイテムに変えられている。
- 読み手のフィードバックが回答率とともに示され、上位の記事へのコメントが読まれている。
- 貢献がチームについてのみ報告され、名前の一覧がない。
- 最もリンクされた記事が、毎四半期、恒久的な修正の候補としてレビューされている。
- 定義の変更が理由とともに記録されている。
AIプロンプト
リンクされた記事がケースに合っているかを確認する。
私は [サービスの種類] を支える [チーム名] のナレッジレビューを運営しています。以下は、それぞれ要約、解決メモ、リンクされた記事のタイトルと本文を持つ、解決済みの [数] 件のケースです。各組について、記事がケースに関連する回答、部分的な回答、無関係なリンクのいずれかを判断し、一行の理由を述べてください。パターンを記事とサービス別に報告してください。個々のアナリストの名前を挙げたり順位付けしたりしないでください。サービスについての事実を捏造しないでください。前提と、テキストから判断できなかったことを列挙してください。
[個人情報を除いたケースと記事を貼り付け]
失敗した検索を執筆のバックログに変える。
以下は、[期間] に [ナレッジベースまたはポータル名] で結果が返らなかった最も頻繁な検索です:[件数付きの検索語の一覧]。テーマにグループ化してください。各テーマについて、新しい記事が必要か、既存の記事([関連する記事のタイトルの一覧])の同義語または名前変更か、他のチームへのリンクか、対応なしかを提案してください。記事や私たちのシステムについての事実を捏造しないでください。前提と、何かを書く前に私が答えるべき問いを列挙してください。
軽量なナレッジの測定値の集合を設計する。
[ITSMツール] と [ナレッジツール] を使う [チームの規模] 人のチーム [チーム名] のために、小さなナレッジマネジメントの測定値の集合を設計してください。主な目標は [目標。例:より速い初回問い合わせでの解決、専門家への依存の低下] です。各測定値について、定義、時計または境界、データソース、ありそうな悪用の手口、防護柵を示してください。個人の順位付けを提案したり、ベンチマークの値を捏造したり、出典を引用したりしないでください。前提と、私が言及しなかった必要なデータ項目を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:ダッシュボードにナレッジのメトリクスを加えるときに、関連するトピックと組になる防護柵を探すために使います。
- サービスマネジメントメトリクスのメンテナースキル:ナレッジのメトリクスが、悪用の手口、防護柵、相互参照を正しい形で備えているかを確認するときに使います。
要点
- ナレッジを使用の瞬間に測る。解決でリンクされた、検索で見つかった、読み手に確認された。
- リンク率を人による関連性の抽出と組にする。リンクが証明するのは、誰かがクリックしたことだけだからだ。
- 鮮度を使用に応じてレビューし、誤った記事が最も多くのケースを誤らせる場所に労力を向ける。
- 失敗した検索と頻繁にリンクされる記事を、新しい内容、より良い命名、恒久的な修正へのシグナルとして扱う。
- 貢献をチームについて報告し、著者に順位は付けない。
- より少なく、より良い記事のほうが、大きいナレッジベースより健全であることが多い。
参考文献とさらなる読書
- Consortium for Service Innovation, KCS v6 Practices Guide, first released 2016 and updated since, https://library.serviceinnovation.org/KCS/KCS_v6/KCS_v6_Practices_Guide (check the page for the current version).
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Nonaka, I., and Takeuchi, H., The Knowledge-Creating Company, Oxford University Press, 1995.
- Hansen, M. T., Nohria, N., and Tierney, T., "What's your strategy for managing knowledge?", Harvard Business Review, March-April 1999.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Knowledge management.
- Wikipedia, ITIL.
- Wikipedia, Knowledge base.
- Wikipedia, Runbook.
- Wikipedia, Tacit knowledge.
- Wikipedia, Knowledge-centered support.
- Wikipedia, Service desk.
- Wikipedia, Bus factor.