セルフサービスと自動化のメトリクス
セルフサービスは、人々が助けなしに必要なものを得られたかで測り、自動化は、取り除いた仕事と生み出した失敗で測る。届かなかった問い合わせは、問題が解決された場合にのみ成功だからだ。
概要と動機
セルフサービスと自動化は、サービス組織が日常的な仕事を人から取り除く二つの主な方法です。セルフサービス(self-service)は、ユーザーが、ポータル、ナレッジ記事、パスワードのリセットページ、チャットボット(chatbot)を通じて、一人で問題を解決したり、何かを得たりできるようにします。自動化(automation)は、アカウントの作成、サービスの再起動、監視が復旧を確認した後のチケットのクローズなど、以前は人が行っていた手順を、システムが実行できるようにします。どちらも同じアウトカムを狙います。人の繰り返しタスクを減らし、ユーザーへの結果を速くし、判断を要する仕事のための時間を増やすことです。
これらの考え方は、両方の伝統に対応します。ITIL 4では、サービスリクエスト管理のプラクティスが、よく理解された繰り返し可能なリクエストを、分別のある範囲で最大限に自動化された標準的なフローで扱うことを期待し、インシデント管理とナレッジ管理のプラクティスは、良い情報が、ユーザーとサポートのスタッフの両方に、最も早い有用な時点で利用できることを期待します。アジャイルとDevOpsの実践は、別の道を通って同じ場所に達します。コードとしてのインフラ(infrastructure as code)、パイプライン、そして、Googleのサイト信頼性エンジニアリングの書籍が、サービスとともに増える手作業で繰り返しの自動化可能な仕事と定義する、トイルを取り除く規律です。共有された考え方は、しばしば「シフトレフト」と呼ばれます。問題の解決を、ユーザーのほうへ、またはサポートの連鎖で最も安く最も早い地点のほうへ、専門家のキューから遠ざけて動かすことです。
シフトレフトの言葉は、測定の誤りを招きます。チームは、避けられた問い合わせが安いことを見て、避けられた問い合わせを成功として数えます。その数は簡単に作れます。チケットにならなかったポータルの訪問は、ユーザーが諦めたポータルの訪問と見分けがつかないからです。このトピックは、したがって、ユーザーのアウトカムから始めます。セルフサービスの成功が何を意味するか、諦めの手柄を主張せずにデフレクションをどう見積もるか、自動化の網羅率と信頼性をどう測るか、量と複雑さへのシフトレフトの効果をどう見るかを定義します。関連する量と優先度の測定値はトピック 3.2「インシデントの件数と優先度」に、リクエストの側はトピック 3.5「サービスリクエスト履行のメトリクス」に、ナレッジの側はトピック 3.6「ナレッジマネジメントのメトリクス」にあります。
このトピックで使う用語です。
- レベル0(またはセルフサービスの階層):スタッフに連絡せずに、ユーザーによって解決されること。レベル1はサポートの最前線で、通常サービスデスク、レベル2と3は専門家とエンジニアリングの階層。
- デフレクション(Deflection):そうでなければスタッフに届いたはずの問い合わせが、代わりにレベル0で解決されたこと。直接観察できないので、常に見積もりである。
- フォールスルー(Fall-through):セルフサービスを試み、成功せず、同じニーズについてスタッフに連絡したユーザー。
- 手順書(Runbook):日常的な運用タスクの文書化された手順。手順書(runbook)は、それを自動化するための通常の最初の一歩。
- トイル(Toil):永続的な価値のない、手作業で繰り返しの自動化可能な仕事(トピック 5.7「トイルとオンコールのメトリクス」を参照)。
- サービスカタログ(Service catalog):ユーザーに提供されるサービスと標準リクエストの一覧。ITILはこれをサービスカタログ(service catalogue)と呼ぶ。
主要な原則
- 避けられた問い合わせではなく、アウトカムを数える。 チケットのないポータルのセッションが成功なのは、ユーザーのニーズが満たされた場合だけである。成功をユーザーの側から定義し、フォローアップのシグナルで検証する。
- デフレクションは見積もりなので、そうラベルする。 方法、使った比較、不確かさを述べる。見積もられたデフレクションの数字を、測定された事実として示してはいけない。
- フォールスルーの経路を測る。 失敗したセルフサービスの試みから、スタッフが対応する問い合わせへの経路は、隠れた失敗の大半が棲む場所である。すべての成功の数字の隣に報告する。
- 自動化にはコストの側がある。 すべての自動化されたフローには、維持、監視、安全に失敗する方法が必要である。網羅率と信頼性を併せて測り、自動化を生かし続けるのに費やした労力を数える。
- シフトレフトは量だけでなく構成も変える。 簡単な仕事がキューを離れると、残る仕事は平均してより難しく遅くなる。それを念頭に、解決時間と処理時間を読む(トピック 3.3「インシデントの対応時間と解決時間」を参照)。
- メトリクスはサービスとフローを記述する。 カタログ項目、記事のファミリー、自動化のフローごとに報告する。ユーザーをセルフサービスに押しやった数でエージェントに順位を付けてはいけない。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| セルフサービスの成功率 | セルフサービスのセッションのうち、スタッフへの連絡なしにユーザーのニーズが満たされたものの割合 | 完了したアウトカム(リクエストが提出され履行された、記事が役に立ったと印された、リセットが完了した)で終わり、7日以内に同じニーズについてスタッフが対応する問い合わせがなかったセッション ÷ タスクを開始したすべてのセッション。時計はポータルでの最初の意味のある操作で始まり、完了または放棄で止まる。ボットのトラフィック、テストアカウント、単なる閲覧は除く | パーセント | ポータルとIDのログ、チケットシステム、セッション分析 | サービスリクエスト管理、ナレッジマネジメント | 顧客フィードバックのループ、アウトカムに基づく受け入れ基準 | 毎月 |
| 見積もられたデフレクション率 | レベル0で解決されたと見積もられる、そうでなければスタッフに届いたはずの需要の割合 | セルフサービスの変更の前後、またはホールドアウトグループに対する、サービスのアクティブユーザー1,000あたりの問い合わせ率を比較し、既知の需要の変化で調整する。方法を明示した見積もりとして述べる。別のチャネルに移った問い合わせは除く | パーセント(見積もり) | チケットシステム、ユーザー母数の数、実験またはコホートのデータ | サービスデスク、インシデント管理 | 対照群を伴う実験、A/Bテスト | 四半期ごと |
| フォールスルー率 | 失敗したセルフサービスの試みのうち、同じニーズについてスタッフが対応する問い合わせで終わるものの割合 | 同じユーザーによる同じ話題の、放棄または不成功のセルフサービスのセッションから7日以内に開かれたスタッフ対応の問い合わせ ÷ 不成功のセッション。時計はセッションの終了で始まる。無関係な問い合わせは除く | パーセント | ユーザーと話題でチケットシステムに結合したポータルのログ | サービスデスク、ナレッジマネジメント | 完了の定義におけるエスカレーションの経路、サポートからのフィードバック | 毎月 |
| セルフサービスの採用(ポータルファーストの割合) | 対象のリクエストとインシデント報告のうち、セルフサービスのチャネルで起票されたものの割合 | ポータル、ボット、APIで作成されたアイテム ÷ セルフサービスの経路を提供するカタログ項目のすべてのアイテム。セルフサービスの経路が存在しないアイテムは除く | パーセント | チケットシステムのチャネル欄、カタログの設定 | サービスリクエスト管理、サービスカタログ管理 | リリース後の採用の追跡 | 毎月 |
| 自動化の網羅率 | 対象の繰り返し可能な仕事のうち、手作業の手順なしに自動化によって完了したものの割合 | 自動化されたフローでエンドツーエンドに完了したアイテム ÷ 自動化可能と判断された種類のすべてのアイテム。書面の候補一覧に挙げられている場合にのみ、その種類を自動化可能として数える。一度きりの仕事と、自動化が拒否したアイテムは除く | パーセント | チケットシステム、自動化プラットフォームのログ、候補一覧 | サービスリクエスト管理、デプロイ管理 | 完了の定義の自動化、コードとしてのパイプライン | 毎月 |
| 自動化の失敗と手戻りの率 | 自動化された実行のうち、失敗した、手作業の修復が必要だった、あるいはのちに修正された結果を生んだものの割合 | エラーになった、ロールバックされた、あるいは7日以内に手作業の修正が続いた自動化された実行 ÷ すべての自動化された実行。時計は実行の開始で始まる。計画されたドライランは除く | パーセント | 自動化プラットフォームのログ、チケットシステム、変更レコード | 変更実現、インシデント管理 | 変更失敗率、ビルドとテストの安定性 | 毎週 |
| リクエストの種類ごとの手作業の時間 | 自動化の候補であるリクエストの種類に、スタッフが費やした労力 | その期間に、その種類のアイテムにスタッフが記録した実作業の分。アイテムごとの中央値と85パーセンタイルとして要約する。時間が記録されていない場合は抽出で見積もる。待ち時間は除く | アイテムあたりの分 | 時間の抽出、チケットの作業ログ | サービスリクエスト管理 | トイルの追跡、バリューストリームの無駄 | 四半期ごと |
| レベルの分布(シフトレフトの割合) | サポートの連鎖のどこでアイテムが解決されるか | その期間の解決済みのすべてのアイテムに対する、各レベル(0、1、2、3)で解決されたアイテムの割合。レベルは、実作業を行った最高の階層。トリアージ前にキャンセルされたアイテムは除く | レベルごとのパーセント | チケットシステムの解決グループと割り当て履歴 | インシデント管理、サービスデスク | スウォーミングとエスカレーションのパターン、機能横断のチーム | 毎月 |
これらはすべて、サービス、カタログ項目、フローごとに測り、人ごとには決して測りません。時間の測定値は、統計リテラシーのトピックの導入が説明するように、中央値と高いパーセンタイルとして示します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
推奨事項
成功をユーザーの側から定義する
1. 各セルフサービスの経路について、「必要なものを得た」が何を意味するかを書き下す。 パスワードのリセットでは、リセットの完了とサインインの成功です。リクエストでは、提出ではなく履行です。記事では、同じニーズについて再びスタッフに連絡しなかったユーザーです。「ページを閲覧した」で止まる定義は、トラフィックを測っています。
2. セルフサービスのセッションを、後の問い合わせに結合する。 失敗の最も強い証拠は、セッションの直後に同じ話題でスタッフが対応した問い合わせです。プライバシーの規則が許すところでは、ユーザーと話題で二つを結び付け、許さないところでは、話題と日ごとの集計の件数を使います。結合により、漠然とした満足度の話が、改善できるフォールスルー率に変わります。
3. 退出の時点で、一問でユーザーに尋ねる。 「問題は解決しましたか?」のような一問の促しは、ログにはない直接のシグナルを与えます。答えを抽出として扱い、自由記述のコメントを読み、最も満足したユーザーが結果を決めてしまわないよう、回答者と非回答者を比較します(トピック 6.1「顧客満足度のメトリクス」を参照)。
デフレクションを誠実に見積もる
4. カウンターより比較を優先する。 最もきれいな見積もりは、ホールドアウト、段階的なロールアウト、または影響を受けるサービスのアクティブユーザー1,000あたりの問い合わせの前後の見方から来ます。「チケットにならなかったセッション」を数えると、その多くのユーザーはそもそもスタッフが目にしたはずのニーズを持っていなかったため、効果が過大に見積もられます。数字の隣に方法と不確かさを述べます。
5. 量を利用に対して正規化する。 チケット数の減少は、ユーザーの減少、静かなリリースサイクル、季節の変化に続くことがあります。結論を出す前に、アクティブユーザーまたは取引で割ります(トピック 3.2「インシデントの件数と優先度」を参照)。リリース、キャンペーン、ポータルの変更をグラフに注記します。
6. デフレクションを目標から外す。 デフレクションの目標は、問い合わせの経路を隠す、電話番号を埋もれさせる、チャットのセッションを早く終えることを報います。デフレクションは学びのための見積もりとして使い、目標はセルフサービスの成功率や最も古い未解決のアイテムといった、ユーザーのアウトカムに置きます。
自動化をプロジェクトではなくプロダクトとして測る
7. 候補一覧を保ち、それに対して網羅率を測る。 ほとんどの仕事は自動化可能ではないので、「すべての仕事」に対する網羅率は貧弱な測定値です。繰り返し可能で、よく理解され、頻繁なリクエストとインシデントの種類の短い書面の一覧を保ち、実作業時間と量で順位付けし、その一覧に対する網羅率を報告します。分母が誠実であるよう、毎四半期に一覧を見直します。
8. 網羅率を信頼性と組にする。 10回に1回失敗する、あるいは黙って誤った結果を出す自動化されたフローは、置き換えた手作業より高くつくかもしれません。失敗と手戻りの率、失敗した実行の検出までの時間、結果を人が修復しなければならない頻度を追跡します。サイト信頼性エンジニアリングのコミュニティが述べるエラー処理のプラクティスを使います。冪等な手順、明確なアラート、安全な手作業の切り戻し先です(トピック 5.5「監視とアラート品質のメトリクス」を参照)。
9. 維持を数える。 自動化には、オーナー、バージョン管理、テスト、周囲のシステムが変わるときの更新が必要です。各フローの維持に費やした時間を記録し、それが取り除いた手作業の時間と比較します。節約より動かし続けるコストのほうが高い自動化は、廃止の候補で、これは失敗ではなく、通常の結果です。
シフトレフトの効果を見る
10. 残る仕事がより難しくなることを予期する。 日常的な問い合わせがサービスデスクを離れると、サービスは良くなっていても、レベル1の平均処理時間と初回問い合わせでの解決はしばしば悪化します。それらの測定値の隣に、レベルの分布と区分の構成を報告し、デフレクションが成功した後の処理時間の上昇は想定内であることを、リーダーシップとあらかじめ合意します(トピック 3.1「サービスデスクのメトリクス」を参照)。
11. ナレッジと問題管理へ輪を閉じる。 すべてのフォールスルーは、欠けているまたは貧弱な記事、分かりにくいフォーム、未修正の欠陥の証拠です。上位のフォールスルーの話題をナレッジのオーナーへ、原因が欠陥の場合は問題管理へ送ります(トピック 4.1「問題管理のメトリクス」を参照)。一覧を毎月レビューし、いくつのアイテムが直されたかを報告します。
12. 解放したキャパシティを共有する。 自動化とセルフサービスが仕事を取り除くなら、解放された時間が何を買うかを決めます。改善の仕事、先回りの修正、研修。自動化から恩恵を見ないチームは、それを提案するのをやめます。時間とともに、改善のための計画されたキャパシティの割合を追跡します(トピック 2.9「運用作業と計画外作業」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| セルフサービスの成功率 | 完了したフォームやページの閲覧を成功として数える、点数が下がったときに「役に立ちましたか」の促しを取り除く、難しい話題を分母から除外する | フォールスルー率と、人が読むクローズされたセッションの抽出。分母の規則を報告する |
| 見積もられたデフレクション率 | 問い合わせの経路を隠す、問い合わせの前に手順を加える、原因にかかわらず、チケットが減ったことをすべてデフレクションとして分類する | アクティブユーザー1,000あたりの問い合わせ、影響を受けるサービスのユーザー満足度、数字の隣に書かれた方法 |
| フォールスルー率 | 戻りが範囲外になるよう照合の窓を短く定義する、フォローアップの問い合わせを重複としてクローズする | すべてのチャネルを通じた繰り返しの問い合わせ率。戻ってきた問い合わせの抽出のレビュー |
| セルフサービスの採用(ポータルファーストの割合) | 適合にかかわらずすべてのリクエストをポータルに強制する、電話で作成されたチケットをポータルのチケットにラベルし直す | セルフサービスの成功率とユーザーの労力。使えるポータルの経路のないリクエストの割合 |
| 自動化の網羅率 | 候補一覧に簡単な項目を選ぶ、些細なタスクで分母を増やす、部分的に手作業のフローを自動化として数える | 毎四半期にレビューされる書面の候補一覧。自動化の失敗と手戻りの率。残るアイテムの手作業の時間 |
| 自動化の失敗と手戻りの率 | 手作業の修復を数から除外する、失敗した実行が成功するまで黙って再試行させる、失敗を「計画されたドライラン」とラベルする | フローに紐づけられたインシデントとアラートの記録。失敗した実行の検出までの時間。結果の抽出監査 |
| リクエストの種類ごとの手作業の時間 | 手作業に見えるアイテムの時間を記録しない、時間を別の区分に割り当てる、静かな日だけを抽出する | 書かれてレビューされた抽出の計画。同じ種類のサイクルタイムとキューの年齢と比較する |
| レベルの分布(シフトレフトの割合) | エスカレーションを再分類する、あるいはレベル1でアイテムをクローズしてレベル2で新しいアイテムとして再オープンして、レベル1で解決される割合を上げる | 再オープン率と紐づけられたチケットの率。解決の質の抽出。レベル別の顧客満足度 |
健全な読みは、セルフサービスの成功が、安定または下がるフォールスルー率とともに上がり、見積もられたデフレクションが方法とともに述べられ、自動化の網羅率がレビュー済みの候補一覧に対して上がりつつ失敗と手戻りが低く、レベルの分布が、再オープン率を上げたり満足度を下げたりせずに、仕事をより早くへ動かしている状態です。一つの数字が改善する一方でその防護柵が悪化するなら、その改善は未証明として扱います。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| セルフサービス優先 | ユーザーに即座の結果。限界費用が低い。どの時間帯でも利用できる | 複雑または特殊なニーズのユーザーは取り残されたと感じうる。弱い内容は、取り除くより多くの問い合わせを生む |
| スタッフ対応の問い合わせを優先 | 個人的な支援、判断、特殊な問題に気づく機会 | 遅く、高価で、スタッフの空き状況に依存する |
| ホールドアウトによるデフレクションの見積もり | 効果の信頼できる証拠 | 設計の作業と、変更を受けないグループへの許容が要る |
| チケットのないセッションを数える | 安価で常に利用できる | 成功を過大に見積もる。悪用を招く。成功と放棄を区別できない |
| 広範な自動化 | 一貫した実行とトイルの減少 | メンテナンスの負担、拡大する失敗モード、チームから薄れうる技能 |
| 安定したフローの選択的な自動化 | 労力に対するより良い見返りと、不意打ちの減少 | 手作業の一部が残り、それには独自の注意が要る |
文章での答えは、頻繁で安定してよく理解された仕事を自動化し、ニーズが不明確または賭け金が高いところには人を残すことです。セルフサービスは、スタッフ対応の経路を見えるようにしたまま、人々が助けられたかで判断すべきです。シフトレフトの節約が本物であるのは、ユーザーのアウトカムが保たれる場合だけなので、両方の側を数えてください。
チームで話し合う問い
1. ユーザーがポータルを開いてチケットを起こさずに去ったとき、何が起きたと想定し、どうやってそれを確かめるか? グループに、起こりうる物語を列挙してもらいます。ユーザーが答えを見つけた、諦めた、代わりに電話した、同僚に尋ねた。それらを区別するデータは何か、たとえばフォローアップの問い合わせ、退出時の促し、セッションの抽出を見ます。ファシリテーターは、現在ダッシュボードにどの仮定があり、誰がそれに頼っているかを記録してください。仮定を証拠に置き換える変更を一つ決めて終えます。
2. 現在デフレクションをどう見積もり、懐疑的な財務の相手にその方法を擁護できるか? 比較群と需要の変化の調整を含め、計算を順に追います。期間中に、リリース、障害、スタッフの変更など、他に何が変わったかを尋ねます。見出しに加えて、もっともらしい値の範囲も記録します。議論は、数字の隣に置ける方法の平易な記述で終えるべきです。
3. 本当のコストが分かったら、明日停止する自動化はどれか? 自動化されたフローを、オーナー、最後の変更日、実行回数、失敗率、維持の労力とともに列挙します。誰も惜しまないものと、人々が触るのを恐れているものを尋ねます。ファシリテーターは、廃止を正当な結果として扱ってください。答えは、オーナーのいないフローを明らかにすることがよくあります。
4. セルフサービスの試みが失敗したユーザーには何が起き、人に届くまでにどのくらいかかるか? 誰かに、ユーザーがするように、問い合わせの経路を見つけることを含めて、経路をたどってもらいます。時間を測り、短縮できる手順を記録します。その体験を、ポータルの述べられた意図と比較します。グループは、その経路がセルフサービスの経路と同じくらい見つけやすいかを決めるべきです。
5. 一年前のサービスデスクの仕事の構成はどうで、今はどうか? 区分の構成とレベルの分布を時間経過でレビューします。処理時間や初回問い合わせでの解決がなぜ動いたか、より難しい構成を反映しているかを話し合います。これが想定内であることが、リーダーシップに伝えられているかを尋ねます。シフトレフトが成功した後の処理時間の上昇が低下と読まれないよう、傾向をどう示すかに合意します。
6. 自動化が解放するキャパシティを何に使い、誰が決めるか? 手作業から取り除かれた時間を見積もり、それが何を買うはずだったかに名前を付けます。時間が改善の仕事に行ったのか、新たな需要に吸収されたのかを尋ねます。チームがどうやってそれを知るかを話し合います。ファシリテーターは、上位のフォールスルーの話題を直すために確保するキャパシティの割合のような、具体的なコミットメントを求めてください。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、セルフサービスを成功させるものの多くを所有します。明確なエラーメッセージ、使いやすいフォーム、プロダクト内のヘルプ、チケットを起こさずにタスクを行える能力。また、パイプラインとインフラのコードの中にある自動化も所有します。彼らにとって有用な測定値は、自分たちの機能についてのセルフサービスの成功と、取り除くべきトイルとして扱う、リリースと環境の作業に残る手作業の手順です(トピック 2.8「DORAメトリクス」を参照)。フォールスルーの話題を、プロダクトバックログとして読むべきです。
サービスと運用のチーム
運用チームは、自動化の資産とスタッフ対応の切り戻し先を担います。自動化の信頼性、維持の負荷、残る手作業の時間を追跡し、残るより難しい仕事のために罰せられることなく、レベルの分布を見るべきです。エージェントには、どのリクエストが良い自動化の候補かを相談します。本当の摩擦がどこにあるかを知っているからです。フローとリクエストの種類ごとに報告し、エージェントごとには決して報告しません。
リーダーシップとガバナンス
リーダーはデフレクションをコスト削減の数字として扱いたくなります。より良い要求は、ユーザーのアウトカム、あらゆる見積もりの背後の方法、自動化の信頼性です。ガバナンスは、候補一覧、自動化された各フローのオーナー、廃止の規則を期待するべきです。リーダーはまた、目標を満たすためにスタッフ対応の経路が隠されないよう守るべきです(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。
顧客とユーザー
ユーザーは、自分の仕事を進めたいと思っています。多くは、機能するときにはセルフサービスを好み、機能しないときに閉じ込められることをほぼ全員が嫌います。彼らの体験は、退出の時点での労力とアウトカムの質問、失敗した試みが素早く人につながったかによって、最もよくとらえられます(トピック 6.4「ユーザー体験と従業員体験」を参照)。アクセシビリティのニーズや限られた自信を持つユーザーは、平均的なユーザーにしか機能しないポータルへの早期の警告です。
実践:サービスマネジメントの例
中規模のオンライン小売業者のIT部門が、サービスデスク、プラットフォームチーム、複数のプロダクトチームを運営しています。この例の数字は例示です。
部門は、ガイド付きのパスワードのリセット、ソフトウェアのアクセスリクエストのフロー、一般的な質問のためのチャットボットを備えた、再設計されたポータルをローンチします。三か月後、ポータルのレポートは、セッションの62パーセントがチケットなしで終わっていることを示し、マネージャーがそれを「デフレクション」と呼んで70パーセントの目標を設定することを提案します。サービスデスクのリーダーは不安です。電話してくる人々が「最初にポータルを試した」と言うとエージェントが報告しているからです。
チームは測定値をレビューします。セルフサービスの成功を、7日以内に同じ話題でスタッフが対応する問い合わせがない、完了したアウトカムとして定義します。その定義では成功率は62パーセントではなく48パーセントで、アクセスリクエストのフローのフォールスルー率は31パーセントです。フォールスルーした問い合わせ40件の抽出を読むと、ほとんどのユーザーが、似た二つのカタログ項目のどちらを選ぶべきか分からず、チャットボットが廃止されたツールについての質問に答えていたことが分かります。
チームは三つの決定を下します。第一に、見出しの測定値をセルフサービスの成功にし、見積もられたデフレクションは、アクティブユーザー1,000あたりの問い合わせに基づく四半期ごとの見積もりとしてのみ示し、デフレクションには目標を設定しません。第二に、似た二つのカタログ項目を統合し、チャットボットの内容を修正し、上位二つのフォールスルーの話題をオーナー付きで改善のバックログに加えます。第三に、プラットフォームのエンジニアが中央値25分(例示)かけて月に約40回(例示)行う、テスト環境を作る手作業のプロセスを、自動化の候補一覧に加えます。
プラットフォームチームは、四半期のうちに環境のフローを自動化します。悪用のリスクはすぐに現れます。フローの網羅率は上がりますが、失敗と手戻りの率は、8回に1回(例示)の実行で手作業の修復が必要であり、その修復が「計画メンテナンス」として記録されていたことを示します。チームは修復された実行を失敗の数に加え、実行をインシデントのレコードに結び付け、フローを毎月レビューすることに合意します。次のレビューで、成功率は57パーセント(例示)に上がり、フォールスルー率は下がり、残る問い合わせがより難しいためにサービスデスクの処理時間はわずかに上がります。ITの責任者は、上昇を低下と読まないよう、処理時間をレベルの分布とともに示すことに合意します。
アジャイル、AI、自動化、アナリティクス
アジャイル
ポータルは実在の人々が使うプロダクトなので、ユーザーのフィードバックとともに小さな段階でセルフサービスを改善します。注意点は、ポータルファーストの義務化が、採用を上げながら、人を必要とするユーザーを苛立たせうることです。
AI
AIのチャットと検索は、セルフサービスの量と見積もられたデフレクションを上げえますが、デフレクションされた問い合わせは未解決の問題かもしれません。デフレクションを、ユーザーの回答または戻らない窓で測ったセルフサービスの成功率と、人へのフォールスルー率と組にしてください。注意点は、自信を持って誤って答えるモデルが、のちに戻ってくる問い合わせを生むことです。
自動化
自動化を、網羅率、失敗と手戻り、取り除く手作業の時間で測ります。すべての自動化された操作を、監査してロールバックできるよう記録します。注意点は、網羅率の数字が簡単なタスクを自動化することを報いるので、難しいものも追跡することです。
アナリティクス
成功、フォールスルー、再問い合わせを、件数とともに、リクエストの種類別に一つのページに示します。これが情報を与える判断は、次に何を自動化するかです。注意点は、デフレクションは見積もりなので、そうラベルし、ユーザーの抽出で検証することです。
業種別の視点
スタートアップ。 創業者は、ユーザーと話すことで、貧弱なセルフサービスの経路を直せることがよくあります。一問の退出時の質問と実際のセッションの数回の読み取りで成功を測り、最も多くの人を妨げる二、三のタスクを自動化します。書かれた回答が良くなる前に、ボットを作るのは避けてください。
中小企業。 一人が全員のITを運営することがあり、セルフサービスは主に良い短いガイドと共有のリクエストフォームを意味します。アカウント設定とパスワードのリセットの自動化は、誰かが各フローを所有していれば、素早く元が取れます。そうでなければ、オーナー自身のスタッフがシステムを迂回するので、スタッフ対応の経路は分かりやすく保ちます。
大企業。 規模は、便益と悪用の両方を大きくします。事業部門間で定義を標準化し、中央の候補一覧と自動化の台帳を保ち、サービスとカタログ項目ごとに報告します。非常に異なるユーザー母数に仕える部門を比較するのは避けてください。
政府・公共部門。 アクセシビリティ、言語へのアクセス、デジタルのチャネルを使えない人々に仕える義務は、設計上の入力であって、追加ではありません。支援付きの経路を利用可能に保って測り、人々に影響する自動化された判断を文書化し、各自動化されたフローを誰が所有するかについての監査の質問を想定します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、繰り返しの問い合わせの減少、ユーザーへのより速い結果、日常的なタスクのより安定した実行、改善の仕事のためのより多くのキャパシティです。コストの側には、ポータルと内容の構築と維持、セッションをチケットに結合するための連携とデータの作業、自動化プラットフォーム、自動化された各フローを書き、テストし、所有する時間が含まれます。スタッフの時間の抽出と短い退出時のアンケートは安価で、必要な証拠の大半を提供します。
見返りは、自分たちのデータから論じるべきです。手作業の時間と量を使って、自動化が取り除く労力を見積もり、維持と失敗のコストを差し引き、結果を前提付きの範囲として報告します。セルフサービスについては、フォールスルー率と抽出されたアウトカムを使って、ユーザーが単に追い返されたのではなく助けられたために避けられた問い合わせの割合を示します。ベンダーや調査からデフレクションや節約のパーセンテージを持ち込んではいけません。まず自分たちのベースラインを測ります。自動化の総保有コストには、周囲のシステムが進化するにつれて必要になる変更が含まれるので、そのための予算を取ってください。
アンチパターンと落とし穴
- チケットのないセッションを成功として数える。 助けと放棄を区別できない。成功をアウトカムで定義し、フォールスルーと退出時のフィードバックで検証する。
- デフレクションの目標。 問い合わせの経路を隠すことを報いる。デフレクションは見積もりとして使い、目標はユーザーのアウトカムに置く。
- 電話番号やチャットを隠す。 人に届けないユーザーは労力が増え、信頼を失う。スタッフ対応の経路を見えるようにし、それに届くまでの時間を測る。
- プロセスを理解する前に自動化する。 フローが混乱を高速でエンコードする。まず手順書を文書化して単純化し、安定した版を自動化する。
- オーナーのいない自動化。 オーナーのいないフローは静かに劣化し、悪いときに失敗する。各フローに、オーナー、テスト、監視、廃止の規則を与える。
- 失敗のコストを無視する。 測定されない手戻りを伴う高い網羅率の数字は、隠れた負債である。網羅率とともに失敗と手戻りの率を報告する。
- 処理時間の上昇を低下と読む。 シフトレフトが成功した後は、残る仕事がより難しい。時間の測定値の隣に、レベルの分布と区分の構成を示す。
- デフレクションされた問い合わせでエージェントに順位を付ける。 ユーザーを押しのけることを生み、データを損なう。サービスとフローごとにのみ報告する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| セルフサービスの成功とデフレクション | ポータルの訪問とチケット数が報告される。アウトカムの定義がない | 一部の経路で成功が定義されている。デフレクションが方法なしで引用される | 書面の成功の定義が一つあり、フォールスルーを測り、デフレクションが見積もりとラベルされる | 成功とフォールスルーを退出時のフィードバックとともに傾向として追い、デフレクションを比較で見積もる | アウトカムがプロダクトチームや供給者と共有され、フォールスルーの話題が資金付きの修正を導く |
| 自動化の網羅率と信頼性 | 自動化は場当たり的で、候補の一覧がない | 一部のフローが個々のチームで自動化され、失敗は非公式に処理される | 自動化された各フローについて、候補一覧、オーナー、失敗の測定値が定義されている | 網羅率、失敗率、維持の労力を定期的にレビューして資金を付ける | 自動化がチームと供給者の間で調整され、フローが日常的に廃止、改訂される |
| シフトレフトの効果と利用 | 量が文脈なしに報告される | 少数のチームがレベルの分布を追跡している | レベルの分布と区分の構成が処理時間の隣に報告される | 解放されたキャパシティが計画、追跡され、リーダーシップが構成の効果を正しく読む | キャパシティと学びが、組織全体でサービスとカタログの設計にフィードバックされる |
チェックリスト
- セルフサービスの成功が、書面の開始、停止、除外とともに、アウトカムで定義されている。
- 上位のセルフサービスの経路について、フォールスルー率が測定されている。
- あらゆるデフレクションの数字が、方法を述べ、見積もりとラベルされている。
- デフレクションには目標が設定されていない。
- 主要な経路に、一問の退出時の促しまたは同等のフィードバックがある。
- 書面の自動化の候補一覧があり、毎四半期レビューされている。
- 自動化されたすべてのフローに、オーナー、監視、失敗と手戻りの測定値がある。
- 上位のリクエストの種類について、手作業の時間が抽出されている。
- レベルの分布が、処理時間と初回問い合わせでの解決の隣に示されている。
- スタッフ対応の経路が見えるようになっており、その利用までの時間が確認されている。
- 上位のフォールスルーの話題が毎月レビューされ、オーナーに送られている。
- このトピックのどのメトリクスも、エージェントごとに報告も目標設定もされていない。
AIプロンプト
デフレクションをどう見積もっているかを確認する。
私たちは [数] 人のアクティブユーザーに [サービスの種類] を運営しています。デフレクションを [現在の計算の説明] として報告しており、データは [ツール] から来ています。期間中の変化:[リリース、キャンペーン、障害、スタッフの変更]。方法をレビューし、効果を過大または過小に見積もりうる箇所を説明してください。私が説明するデータだけを使って、ホールドアウトやアクティブユーザー1,000あたりの問い合わせのような、より良い比較を提案してください。ベンチマークの値や目標を捏造しないでください。前提と、見積もりを固めるために必要なデータを列挙してください。
抽出からフォールスルーの話題を分析する。
以下は、同じ話題についてのセルフサービスの試みの後に続いた、[サービス] からのスタッフ対応の問い合わせ [数] 件で、項目は [項目の一覧] とユーザーの説明です。ありそうな原因(内容のギャップ、分かりにくいフォーム、欠陥、アクセスの欠如、ユーザーの好み)でグループ化し、個人ではなくパターンを報告してください。どの原因のグループをナレッジのオーナー、プロダクトチーム、問題管理に渡すかを提案してください。示したテキストを超えて推測しないでください。前提と、判断できなかったことを列挙してください。
[個人情報を除いた問い合わせを貼り付け]
自動化の候補を順位付ける。
以下は、[チーム] のリクエストとインシデントの種類の一覧です:[種類、月次の量、手作業の分の中央値、ばらつき、誤った場合のリスク]。自動化の候補の順位を提案し、維持の負担と失敗の影響を含め、それぞれの理由を説明してください。手作業のままにすべき項目に印を付けてください。私が示した数字だけを使い、節約の数字を捏造しないでください。前提と、コミットする前に私が答えるべき問いを列挙してください。
自動化されたフローの防護柵を設計する。
[サービス] の [フロー名] を自動化しようとしています。現在の手作業のプロセス:[手順]。ツール:[自動化プラットフォーム]。追跡するメトリクス(網羅率、失敗と手戻り、失敗した実行の検出までの時間、維持の労力)、それぞれがどう悪用されうるか、それぞれの防護柵を提案してください。安全な手作業の切り戻し先と廃止の基準も含めてください。しきい値やベンチマークを捏造しないでください。前提と、私たちの環境について知る必要のあることを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:導入しようとしているセルフサービスまたは自動化のメトリクスについて、関連するトピックと防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの編集が、すべてのメトリクスを悪用の手口と防護柵と組にしたままかを確認するときに使います。
要点
- セルフサービスの成功はユーザーのアウトカムなので、ユーザーの側から定義し、フォールスルーと退出時のフィードバックで検証する。
- デフレクションは見積もりなので、方法を述べ、目標から外す。
- 自動化の網羅率は、信頼性、維持、レビュー済みの候補一覧なしにはほとんど意味がない。
- シフトレフトは残る仕事の難しさを上げるので、処理時間をレベルの分布と区分の構成とともに読む。
- フロー、サービス、カタログ項目を測り、エージェントは測らず、スタッフ対応の経路を見えるように保つ。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016 (chapter on eliminating toil).
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Request Management, 2020.
- Wikipedia, Self-service software.
- Wikipedia, Chatbot.
- Wikipedia, Automation.
- Wikipedia, ITIL.
- Wikipedia, Infrastructure as code.
- Wikipedia, Runbook.