顧客満足度のメトリクス
満足度のスコアは、サービスの一瞬について人々がどう感じたかを教える。したがって、適切なタイミングで短く誠実な質問をし、数字の前にコメントを読み、スコアを決してノルマにしない。
概要と動機
運用の測定値は、サービスが何をしたかを語ります。満足度の測定値は、それを受け取るのがどんなものだったかを語ります。チケットは目標時間内にクローズされても、ユーザーを行き詰まらせたままにしえますし、復旧したサービスも、悪い一週間のように感じられることがあります。アジャイルのチームは、各インクリメントの終わりに同じことを問います。これは、それが対象とした人々の助けになったか。ITIL によって体系化されたITサービスマネジメント(ITSM)は、サービスが顧客と共創する価値を通じてそれを問います。満足度の測定は、二つの問いが出会う場所です。
顧客満足度(customer satisfaction)は、製品とサービスが顧客の期待にどれだけ応える、または上回るかの測定値です。サービスの仕事では通常アンケートで集められ、このトピックが扱う三つのよくある形があります。
- 顧客満足度スコア(CSAT): 特定のやり取りやサービスの評価で、通常は5段階の尺度で、満足した回答の割合として報告される。
- ネットプロモータースコア(NPS): 回答者が会社、製品、サービスを推奨する可能性についての一つの質問に基づく。9または10と答えた回答者がプロモーター、0から6と答えた回答者がディトラクターで、スコアはプロモーターの割合からディトラクターの割合を引いたものである。ネットプロモータースコア(net promoter score)は、フレッド・ライクヘルドが2003年のHarvard Business Reviewの記事で広めた。
- 顧客努力スコア(CES): 何かを成し遂げるのにどれだけの労力がかかったか、あるいはどれだけ容易だったかの評価。その著者たちは、労力を減らすことのほうが、人々を喜ばせるよりも忠誠心をよく予測すると論じた。その主張を、決着済みの事実ではなく、自分自身の文脈で試す仮説として扱う。
社内ITの場面では、「顧客」は同僚であり、アンケートはチケットやリリースの後の短い質問です。原則は同じで、倫理上の義務はより大きくなります。尋ねる相手が明日あなたと一緒に働くからです。
アンケートは、調査方法論(survey methodology)の一形態で、質問の言い回し、タイミング、サンプリングが答えをどう変えるかについて、何十年もの知見を持つ分野です。それを飛ばすチームは、サービス品質と無関係な理由で動くスコアを作りがちです。グッドハートの法則(Goodhart's law)からの防護柵は、ここでは特に強く当てはまります。スタッフが高いスコアで報われると、彼らはそれを求めることを学びます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
このトピックは、満足度の測定値を誠実に保つための定義、データの衛生、習慣を与えます。次のトピックは、それらを体験のより完全な見方へ拡張します(トピック 6.2「体験レベル合意」を参照)。
主要な原則
- 特定の瞬間について尋ねる。 クローズされたチケットやリリースに結び付いたアンケートは、一般的な年次の質問より鋭い答えを与える。
- 短く保つ。 一つの評価と一つの自由記述は、ほとんどの人が飛ばす十の質問に勝る。
- コメントを読む。 スコアはどれだけかを教え、言葉はなぜかを教える。
- 誰が答えたかを報告する。 回答率と回答者の構成のないスコアは、噂である。
- 輪を閉じる。 悪い体験を報告した人々は、返事を聞くべきである。
- 時間とともに自分自身と比較する。 企業間のベンチマークは、方法、対象者、文化の違いを隠す。
- 回答者を守る。 必要なものだけを集め、どう使うかを述べ、それで個人に順位を付けない。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| CSAT | 定義されたやり取りの種類について、満足した回答の割合 | 5段階の尺度で4または5と評価した回答 ÷ 有効な回答 | パーセント | チケットまたはリリースに結び付いたやり取り後のアンケート | サービスデスク、インシデント管理、サービスレベル管理 | ステークホルダーレビューのフィードバック | 毎週または毎月 |
| NPS | 定義されたサービスと対象者について、プロモーターからディトラクターを引いたもの | 9または10と答えた割合 − 0から6と答えた割合 | ポイント、範囲は−100から100 | 固定の間隔で送られる関係性のアンケート | 継続的改善、サービスレベル管理 | プロダクトの成果レビュー | 四半期ごと |
| CES | 何かを成し遂げるのがどれだけ容易だったかの評価の平均または好意的な割合 | 好意的な回答 ÷ 有効な回答、または評価の平均 | パーセントまたは平均 | チケット、リクエスト、リリースに結び付いたやり取り後のアンケート | サービスリクエスト管理、サービスデスク | リファインメントでのユーザビリティのフィードバック | 毎月 |
| アンケートの回答率 | 招待したユーザーのうち回答した割合 | 受け取った回答 ÷ 配信したアンケート | パーセント | アンケートツールとチケットシステム | 測定とレポート | レビューでのフィードバックへの参加 | 毎月 |
| 回答者の網羅性 | 回答者の構成が、合意した観点でユーザーの母集団にどれだけ近いか | 各グループについて、回答者のうちそのグループの割合を、ユーザーのうちそのグループの割合と比較 | パーセントポイント | ユーザーディレクトリまたはチケットのデータに結合したアンケートツール | 測定とレポート | ステークホルダーマップ | 四半期ごと |
| コメントのテーマ別割合 | 自由記述のコメントのうち、各テーマに割り当てられた割合 | テーマ内のコメント ÷ コード化されたコメント | パーセント | コード化されたアンケートのコメント | 継続的改善 | レトロスペクティブのテーマ | 毎月 |
| ディトラクターへのフォローアップ時間 | 低い評価から、ユーザーとの文書化された接触までの時間 | フォローアップのメモのタイムスタンプ − 低い評価のタイムスタンプ、中央値と85パーセンタイル | 時間または日 | アンケートツールとチケットシステム | インシデント管理、継続的改善 | 作業合意のフィードバックループ | 毎月 |
時計と境界は重要です。CSATとCESは、一般的な気分ではなく、特定のやり取りへの回答だけを数えます。ディトラクターへのフォローアップ時間は、誰かが最初にそれを読んだときではなく、低い評価が記録された時点で始まります。テストのレコードと、測定されるチームのメンバーからの回答は除外します。
推奨事項
道具を設計する
1. 目的ごとに一つの質問を選ぶ。 やり取りがどうだったかを知るためにやり取りの後にCSATを、ユーザーがしなければならなかったことの後に摩擦がどこにあるかを知るためにCESを、全体の関係を知るために定期的な間隔でNPSを使います。三つを一つのフォームに混ぜると、アンケート疲れと混乱した結果を招きます。一つしか賄えないなら、下す必要のある判断に合うものを選びます。
2. 中立で具体的な言葉遣いで書く。 「私たちのサービスはどれだけ素晴らしかったですか?」よりも、「ご依頼の対応にどれだけ満足されましたか?」のほうが良い言い方です。速さと親切さを同時に尋ねるような二重の質問は避けます。一貫した尺度を提供し、その両端にラベルを付け、答えの順序を毎回同じに保ちます。リッカート尺度(Likert scale)はよくある設計で、ラベルの小さな変更が結果をずらしうるので、気軽に変えないでください。
3. 自由記述の質問を一つ加える。 「評価の主な理由は何ですか?」は、回答者にほとんど負担をかけず、チームに最も豊かなデータを与えます。コメントはスコアを説明し、数字が示せない問題を明らかにし、エージェントに学ぶ材料を与えます。定期的なレビューで、可能なら声に出して読みます。
4. アンケートを出来事の近くにタイミングを合わせる。 記憶が新しい間に、チケットが解決した、あるいはリリースが着地した直後に質問を送ります。高い評価を望むエージェントが、クローズの瞬間に送ってはいけません。システムが設定する短い遅延は、答えを指導する誘惑を取り除きます。
数字を信頼できるものにする
5. すべてのスコアの隣に、回答率と回答者の構成を報告する。 ユーザーの4パーセントからの満足度のスコアは、回答者についての記述です。誰が答えたかを、リージョン、サービス、リクエストの種類など、すでに持っている属性を使って、誰が招待されたかと比較します。大きなギャップは、スコアに注意書きが必要なことを意味します。代表性は回答バイアス(response bias)の研究の中心的なテーマで、サービスチームにとっての要点は、単に見てみることです。
6. 不確実性を示す。 小さな標本は大きく振れます。月次のCSATの隣に示す誤差の範囲(margin of error)または信頼区間(confidence interval)は、チームがノイズに反応するのを防ぎます(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。チームの期間内の回答が数十件未満なら、パーセンテージではなく、件数を報告し、コメントを読みます。
7. 誰に尋ねるかの選別を避ける。 チケットをクローズした人がアンケートを送るかどうかを決めると、スコアは間違った理由で上がります。アンケートを、対象となるすべてのやり取りに自動で、あるいは量が多ければ無作為の標本に送ります。除外を含む規則を、メトリクス台帳に文書化します。
8. 人の満足度と、人のパフォーマンスを分ける。 満足度は、個々のエージェントが制御しない要因に依存します。製品の品質、キュー、ポリシー、ユーザーの気分。エージェントをCSATで順位付けしてはいけません。チームとサービスのレベルで使い、コメントは、エージェントが歓迎するコーチングの対話に使います。
聞いたことに行動する
9. 不満なユーザーとの輪を閉じる。 悪い体験を報告した人々に連絡し、何が助けになったかを尋ね、学んだことを記録します。フォローアップ時間の目標を設定し、フォローアップを、スコアを変えてもらう依頼ではなく、対話にします。依頼に応じてスコアを変えるのは歪曲なので、フォローアップは、問題を直し、学ぶことを目指すべきです。
10. コメントをテーマにコード化して追跡する。 「同じことを繰り返さなければならなかった」「対応が遅い」「修正が長続きしなかった」「連絡が不明確」「親切で役に立った」のような、テーマの短い一覧に合意します。毎月、手作業またはツールで抽出をコード化し、人に結果を確認してもらいます。テーマの傾向は、スコアが動く前に問題を示すことがよくあります。
11. 満足度を運用データに結び付ける。 CSATを、解決時間、再オープン率、問題あたりの問い合わせ数と比較します。組み合わせは、速さが満足度を買っているのか、チームが速くて間違っているのかを教えます。規則を証明するためではなく、調査すべき物語を見つけるために使います。
12. ベンチマークは慎重に扱う。 満足度のスコアについての、公表された、あるいはベンダーが提供する数字は、方法、対象者、リージョンに依存し、自分自身の履歴のほうが良い比較対象です。外部の比較を使うなら、その出典、方法、日付を述べ、自分の方法が合っているかをテストせずにそこから目標を設定してはいけません。ベンチマークを決して作り出してはいけません。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| CSAT | エージェントがユーザーに最高点をつけるよう指導する、簡単なチケットの後にのみアンケートを送る、難しいチケットをアンケートなしでクローズする | 対象となるすべてのチケットへの自動アンケート。回答率と回答者の構成。再オープン率 |
| NPS | 好意的なユーザーにだけアンケートを送る、良い出来事の後にアンケートのタイミングを合わせる、対面で尋ねる、尺度の点のラベルを付け替える | 台帳にある固定の対象者とスケジュール。回答者の網羅性。ディトラクターのコメントを読む |
| CES | 作業が別の場所に移るようにフォームのステップを取り除く、スムーズなリクエストの後にのみ尋ねる | 問題あたりの問い合わせ数。サービスリクエストの履行時間と手戻り(トピック 3.5「サービスリクエスト履行のメトリクス」を参照) |
| アンケートの回答率 | 答えそうな人だけを招待する、毎回異なるリストにアンケートを送る | 書き下された招待の規則。招待された人をユーザーの母集団と比較する |
| 回答者の網羅性 | 到達しにくいグループを比較から落とす、言わずに再重み付けする | 観点と方法を公開する。重み付けした結果の隣に、重み付けなしの結果を示す |
| コメントのテーマ別割合 | 悪いテーマを避けるようコメントをコード化する、どれも大きく見えないようテーマを統合する | 第二の人が抽出をコード化する。テーマの一覧を安定に保ち、変更を記録する |
| ディトラクターへのフォローアップ時間 | ユーザーに連絡せずにメモを記録する、より良いスコアを求めるためにユーザーに連絡する | フォローアップのメモの内容を確認する。次のアンケートで、誰かが連絡したかをユーザーに尋ねる |
健全な読みは、安定した回答率、ユーザーの構成に近い回答者の構成、ユーザーがコメントで述べる体験とともに動くスコア、そして誰かが返事をくれたと言う不満なユーザーです。
トレードオフ:長所と短所
| 測定値 | 強み | 弱み |
|---|---|---|
| CSAT | 単純で、素早く、特定の瞬間に結び付く | 簡単に水増しされる。関係全体についてはほとんど語らない |
| NPS | 質問は一つで、時間とともに追跡しやすい | 理由を隠す。一つの数字が広い分布を圧縮する。文化の違いが尺度に影響する |
| CES | チームが取り除ける摩擦を直接指す | あまり広く理解されていない。証拠には異論がある |
| 年次の長いアンケート | 豊かで、多くのサービスをカバーする | 遅く、回答が少なく、行動しにくい |
| コメントのみ | 具体的で、記憶に残る | 時間とともに比較しにくい。最も声の大きい人に弱い |
| 行動のシグナル | アンケートの負担なし。客観的 | 感情をとらえない。原因を誤読しうる |
散文での答えは、短いやり取りのアンケート、時折の関係性のアンケート、コメントを組み合わせ、三つすべてを運用データとともに読むことです。満足度の測定値は、ユーザーとチームの間の対話として機能します。スコアボードとしては失敗します。
チームで話し合う問い
1. 低いスコアと高いスコアを、私たちはどう扱うか? チームに、実際に、低いスコアが最後に変更につながったときのことを述べてもらいます。それから、高いスコアについても同じことを尋ねます。答えが曖昧なら、アンケートは儀式です。ファシリテーターは、データから行動への具体的な結び付きを探し、そのリンクを記録する場所を一つ合意してください。
2. 私たちのアンケートに答えるのは誰で、答えないのは誰か? チームに、最も声を聞かないユーザーのグループに名前を挙げてもらいます。招待リストとユーザーディレクトリと比較します。対話は、最も静かなユーザーが最も難しい問題を抱えていることを明らかにすることがよくあります。今四半期に、短い電話や別の経路など、静かなグループに届く方法を一つ合意します。
3. やり取りのどの時点で尋ね、誰が決めるか? 解決からアンケートまでの経路をたどります。人がアンケートを送るかどうか、いつ、どのように送るかに影響を与えられるすべての点を見つけます。これらの点のどれを自動化すべきかを合意します。ファシリテーターは、非難ではなく設計の問いとして、エージェントがスコアを守るために何をしうるかを尋ねられます。
4. ディトラクターは、回答した後、私たちから何を聞くか? 最近の低い評価を数件見て、フォローアップのメモを読みます。ユーザーが聞いてもらえたと感じるかを尋ねます。評価の変更を求めずに、フォローアップを有用にする方法を話し合います。誰がフォローアップを所有し、目標時間が何かを決めます。
5. 先月のコメントのうち、私たちの行動を変えたものはどれか? 無作為に10件のコメントを印刷または表示します。どれに行動し、どれにしなかったか、なぜかをチームに尋ねます。これにより、言葉に焦点が保たれ、それを読む習慣が築かれます。来月はテーマをコード化し、傾向をレビューすることに合意します。
6. 私たちが比較したくなる公表された数字はどれで、その比較は公正か? 数字、その出典、方法、対象者に名前を挙げ、それぞれを自分たちのものと比較します。それが判断を変えるかを尋ねます。変えないなら、脇に置いて自分たちの傾向を使います。ファシリテーターは、答えをメトリクス台帳に記録してください。
四つの視点
プロダクトとデリバリーのチーム
プロダクトチームは、満足度のフィードバックを使って次に何を直すか、作るかを決め、リリース後の短いアンケートは、次の四半期のレビューより速い読みを与えます。デリバリーのチームは、コメントをバックログアイテムに結び付け、何が変わったかをユーザーに示し、スコアをデリバリーの目標として扱うのは避けるべきです。リリース後の労力や混乱のコメントの増加は、アンケートではなく、リリースを見るべきシグナルです。
サービスと運用のチーム
サービスデスクはやり取りのデータの大半を集め、スコアの圧力を最も感じます。運用チームは、アンケートを自動で送り、サンプリングの規則を公開し、コメントをチームの学びに使うべきです。素早いクローズが良い成果に見えないよう、CSATを再オープン率と繰り返しの問い合わせの隣に保つべきです(トピック 3.1「サービスデスクのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、悪用の風土を作ります。「年末までに満足度95パーセント」という依頼は、スタッフに数字を守ることを教えます。リーダーは、回答率、回答者の構成、上位のコメントのテーマを求め、コメントが明らかにする修正に資金を付け、満足度を個人の報酬や順位付けから外すべきです。ガバナンスは、外部に報告するあらゆる数字について、述べられた方法を期待するべきです。
顧客とユーザー
ユーザーは、自分の時間と率直さを与えます。彼らは、短いアンケート、尋ねる明確な理由、答えがどう使われるかの約束、問題を報告したときの返事に値します。アンケートが匿名でないなら、そう述べてください。何も変わるのを見ないユーザーは答えるのをやめ、その沈黙は満足に見えるでしょう。
実践:サービスマネジメントの例
地域の病院のIT部門が、サービスデスクと、臨床アプリケーションを構築する小さなチームを運営しています。以下の数字は例示です。
サービスデスクの月次のCSATは92パーセントで、クローズされた約3,100件のチケットのうち140件の回答、回答率4.5パーセントから計算されています。リーダーシップは満足しています。サービスマネージャーはコメントを読み、好意的な回答の多くが管理部門のスタッフからで、夜勤の看護師はほとんど現れないことに気づきます。彼女は回答者の構成をユーザーディレクトリと比較し、夜勤のスタッフがユーザーの約18パーセントで、回答者の3パーセントであることを見つけます。
チームは三つの変更を行います。アンケートは、評価と一つのコメントからなる二問のフォームになり、解決の4時間後に、すべてのチケットに対して、チケットシステムから自動で送られます。シフト勤務のスタッフには、テキストメッセージ版が提供されます。月次のレポートは今、CSATを、回答率、信頼区間、ユーザーの構成に対する回答者の構成、上位五つのコメントのテーマとともに示します。
二か月以内に、回答率は約11パーセントに上がり、CSATは84パーセントに下がります。コメントのテーマは、「かけ直さなければならなかった」と「修正が長続きしなかった」を上位二つの不満として示し、臨床システムに集中しています。IT責任者は取締役会に、古いスコアは誰が答えたかを反映しており、新しいスコアのほうが良い指針だと伝えます。プロダクトチームは、かけ直しの背後にある繰り返される障害を直すバックログアイテムを加え、サービスデスクは評価1または2をつけた各ユーザーに、1営業日以内に連絡を始めます。次の四半期に、臨床システムの繰り返しの問い合わせ率は下がり、「かけ直さなければならなかった」のコメントの割合もそれとともに下がります。チームは判断をログに記録し、CSATの目標は設定しません。
アジャイル、AI、自動化、アナリティクス
アジャイル
継続的に、少量ずつフィードバックを求め、定期的な改善の対話のたびに、ステークホルダーとコメントをレビューします。注意点は、アンケート疲れが回答率を下げ、誰が答えるかを偏らせることです。
AI
AIは大量のコメントとセンチメントを要約でき、AI支援のやり取りは、人が扱うものとは異なって評価されるかもしれません。AIが扱った問い合わせと人が扱った問い合わせの満足度を別に報告し、スコアをコメントのテーマと組にし、人に抽出を読ませます。注意点は、センチメントのモデルがトーンや言語を誤読しうるため、手作業の抽出に照らして確認することです。
自動化
選んだ瞬間にアンケートを自動で起動し、アンケートのプロセスを回答率と回答者の構成で測ります。注意点は、成功した問い合わせの後のみに自動アンケートを送ると、スコアが上方に偏ることです。
アナリティクス
スコアを回答数と回答者の構成とともに示し、数字の前にコメントを読みます。これが情報を与える判断は、どの旅路を改善するかです。注意点は、少数の回答に対するスコアは大きく動くため、件数を示すことです。
業種別の視点
スタートアップ。 ユーザーとの密な接触により、最初はアンケートより短い会話のほうが優れています。量が増えたら一問のアンケートを加え、すべてのコメントを読み続けます。意味を持つのに十分な回答を得る前に、スコアを公表したくなる衝動に抵抗します。
中小企業。 一人の不満な顧客は、スコアより重要でありうるものです。アンケートを人々に話しかけるきっかけとして使い、フォローアップの記録を保ちます。ベンダーが提供する満足度のレポートは、方法について懐疑的であるに値します。
大企業。 規模はセグメントと、集約したくなる誘惑をもたらします。スコアをサービスと対象者別に保ち、方法を公開し、異なるサービスを一つの数字に平均するのは避けます。自動送信のある安定したアンケート基盤を使い、チーム間のランキングは慎重に扱います。
政府・公共部門。 公的機関には、ユーザーのフィードバックを集め、結果を公表する正式な義務が、アクセシビリティとプライバシーについての義務とともにしばしばあります。アクセシブルなアンケートの経路を提供し、回答者の身元を守り、結果とともに方法を公開します。満足度の数字が契約や法定のレポートに現れるところでは、正確に定義し、その隣に防護柵を示します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
直接のコストは、多くのチケットシステムがすでに含んでいるアンケートのツール、コメントをレビューしてテーマをコード化するための毎月1、2時間、不満なユーザーにフォローアップする時間です。より大きなコストは、聞いたことに行動する規律です。始めるのに新しい基盤は要りません。
見返りは、ユーザーが価値を置く修正と、避けられた無駄として現れます。コメントは摩擦がどこにあるかを教えるので、それを扱うためにスタッフを増やすのではなく、繰り返しの問い合わせと失敗した修正の原因を取り除けます。誰が答えていないかのより良い見方は、自己選択された少数に基づく判断から守ります。便益を、見つけて取り除いた問題の観点で記述し、自分自身のベースラインを前後で測ります。繰り返しの問い合わせ率、再オープン率、最初の有用な応答までの時間。プログラムを正当化するために、作り上げたパーセンテージを使ってはいけません。数字が必要なら、自分たちのデータから構築してください。
アンチパターンと落とし穴
- スコアを目標として扱う。 誰に尋ねるかの選別や答えの指導によって満たされる。問いとして使い、コメントと運用の測定値と組にする。
- 簡単なチケットの後にだけアンケートする。 対象となるすべてのやり取りに、自動で送る。
- CSATでエージェントに順位を付ける。 難しい事例を引き受ける人を罰する。チームとサービスの見方を使い、コメントから学ぶ。
- より良いスコアを求める。 低い評価へのフォローアップは、問題を直すことを目指すべきである。変更を求めない。
- 回答率のないスコアを報告する。 常に、誰が何人答えたかを示す。
- 質問を変えて傾向を保つ。 変更を記録し、グラフに途切れを印す。
- 方法なしにベンチマークを持ち込む。 まず自分自身の履歴と比較する。
- コメントを集めて決して読まない。 カレンダーにレビューを入れ、オーナーを割り当てる。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 道具とサンプリング | 時折のアドホックなアンケート | 一部のサービスにアンケートがあり、手で送られる | 対象となるすべてのやり取りに自動で送られる短いアンケート | サンプリングの規則、文言の変更、除外が記録されレビューされる | 道具がチームと供給者の間で整合し、ユーザーとともに見直される |
| データの質 | スコアのみ | 回答率が報告される | 回答率、回答者の構成、不確実性が報告される | 回答者の網羅性が管理される。コード化が第二の人によって確認される | ユーザーが解釈に関わる、サービスにまたがる体験の共有された見方 |
| 行動とフォローアップ | スコアは報告されるが、何も変わらない | コメントからの時折の修正 | 目標時間を持つディトラクターへのフォローアップ。テーマの追跡 | テーマが資金の付いた改善の仕事を駆動し、運用データに結び付く | 輪がチームと供給者にまたがって閉じる。ユーザーが何が変わったかを見る |
チェックリスト
- 各アンケートに、述べた目的が一つと、それが情報を与える判断が一つある。
- 質問が短く、中立で、自由記述のコメントを一つ含む。
- アンケートが、対象となるすべてのやり取りに、または文書化された無作為の標本に、自動で送られる。
- すべてのスコアの隣に、回答率と回答者の構成が示されている。
- 不確実性が示され、小さな標本は件数として報告されている。
- 個々のエージェントが満足度で順位付けされていない。
- 名前付きの担当者が、合意した時間内に低い評価にフォローアップする。
- コメントが安定したテーマの一覧にコード化され、毎月レビューされる。
- 文言とサンプリングの変更が記録され、グラフに印されている。
- 回答者に回答がどう使われるかが伝えられ、個人データが保護されている。
AIプロンプト
アンケートの道具をレビューする。
[組織の種類] の [サービスまたはチーム] を運営しています。[出来事] の後に [対象者] に、この文言でアンケートをしています:[質問と尺度を貼り付け]。誘導的な言葉、二重の質問、不明確な尺度、回答者の負担についてレビューしてください。一つの評価と一つの自由記述を保つ、より短い版を提案してください。ベンチマークの値を捏造したり、引用できない研究結果を主張したりしないでください。前提と、文面から判断できなかったことを列挙してください。
アンケートのコメントをテーマにコード化する。
以下は [期間] の [サービス] についての [数] 件の匿名化したアンケートのコメントです:[個人データを除いたコメントを貼り付け]。テーマの短い一覧(八つまで)を提案し、各コメントを一つのテーマに割り当て、あいまいな場合は確信度のメモを付けてください。テーマごとの件数と、テーマごとの代表的な引用を三つ報告してください。個人を特定しないでください。このコード化に頼る前に人が確認すべきことを教え、前提を列挙してください。
代表性を確認する。
[招待数] の招待から [回答数] 件の回答を受け取りました。[観点。例:リージョンやシフト] による回答者:[件数]。同じ観点によるユーザーの母集団:[件数]。二つを比較し、回答者の構成が異なる箇所を述べ、満足度のスコアに付けるべき注意を述べてください。代表されていないグループに届く実際的な方法を二つ提案してください。データを超えて原因を推測せず、前提を列挙してください。
輪を閉じるフォローアップを計画する。
[サービス] で [閾値] 以下の評価をしたユーザーへのフォローアップの短いプロセスを起案してください。誰が連絡するか、どのくらいの時間内か、何を言うか、何を記録するか、評価の変更を求めるのをどう避けるかを含めてください。文脈:[チームの規模、ツール、時間]。前提と、私が述べていないツールに依存するステップを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:満足度のメトリクスを公開する前に、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:改訂したアンケートのメトリクスの項目が、悪用の手口と防護柵を保っているかを確認するときに使います。
要点
- 満足度のスコアは、サービスの一瞬がどう感じられたかを記述するので、アンケートを特定の出来事に結び付け、短く保つ。
- スコアとともに、常に回答率、回答者の構成、不確実性を報告する。
- コメントが数字を説明するので、毎月それを読み、テーマにコード化する。
- アンケートを自動で送り、ユーザーに評価の変更を決して求めない。
- 満足度をチームとサービスのレベルで使い、人に順位を付けるためには決して使わず、外部のベンチマークは慎重に扱う。
- 輪を閉じる:悪い体験を報告した人々は、返事を聞き、変化を見るべきである。
参考文献とさらなる読書
- Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
- Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
- Wikipedia, Customer satisfaction.
- Wikipedia, Net promoter score.
- Wikipedia, Survey methodology.
- Wikipedia, Goodhart's law.
- Wikipedia, Likert scale.
- Wikipedia, Response bias.
- Wikipedia, Margin of error.
- Wikipedia, Confidence interval.