こんにちは。
株式会社AI ShiftのAIチームでデータアナリストを担当している柾屋です。
データアナリストに転向してから約4ヶ月となります。
本日は業務の一環として取り組んだボイスボットの分析結果を共有したいと思います。
そもそも筆者は誰？
本題に入る前に簡単に自己紹介をさせてください。
私は直近まで文系・非エンジニアとしてキャリアを築いてきました。CAに入ってからは業務の中で分析に関わることが多くなり、機会があって22年4月からデータアナリストに転向しました。
<前職>
・マーケティングリサーチ会社のコンサルティングセールスとして、市場リサーチや広告効果の検証などの業務を実施
<CyberAgent>
■アドテク(AmoAd)
・アドネットワークでの広告商品企画・立ち上げ
・運用型広告のコンサル・運用
■AI Shift(チャットボット・ボイスボット)
・カスタマーサクセスチームの立ち上げ
・SEOや広告運用等のマーケティング業務
・tableauでの分析、RPA・GASを活用した効率化業務
・Instagram Botの商品企画、設計・分析
・データアナリストとして機械学習を活用した分析・モデル作成
本記事の背景
近年、カスタマーサポートの分野においてAIツールの導入が飛躍的に増加しています。特に注目を集めているものが、音声認識を活用した自動対話を実現するボイスボット(AI電話など呼び名は様々だが、以下ボイスボット)です。
ボイスボットの登場により受電・架電業務における大幅な効率化が期待されている一方で、オペレーターの対応と比べて、まだまだ機械的な会話が強い印象です。
今回はボイスボットを活用した”より自然な対話”を実現するために、「そもそもどのようにボイスボットは使われているのか？」を明らかにしていきたいと思います。
本記事の内容
この内容に沿って紹介していきます。
ボイスボットを利用するユーザーの特徴は？
ボイスボットを利用したユーザーを対象にいくつかの特徴量を用いて、クラスタリング分析を実施しました。
その結果、大きく3つのユーザーグループに分かれました。
グループ①：完遂グループ
完遂グループの特徴は「解決意欲が高く、忍耐強く、最後まで離脱しない」ことです。このユーザーグループは全ユーザーの中で61.7%を占めています。
このグループは「通話時間」や「質問に答えるまでの時間」が1番長く、平均で1.71回の架電を行っています。
▼完遂グループでの架電回数のヒストグラム
このグループの架電回数のヒストグラムを確認してみると、約65%のユーザーは1回しか架電せず、残りのユーザーは2回以上架電しているようです。
この結果から、”最後まで完遂しているグループ”でも約35%のユーザーは「最初の架電では、離脱してしまっている可能性が高い」ということが分かります。
ボイスボットでの会話シナリオの中身や認識精度ももちろん影響がありますが、ここ数年で登場してきたボイスボットに”まだ慣れていない”ユーザーが多いということも示唆していると考えています。
グループ②：途中離脱グループ
途中離脱グループの特徴は「解決意欲は高いが、挫折しやすく、途中で離脱してしまう」ことです。このユーザーグループは全ユーザーの中で24.0%を占めています。
架電回数が平均2.1回と3つのグループの中で1番多いため、解決意欲が高いことが伺えます。ただ、通話時間の平均が「完遂グループ」と比べて半分ほどとなっており、平均で1.5分ほどまでしか許容できないユーザーが多いことが分かります。
グループ③：即離脱グループ
即離脱グループの特徴は「解決意欲が低く、すぐに切断する」ことです。このユーザーグループは全体の14.3%を占めています。
通話時間の平均が40秒ほどで、冒頭のメッセージを聞いた後や、最初の質問で離脱してしまっていることが分かります。また、架電回数の平均が1.3回と3つのグループの中で1番低く、再架電をしてまでも解決したいという意欲が少ないことが分かります。
業界・目的別の傾向
以下の図は業界・目的別(※1)に、ユーザーグループの含有率を示したグラフを抜粋したものです。
※1どの業界・どのような目的かはマスキングしています。
紺色：完遂グループ
水色：途中離脱グループ
オレンジ色：即離脱グループ
完遂グループを多く含むもの
途中離脱グループを多く含むもの
即離脱を多く含むもの
このグラフを見てわかる通り、業界や利用目的によって、利用するユーザー傾向が大きく異なることが分かります。
疑問やトラブルの解決意欲が高い業界であれば、「完遂グループ」の比率が高くなり、ユーザーにとってそれほど重要なものでなければ、「途中離脱グループ」や「即離脱グループ」の比率が高くなる傾向がありました。
ユーザーはどのタイミングで「離脱」してしまうのか？
以下は離脱してしまったユーザーに絞った際に、どのタイミングで離脱しているかを示したものです。30%のユーザーは冒頭のメッセージ(Welcome intent)で離脱し、残りは会話途中で離脱していることが分かります。
※ただし、業界や利用目的によっては、50%以上のユーザーはWelcome intentで離脱しているケースもあり、あくまでも全体での平均の値として見ていただければと思います。
Welcome intentで離脱する要因は？
Welcome intent(冒頭メッセージ)で多く離脱している業界や利用目的別で、離脱ポイントを可視化しました。
以下のグラフは通話時間(秒)別に「ボイスボットが発話した内容」と「離脱ユーザーの数」を示したものです。
あくまで一例となりますが、「AI」や「音声認識」などの発話内容の後に、離脱するユーザーが増えている傾向が見てとれます。
業界によっても異なりますが、一部のユーザーにとってはまだまだ「AI」や「音声認識」での対応に抵抗があることが見てとれます。
過去の音声認識を活用した電話対応によるネガティブな体験や、人に対応してもらえると思っていた期待感が強かったなどがあるのかもしれません。
今後、音声認識精度や、音声合成の技術向上によって、ボイスボットのユーザー体験は「より自然な対話」に近づくことが見込まれているため、数年後には、ボイスボットに対する評価や期待感もガラリと変わってくることと思われます。
途中離脱の要因は何か？
続いて、会話途中で離脱してしまう要因について分析しました。
大きくは「離脱者」と「完遂者」の差分や平均の違いを比較することで、離脱要因の可能性を洗い出しました。
こちらが一覧にまとめたものです。
1番最初に分けたユーザーグループの含有率が50%以上のもので、業界・利用目的別のデータをグループ化し、4つのGroup_Projectにまとめ直しています。
※バランスよく含有されているグループ(それぞれのユーザーグループの含有率が50%以下)については、「混合Group_Project」としてグループ化しています。
シナリオ途中での離脱要因を可視化することが目的のため、即切断ユーザーを除外したデータとしています。
このそれぞれのGroup_Projectの中で、完遂者と離脱者の実績の差分や、平均値を示しています。
アイコン(指標)の定義
指標の定義はこちらです。
<平均の差分>
進捗：完遂者と比べてどのポイントで離脱したのか？
時間：完遂者と比べて通話時間はどのくらい差があるか？
Fallback数：完遂者と比べて、音声認識の失敗数は何倍多かったか？
<平均値>
Fallbackで離脱：音声認識で失敗した直後に離脱した割合はどのくらいか？
音声認識で離脱：音声認識の質問中に離脱した割合はどのくらいか？
離脱地点の文量：離脱した際に話していたボイスボットのテキスト量はどのくらいか？
完遂Group_Project
このProjectでの離脱要因は「音声認識失敗の多さ」と「質問数の多さ」が考えられます。
Fallback数が完遂者に比べて5.5倍あり、Fallback地点での離脱が13.1%と、他のProjectに比べて高い傾向があることから、「音声認識失敗が多いこと」が要因の1つだと分かります。
また、進捗が完遂者と比べて約33%であり、音声認識での離脱(質問中での離脱)が27.7%と他グループよりも高いことから、音声認識がうまく行かない質問をクリアした後に、まだ質問が続いていることから、面倒となり途中で諦めてしまっている可能性が高いことが推測されます。
途中離脱Group_Project
このProjectでの離脱要因は「解決意向の低さ」と「質問数の多さ」が考えられます。
通話時間が完遂者と比べて「マイナス」となっており、早い段階で諦めて離脱していることが分かります。また、fallback数が1.1倍とそれほど多くはないことから、音声認識による失敗が離脱の要因ではないことが推測できます。そのため質問が長い、もしくは、解決意向がそこまで高くないため離脱したと考えられます。
即切断Group_Project
このProjectは進捗率が1番低く、通話時間も差が1番多いことが分かります。
fallback数も2.7倍と比較的多いが、Fallbackでの離脱は1番少ないです。また、離脱した地点での平均テキスト量が107文字であることから、音声認識に失敗した後も、長文の質問が続いており、諦めてしまったという可能性が高いと考えられます。
混合Group_Project
このProjectは完遂Group_Projectと似た傾向ですが、違いは進捗率が1番高いということです。離脱時の質問数が平均104文字と多いことから、後少しのところで面倒となって離脱してしまっている可能性が考えられます。
認識方法を音声認識やIVR(※2)に変更すると離脱が増える可能性
※2 プッシュボタンを押して回答する方法
(例：料金に関するお問合せは[1]を、その他に関するお問合せは[2]を押してください)
左図では、直前の質問から認識変更があった(例:IVRから音声認識など)場合での離脱率を示したものです。
認識変更があったタイミングの方が離脱率が高いことが分かります。
右図では、認識変更があったものの中で「IVRから音声認識」、「音声認識からIVR」の離脱の内訳を示したものです。
認識変更の中でも、特に「IVRから音声認識」に変更したタイミングでの離脱率が高くなっていることが見てとれます。
これまでの音声自動応答ではIVRが主流だったため、音声で認識させるコミュニケーションに慣れていないユーザーが多く、音声認識失敗に繋がって諦めてしまうというユーザーが多いのではないかと考えています。
IVRと音声認識が混合した状態だと、話したり、プッシュボタンを押したりとユーザービリティが良くないため、ボイスボットの会話設計時には注意する必要がありそうです。
ここまで話してきた内容のまとめです。細かく見ると多くなってしまうため、全体傾向だけを記載しています。
これらの全体傾向を把握した上で、今後の研究や改善に活かしていければと考えています。
現状の改善アプローチ方法
課題に対するアプローチの中でも、コントロール可能な変数は限りがあり、全ての改善案を実現できる訳ではありません。
正直なところ、「何が正解かはやってみないと分からない」ため、現段階のフェーズでは、改善案を試し続けるということが1番大切なんだと思っています。
幸いにもAI Shiftでは、各分野のスペシャリストが多くおり、ABテスト基盤が整っています。
統計的な「正しさ」を重要視しつつ、ナレッジをどんどん溜めて発信していきたいと思います。
以上、ここまでお読みいただきありがとうございました。
質問や相談などありましたらお気軽にお問合せください！
