チャットボットを導入している企業において、
・そもそもどういった指標でどのように目標値を決めて運用していくべきなのか？
・チャネル別の使い分けはどのようにしたら良いのか？
などでお困りの方も多いかと思います。
前編では、チャットボットの一般的な指標と基礎分析をご紹介しました。後編では、前編での分析データを踏まえた上で検証結果をまとめて行きます。
検証①：チャネル(LINEとWEB)でどういった特徴の違いがあるのか？
検証②：登録FAQ数によって、各指標と相関関係はあるのか？
検証①：チャネル(LINEとWEB)でどういった特徴の違いがあるのか？
利用するツールによってチャットボットの利用傾向が異なるのではないかと仮説立て、検証を行いました。
図1は、LINEとWEBでの各指標を散布図でまとめたものになります。
- WEBの方が、応答率(+6%pt)・正解率(+14%pt)ともに高い傾向
- LINEの方が、解決率(+15%pt)・FAQ回答到達率(+2%pt)とも高い傾向
以上のことが図から読み取れます。
図1
なぜ、LINEの方が正答率が低く、解決率が高い傾向にあるのでしょうか？
さらに細かく分析してみましょう。
図2
上：チャネル別での一発応答※1/サジェスト対応※2/応答不能※3の割合
下：発話に対しての一発応答比率と解決率の散布図
※1 カスタマーの発話に対して、一発で回答している総数。主にファーストビューでの選択肢からの流入数。
※2 カスタマーの発話に対して、類似度が高い質問をサジェスト(選択肢掲示)した総数。
※3 カスタマーの発話に対して、回答が返答できなかった総数。
上図（図2）のチャネル別応答比率を見ると、LINEの特徴として、一発応答比率が高いがサジェスト応答比率が低く、応答不能比率が高いということが分かります。
正解率が低い理由として、
WEBに比べて自由発話数が低く、そもそもサジェスト(選択肢)掲示数が少ない
加えてスパムメッセージなどで一定数の応答不能が存在してしまう
ということが要因として考えられます。
また、解決率と応答比率を見ると、一発応答比率が高い方が解決率が高いという傾向値があるため、一発応答比率がWEBに比べて高いことが要因の1つとして考えられそうです。
検証②：登録FAQ数によって、各指標と相関関係はあるのか？
次に、FAQの登録数が多い方がチャットボットでの対応範囲が広がり、各指標と正の相関関係があるのではないか、と仮説立て検証を行いました。
図3はチャネル別(LINEとWEB)で登録FAQ数と各指標の散布図としてまとめ、傾向線を加えたものです。
図3
この分析の結果、下記が分かりました。
応答率はLINE、WEBともに緩やかな正の相関関係がある
正解率はWEBで緩やかな正の相関関係がある
ただ一方で、LINEでは正答率と解決率、WEBでは解決率にFAQ登録数と負の相関関係があるように見えます。
この点について少し深ぼりたいと思います。
LINEでは登録FAQ数と正解率で負の相関関係があるのか？
LINEでは、先ほどチャネル別応答比率での分析結果より、全体での自由発話数が少なく、一定数スパムメッセージなどが存在しており、正答率がWEBに比べて少ない傾向であると述べました。
この登録FAQ数と正解率との相関関係につきましても、FAQ登録数が増えても自由発話量が少ないため、一概に負の相関があるとは言えないのではないかと考えております。
これは個人的にですが、正解率はユーザーの発話に対して正しいサジェスト(選択肢)を掲示できるようにチューニングが必要な為、自由発話量が一定量あり、適切なチューニングを行っている状態であれば、LINEもWEBのような緩やかな相関が出てくるのではないかと考えております。
登録FAQ数と解決率は負の相関があるか？
相関関係では因果関係が分かりませんが、この場合、登録FAQ数を増やしても解決率にはさほど寄与していないという見方が適切かと思います。
図3で一発応答比率と解決率の関係がゆるやかな正の相関があると述べましたが、Webの場合、サジェストの比率も高いため、FAQの登録を増やすだけではなく、ユーザーにとって分かりやすい回答の掲示や、問合せが多い場合は、自由発話しなくても回答に辿り着ける導線設計が大切だと思います。
弊社で導入しているチャットボットを経年で比較してみても、解決率に大差はなく、業界やサービスによる要因が大きい為、解決率を向上されるのはハードルが高く、画像や動画で案内するなどの試行錯誤が必要かと考えております。
総括
今回、チャットボットの効果的な運用を行うための基礎調査として分析した項目
- チャットボットの各指標の分布/平均値
- チャネル別の特徴
- FAQ数と各指標の相関関係
業界やサービスによって一概には言えませんが、今回の結果を踏まえてチャネル別での特徴を踏まえて運用方法をまとめてみました。
あくまで全体的な傾向から述べたものですので、ご参考までに頂けますと幸いです。
LINE
- 自由発話での利用量は少なく、リッチメニューなどから利用している傾向が高い
- LINEでチャットが利用可能であることをユーザーに認知させ、LINE内での導線設計をしっかりと計画立てて行うことが重要である
- 一発応答比率と解決率に正の相関関係があるため、応答不可のユーザー発話を分析し、リッチメニューやその次の階層の選択肢に追加できないかを検討していくことが、正解率/解決率を向上させるために有効である
WEB
- 応答率、正解率とFAQ登録数では正の相関関係があるため、初期運用では応答不可のユーザー発話を分析して、FAQ登録数を増やしていくことが重要
- 応答不可の量や内訳にもよるが、一発応答比率と解決率で正の相関関係が見られる為、FAQ登録だけでなく、選択肢などの導線変更も行えないかを検討していくことが有効である
今後も、解決率を向上させるために、「回答のタイプ別(テキスト/画像/動画)などで解決率に違いが出るのか」や「回答文からURLで別ページに飛ばした場合と、そうでない場合とで解決率の違い」などを分析していきたいと思います。
▼各指標まとめ
・応答率：88%(LINE：84%/WEB：90%)
・正解率：57%(LINE：48%/WEB：62%)
・解決率：52%(LINE：63%/WEB：48%)
・FAQ回答到達率：77%(LINE：79%/WEB：77%)
・FAQの平均登録数：303個
・FAQに紐づくQuestionの平均登録数：2.1個
執筆：柾屋 利昭
