チャットボットを導入している企業において、
・そもそもどういった指標でどのように目標値を決めて運用していくべきなのか？
・チャネル別の使い分けはどのようにしたら良いのか？
などでお困りの方も多いかと思います。
今回は、チャットボットを導入後の運用を考える上でのポイントを、基礎指標の分析を通してご紹介します。
結論
【LINE】
- 自由発話での利用量は少なく、リッチメニューなどから利用している傾向が高い
- LINEでチャットが利用可能であることをユーザーに認知させ、LINE内での導線設計をしっかりと計画立てて行うことが重要である
- 一発応答比率と解決率に正の相関関係があるため、応答不可のユーザー発話を分析し、リッチメニューやその次の階層の選択肢に追加できないかを検討していくことが、正解率/解決率を向上させるために有効である
【WEB】
- 応答率、正解率とFAQ登録数では正の相関関係があるため、初期運用では応答不可のユーザー発話を分析して、FAQ登録数を増やしていくことが重要
- 応答不可の量や内訳にもよるが、一発応答比率と解決率で正の相関関係が見られる為、FAQ登録だけでなく、選択肢などの導線変更も行えないかを検討していくことが有効である
一般的なチャットボットの指標
問い合せ対応に用いられるチャットボットは大きく分けて、2つに分かれています。
①FAQ型（一問一答型）
自由発話に対して、AIを用いて類似度が高い選択肢/回答を掲示
②シナリオ型（ルール型）
選択肢で分岐させ、回答を掲示
※りんななど雑談会話に特化したチャットボットは問い合せ対応には不向きの為、今回の検証では対象外としております
FAQ型とシナリオ型はそれぞれの特徴がありますが、AIを用いたチャットボットは主にFAQ型になります。
今回はFAQ型のチャットボットにおける一般的な指標をご紹介します。ベンダーによっては、指標の名称は若干異なる場合がありますが、表している数値は同様です。
FAQ型チャットボットの一般的な指標
応答率：カスタマーの発話に対して、応答ができている割合
正解率：サジェスト(選択肢)を提示した回数のうち、カスタマーが「この中にはない」以外を選択した割合
解決率：ユーザフィードバック（回答が役に立ったかの質問）にて「はい」が選択された割合
FAQ回答到達率：質問に対して回答を表示できた割合
チャットボット導入後は、このような指標に沿って目標値を定めて運用改善を図っていきますが、自社の実績だけでは、この数値がいいのか、どの水準を求めていけば良いのかと目標値の設定が曖昧になってしまう事が多いです。
業界やサービスによって各指標の平均値や傾向は異なりますが、弊社で導入しているチャットボットを分析をしてみました。
応答率・正解率・解決率の分布
図１は応答率、正解率、解決率の分布です。
分布で見ると、
・応答率：ボリュームゾーンが86%以上95%以下で全体の61%を占める
・正解率：ボリュームゾーンが46%以上69%以下で全体の69%を占める
・解決率：ボリュームゾーンにばらつきがある。41%以上84%以下で60%を占める
ということが分かります。
正解率や解決率は、業界やサービスでのチャットボット利用目的によって分布にばらつきがありますが、応答率は86％以上がボリュームゾーンであることから、この指標をもとに目標値を決めても良いと思います。
図１
登録されているFAQの数
図２は登録されているFAQ数(質問と回答のセット数)と、各FAQに対して登録されているQuestion数(AIで類似度を計算するための登録ワード)の平均値です。
散布図(左図)からは、
・平均登録FAQ数：303個
・FAQ当たりの平均登録Question数：2.1個
ということが分かります。
ただ、分布図(右図)を見ると、1個以上200個未満がボリュームゾーンで約43%占めていることが分かるので、初期設計からFAQを300個以上登録しているというよりは、運用していく中で徐々にFAQ登録数が増えていく傾向があるようです。
図２
前編では、チャットボットの一般的な指標と実績を用いた基礎分析を行いました。
後編では、これらのデータから実際にチャットボットの精度を向上させるための施策を考えるための検証を行ってまいります。
▶next
検証①：チャネル(LINEとWEB)でどういった特徴の違いがあるのか？
検証②：登録FAQ数によって、各指標と相関関係はあるのか？
執筆：柾屋 利昭
