リリース直後から応答率97%以上!?チャットボットの初期設計と運用の仕方

株式会社AI Shiftでは、AIチャットボット「AI Messenger」を提供しております。
今回、弊社の事例を用いてチャットボット導入前の初期設計から導入後の運用における成功の秘訣をご紹介します。

導入前の分析/初期設計

チャットボット導入にあたり最も重要なのは、過去のFAQの分析です。精度の高いチャットボットを作成するには、どの程度チャットボットで対応出来そうかを事前に確認する必要があります。今回の事例では、初期設計を行うに当たり、チャットボット導入以前の電話やメールによる問い合わせデータを活用してクラスタリング分析を実施しました。

クラスタリング分析とは、異なる性質のものが混ざり合った集団から、互いに似た性質を持つものを集め、クラスターを作る方法です。今回は、類似している問い合わせ内容で分類してクラスターを作ってます。

初期設計の時点で全ての問い合わせに対応出来るチャットボットを作るには、かなりの工数がかかります。問い合わせはユーザー数に応じて無数の可能性があるため、すべてに対応したFAQを準備するということは現実的ではありません。また、チャネルによってユーザーからの問合せ傾向も異なるため、まずはより頻度の多い問合せをBOTで対応させることが重要です。そのため問い合わせの多いカテゴリで優先順位をつけて設計を行う必要があり、クラスタリング分析が非常に重要になります。

実際の分析の結果、今回の事例では上位15クラスタをチャットボットで対応することで、全体問合せの64%が対応できることが分かりました。

図1

クラスタリング分析で対象となった上位15クラスタの問合せ内容をさらに分析し、チャットボットでの対応可否を割り振ったものが図2です。

図2

その結果、概算で全体の53%がチャットボットだけで対応できる見込みであることが分かり、上位15クラスタを中心に初期設計を行いました。

図3

導入後の運用

導入後の運用においてもクラスタリング分析が必要です。

チャットボットの運用では、BOTの回答精度をあげるために、対応できなかった発話をFAQに追加する学習作業が必要です。しかし、対応できなかった発話を全てFAQに登録することや登録されているFAQへヒットできるように調整することは、実は逆に回答精度を下げてしまう可能性もあります。

このように運用にもクラスタリング分析を用いることで、応答できなかった問合せやチューニングが必要な箇所の中でも、より全体インパクトのあるものを優先付けて調整することが可能になります。

また、よくある問合せの中で解決率が悪いものは、ランキングで対象のFAQを見つけ出し、実際のユーザー発話を分析してから、回答内容の変更や新規FAQの登録、導線の変更などが必要です。（図4 ）

左側がよく利用されるFAQの表示回数、一番右型がネガティブなFB数です。
回答表示数が多く、ネガティブFB数が多いものほど、【ユーザーにとって、必要な情報だが、十分な回答が与えられていない】FAQとなる為、ユーザー目線に立った場合に、問合せに対して解決できる内容かどうかを踏まえてチューニングを行います。

図4

このような分析を繰り返し、チャットボット導入直後から毎週チューニングを行った結果、全体で正解率が+13%pt、解決率が+4%ptと大幅に向上しました。

また、チューニングを行ったFAQでの前後比較をしてみたところ（図5）、全てのFAQで解決率が向上しており、特にネガティブ率が高かったFAQに関しては＋48%向上とかなり大幅に改善しました。

図5

AI Messengerではこのように、独自のクラスタリングツールを用いて、運用のご提案を行っております。
分析ツールは視覚的に運用しやすいように整えています。（図6）
・左型の方がクラスタサイズが大きい(全体への影響値が大きい)
・色が赤色の方が正解率が低い(チューニングすべき点)

図6

結論

このようにクラスタリング分析を行い、最適な（優先順位をつけた）初期設計・運用を行うことで、応答率97%とリリース初期から精度の高いチャットボットを作ることが可能です。

チャットボットを導入する前の段階では、どういった問合せがあり、どこまでチャットボットで対応ができるのかを分析することが大切です。また、初期設計を行った以降も、2~3か月ほどは応答不能な問合せや解決率が悪いFAQに対してのチューニングが必要です。

しかしながら、業界やサービスによっては、回答精度が改善しにくいまたはこれ以上向上しないといった状況になる場合もあります。そのため業界やサービスに応じた適切なKPI、施策を行っていくことが一番大切です。

弊社では、設立当初から専門の運用部隊が失敗経験、成功体験をノウハウとして貯めておりますので、適切なご提案を通して、価値をご提供していければと考えております。

 

執筆：柾屋 利昭