【AI Shift Advent Calendar 2024】セールス経験ゼロの人間がセールス対話データセットを作ってみた話

こんにちは、AIチームの邊土名(@yaelanya_ml)です。
本記事は AI Shift Advent Calendar 2024 の18日目の記事です。

私はサイバーエージェントの研究組織である AI Lab完全自動対話研究センターという部署に所属していまして、現在は兼務という形でAI Shiftに関わっています。
せっかく(?)ですので、今回の記事では、この1年くらいの間 AI Lab で取り組んでいたセールス対話データセット構築の研究紹介をできればと思います。

はじめに

突然ですが、皆さんはセールストークや店頭販売員などのセールスパーソンに対してどのような印象を持っていますか?
「商品をじっくり見たいのにセールストークをされて邪魔だった」というネガティブな思い出を持っている方も少なからずいらっしゃるかと思いますが、実際にセールストークを聞いて商品を購入した経験がある方も多いのではないでしょうか。
優秀なセールスパーソンは、買い手の表情や会話内容を注意深く観察し、買い手自身がうまく言語化できないような潜在的なニーズ・欲求を読み取る能力を持っています。
そして、買い手が明確に認識していなかった「欲しいもの」を具体的に言語化し、提案することで、相手の購買意欲を高めることができるのです。

このような「優れたセールストーク」を実行できるセールス対話システムを構築することは、売り手・買い手双方にとって多くのメリットがあります。

売り手側のメリットの例

  • システムが稼働している限り24時間365日対応可能(機会損失の防止)
  • 人間と比較してスケールさせやすい
  • 広告のランディングページやECサイト上など、これまで人間のセールスパーソンが入りにくかった領域にも対応可能

買い手側のメリットの例

  • システムが稼働している限り24時間365日アクセス可能
  • 膨大なデータに基づく正確な情報提供 (e.g., RAG)
  • 個々のニーズに合わせて提案内容をパーソナライズ
  • 複数言語対応

今回は、セールス対話システム構築の第一歩として、何らかの基準となるセールス対話データセットを構築することを試みました。

セールス対話収集プロセス

今回のセールス対話収集プロセスの概要図を以下に示します。
今回は、Web上の商品販売ページに訪れたユーザと、そのWebページ上に設置されたセールス対話システムがテキストチャットを行う実験シナリオで対話データを収集しました。

セールス対話データの収集プロセスの概要図

データセットの特徴

本データセットの特徴として、以下の3つの設定で対話データを収集したことが挙げられます。

  • ユーザが対話途中で離脱することを許可
  • 人間と対話システムとの間で行われる対話設定
  • 対話に参加したユーザによる発話レベルの対話評価

ユーザが対話途中で離脱することを許可

対話データ収集の研究では、十分なデータ量を確保するために、実験参加者に対して「◯ターン会話してください」といった指示を与えているケースが少なくありません。
しかし、セールストークが実施される状況を考えると、商品を購入する意欲が低い、対話を続ける意欲が低いといった、ユーザが対話システムに対して協力的でない状況も想定されます。
そこで今回は、このようなシビアな状況を可能な限り再現してより現実に近いユーザ意欲を測定するために、ユーザ役の実験参加者に対して任意のタイミングで対話から離脱できることを説明しました。

人間と対話システムとの間で行われる対話データを収集する

先行研究(Hiraoka+ 2016; Tiwari+ 2023)では、主に人間同士の対話データが収集されていますが、対話相手が人間かシステムかによって対話の特徴が変化することが指摘されています(Serban+ 2018)。
私たちの最終目標はセールス対話システムを構築することなので、人間-システム間のセールス対話データが欲しい気持ちがあります。
しかし、いきなりセールス対話システムを用意するのも中々難しいところです。
そこで今回は、セールス対話システムのふりをしたセールス経験者(セールス役)がユーザ役の対話相手となるWizard of Oz (WOZ) 法(Kelley 1984)の設定で対話データを収集しました。

対話に参加したユーザによる発話レベルの対話評価

本データセットには、発話レベルでの多面的なユーザ意欲評価のアノテーションが収録されています。
これにより、ユーザの購買意欲を高めるセールス対話戦略のきめ細やかな分析や、ユーザの反応に応じて柔軟に対話戦略を切り替える効果的なセールス対話システムの開発につながることが期待されます。

対話設定

実験参加者

セールス役、ユーザ役となる実験参加者はクラウドソーシングサービス上で募集しました。

セールス役は、実際に営業経験のある方々を合計5名採用しました。
さらに対話品質を向上させるため、対話収集の前に説明会を実施し、その上で対話練習を計2回、合計2時間のガイダンスを実施しました。

ユーザ役は、日本語で円滑にテキスト対話ができる者を対象として募集を行いました。
WOZ法を用いて対話データを収集する関係上、ユーザ役には「セールス対話システムとテキストチャットを行う実験である」と説明し、実験終了後に対話相手がシステムではなく人間であることを通知しました。
また、ユーザ役の自然な対話継続意欲を観測するために、任意のタイミングで対話から離脱してもよいことを説明しました。

ユーザ役による対話評価

ユーザ役は、対話終了後に発話レベル・対話レベルの評価を行います。

発話レベル評価では、ユーザ役がセールス役の発話に対して感じた印象を3段階(ポジティブ、ニュートラル、ネガティブ)で評価してもらいます。
評価観点は以下の3種類です。

  • 対話継続意欲:
    ユーザ役は、「もっとBotと会話を続けたくなった」と少しでも感じた発話に対して”ポジティブ”の評価を行います(ネガティブ評価はその逆)
  • 情報提供意欲:
    ユーザ役は、「自分の持っている情報をBotに話したくなった」と少しでも感じた発話に対して”ポジティブ”の評価を行います(ネガティブ評価はその逆)
  • 目標受容意欲:
    ユーザ役は、「対話目標を受け入れたくなった(商品を購入したくなった)」と少しでも感じた発話に対して”ポジティブ”の評価を行います(ネガティブ評価はその逆)

対話レベル評価では、商品に対するユーザ役の購買意欲を、対話実験の前後に実施するアンケート調査を通じて測定します。
ユーザ役は、商品に対する購買意欲を7段階評価で回答します。
ユーザ役の購買意欲が対話開始前と比較して向上した場合、セールストークが成功したと判定します。

商品

セールス役が販売する商品は、架空の3種類のワイヤレスイヤホンの製品情報を作成しました。3つのワイヤレスイヤホンの価格は以下の通りです。

  • ハイエンドモデル:33,000円
  • ミドルエンドモデル:22,000円
  • ローエンドモデル: 11,000円

商品価格については、高価格もしくは低価格すぎない価格帯になるよう設定しました。
低価格過ぎる商品の場合、セールストークでユーザの意欲を高めなくても商品が購入される可能性がある一方で、高価格過ぎる商品の場合はそもそも購買する意欲が無くなってしまう可能性があるためです。

ワイヤレスイヤホンを商品に選択した理由としては、ある程度専門知識が必要な商品であることが挙げられます。
セールストークにおいては、セールスパーソンが商品に対する専門知識が深ければ深いほど顧客から信用されやすくなり、結果的に購買につながりやすくなります。
つまり、セールストークの効果が観測しやすくなると考えたため、ワイヤレスイヤホンを商品として選択しました。

対話環境

対話環境として、Slurkをベースとしたチャットツールをクラウドサーバ上に構築しました。
ちなみに、2年前のAdvent CalendarにてSlurkの紹介記事を書いているので、ご興味のある方はそちらも併せてご覧ください。

alt

実験参加者がチャットツールのURLにアクセスすると、実験参加者同士のマッチングが行われ、ユーザ役とセールス役のペアが揃った時点でチャットルームが自動的に作成されて対話実験が開始されます。
このチャットツールには、基本的なテキストチャット機能の他、商品情報の表示および共有、対話終了ボタンなどの機能が実装されています。

収集結果

上記のプロセスで構築したセールス対話データセットの統計量は以下の通りです。
セールス対話データセットの統計量

109対話のうち、半数以上となる63対話でユーザの購買意欲を向上させることに成功しています。

終わりに

以上、ざっくりとしたセールス対話データセットの紹介でした。

私事になりますが、ちょうど先日、このデータセットに関する論文が自然言語処理の国際学会であるCOLING 2025に採択されました!

User Willingness-aware Sales Talk Dataset
Authors:邊土名朝飛 (サイバーエージェント AI Lab)、馬場惇 (サイバーエージェント AI Lab)、佐藤志貴 (サイバーエージェント AI Lab)、赤間怜奈 (東北大学)

COLING 2025は来年1月19日から24日にかけてアラブ首長国連邦のアブダビで開催されます。
私も現地で発表を行う予定ですので、現地参加される方はぜひお立ち寄りください。

論文では、本記事に書かれている内容に加えて、データセットの分析結果、データセットを用いてLLMをFine-tuningした際のユーザ評価実験の結果なども報告しています。
ご興味のある方はぜひ論文の方もご覧いただけますと幸いです(論文は近々公開される予定です)
また、COLING2025の開催に合わせて、今回紹介したセールス対話データセットの公開の準備も進めています。
論文やデータセットが公開された際は私のXアカウント(@yaelanya_ml)で告知しますので、今しばらくお待ちください。

明日のAdvent Calendar 19日目の記事は、開発チームの木村による記事を公開予定です。ぜひそちらもご覧ください!
AILabでもAdvent Calendarを開催していますので、こちらもよろしくお願いいたします!

PICK UP

TAG