こんにちは。AI Shiftの邊土名です。
6月6日(火)〜9日(金)に、第37回人工知能学会全国大会が熊本城ホール(現地)とオンラインのハイブリッドで開催されます。
AI Shiftからは、東北大学乾研究室との共同研究の発表を1件行います。
本記事では発表の概要と議論したいポイントについて取り上げます。
1. 発表情報
- 発表日時
- 2023年6月9日(金) 09:00 〜 10:40 X会場 (展示ホールB)
- 発表番号
- 4Xin1-02
- タイトル：
- 多様なタスク指向対話データの収集を目的としたクラウドソーシングにおけるインストラクションの設計 ―クリニック予約対話を例に―
- 著者
- 〇邊土名 朝飛1,2、友松 祐太1、佐々木 翔大3,4、阿部 香央莉3、乾 健太郎3,4
- 1.株式会社AI Shift、2.株式会社サイバーエージェント、3.東北大学、4.理化学研究所
- Link
2. 概要
弊社が開発・運用しているAI Messenger Voicebot / Chatbot で行う対話は、クリニック予約などのタスク指向対話が主となっています。
「病院を予約する」といった何らかのタスク達成を目的としたカスタマーとの接客においては、オペレーターはカスタマーに対し提案や質問、説明を行い、場合によっては妥協するよう交渉しています。
このような柔軟なタスク指向対話システムを実現するためには、多様かつ大規模な対話データセットが必要です。
そのため、クラウドソーシングを用いて大規模な対話データを構築する研究が行われてきました。
しかし、これまでに構築されてきたタスク指向対話データセットをAI Shiftの実務で使用するには問題があります。
それは、実際の業務で対象となる対話ドメインは、事業拡大に伴って増えていくため、既存のデータセットではカバーできない範囲が出てきてしまうという点です（もちろん、データセットが商用利用不可であったり、そもそも日本語対話データセットが極めて少ない、といった問題もありますが）。
この問題に対処するため、AI Shiftでは、先行研究に従い新規ドメインの対話データをクラウドソーシングで効率よく収集する対話収集基盤を構築することを考えました。
ここで、柔軟な対話を実現するためには、なるべく多様な対話データを収集する必要があります。
しかし、クラウドソーシングは品質管理が難しく、インストラクション設計を注意深く行わなければ、単調な対話が大量に収集されてしまう恐れがあります。
本研究では、多様な対話データの収集を目的として、オペレーター役とカスタマー役のクラウドワーカーそれぞれに異なるインストラクションを生成・提示することで、擬似的なクリニック予約対話をワーカーに行ってもらいました。
対話収集実験は、社内での小規模な予備実験と、実際にクラウドソーシングを用いた実験の2回行いました。クラウドソーシングを用いた実験では、予備実験結果に基づいてインストラクションを改善しました。
さらに、収集した約100対話分の対話コーパスを分析し、より多様なタスク指向対話データの収集に向けた課題と知見を報告します。
3. 議論したいポイント
対話収集実験参加者のアンケートでは、複数の予約条件を考慮しつつロールプレイ対話を行うことが難しかったという声が複数寄せられました。よりワーカーへの負担が少なく、かつ高品質なデータを収集できる方法について議論できればと思います。
4. おわりに
AI Shift以外にもCyberAgentグループから7件発表があります。そちらの発表にもぜひお越しください。
当日皆様と活発な議論ができることを楽しみにしております！
