こんにちは。AIチームの邊土名です。
6月6日(火)〜9日(金)に開催された 第37回 人工知能学会全国大会 (JSAI2023) にて、東北大学乾研究室との共同研究に関するポスター発表を1件行いました。
本記事では当日の発表で頂いた質疑応答を抜粋して掲載します。
発表内容の概要については前回の記事をご覧ください。
ポスター発表①
発表情報
- タイトル：
- 多様なタスク指向対話データの収集を目的としたクラウドソーシングにおけるインストラクションの設計 ―クリニック予約対話を例に―
- 著者
- 〇邊土名 朝飛1,2、友松 祐太1、佐々木 翔大3,4、阿部 香央莉3、乾 健太郎3,4
- 1.株式会社AI Shift、2.株式会社サイバーエージェント、3.東北大学、4.理化学研究所
- 発表日時
- 2023年6月9日(金) 09:00 〜 10:40 X会場 (展示ホールB)
質疑応答
質疑応答では、特に大規模言語モデル（Large Language Model; LLM）に関連する質問を多数いただきました。
- データを作らずとも、ChatGPT等のLLMで実現できないか？
- 回答：Promptでオペレーターの口調や対話戦略などを全て指示して実行してもらうのは、現状では難しいと考えている。高品質な対話データを収集できれば、LLMのfine-tuningや評価にも活用できるので、収集する価値はあると考えている。
- ChatGPTを用いてデータ作成できないか？
- 回答：おそらく可能。しかし、OpenAIの利用規約的にグレーなところがあるので難しい。オープンなLLMを使用することは検討していきたい。
また、インストラクションや対話設定に関するコメント、アドバイスも数多くいただきました。
- 発表でもあったが、インストラクションの条件が多くユーザ負荷が高そう
- むしろ条件の多さで多様性が損なわれている部分もあるのではないか
- 回答：インストラクションが複雑になってしまった感は否めない。今後は、オペレーター役は社内に在籍するコールセンター業務経験者に固定して、カスタマー役のインストラクションはもう少し簡易なものにして実験を行ってみたい。
- 多様性という観点では、カスタマーがクレームを言ってきたり、条件にあう候補が全くないなど、エッジケース的な状況を想定して対話データを収集した方がいいのではないか
- 回答：その点は見落としていた。一般的なシナリオの場合はLLMでも対応できることが多いので、エッジケースに着目するのは実用的かもしれない。
- 対話データの多様性と一言でいっても色々な側面がある。どの側面の多様性に着目しているのかをより明確にする必要があるのでは
- 回答：本実験での多様性は、「カスタマーの要求を完全には満たせなかった際に、オペレーターとカスタマー間の交渉プロセスで生じる様々な発話」を想定していた。ただ、定義をより明確にする必要はある。
- クラウドソーシング上でテキストチャットデータを収集すると、実サービスで問い合わせてくる発話よりもかなり丁寧な文面になってしまうことがある。実サービスの対話に近い発話を得たいのであれば、返信に制限時間を設けるといった工夫が必要だと思う
- 回答：ご指摘の通り対話システム（特に音声対話）ではもっとカジュアルな発話がなされるので、今後の実験ではぜひ試してみたい。
おわりに
朝早くからのセッションではありましたが、多くの方々に発表をご覧いただき、さまざまな観点からの質問、コメントをいただきました。
本当にありがとうございました！
また、このような発表の場を提供してくださった運営の皆様に対し、心から感謝申し上げます。
今後も継続的に発表できるよう、引き続き対話研究を続けてまいります。
最後まで読んでいただきありがとうございました！
