こんにちは、AIチームの友松です。
この記事はAI Shift Advent Calendar 14日目の記事になります。
本記事では、2022年12月13日(火)-14日(水)で行われた第13回対話システムシンポジウムの参加報告について執筆を行います。
また、AI Shiftから1件の発表を行ったので、そこで頂いた質疑応答についても触れていきたいと思います。
第13回対話システムシンポジウム
対話システムシンポジウムは言語・音声理解と対話処理研究会 SIG-SLUDが年に1回開催しているシンポジウムです。今回は初のオンライン・オフラインのハイブリッド形式で行われました。また、オフライン開催も早稲田大学 西早稲田キャンパスで行われた2019年から3年ぶりの開催となりました。
オフラインの会場は東京都立川市にある国立国語研究所で開催されました。私自身初めての訪問だったのですが、最寄り駅周辺は整備されており景観も良く研究を行う環境として非常に良いと感じました。
セッション構成は以下のような形でした。
- 一般口頭発表: 8件
- 一般ポスター発表: 24件
- インダストリーセッション: 7件
- 招待講演: 1件
- 対話システムライブコンペティション5
- 口頭発表: 6件
- 国際会議報告: 4件
また、参加者の状況は以下のような形でした。
- 現地参加： 118名(1日目: 105名, 2日目: +13名)
- リモート参加: 最大同時視聴数121名
開催されたセッションの中からいくつか抜粋してご紹介できればと思います。
AI Shiftからの発表
- タイトル: チャットボット事業におけるDense Retrieverを用いたZero-shot FAQ検索
- 発表日時 2022/12/14（水）14:10-15:40 ポスターセッション2
- ポスター番号 41
- 著者 二宮 大空，邊土名 朝飛，杉山 雅和，戸田 隆道，友松 祐太
AI Shiftからは二宮が上記の発表を行いました。
発表内容の詳細は以前の記事に譲ります。当日本発表をご聴講いただいた方からの質疑応答について記載します。たくさんの方にご覧いただき有意義な議論を行うことができました。ありがとうございます。
- Q. GPT-2で訓練データを拡張する動機は何ですか？
- A.新規ドメインにおいては訓練データが存在しないので，それを補うために行っています．さらに，既存ドメインにおいても訓練データ中で“正解として選択された事例がないFAQ”が存在するため，そのFAQを正解とする事例を用意してあげるためにも利用しています．
- Q. 「難しい負例を選択することで検索性能が向上する」とのことですが「難しい負例」とは何を指していますか？
- A.意味的に類似しているが，尋ねている内容が異なるFAQです．例えば，「アカウントを削除したい」と「アカウントを変更したい」は似ていますが，「アカウントを消して欲しい」に対しては前者のみ正解になります．これらを正確にモデルが識別できるようになるためにも，学習時の負例の選択が重要になります．
- Q. GPT-2でのデータ拡張で正則化は行っていますか？
- A. 行っておりません．しかし，より正確なデータを生成するためにも，今後取り組んでいきたいと考えています．有意義なご指摘ありがとうございます．
- Q. エンコーダが意味を捉えられるのであれば，FAQ質問で多様な表現を設定する必要はないように思えますがいかがですか？
- A. エンコーダが完全に意味を捉えることができれば，理想的には不要になります．しかし，現在のロジック・データ・モデルサイズではより正確に検索を行うためにも設定する必要があると判断しております．ここは今後の研究の発展に期待しています．
招待講演
LINE株式会社の佐藤様より日本語の基盤モデルを用いた対話システムの実装とその課題に関するご講演でした。
基盤モデルの概要、LINE株式会社とNAVER株式会社が共同で開発した日本語大規模言語モデルのHyperCLOVAに関する説明、HyperCLOVAを用いた対話システム構築に関する内容でした。
基盤モデルへのプロンプト入力を多様に活用していたり、前処理・後処理で多くの取り組みが行われており、基盤モデルをフル活用した構成が非常に印象的で勉強になりました。
また、データ構築の苦労など社会実装上の課題に関しても伺うことができました。
対話システムライブコンペティション5
対話システムライブコンペティションでは、対話システムシンポジウムの参加者の前でコンペ参加者の対話システムをリアルタイムで動作させ聴講者全員が審査員として参加する形式のライブコンペでした。
コンペ形式はオープントラックとシチュエーショントラックがありました。オープントラックでは各対話システムに対して2つのキーワードがその場で発表され、2つのトピックに関して運営の方と参加者の対話システムが対話をする様子がリアルタイムで展開されます。シチュエーショントラックでは友人に借りた本をなくしてしまい謝罪を行うというシチュエーションが与えられ、そちらも運営の方と対話する様子が展開されます。
当日までに予選が行われ、各トラックで勝ち上がった3チームが当日ライブコンペに挑みました。
昨年までは入出力がテキストの対話でしたが、今回は音声入力（の音声認識結果）を入力とし、システムの発話テキストおよび動作コマンドを出力するマルチモーダル対話システムとなっており、エージェントの表情や音声で表現されるためライブコンペとしてのクオリティが上がっており聴講者側としても非常に楽しめました。
オープントラックとしては雑談対話システムとしての総合力が試されるような内容になっており、意図理解の精度や知識の広さ、最新の話題についていけるか、対話戦略など広く取り組めている必要があるように感じました。
シチュエーショントラックではシーンが限定されているので、より対話戦略が重要になるような内容になっており各チームの工夫するアイディアが非常に興味深かったです。
オフライン会場では対話が進行し、賢い返答をしたり、面白い受け答えが行われる度に盛り上がり、会場の一体感がありました。
オフライン参加しての感想
本記事の執筆者はオフラインの学会参加が約3年ぶりになりました。今回聴講者としてオフラインで参加して改めて感じたことを書きます。
まずは、ポスターセッションに関してです。ポスターセッションは発表者と聴講者のインタラクティブ性が非常に重視される発表形態だと思います。この点に関してはやはりオフラインが圧倒的に体験が良いと感じました。発表者の表情を伺いながら質問をしたり、ポスターを指差してこのあたりを詳しく聞きたいとか、聴講者自身の顔も発表者に見えているので質問しないとという心理も働いている気がします。一方で、聴講者が増えてくると声が聞こえづらくなったり、ポスターが見えづらくなったり、こちらはオンラインのほうが分がある点だと思いました。
口頭発表においては、オンライン・オフラインで大きな体験の違いは無いかなと思いつつ、オンラインで参加した場合、ついつい通常業務のミーティングが入ってしまうことも多々あったのですが、オフラインで参加期間中は学会に集中できたのはとても良かったです。オンラインでは気軽に参加できる反面、気持ちも気軽になってしまっていた面はあると思います。
ネットワーキングの観点では、共同研究で関わりのある方にお会いできたり、3年ぶりにお話できた方もいらっしゃったりでオフラインに勝るものは無いといった感じでした。
オフラインよりの意見が多くなってしまいましたが、どちらも良い点・悪い点があると思っていまして、最近はオフライン開催が復活している学会が多くあり、今後も両者の良い部分を享受できると嬉しいです。
改めて運営の方のご尽力で素晴らしい学会体験になっており感謝申し上げます。
おわりに
対話システムシンポジウムはテキスト対話および音声対話を扱うAI Shiftにとっては非常に多くの研究が関連し、同じような課題感を持った研究者の方々とディスカッションをする貴重な機会となっております。
近年の自然言語処理分野の発達により、対話領域も毎年多くのアップデートがあり楽しみに参加させてもらっています。来年以降も弊社から継続的に発表が行えるよう日々の研究開発を進めていきたいと思っております。
明日は開発チームの原よりAI Shiftのフロントエンドのロードマップという内容で執筆予定となっております。
