こんにちは
AIチームの戸田です
本記事はAI Shift Advent Calendar 2021の1日目の記事です
今回は昨日まで開催されておりました第12回対話システムシンポジウムの発表報告をさせていただきます
発表報告
今回AI Shiftからはポスターセッションとインダストリーセッションで2件発表しました
[ポスターセッション]自動音声対話におけるネガティブ感情認識のための転移学習の性能比較
AI Shiftは音声自動応答のストーリー修正を目的としたネガティブ感情の認識をテーマに名古屋工業大学の李研究室と共同研究しています。今回はデータ数の少ないネガティブ感情の認識精度向上のため、異なるドメインの感情音声データセットを用いた転移学習の有用性の検証・分析の結果を発表しました。
頂いたご意見
- 離脱の予測で言うと、離脱の直前でわかっても遅い気がするが、今回収集したデータに苛立ちのラベルは早くについたものか、直前でついたものなのか。また、対話シナリオは全体で何ターン程度あるのか
- OGVCを学習に使用したとのことだが、データの量はOGVCで十分か？追加するならどう言うデータが考えられるか？また、OGVC自体の認識精度はどれくらいか？
- ソースとターゲットは異なる性質なので、発話内容の分散が大きそうだが、ターゲットの一部を使った実験はしてるか？
それぞれのコーパスでどの割合でどの感情ラベルがついているのか？ - 声は荒げていないものの静かに怒っているコールドアンガーの話があったが、今回それは検出対象になるか？ソースドメインには入ってるか？
- シナリオの良し悪しと離脱にはあまり相関がないという話があった気がするが、今回苛立ちを対象にしたのはなぜか？
- 事前学習のデータについて：ネガティブな感情の表出は個人差が大きいと思うが、どれくらい認識できてるか？
[インダストリーセッション]電話をインターフェースとした音声自動対話の取り組み
我々が実際に音声自動対話サービスを運用して直面した、音声劣化による音声認識誤りの影響や大量接続の負荷, 音声自動対話に不慣れなユーザーへの対話誘導などの課題について紹介しました
頂いたご意見
- 自動音声対話に不慣れなユーザーの早期離脱は大きな課題だと思うが、電話以外にzoomやアバターなら反応が変わるなど、感覚としての知見は何かあるか？
→人間がでると思っていたのにボットが出ることが課題だと考えているのでZoomであっても同じ課題にあたりそう。事前に「ボットが対応する」と告知できていると良いかも。 - 実際に自治体でサービスを導入する際に、窓口の応対からFAQ応答を作る必要があるが誰がしているのか。また、よくシステムにあまり詳しくない自治体の人に対する導入はどのようにしてるのか？
→AI Shiftの運用チームが設計 - 最初の自動発話の段階で、これからbotでの応答になるということを伝えて心の準備をさせるというのはどうか？
- 途中で離脱するかどうかはユーザーが電話をかけるモチベーションに大きく左右されそう。アウトバウンドだとさらに継続が難しそう
- カード会社などにかけても、「この電話はサービス向上のために〜」という文言は共通して現れるので、そういう応答サービスと比較してどれくらい離脱に違いがあるのか検証するのも面白そう
- 12~24秒での離脱の原因として「人と話したかった」と考察されているが、自動音声かどうかは開始数秒でわかる気もするがなぜこの時間なのか
→最初の12秒は、音声を録音する旨の告知なので、人間のオペレータが対応する際も流れうる自動音声だった。 - 従来のシステムはユーザ主導のものが多いが、今回のシステムは要件をヒアリングするなど、システム主導のものなのか？
→プロダクトとしてはどちらも提供しているが、主なのはシステム手動
印象に残った発表
発表、と言っていいか難しいところですが、一番印象に残ったのは１日目の対話システムライブコンペティションです。今年で４回目になるこのライブコンペティションですが、年々レベルが上っているなぁと感じています
すごいと思ったのは、話題だけ提供されて自由に対話できるオープントラックの対話で、一回ボットが変な発言をしてしまい、対話が破綻しかけたところです。そこから軌道修正し、その発言から対話を発展させていた部分です
かなり人間らしい会話ができていて、チャットのログだけ見せられたら人間同士の会話と間違えてしまうほどでした
終わりに
対話に特化した学会ということもあり、新規性, SoTAだけではなく、対話の実応用上の課題に関して深く議論できたと思います。また、次回以降も継続して本学会に参加できればと思います。
最後までお読みいただき、ありがとうございました。
明日はNishikaコンペの振り返り記事を投稿する予定です！
