こんにちは、AIチームの友松です。
11/30(月), 12/1(火)で行われました対話システムシンポジウムが先程クローズしました。
AI Shiftから3件の発表を行いました。今回はその参加報告と発表時の資料および質疑応答ででた項目について本ブログにて掲載させていただければと思います。
発表概要については第11回 対話システムシンポジウムにて3件の発表を行いますの記事を御覧ください。
第11回 対話システムシンポジウム
今年の対話システムシンポジウムはZoomを使用したオンライン開催で、11件の口頭発表, 19件のポスター・デモセッション, 2件の招待講演, 対話システムコンペティション, 懇親会が行われました。
AI Shiftは昨年の第10回から参加していますが、対話に特化した学会であるため、同じ分野で研究されている方々と質の高い議論ができる場として非常に注目している学会です。
対話システム ライブコンペティション3
昨年、予定の関係で見ることができなかったライブコンペティションですが、今年は聴講することができました。オープントラックとシチュエーショントラックがあり、予選を勝ち抜いた5チームがリアルタイムで会場で対話を行い、参加者が評価するというものでした。
オープントラックでは2つのテーマが選定され、会話内でその内容を人間の発話者がシステムに対して展開を行い、対話を進めていきます。シチュエーショントラックでは、同窓会の幹事を頼まれて断る対話というシチュエーションが与えられ対話が進められました。
リアルタイムで対話が行われて、次どんな発話がなされるかのドキドキ感や、システム側が賢い返答を返したときに一緒に見ていたチームメンバーとこれはすごいと、リアルタイムならではの楽しさがありました。
また、AI Shiftでは普段雑談対話は扱っていないので、同じ対話でも使われている技術がかなり違うなと感じました。
発表報告
AIチャットボットのためのチューニング支援システム
11/30(月) 11:00-12:00 ポスター・デモセッション2
〇友松祐太,戸田隆道,杉山雅和（AI Shift）
質疑応答一覧
Q. クラスタリングの頻度はどのくらい？
A. 更新するタイミングは1日に1回。ただし、チューニング作業者によって作業がされなかったものに関しては翌日のクラスタリングに回されます。
Q. これまでこのような取り組みは色々あるが、これといった仕組みが確立されきっていないのはどういうところにあるのか？
A. 正確にはわかりませんが、各チャットボットベンダーでチャットの仕様が異なっており、各社が自分たちの仕組みの中で解決する仕組みを開発しているからではないか
Q. クラスタリングはどのように行っているか？
A. BERTで分散表現のコサイン類似度を用い、階層クラスタリングのWard法を用いております。
Q. 階層クラスタリングのしきい値をどう設定した？
A. これまで社内の運用者向けツールとして提供していた際の経験則でしきい値設定を行っています。100%うまくいくクラスタリングは無いと思っており、同一クラスタ内に異なる発話が入ったり、複数クラスタに類似発話がバラけてしまうこともあります。
Q. 上述のクラスタリングのトレードオフに対して、どのように決定しているか？
A. 上述しているように100%は無理なので決めなければいけないものなのですが、既存との紐付けをしたときに影響が少なくなるように仕組みで解決を行っております。
Q. 今回モデルが使ったBERTは、pretrainedモデルか、それとも自社のコーパスでトレーニングしたものでしょうか？
A. pretrainedモデルを採用しています。
自動質問応答における連続発話からの類義クエリ抽出
11/30(月) 14:00-15:15 一般口頭発表1
◯戸田隆道 友松祐太 杉山雅和（AI Shift）
発表資料
質疑応答一覧
Q. A→A'などの連続クエリパターンの割合は？
A. 割合は以下の通り
・A → A’型 ... 159 / 233 件
・A → A B型 ... 36 / 233 件
・A B → A型 ... 12 / 233 件
・A → C型 ... 26 / 233 件
想定していたA → A'が一番多いが、検討が必要なパターンのA → A B、 A → Cも1/5くらいあった
Q. ある程度正しいものが多いという認識だが、ランキングなど多少悪いサンプルが混じっていたとしても強引に表示する方法もあるのでは？
A. チャットボットのUI的に候補をたくさん出しすぎることができないので、そことのトレードオフになる
Q. 似たようなことをやっており、ユーザの質問が外れたときにうまく誘導することはできないかと考えているが、今回の分析や取り組みからやっていることはあるか？
A. 現状は用例DBの紐付けのみ考えている。いれるとしたら、連続クエリでヒットした場合、スライドの例でいうと「もしかしてモバイルルータ？」といった暗黙確認を入れるなどが考えられる。
Q. 類義表現とは別に、1回目と2回目以降で入力の傾向が変わることはあるか？
A. 長文を送っていたユーザが短文のほうが目的にヒットしやすいとわかり、短文で送ってくるようになるケースが多くみられる
自動音声応答におけるユーザー沈黙時の発話誘導
12/1(火) 11:00-11:50 一般口頭発表2
〇西山達也 李晃伸（名工大） 戸田隆道 友松祐太 杉山雅和（AI Shift）
質疑応答一覧
コメント: チャットでは聞いた内容が残るが電話では残らないという違いから、沈黙に対して質問の繰り返しではなく、システムのステータス(今、xxを待っています,準備ができたら教えてください)を発話してあげると急かされている感じがないかも。
Q: 沈黙の長さ等の情報だけから沈黙の種類の分類を自動で行うのは難しそうなので、いろんな情報を使ったり、システムから積極的に何か情報をもらうようなアクションを行う必要があると思うがそれについてはどう考えるか？
A: 確かに完全な沈黙からユーザーの状態を推定するのは難しそうなので、積極的にシステムから聞き返すのが良いのかもしれない。具体的な方法の検討が現段階ではないけど、今後のシステムの改善の参考にしたい。
Q: 今回扱ったのは完全な沈黙か？フィラーとかはどうしているのか？
A: 今回扱ったのは完全な沈黙、ただし、小さいフィラーとかはノイズなど音声認識部分で無視されるものもある。
まとめ
改めて対話に特化した学会ということもあり、日々我々が苦労しているところを理解した上で議論をしてくださり、新規性, SoTAだけではない実応用上の価値に関して議論できたと思います。オンラインでも昨年と同じく、またそれ以上に良い体験ができました。運営の皆様ありがとうございました。また、次回以降も継続して本学会に参加できればと思います。
