こんにちは、名古屋工業大学 大学院 修士1年の義井健史です。7/6から8/4まで株式会社AI Shiftでインターンシップに参加しました！初週はオフィス出社、2週目から自宅でリモートワークでした。研究室では自然言語処理、対話システムを研究しています。今回は、電話上での音声による自動応答サービスであるVoicebotの運用改善というテーマでインターンシップに取り組みました。初めての実務経験で不安な部分もありましたが、AI Shiftの方々、サイバーエージェントの人事の方のお力添えをいただき、最後までやり遂げることができました。
あらまし
この記事では、インターンシップで取り組んだ内容と、感じたことをまとめています。
インターンでの取り組み
1ヶ月インターンの概略
1週目：テーマ設定のためのビジネスヒアリング
2週目：コード実装する上での実験
3週目：コード整理、可視化
4週目：結果まとめ、最終成果報告
テーマ設定とビジネスヒアリング
「Voicebotの運用改善」という大枠のテーマから、実際に設計の担当の方にビジネスヒアリングを行って運用の課題点をいくつか挙げてもらい、そこからテーマを決定しました。その後も、何度もヒアリングする機会をいただき、テーマをより具体的にしていきました。
Voicebotとは
コールセンターでの自動応答など電話応対業務の自動化をするAIサービスのことです。
詳しくはこちら：https://www.ai-messenger.jp/voicebot/
テーマ決定
現在人手で行っている業務の効率化を図る、というモチベーションで、Voicebotの質問応答の言い換え表現の適切な追加支援と、音声認識誤りに対し音素から正解を推定するという2つのテーマについて扱うことにしました。
テーマ概要と実験内容
- 言い換え表現の適切な追加支援
- 課題：コールセンターにかかってくる問い合わせは、同じ問題を抱えていても人によって言い方が異なります。Voicebotによる自動応答サービスでは、現段階で人が発する多様な表現について上手く処理しきれていません。運用側では、質問の言い換えを想定し、似ている質問に紐付けていました。
- 問題点：そこで起きる問題が2つあります。まず、1つ目は想定される質問としてのダブりが生じることです。発話処理の面で語尾程度の違いは許容されますが、手動で言い換え方を考え追加していくと、必要でない被っている質問を追加してしまう可能性があります。そして、2つ目の問題は、質問の言い換えを似ている質問に結びつけたときにbotでの検索結果が変わってしまうことがあるという点です。言い換えを想定して質問を追加していくと、実際のVoicebotでの返答の仕方が変わる場合がありますが、それを検証する手段がありませんでした。
そこで、新たな表現が適切な質問と結びつくかを実際にVoicebotを用いて検証することなく、仮想の環境で検証できるようにコードを作成しました。ここでの工夫点は、普段はコードを書かない人にとっても、仮想の環境が使用できるようにインタフェースを導入したということです。
- 音声認識誤りについて音素からの正解推定
- 課題：Voicebotとの会話は電話での会話になるため、電話口の騒音や話し方によって単語の誤認識があります。運用側では、過去の発話認識に失敗したデータから、実際に人手で本来カスタマーが意図していた言葉を推測していました。
この課題を解決するために、これらの作業を自動化しました。具体的には、カスタマーの発話ログデータから、正しく認識した単語と誤って認識した単語を取得し、誤っている単語一つ一つと正しく認識された単語との距離を測って、それぞれの正解を推定します。
- 改善点：こちらは結果を表示すると上手く推定できていない箇所もありました。ログデータの期間を絞って結果を表示すると、指定したログの区間で正例が出現しないと変換できないという問題がありました。
コード整理、可視化
このフェーズでは、実験用のコードから、やがて引き継いでも読めるように冗長な部分を省くなどしてコードを見やすくしました。そして、実際に導入するために関数にまとめました。また、ビジネスを分析する時によく使われるBIツールを初めて学びました。そして実際に誤りの多い単語はツールを使用し、可視化しました。
結果まとめ、最終成果報告
1つ目の実験は、オンラインではありますが、設計チームの方に直接成果物を共有する機会を設けていただき、実装した機能と、その使い方を説明しました。「とても助かる、すごい！」と言っていただいたので、やってよかったと思いました。
また、全体に向けては、3週目までの成果をスライドにまとめ、AI Shift内で最終成果発表をしました。
その他インターンで行ったこと
歓迎ランチや交流ランチ会を開いていただきました。また、各MTGなどにも参加させていただいて、他部署の方のお話を聞ける機会をたくさん設けていただきました。
インターンの感想
インターンでの目標
インターンに向けての目標は
- CA、AI Shiftの雰囲気を知る
- 実務経験を積む
- 大学とビジネスでの研究の違いを知る
- 実際のプロダクトに使われている技術を知る
- 会社の回り方を知る
- 1ヶ月で何か成果を残す
でした。今回実際にインターンシップに参加して、上記の項目を全て達成できたと思っています！すごくいい経験をさせていただきました！
進め方について
タスク進行面で一番不安だったことは、ゴールとそこまでの道筋が見えていなかったことです。1ヶ月という短い期間なので、暗中模索しているとあっという間に1週間が過ぎていきます。この不安を解消できたのは、メンターの方とタスクに対して描くビジョンの共有ができたことが大きかったと思います。個別MTGで困っている点や、やりたいことを抽象的にでも共有することで進路修正や適切なアドバイスが受けられ、上手く進めていくことができました。
リモートワークについて
オフィス出社とリモートワークどちらも体験してみて、リモートワークについて感じたことです。
メリット
- 通勤時間が0分
- 自宅での勤務であるため慣れた環境で作業ができる
デメリット
- やはりオフィスより気軽に質問しづらい（雰囲気、忙しさを掴みにくい）
- 周りの動きがわからないため、MTGの始まる時間等意識しづらい（タイムマネジメントは自分一人）
オフィスの方々
社長やセールスの方々も部署を問わず話しかけてくださり緊張が解れました。CAの人事の方はインターンが始まる前から些細な質問にも丁寧に回答してくださり、開始後もオフィス案内や、入社手続きで困っている点等解決していただきお世話になりました。また、沖縄の設計チームの方々もオンラインではありますが、MTGさせていただく機会を設けていただきました。そして、AIチームの方々には1ヶ月間大変お世話になりました。オフィス出社時には気軽に話しかけてくださり、リモートワーク時も毎日進捗状況等気にかけてくださいました。
最後に
短い期間ではありましたが、インターンシップに携わってくれた方々本当にありがとうございました！様々なことに挑戦する機会を与えていただき、とても貴重な経験になりました。インターンは仕事という面でプレッシャーを感じることがありましたが、AI Shiftの皆さんは本当に優しい方ばかりで気軽に相談することができました！
このブログがこれからインターンシップを考えている方々の一助になれば幸いです。
最後まで読んでいただきありがとうございました。
