intra-mart BIORAブース – サーモセンサーとAI音声チャット –

こんにちは。デジタルビジネス推進室の関根です。

今回はサーモセンサーとAI音声チャットについて記載致します。

全体の流れ

簡単に、おもてなしサービスの流れを書いて見ました。

※OCRの詳細はこちら　⇒　OCRとIoT(LED)
※ルンバの詳細はこちら　⇒　ルンバによるお土産配達

サーモセンサー概要

こちらがサーモセンサーになります。

中身は、サーモセンサ、マイクロコンピュータです。
サーモセンサーからの温度情報は、こちらのように取得できます。

これを機械学習にかけて、着席を判定しています。
着席すると、自動的にRPAでブラウザ起動やチャット画面の開始ボタンクリック等を行います。

AI音声チャット概要

【画面イメージ】
会話画面は大きく分けて4つのエリアで構成されております。

①．コントロールエリア
RPAで制御するボタンを配置しております。
②．サーモエリア
サーモセンサーから送られてくる情報をリアルタイムで表示しています。
③．BPMエリア
受付から終了までのプロセスをBPMで表示しています。
④．会話エリア
会話ステータス（AIが発言中/ユーザの発言待ち/発言認識中）と
ロボットの発言・ユーザの発言が表示されます。

【会話画面の概要】
実装は以下の手法を用いています。
・画面実装：
intra-martのスクリプト開発モデル

・AIの発言：
発言内容の構成：イベントナビゲータ
発言内容の選定：IM-LogicDesigner
音声発話：WEB API speechSynthesis
ブース紹介映像の再生：imuiVideo（video.js)

・ユーザの発言：
マイク音声の文字列化：WEB API SpeechRecognition
文字列化された発言の形態素解析：Kuromoji
発言内容に対する次処理の決定：IM-LogicDesigner

【会話処理の概要】
IM-LogicDesignerを中継処理として、
IoT（スピーカ、各種センサー、ルンバ等）連携や
イベントナビゲータ連携、Knime連携を行います。

１．イベントナビゲータの質問を取得

２．スピーカーから発言
※「[speechSynthesis]を用いて、Web上で文字列→音声データとして再生」を行います。

３．ユーザの発言を取得、解析
※「[SpeechRecognition]を用いて、Web上で音声データ→文字列」を行い、LogicDesignerとKuromojiを用いて形態素解析します。

４．ユーザの発言内容の解析結果から「名詞」や「感動詞（はい、いいえ等）」を取得、
イベントナビゲータの回答で一致する「結果」を取得します。
「どっちも嫌い！」「どっちも好き！」「鳥の方が好き」等、
一致する回答が無ければ、「other」の結果を取得するようにしています。

※「名詞」「感動詞」を基にしていますので、　質問文と結果文を工夫しないと変な会話になってしまいます。
「犬と猫どちらが好き？」
⇒『猫は嫌い』
⇒("猫"を取得)
⇒「なるほど、猫派ですか」
今回はご愛敬ということでそのままにしましたが、
本来であれば文章全体の構成を基に回答を取得する必要があります。

５．スピーカーから発言
※「[speechSynthesis]を用いて、Web上で文字列→音声データとして再生」を行います。

【ブース紹介の概要】
イベントナビゲータを用いた会話を行った後、EWSブースの紹介を行います。

KNIMEを用いて事前アンケート、OCR結果、会話の結果を基に、ユーザの傾向を学習させます。

ブース毎におすすめ値（最大1.0)とおすすめ理由がDBに書き込まれます。

こちらがDBに書き込まれた結果情報です。
おすすめ値の上位2件を音声で紹介、動画がある場合は動画の再生も行います。

【お土産配布の概要】
ブース紹介が終わった後、ルンバからノベルティの配布を行ってもらいます。
AI音声チャットでは、ルンバと通信を行いながら状況に応じてステータスを進めていきます。

・ルンバが未到着：ルンバが到着するまで待ちます。
・ルンバが到着：お客様にルンバが到着旨を伝え、ルンバに配布指示を出します。
・お客様がカレーを受け取る：ルンバが検知し、帰還指示待ち状態になります。
・ルンバが帰還指示待ち状態：AI音声チャットからルンバに対して帰還指示を出します。
・ルンバが帰還中：お客様にカレーの味が好みに合っているかを尋ねます。
（ルンバの詳細はこちら　⇒　ルンバによるお土産配達　）

【会話終了～終了までの概要】
お客様からカレーの味が好みに合っているかを確認した後、終了処理に入ります。
簡単なご挨拶を発話した後、画面を初期化するバッチを実行します。
サーバー側では、会話の内容をDBに登録します。

EWSを終えて

登録された会話の内容から統計を取ってみました。

滞在時間…大体10分程度でした。丁度いい長さだったのではないでしょうか。
・最小値…2分
・最大値…14分
・平均……8分41秒
趣味…見事にバラバラでした。いくつかピックアップします。
・一番多かった回答…「子供」や「家族」に関連する回答。
⇒「子供と遊ぶ」
⇒「子供と出かける」
⇒「家族旅行」
・次に多かった回答：「飲食」に関連する回答。
⇒「美味しいものを食べる」
⇒「ごはん」
⇒「お酒」
⇒「食べ歩き」
・関根が気になった回答①…いきなり趣味を聞かれても困りますよね。。
⇒「恥ずかしいです」
・関根が気になった回答②…どんな趣味なのか気になります！
⇒「まゆりんです」（※マイクが不調だったかもしれません。。）
犬or猫どちらが好きか…今回は犬派が勝利です♪
・犬 50.70%
・猫 37.70%
・その他(※) 11.60%
※「どちらも好き」「どちらも嫌い」
「トラ(等のネコ科、イヌ科の動物）」
「白犬(等の具体的な指定）」などが含まれます。
EWS来場回数…BIORAに参加してくださった方の大半が初のEWSだったようです。
・初めて 74.4%
・2回目 15.4%
・3回目 2.6%
・4回目 5.1%
・結構来ている 2.5%
お客様に紹介したブースTOP5…業務改革やAIにご関心のお客様が多かったようです。
・１位 IM-BPM
・２位 IM-FormaDesigner、IM-BIS
・３位 ConcieLink（※TIS株式会社様のAIソリューションです。）
・４位 Accel-Mart
・５位 IM-Spreadsheet

おまけ

今回のBIORAブースのスモール版を展示する、ショールーム計画が進行中…！
詳細が決まりましたらブログでお知らせいたします！