デジビBlog

intra-mart BIORAブース – OCRとIoT(LED) –

投稿日:

こんにちは。デジタルビジネス推進室の関根です。

今回より、intra-mart BIORAブースの技術寄りな話を書こうと思います。
まず第一回目は、OCRとIoT(LED)です!

受付の流れ

OCRとIoT(LED)は受付の際に使用した技術となります。

BIORAブースの受付は、以下のような流れとなっておりました。

  1. お客様に名刺を提示してもらい、タブレットで撮影
  2. 撮影した名刺画像を IM-OCR で文字列化
  3. OCR結果を形態素解析に掛け、会社名、役職、氏名を取得
  4. 取得した情報をもとに、カレーの好みの味を選定する等の機械学習データを生成
  5. 空席確認を行い、座席案内(LED点灯APIを叩きつつ、画面表示)
  6. 案内対象となる座席のLEDが点灯

受付機能の実装概要

1. お客様に名刺を提示してもらい、タブレットで撮影

intra-martで受付画面を作っています。
人数を選択できるラジオボタンとカメラ起動用の fileタグ、送信ボタンを用意(シンプル!)

2. 撮影した名刺画像を IM-OCR に渡し文字列化

画面上の「送信」ボタンをタップされたときの処理を実装します。
※IM-OCR では、OCRでテキスト化する箇所を「ブロック」として設定できます。
今回は名刺全体をブロック指定しました。

3. OCR結果を形態素解析に掛け、会社名、役職、氏名を取得

IM-OCR で文字列化されたデータを形態素解析します。
解析結果から分類が「顧客」「役職」「人名・姓」「人名・名」のものをそれぞれ、会社名、役職、氏名として利用しました。

解析結果は以下のようになります。

部長 名詞,固有名詞,役職,*,*,*,部長,*,*
青柳 名詞,固有名詞,人名,姓,*,*,青柳,アオヤギ,*
辰巳 名詞,固有名詞,人名,名,*,*,辰巳,タツミ,*
株式会社NTTデータイントラマート 名詞,固有名詞,顧客,*,*,*,株式会社NTTデータイントラマート,*,*
〒 記号,一般,*,*,*,*,〒,ユウビンバンゴウ,ユービンバンゴー
107 名詞,数,*,*,*,*,*
- 記号,一般,*,*,*,*,*
0052 名詞,数,*,*,*,*,*
東京都港区赤坂 名詞,固有名詞,地域,一般,*,*,東京都港区赤坂,トウキョウトミナトクアカサカ,トーキョートミナトクアカサカ

☆ここでひと工夫
「人名・姓」に関しては、「地名」として認識されるパターンがあった為、
「人名・名」の前の単語が「地名」と認識された場合は「人名・姓」に置き換える処理などを追加。
高松さんの名刺を読み取ると、香川県の高松(市)として認識されますので、これを回避!

ちなみに、EWS当日の解析正答率は以下になりました。

「会社名」解析正答率: 72.0%
「役職」解析正答率: 92.5%
「姓」解析正答率: 84.9%
「名」解析正答率: 77.4%
※実際に撮影された名刺とOCR結果情報を見比べて算出しました。
※名刺画像やOCR結果情報は、正答率算出後に削除しておりますのでご安心ください。

こちらで読み取った「姓」についてはAI音声チャットで利用していたのですが、
約15%の方々には、お名前の呼び間違いが発生していたという事になります。

大変失礼致しました…。

4. 取得した役職をもとに、カレーの好みの味を選定する等の機械学習データを生成

カレーの味は、取得した情報をもとに統計データから推定する処理を実装しました。
その他、特定条件下に該当した方にはレア物を選択するよう実装。

カレーの味が好みに合っているかどうかは、AI音声チャットの会話内で
お客様の感想を聞けるようにしました。

感想をまとめたところ、以下のようになりました。

「あっている」: 76.1%
「誤っている」: 21.3%
「まあまあ」: 2.6%

※「ばっちりです!」「辛口が良かった…。」「食べてみないと分からないです」「すご~い」等の声を頂きました!

5. 空席確認を行い、座席案内(LED点灯APIを叩きつつ、画面表示)

一通りの処理が終わると、空席を検索して、先ほどのOCR画面にブース案内が出ます。

6. 案内対象となる座席のLEDが点灯

LEDはフルカラーのLEDテープを使用しました。
2.5m毎にカットしてハンダでAC電源とWi-Fiモジュール マイコンに接続!

マイコンはesp-wroom-02を使用しており、
スカイツリーをイメージしてクルクル回る感じに点灯する制御を実装しております。


今回の記事はここまで。

次回はルンバをメインに記事を書こうと思います。

-デジビBlog

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

「高松商店」IoT化事例のご紹介

こんにちは、デジタルビジネス事業推進室の高松です。 「デジタルビジネス事業推進室」では、IoTやAI、RPAといった新しい要素技術を活用したビジネス化の検証をしています。 今回は、弊社のちょっと変わっ …

「高松商店」のデジタル化事例のご紹介

こんにちは。デジタルビジネス推進室の高松です。 今回は、高松商店のちょっとしたデジタル化についてご紹介させて頂きます。 (高松商店をご存知ない方は、こちらの記事をご覧ください!) 高松商店の近況 前回 …

intra-mart BIORAブース – 当日の様子 –

こんにちは。デジタルビジネス推進室の関根です。 EWS(Enterprise Web Solution)2018東京、無事終わりました! 多くのご来場ありがとうございました。 今回は、EWS当日のin …

デジビブログ始めます

こんにちは! デジタルビジネス推進室(デジビ)に配属になりました生田と申します。 これから、デジビのブログ担当として研究内容をご紹介させていただきます。 デジビブログでは、我々が日々取り組んでいる内容 …

BIORAブースの準備状況

こんにちは。デジタルビジネス推進室の高松です。 今回は、来週開催するEWS(Enterprise Web Solution)2018東京で展示予定の、「intra-mart BIORAブース」の準備状 …

まだデータがありません。

RSSRSSRSSRSS