やる気や恐怖心などが分かる?!NTT西日本が取り組む「ココロの視える化サービス」とは

2017.06.22
リスト
このエントリーをはてなブックマークに追加

1日の歩数や睡眠時間などは今や、スマートフォンやウェアラブル端末を使えば簡単に測れます。最近では、目の動きから心の動きを見える化しようという動きもあります(関連記事)。心の動きが分かれば、働き方改革やコミュニケーションの活性化など企業が抱える課題の解決につながるとの期待も高まっています。この感情の可視化に以前から取り組んでいるのがNTT西日本(西日本電信電話)。「ココロの視える化サービス」を提供しています。一体どんな感情が見えるというのでしょうか。

各種のイベントの付加価値サービスとして展開

ココロの視える化サービス」はNTT西日本グループでデータセンター事業などを手がけるNTTスマートコネクトが提供するクラウドサービスの1つです。センサーデバイスで取得したバイタルデータを解析することで、その人の心の状態を推定し数値化します。NTT西日本が展開する「スマート光戦略」の一環として、両社と愛知県公立大学が開発し、2015年7月に発表しました。スマート光戦略は、デジタル技術によって家庭と企業、街をつなぎ、新たなサービスを作り出そうという取り組みです。

NTT西日本とNTTスマートコネクトでは、ココロの視える化サービスを各種のイベントの付加価値サービスに位置付けています。例えば、コンサートでの「感動・興奮・喜び」だったり、お化け屋敷での「恐怖・不安・驚き」などです。観客は、イベント体験後に自分の振る舞いを客観的に振り返ったり、友人と共有したりと「新しい楽しみ方を発見できる」としています。具体的に、どんなイベントで採用されているのでしょうか。イベントなので既に終了しているものもありますが、ユニークな利用場面を紹介しましょう。

■プレー中のメンタルを図る「スマート光Golf」

スマート光Golf」は、ゴルフプレーヤーのメンタル状態を見える化するサービスです。ゴルフ雑誌の発行からゴルフ場の予約サービスなどを手がけるゴルフダイジェストの協力を得て、滋賀県大津市にある瀬田ゴルフコースで2016年10月15日から2017年12月31日まで実施しています。ゴルフはメンタルな影響が大きいスポーツで、プレーの技術に加え、心の持ち方を安定させるテクニックが必要だと言われています。スマート光Golfでは、センサー内蔵の下着を着用してプレーすることで、バイタルデータがクラウドで分析され、結果をカート備え付けのタブレットで確認できます。ゲームが終われば、医学修士でもある横田真一プロからメンタルを整えるためのアドバイスも得られます(動画1)。

動画1:「スマート光Golf」の紹介ビデオ

■ハッスル度合いを測る「スマート光フットサル」

同じスポーツでも、ハッスル度合いを見える化しようとしたのが「スマート光フットサル」です。会員制フィットネスクラブを運営する東急スポーツオアシスと、スポーツ用品メーカーのゴールドウィンと共同で、2016年1月24日から2016年6月30日まで実施しました。試合中の選手の心拍数や運動強度はコートに設置した大型ディスプレイにリアルタイムに表示されるほか、個人のスマホにも走った距離や消費カロリー、平均運動強度、最高速度などが送られます。さらに試合終了後は、これらの数値から割り出した頑張り度合いが「ハッスル指数」となり、選手別の「ハッスル指数ランキング」として発表されました。

■笑いを可視化する「スマート光お笑い劇場」

スマート光お笑い劇場」は、エンタテインメント事業を展開する吉本興業と共同で、2016年2月3日から2016年3月28日まで実施されたイベントです。吉本のタレントさんが繰り広げる漫才や喜劇を見ている観客が、どれだけ笑っているかを「笑福度」として数値化しました。笑福度は、心拍数と呼吸数、笑顔率の3項目から割り出す数値で、心拍数と呼吸数はマイクロ波センサーで、笑顔率は顔認識カメラで、それぞれ測定します。観客席の一部に、マイクロ波センサーと顔認識カメラを組み込んだ測定装置が設置されました。結果は、スマホなどを使って専用サイトで確認したり、それをソーシャルメディアでシェアしたりして、イベントの新たなビジネスを模索しました。

■恐怖心を数値化した「梅田お化け屋敷×NTT西日本」

笑いとは逆に、恐怖心を数値化しようとしたのが「梅田お化け屋敷×NTT西日本」です。2015年の夏と2016年の夏に大阪・梅田で実施し、2016年には沖縄でも実施しました。リストバンド型の活動量計で、脈拍数と「停止・歩行・走行」といった動きを計測し、それを独自のアルゴリズムで解析することで、「恐怖・怯え・平静・硬直・驚愕」の5項目からなる「ビビリ度」を算出しました。ビビリ度は友達と共有できるので、お化け屋敷体験後も盛り上がれそうですし、お化け屋敷の運営者にすれば、顧客のリアルな反応を数値として確認できるため、演出の改善などに活用できたようです。

「笑い」を医学的に検証しストレスマネジメントに乗り出す

様々な感情を見える化してきたNTT西日本の「ココロの視える化サービス」ですが、その測定には、特別なデバイスや技術を使っているわけではありません。いずれも表1にあるように、一般的に提供されている製品やサービスを組み合わせています。逆にいえば、同じデータを取得しても、そこにどんな関連性を見いだせるかで、意外な“見える化”が可能になるということです。

製品/サービス名 ベンダー名 利用イベント センシング対象 概要
C3fit IN-pulse ゴールドウィン Golfとフットサル 心拍数、心電波形など 心拍数を測れるスポーツ専用下着。NTTドコモが開発した通信デバイス「hitoeトランスミッター01」と組み合わせることで、加速度や心電波形のデータと共に送信できる。東レが開発したナノファイバーニットに含浸させた高い導電性を持つ生地「hitoe」を利用している。
NeoFace NEC お笑い劇場 顔の画像による個人認証 顔認証のためのAIエンジン。「顔検出」「特徴点検出」「顔照合」の3つの技術からなる。顔検出では画像から人の顔を認識し、顔特徴点検出で目や鼻、口端などの特徴点を探索する。そこから顔の要素の位置や大きさを決定し、顔照合により同一人物かどうかを判定する。1989年から研究・開発されてきた技術で、世界40カ国以上で利用されている。
FieldAnalyst for Smile Face NEC
ソリューション
イノベーター
お笑い劇場 顔の画像からの笑顔度 カメラで撮影した人物から顔の部分を判断し、そこから「笑顔度」を算出する仕組み。接客業での、おもてなし教育や笑顔教育といった従業員教育に利用されている。
マイクロ波センサー
モジュール
シャープ お笑い劇場 心拍数や呼吸数など 人や動物にマイクロ波を照射することで、反射するマイクロ波の変化から、心拍数や呼吸数などを検知する。心臓や肺のわずかな動きによって振動の変化を察知できる。約3メートル離れた場所からの測定でも、心拍数を±10%の誤差の範囲で測定できるという
PULSENSE エプソン 梅田お化け屋敷 脈拍数や3軸加速度など 脈拍センサーと加速度センサーを搭載する活動量計。腕時計型とリストバンド型がある。腕に装着することで、脈拍推移と活動量が測定できる。エクササイズやトレーニング、ダイエットなどの目的で使用されている。
表1:「ココロの視える化サービス」が利用したセンシング技術など

「ココロの視える化サービス」は、関西での取り組みだけに、スポーツやお笑い、アトラクションなどユニークさが際立っています。ですがNTT西日本は、単にイベント用途での展開だけを考えていたのではないようです。2017年2月、笑いの習慣が身体や心理的健康に与える効果を解明するための共同研究を始めると発表しました。参加するのは、近畿大学と吉本興業、オムロン、そしてNTT西日本です。

研究は4段階で進め、最初の2段階は健常者を対象に、次の2段階では精神疾患者を対象にする計画です(図1)。「スマート光お笑い劇場」と同様の仕組みを使いながら、吉本興業が主催する漫才などを鑑賞してもらいデータを取得するほか、鑑賞の前後で心理テストを実施し心の状態を確認します。第3段階からマネジメントプログラムを開発し、それを受けたアプリケーションプログラムも開発します。最終的には2021年1月の実用化を目指します。NTT西日本によれば、精神疾患を煩う患者数は年々増加しており、それによる経済損失は2010年に約2.7兆円に上りました(厚生労働省調べ)。今回の共同研究により、この社会問題をこれまで研究されてこなかった「笑い」の力で解決したいといいます。


図1:NTT西日本らが取り組む「笑い」の医学的検証研究のスケジュール(NTT西日本のプレスリリースより)

IoTといえば、生産現場や交通分野の効率化などが話題になりますが、「ココロの視える化サービス」に見られるような人の感情に迫る取り組みにおいては、私たちの医療や健康の分野でも、これまでにない解決方法がうまれることが期待できそうです。

執筆者:福永 渉(Digital Innovation Lab)、高橋ちさ(ジャーナリスト)

EVENTイベント