【VR基礎】VR制作にあたって押さえておきたい五感に関する基礎知識
最近では、「VR(Virtual Reality)」という言葉を聞かない日がないほど、連日、TVやメディアで取り上げられていますね。
VR(Virtual Reality)とは、人間の感覚器に働きかけ、現実ではないが実質的に現実のように感じられる環境を人工的に作り出す技術の総称のことである。(e-WordsのIT用語辞典より)
「現実ではないが、実質的に現実のように感じる」
ということですが、
実際に世の中を見渡してみると、まだまだこの本来の意味でのレベルに達しているものは少ないように感じます。
今後の伸び代が大きい分野であると考えます。
今後のさらなる技術向上のため、そして、本来のVRを実現するにあたっては、
そもそも人間は、感覚器を通じてどのように情報を受け取り、処理しているのか?
を理解しておくことが大切です。
例えば、「見る」ということについて、私たちは、眼球を通して網膜に映し出された画像情報をそのまま受け取って認識している訳ではなく、その二次元情報を脳で処理することによって三次元に補正して認識しているのです。
基本・原理を理解しておく。
これによって応用が効くものと考えています。
そこで、ここでは、そもそもの人間の五感を中心とした感覚について紹介し、その特性を知っていただいた上でVRへの活用を検討いただければと思います。
1.はじめに
VRを活用するにあたっては、ヒトの感覚・知覚について理解しておくことは大切であると考えます。
と言うのも、VRは色々な感覚を人工的にユーザに提供することでリアルな体験を感じてもらうことから、この人工的な感覚を如何に作り出すかを考える必要があるからです。
ヒトの感覚器には、光に対する視覚器、音に対する聴覚器、化学物質に対する嗅覚器及び味覚器、温度や機械刺激に対する触覚器があります。
一つの感覚器だけでなく、複数の感覚器が同一の物事から生じる感覚を与えられることによって、より仮想現実を現実のように感じることになります。
また、それぞれの感覚器から取り込まれた情報は、神経系を通じて最終的には「脳」にて処理され、解釈がなされます。
脳は、大脳、小脳、脳幹に大別されます。
小脳は運動や姿勢制御など、脳幹は生命維持機能をつかさどります。
そして、VRに関連する感覚や知覚を担うのが大脳になります。
大脳の中でも関連の深い部分として以下があります。
前頭葉 ・・・運動指令の出力
頭頂葉、後頭葉・・・感覚入力の受容
頭頂連合野 ・・・感覚情報の統合、空間知覚
体性感覚野 ・・・体の各領域に対応した体性感覚の受容
運動野 ・・・運動指令を筋肉に発信
特に、頭頂連合野においては、後頭葉に届いた視覚情報や側頭葉に届いた聴覚情報、そして他の感覚情報が統合されて総合的な解釈がなされます。
次の章以降では、各感覚器の特性とそれに関する再現技術について、まとめました。
2 VRにおける視覚
見るとは?
見る原理としては、簡単に言うと、外からの光を眼球を通して網膜で受け取り、脳神経系で情報処理することで、色、形、位置関係などを認識します。
光は眼球を通過し、その裏側にある網膜に至り、さらにその奥にある視細胞で光エネルギーから電気信号に変換されます。
網膜での視細胞でまずは時空間処理がなされた後、網膜神経節細胞から外側膝状体を経て脳(大脳皮質)へと処理が続いていきます。
眼球 → 網膜 → 視細胞 → 網膜神経節細胞 → 一次視覚野(左右の情報統合)
→ 頭頂連合野(位置、運動の知覚、行為に係る処理)
→ 側頭連合野(形、色の知覚)
網膜できちんと対象物の映像を捉えることができないと、脳にて正しく認識することができません。
近視や遠視などによって網膜に映像のピントが合わないと脳での認識がぼやけたものとなります。
逆に、網膜で映像のピントが合ったとしても脳の働きによって正しく認識できないこともあります。これを「錯視」といいますが、いわゆる目の錯覚です。
同じ長さの棒線が周囲の模様によってどちらかが長く見えたり短く見えたりするというものです。
視覚の基本的な特性
視覚には以下のような特性があります。
【同化】
2つの対象が同じ色であっても、それぞれ取り囲む線の明るさによってそれと同じ方向に知覚される。明るい線で囲むと明るく見える。
【対比】
2つの対象が同じ色であっても、その背景色の明るさによってその差を強調するように逆に知覚される。背景が暗いほど、逆に対象が明るく見える。
【順応】
一定方向に動き続ける物体を見続けるとそれに慣れてしまい、それが基準となる。下に流れる滝を見続けると上から下への動きが基準・標準となる。
【残効】
「順応」によって静止しているものが逆に動いているように見える。下に流れる滝を見てから隣の崖を見ると表面が上に移動しているように見える。
【恒常性】
網膜などの感覚器官に与えられた情報が変化しても結果としての知覚が変化しないこと。
1m離れた人と3m離れた人では、網膜に映る大きさは、3倍異なるが、実際には同程度に見えている。
網膜に映った像のサイズを奥行き距離の情報を使って実際の世界での大きさに調整・補正している。
他にも位置や形についても同様に恒常性があり、脳は、網膜で捉えた情報をそのまま写し取って知覚しているわけではありません。
空間の知覚
網膜に映った像は平面の2次元ですが、それを3次元空間として捉えることができるのは、奥行きに関する手がかり情報を活用して脳で3次元に復元しているからです。
奥行きに関する手がかりとしては、次のようなものがあります。
眼球運動からの手がかり
この手がかりはそれほど強いものではありませんが、以下があります。
【調節】
ものを見る際、眼の水晶体の厚みを変化させることでピント調節をおこないますが、その水晶体の厚み調整する筋の状態が奥行きの手がかりとなります。
(ただし、その手がかりは1m程度の近い距離に限られます)
【輻輳】
両眼でものを見る際、眼が内転または外転します。この眼の動きが奥行きの手がかりとなり、数m程度の範囲まで有効です。
両眼視差による手がかり
私たちは眼が左右2つありますが、それによって生じる奥行きの違いによる映像のズレが有効な手がかりとなります。
これによってしっかりと奥行きが感じられます。
VR技術でもこの特性を活用しています。
また、頭部が動く(移動)ことによって視点の位置が変化しますが、その際に網膜での像に「運動視差」(像のズレ)が生じます。
これもまた奥行きを感じる手がかりとなっています。
単眼性の絵画的手がかり
見る対象物の状態によっても奥行きを感じる手がかりがあります。
遮蔽(重なり)
遠近法
速度勾配
陰影
キャストシャドー など
陰影は、光の当たり方のことで、光の当たる部分と影になる部分の情報から奥行きを感じます。
ヒトはデフォルトで「光源は上方にある」と設定されており、光の方向が不明な場合、このデフォルトが前提となって知覚します。
キャストシャドーは、物体と背景(影など)の位置関係から奥行きの距離を感じるものです。
VRでの映像製作においても、特にCGで作る場合など、光の当て方(光の当たる部分と影の部分)は重要になってきます。
ここの設定が不自然だとVR体験もまた違和感のあるものとなります。
さて、「見る」ことについては先ほど述べたとおり、通常は、光彩レンズで屈折させてピント調整した上で網膜に像を写します。
しかし、特殊な装置を使うことによって直接、網膜に像を映し出そう、という研究がなされています。
これによって、ピント調整がうまくできない近視、遠視であっても関係なく、常に鮮明な像が網膜で捉えられます。
眼鏡をかけてVR体験をされた方はよく分かると思うのですが、ヘッドマウンドディスプレイ(HMD)を頭に装着する際、眼鏡が妨げになったり、目元が不快だったりといったことがあります。
直接、網膜に像を映し出す特殊装置の技術が実用化すれば、眼鏡なしでVR体験を楽しむことができそうですね。
もちろん老眼であっても問題なしです。
今後、高齢化を考えると高齢者でも老眼鏡なしで気軽に楽しめるのは、魅力的です。
早期の実用化に期待したいですね。
VR、AR技術への応用
ピクシーダストテクノロジーズ株式会社(代表取締役 兼 筑波大学助教授 落合陽一氏)は、新たな広視野角の透過型(シースルー型)ヘッドマウントディスプレイ(HMD)を発表しました。
網膜投影法を活用したもので、眼の光彩レンズでのピント調節をすることなく、直接網膜に光を届ける仕組みです。
光源(プロジェクター)からの光を特殊なプレートを間に挟むことによって、網膜に映像を届けることができます。
近眼、老眼に関係なく映像が届けられます。
言葉で言うと簡単そうですが、実はこれまでも網膜への直接投影の技術はあったものの、あまりに仕組みが複雑なため普及して来ませんでした。
それを落合助教授の研究グループが ”シンプル+小型+透過型+広視野角+低消費電力 ”のHMDを実現しうる網膜投影光学系を発明しました。
今後、この光学系の小型化、そしてHMDとしての製品化を目指すとのことです。
※引用元: ピクシーダストテクノロジーズ株式会社
また、一方で、福井大などの産学連携グループもまた、眼鏡フレームに内蔵した超小型の光学エンジンから網膜に直接映像を投影する新しい「スマートグラス」の開発をおこなっています。
レンズに投影した映像を普通に見る従来のスマートグラスと異なり、反射板を使って網膜に映すため、弱視の人でも装着してはっきり見えると言われています。
【福井大学プレス発表】
光を導く「導波路」をシリコン基板上に作り、緑は直線路にし、青と赤の導波路は途中で緑の導波路に接近させてばらばらだった光ビームを1本にまとめることができました。
この技術をもとに、13×4.5× 4.5㎜の大きさの超小型光学デバイスを実現することができ、現在は米粒大の大きさまで小さくすることに取り組んでいます。
眼鏡のつるに埋め込んでも、違和感なく、重くもなく、スマートグラスへの応用はすぐに思いつきますが、従来のスマートグラスのように、目を凝らして画面を見るものではなく、私たちは、網膜へ直接映像を書き込み、自然に映像が見られるようにすることを目指しています。多くの人が「目に影響はないか」と不安になりますが、このデバイスの光は微弱なため問題ないと考えています。
(福井大学 https://www.u-fukui.ac.jp/)
3 VRにおける聴覚
聴くとは?
「聴く」とは、外からの音(振動)を耳で受け取り、振動の情報を神経信号(電気信号)に変換して、脳神経系で情報処理することで認識するものです。
聴覚系は、外耳、中耳、内耳の3つの部分・機能に分けられます。
外耳: 音をとらえて、音源の空間的位置を特定するのに役立つ。
中耳: 鼓膜と耳小骨から成り、外から伝わってきた振動を内耳に伝える。
内耳: 主に蝸牛と前庭、半規管から成る。
聴覚に関係するのは、蝸牛で、名前のとおり、「かたつむり」のように細長い管が巻かれた構造になっている。
蝸牛管の中には、入口から奥に向かって、多数の「有毛細胞」が並んでおり、それぞれ音振動の周波数に応じた担当が決まっています。
ここで音の振動情報を神経信号(電気信号)に変換され、脳幹の神経核を中継して脳の側頭にある聴覚皮質に伝えられます。
聴覚の基本的な特性
聴覚によって以下を知覚することができます。
【音の高さ】・・・音の周波数
ヒトの可聴域は20Hz~20,000Hz程度です。
感度は4,000Hzあたりがピークで高周波側、低周波側で感度が下がっていきます。
【大きさ】・・・音の振幅、強弱
ヒトが感じる音の強弱は、振幅だけでなく、周波数や時間的変化によっても異なってきます。
ごく短時間に発せられる衝撃音は、そのエネルギーが小さくても定常的に出ている場合より音が大きく感じられます。
【音色】・・・音の種類
同じ大きさと高さの2つの音が異なると判別されるもの。楽器による音の違いなど。
【タイミング/リズムなどを含む時間特性】
空間の知覚
私達は、聴覚で音源の位置を感じることができます。
このとき、聴覚系が受け取っているのは、両耳の鼓膜での振動情報だけです。
そこで、音源の位置をとらえるためには、他の間接的な情報を利用しなければなりません。
その1つが「両耳間差」の利用です。
これは、
頭が音を遮ることによって音源とは反対側の耳に届く音が小さくなるという両耳間での強度差を利用するもの
と
音源と反対側の耳までの方が到達距離が長いという両耳間での時間差を利用するもの
の2つがあります。
この2つを制御して作る立体音響が「ステレオ」です。
3Dサウンドとも言われています。
VRでの音響効果として、この両耳間差を活用することで、より現実感を提供することができます。
ただし、音源が真正面に存在したり、同じ両耳間差をもたらす位置は多数あり、両耳間差だけですべての音源位置を特定できるわけではありません。
これまでの研究から、ヒトが音を聴く際、頭部などが音を遮ることによって音源に加える複雑なスペクトルパターンの変化を手掛かりとして使っていることが分かってきています。
そのパターンを関数化したものを「頭部伝達関数(HRTF)」と呼んでいます。
(出典:東北大学他 http://www.ais.riec.tohoku.ac.jp/lab/db-hrtf/index-j.html)
このHRTFを立体音響(ステレオ)を使って収録した映像音源にかけあわせることで、頭の動きに360º画像が追従するのと同じように、前後左右方向や高さ方向に音源を移動させることができます。
【クロスモーダル現象】
ある感覚器での体験によって現実には起こっていないことが感じられることがあります。
それは過去の体験が呼び起されることによってあたかも現実に再現されたかのように感じる現象です。
視覚と聴覚にのみ刺激を受けている場合に、過去の類似体験から匂いまで感じる、と言った現象です。
これは、五感のある感覚が刺激されることによって、存在しない他の感覚を脳が補完してしまうことによって起こります。
一説によると・・・
日常的な体験の感覚は 80% 以上が視覚から得られた情報で、聴覚と合わせると 90% 以上になるとも言われています。
そのため、HMDとヘッドフォンを装着し、視覚と聴覚にリアルな情報を提供してあげることで、人間の感覚の 90% 程度をコントロールできるともいえるでしょう。
VRコンテンツ制作にあたっては、まずは視覚と聴覚に力を注ぐとよいでしょう。
VR、AR技術への応用
OSSIC社にて完全没入型の3Dヘッドフォンが開発されています。
この新世代ヘッドフォンは、ハードウェア「Auto-calibrating 3D audio headphones」とソフトウェア「Audio Software Solutions」で構成されています。
「Auto-calibrating 3D audio headphones」は、先ほど述べた「頭部伝達関数(HRTF)」について、使用する人に合わせて自動最適化し、リアルな聴覚体験を提供するものとなっています。
例えば、ヘッドトラッキング機能を有していて、利用者の頭の動きをトラッキングし、3Dオーディオコンテンツの音像とインタラクションする(関連付ける)ことが可能になります。
また、左右だけでなく、上下・遠近 前方後方の全方向に音をレンダリングすることによって、3Dオーディオコンテンツに没入させることができます。
(※OSSI公式ページ:https://www.ossic.com/)
また、リコーのTHETA Vもまた360℃映像とともに全方位からの音を収録することが可能です。
映像と音声がリンクした臨場感を楽しむことができます。
実際に撮影した360°空間音声対応の映像サンプルを紹介します。
航空機の移動に伴って音源位置が変化する様子が体感できるかと思います。
RICOH THETA V – 4K & 360° Spatial Audio Sample (Airport)
4 VRにおける味覚
味覚とは?
味の正体は、化学物質です。
味を感じるのは、口の中にある舌の部分です。
舌は、神経線維の塊で、化学物質を感知するセンサーになっています。
さらにいうと、舌の表面にある感覚器官の味蕾(みらい)がその役割を担っています。
味蕾は基本的に舌に多く存在するのですが、一部、上顎にもあります。
味蕾は花のつぼみに似た形をしていて、その中には味を感じる味細胞が50個程度あります。
さらに、味細胞には、味のもととなる化学物質を受け取る受容体がいくつかあるとされています。
味覚には大きく分けて、塩味、酸味、苦味、甘味、うま味の5種類があります。
当初、味蕾ではこの5種類に対応した受容体があると考えられていましたが、実際には、うま味や苦味の受容体が複数あることが分かってきました。
そして、味蕾で捉えた情報は、電気信号に変換され、3種類の神経(舌咽神経、迷走神経、顔面神経)を通って延髄の孤束核、視床を経由し、大脳の味覚野に送られます。
以前は舌の各部位によって基本の5味のそれぞれを感じる受容体が分布されると考えられていましたが、実際にはどの受容体も全ての味を感じることができます。
つまり、どの味も舌の全領域で感じられます。
ただし、味覚が生じる刺激強度のしきい値には部位によって差があります。
(※Wikipediaより)
VRへの活用にあたっては、舌の味蕾にある味細胞に基本5味のそれぞれに相当する微弱な電気を流すことで疑似体験を提供することができます。
味覚の基本的な特性
ヒトが感じる味には、以下のような基本的な特性があります。
【甘味】・・・エネルギーの存在を示す。
筋肉や肝臓のグリコーゲンの量が減ったとき
脳が活発に働き多量の糖を必要とするとき
仕事に没頭して頭を働かせていると多量の糖を消費するため、甘いものが欲しくなります。これは血糖値が下がるためですが、ノンカロリーの甘味料の補給では血糖値が上がらないので満足ができません。それでもとりつづけるとそのうちその甘味料の味が嫌いになります。これは防衛本能の一種といえます。
脳が疲弊して甘いものが食べたいときに人工甘味料では満足できず、食べ過ぎてしまうことになります。ダイエット中であれば、糖質を避けて甘味料で代替しているのに、かえって、カロリーをとりすぎることになりかねません。
【うま味】・・・タンパク質の存在を示す。
日本人が発見したことからも分かるように食文化の違いによって感度が異なります。
エネルギーやミネラルといった必須の栄養が足りていることで感じられます。
【苦味】・・・毒や薬の存在を示す。
苦味についても食文化の違いによって感度が違います。
基本的には毒物を見分けるための目安になります。
食経験を積み、安全であると理解することによって受容することになります。
子供の頃、苦味を拒否していても、大人になると、旨いと感じる経験が、あなたにもあるのではないでしょうか。
【酸味】・・・腐敗の存在を示す。
唾液の分泌を促す。
口の中をさっぱりさせたいとき、運動などでエネルギー源が不足したときに欲する。
エネルギー源が不足するとレモンなどクエン酸を欲することがあります。これは、クエン酸がクエン酸回路によって効率的にエネルギーに変換されるためです。
【塩味】・・・ミネラルの存在を示す。
発汗などで多量の水分(ミネラル)を失ったとき、すみやかに水分を補給したいときに欲します。
塩味として、一般的に塩化ナトリウムを思い浮かべるかと思いますが、塩化カリウムもまた塩味に含まれます。それぞれに感知する受容体があると考えられています。
VR、AR技術への応用
味覚をVRで体験するためには、簡単に言ってしまうと、舌の味蕾にある受容体に対して、5種類の味に相当する電気刺激を与えることになります。
具体例として、
シンガポール国立大学の研究グループ(ニメシャ・ラナシンハ教授)がユニークなカクテルグラス「ヴォクテル(Vocktail)」を開発しています。
このカクテルグラスに水をそそぐだけで本物のカクテルを飲んでいるかのような体験を味わえるというものです。
視覚、味覚、臭覚を同時に刺激する仕組みになっています。
まず、LEDライトで飲み物の色を変え、グラスの飲み口部分に取り付けた電極で舌を刺激して味を感じさせ、アロマ容器からエアポンプで香りを発生させます。
味を感じさせる原理としては、舌への温度刺激と電気刺激によってなされます。
電気刺激は、電流値を調整します。
酸味:60μA~180μA(温度20~30℃)
塩味:50μA以下
苦味:60μA~140μA
など
現状では、まだ実用化に向けて開発中のようです。
深みのある味わいには至っておらず、まだ課題はありそうです。
これが一般的に普及すれば、例えば、ダイエットへの応用も効きそうですね。
「甘いジュースが飲みたい!でも体重が気になる・・・」
そんなとき、このグラスに水を注いでお好みの味にカスタマイズして飲む。
脳をだまして、余計な糖質を摂らずに済みそうですね。
今後の研究に期待大です。
5 VRにおける嗅覚
嗅覚って?
匂いとは、揮発性の化学物質です。分子の集まりです。
そのにおい分子が鼻から入ると鼻腔最上部の嗅上皮と呼ばれる粘膜に溶け込み感知されます。
嗅上皮にある嗅毛・嗅細胞で電気信号に変換され、嗅神経、嗅球、脳の辺縁系へと伝わり、匂いを感じます。
嗅上皮での嗅毛は、匂いをキャッチする嗅覚受容体があります。
受容体は匂い分子と一対一に対応しているわけではなく、1つの匂い分子は複数の受容体に検知されますし、1つの受容体は複数の匂い分子に反応します。
そのため、複数の受容体の検知・検出の組み合わせパターンで匂いを識別しています。
嗅球において、匂い分子の分子構造に応じた識別表が作られていると考えられます。
ただし、私たちの体験の積み重ねによって匂いの体感は影響を受け、匂い分子の構造で一義的に決まるわけではありません。
また、においの濃度が変わっても反応する嗅覚受容体の組み合わせが変わり、違う匂いとして感じられます。
ヒトは400種類程度の受容体を持つと言われ、その組み合わせは数え切れないほどあります。
それによって、数万種類もあるにおい物質を嗅ぎ分けることができます。
嗅覚の基本的な特性
ヒトの嗅覚システムには以下のような特性があります。
【順応性】
同じ匂いを嗅いでいるとそのうちに感じなくなる。
例えば、ホテル・旅館などの宿泊施設、他人の家を訪れた際、その部屋独特の匂いを感じますが、しばらくすると匂いに慣れて感じなくなります。
【好き嫌いが分かれる】
匂いの好みは人によって大きく異なり、10人中10人が好きという匂いはないと言っても過言ではありません。
自分は好きな匂いだと思っても他の人にとってはそうでないことも多々あります。
どんないい香りであっても出し過ぎると逆効果になることもあり注意が必要です。
【ウェーバー・フェヒナーの法則】
匂いの強さの感じ方は、匂い濃度の対数に比例するというものです。
嗅覚は、濃度に比例して強くなったり弱くなったりするものではなく、97%のにおい物質が除去されてようやく半分程度に感じます。
【脳に直接届く】
嗅覚は他の感覚と違って、直接本能に作用します。
匂い情報が大脳辺縁系の扁桃体や海馬といった本能行動や感情、記憶を司る部分に直接伝わります。
そのため、一度嫌いだと感じた匂いは、理屈抜きに嫌いになりますし、雨の日の匂いや子供の頃に嗅いだ匂いなど過去に嗅いだ匂いを嗅ぐことで過去の記憶がよみがえります。
嗅覚と味覚
匂いは、鼻から入ってくる場合と喉から上がってくる場合があります。
どちらも嗅覚受容体で検知されますが、喉から上がってくる匂いは、食事においても大切な役割を果たしています。
食べ物を口の中で咀嚼したり、温度が上がることで匂い成分が揮発します。
また、複数の食材からの匂いが混ざったり、唾液によって成分が変わったりして新しく匂いが発生します。
そのため、喉から上がってくる匂いは、鼻からの情報と異なる香りが感じられます。
これによって、食べ物の味の理解を深めたり、おいしさをより強く感じることになります。
さらに、私たちが実際に感じる匂いは、先ほども記載したとおり、単純に匂い分子の構造で決まるわけではありません。
特に、味覚とは深くかかわっています。
「甘い香り」とか「すっぱい香り」などのように表現され、味と匂いが結びついて記憶されています。
実際、鼻をつまんで食物を口に入れると味があいまいに感じることでしょう。
VRでのリアルな体験を提供するにあたっては、こうした点も踏まえて検討するとよいでしょう。
VR、AR技術への応用
これまで匂いをVRで再現するためには匂いの種類ごとに素となる化学物質が必要だと考えられていました。
最近の研究では、視覚や聴覚と組み合わせて脳に錯覚を起こさせることで、複数の異なる匂いを同じ化学物質で代用できるという結果が得られています。
これは、先ほど「聴覚」のところで紹介したクロスモーダル現象(感覚間相互作用)と呼ばれる、人間の五感が互いに影響し合って色々な感覚を得るという概念を応用したものです。
この仕組みをうまく活用することができれば、嗅覚や味覚のVR技術の開発が進み、五感すべてのVRが完成する日も近いかもしれません。
嗅覚用VR装置の例として、
VAQSO Inc.がVR内の映像にあわせて匂いを出すデバイス「VAQSO(パクソ) VR」を開発中です。
(カートリッジ式で5種類の香りを装備)
VRのコンテンツと連動して、複数の香りが出てきます。
香りを出すON/OFFはゲームエンジンUnityにて制御しています。
装着時、完全ワイヤレスになっていて、VR映像本体とはBluetooth LEを使って連携し、匂いが出るタイミングも本体と完全に同期しています。
VRから香りがでることで、さらにリアリティのあるVR体験が可能になるとのことです。
VAQSO VRは、薄型の方形デバイスで市販のHMD(ヘッドマウントセット)に取付可能(磁石での取り付け)です。
VAQSO Inc.では、嗅覚を錯覚させることで更に没入感や臨場感を得られることを目指しています。
嗅覚への刺激において、難しい点として、香りを拡散させた際、いつまでも匂い続ける場合もあり制御しづらいということです。
VRで使用する場合、香りの発生タイミングがずれると逆に没入感を損ないます。
そのため香りを効果的に活用するためには、瞬間的に匂いをだし、映像が変わればすぐに前の匂いは消えないとならないのです。
この対策がノウハウとなります。
VRコンテンツの例として、
映像制作で知られるAOI Pro.と「VAQSO VR」がコラボレーションしたVRコンテンツ『WONDERFUL WORLD VR Private Tour』は、女の子と手を繋いだまま自然の中をデートする360度映像が話題になっています。
草木の匂い、女性の香りを再現しているとのことで、嗅覚への刺激も取り入れたVR体験が可能となっています。
6 VRにおける触覚及びその他
触覚とは?
これまで紹介してきた視覚、聴覚、味覚、嗅覚、そして今回省略した前庭感覚(内耳にある三半規管。バランスを取る機能等)以外の感覚を体性感覚・内臓感覚と言います。
体性感覚は、皮膚や筋肉など表層で感じられる感覚で、内臓感覚は、胃腸などの内臓で感じられる感覚です。
ここでは、VRに関連する体性感覚のみについて紹介します。
いわゆる「触覚」は、体性感覚の1つです。
体性感覚の感覚器の受容器は、大きく4種類あります。
・ 機械受容器: 皮膚での触覚や圧力の感知
・ 温度受容器: 熱い、冷たいといった温度の感知
・ 化学受容器: 酸性、アルカリ性などの化学的刺激の感知
・ 侵害受容器: 切る・刺す、火傷を引き起こすような強い刺激の感知
体性感覚には、皮膚感覚(皮膚で感じるもの)と深部感覚(骨格筋、腱、関節で感じるもの)があります。
VRの観点から、皮膚感覚について紹介します。
皮膚は、無毛部と有毛部に分けられます。
・ 無毛部: 手指、手のひら
・ 有毛部: 皮膚の大部分を占める毛穴のある部分
皮膚感覚の受容器は、表皮と真皮の境界から皮下組織にかけて存在します。
それらは、以下のような感知機能を持ちます。
【触覚】
皮膚への(強くない)機械的な刺激を感知します。
受容器として、無毛部には、マイスナー小体、パチニ小体、メルケル触盤、ルフィニ終末の4種類があります。
有毛部にはマイスナー小体がありませんが、代わりに毛包受容器があります。
受容器からの刺激は、神経繊維につながり、電気信号として、脊髄、視床を通って大脳皮質体性感覚野に送られます。
この体性感覚野においては、手や唇などからの情報を処理する部分が広く、腹や背、大腿などからの情報を処理する部分については狭くなっています。
この体性感覚の区分を分かりやすくイメージしたものが、「ホムンクルス」と呼ばれる人形です。
手や唇などが敏感であることを視覚的に理解しやすいと思います。
【温度感覚】
熱い、冷たいなど温度に対する反応、知覚です。
皮膚の温度よりやや高い温度に反応するのが「温覚」で、40~45℃あたりでよく反応します。
この温度を超えると「熱痛覚」になり、これは「痛覚」に分類されます。
一方で、皮膚温よりやや低い温度に反応するのが「冷覚」で、30℃あたりでよく反応します。
15℃以下になると「冷痛覚」になり、これもまた「痛覚」です。
基本特性として、
皮膚の温度に近い温度刺激を皮膚に与え続けると、温覚も冷覚も感じなくなります。
一般的に、31~36℃の範囲で生じ、この範囲外では温覚、冷覚が継続するとされています。
【痛覚】
痛覚は以下に分けられます。
・ 体性痛覚 - 表在性痛覚 :皮膚の痛み
- 深部痛覚 :筋肉、腱、関節の痛み
・ 内蔵性痛覚
表在性痛覚には、「速い痛み」と「遅い痛み」があります。
速い痛みは、針を刺したときなどの鋭い痛みで、痛みの範囲がピンポイントなので発生位置が分かりやすい。
通常、速い痛みは刺激が取り除かれると急速に消えて、その後に遅い痛みが継続します。
遅い痛みは、ある程度広く分布しているように感じられ、時間の経過とともに消えていきます。
それぞれ異なる神経繊維によって伝達されると考えられています。
痛覚の特性として、触覚と違い、同じ強度の刺激(侵害刺激)であっても常に同程度の痛みを感じるとは限りません。
例えば、サッカーなどの試合中に受けた足の打撲と自宅で足を家具にぶつけた打撲では、痛みの感じ方がまったく異なります。
これは、刺激情報が脳に伝わるまでの間に大脳などからの抑制制御を受けるためと考えられます。
サッカーの試合中は、緊張状態で脳からベータエンドルフィンなどの痛みを抑える物質が分泌されているため、ということが考えられます。
VR、AR技術への応用
東京大学 先端科学技術研究センターの稲見昌彦教授によると、VR技術の発展には、触覚が重要だと言います。
触覚は一人称の感覚だ。
見えて聞こえるだけの空間や物体はいわば幽霊と同じだが、物体に触ることができて初めて人はそれを実物だと実感する。
また、何かに触れたり触れられたりすることで初めて、自分がそこに存在していると意識することもできる。
バーチャルな物体を触ったときの感触や硬さ、重さを感じさせるには、基本的には、体性感覚ディスプレイと呼ばれる装置が必要となります。
例えば、ボールを持つとき、バーチャルな世界で再現しようとすると、指先にボールから受ける反力をなんらかの機構で指先に作用させる必要があります。
触れている指先の皮膚感覚受容器や、指・手などの筋肉の中にある深部感覚受容器を刺激するということです。
皮膚感覚受容器を刺激する方法としては、振動子や空気圧、電気刺激を用いたものなどがあります。
振動子は、感覚受容器が粗く分布(低密度)している腕や背中などへの刺激に使われます。
感覚受容器が密に分布(高密度)している指先などにはピエゾ素子の振動を活用して刺激を与えます。
一方で、深部感覚受容器を刺激する方法としては、物体を触ったときに返ってくる反力を作用させるものです。
接地型と非接地型の2つがあります。
接地型
装着型:手などに多関節マニピュレータを装着
把持型:ペンやボールを握る
対象型:バーチャルな物体を実世界にそのまま出現させる
非接地型
高速回転するロータをブレーキなどで急減速させたときの撃力を活用
高速回転するロータを傾けた際に発生するジャイロモーメントを活用
これらの技術をハプティクスと呼びます。
ハプティクス(Haptics)とは、利用者に力、振動、動きなどを与えることで皮膚感覚フィードバックを得るテクノロジーを指します。(※Wikipediaより)
なお、課題としては、利用者にいかにタイミングよく刺激を与えるか、ということです。
そのためには、利用者の状況を正しく判断する必要があります。
例えば、コーヒーを飲むという体験をVRで疑似的に再現する場合、利用者がコーヒーカップを認知し、それを手で持ち上げて口まで運ぶという状況を判断して、行動に移します。
その際、タイミングよくコーヒーカップの重みや温度を与えることで初めて利用者はコーヒーカップを持ったと錯覚します。
つまり、状況判断が正しくされてないと、利用者がコーヒーカップに触れる前や触れた後しばらくたってから重みや温度を感じさせたのでは、利用者は違和感だけを覚えて、仮想現実の世界から現実の世界へと引き戻されてしまいます。
【適用例】
以下では、触覚の感覚器に力、振動、動きを与えることで、ある刺激を受けたと感じさせる技術について紹介します。
既に商用化されている触覚器への刺激は、振動によるものが多く見られます。
振動によって触覚器へ刺激を与える装置としてここでは2例を示します。
① ゲーム機「プレイステーション2」の「DualSHOCK」
DualSHOCKは、PlayStationシリーズ向けの振動機能付きゲームコントローラです。
コントローラの左右の持ち手部分が振動し、振動の強弱や片方だけの振動といった微調整も可能です。
ゲーム内での攻撃やダメージ、衝撃などに合わせた振動を体感しながらゲームを楽しめます。
② 映画館「ユナイテッドシネマ豊島園」の「ウィンブルシート」
上映される映画に合わせて座席が振動するもので「ウィンブルシート」と呼ばれています。
座席自体が揺れるわけではなく、腰の位置が振動するというものです。
作品の音響とリンクして振動する仕掛けで、重低音が鳴り響くような作品やホラー映画等との相性がよさそうです。
一方で、触覚器への刺激については、単調な振動だけでは、現実世界のように錯覚させることは難しく、無用な刺激はかえって現実世界に利用者を引き戻してしまうリスクがあります。
そこで、より現実感に近づけようと日々研究開発がなされています。
開発例として以下に「シナスタジアスーツ」を紹介します。
これは、ハプティクス(触感技術)を研究する南澤准教授のチーム(慶応大学大学院)とメディアアートを手がけるゲームデザイナーの水口哲也氏(ライゾマティクス)の共同開発によって生まれました。
ライゾマティクス 「シナスタジアスーツ」
このスーツには26個の振動素子が埋め込まれており、VRコンテンツの効果音に反応して振動することで臨場感や没入感を高めるというものです。
効果音の種類はもちろん、音の強弱や高さによっても振動の仕方は変化します。
スーツにはLEDも装着されており、振動と光や色のパターンがシンクロし、触感を可視化しています。
プレイヤーだけが没入しがちなVR体験ですが、周囲の人たちと共有されることも配慮されています。
さらには、東京ゲームショーにおいて、
・ 光に反応して振動を起こすことで触覚を再現する「触覚提示技術のエンタテインメント応用」(電気通信大学)
・ 超音波で触覚を再現する「視触覚クローン(Haptoclone)」(東京大学大学院)
など、さまざまな触覚技術のデモンストレーションがおこなわれており、VR・AR技術の導入が進むゲームの世界に触覚のVRが導入される日も近いかもしれません。
まとめ
ここでは、VRコンテンツの制作にあたって、ヒトの五感についての基本を紹介しました。
感覚の基本的な仕組みとしては、ごく単純化すると、
なんらかの刺激を感覚器にて感知し、電気信号に変換して神経を通じて脳に送られ、認知、認識する、ということです。
認識にあたっては、それぞれの感覚器からの情報を統合した上で最終的に脳がおこなう、ということです。
VRコンテンツ、サービスを提供するにあたっては、いかに脳をだまして、あたかも有るかのように体験させるか、が腕の見せどころと言えるでしょう。
今後の益々の技術の進歩が楽しみですね。