Microsoft HoloLensとは(VR/AR/MR/SR/xRとは)

2018年7月3日

現在、仮想空間、デジタルな空間での技術も発展しており、既に様々な用途で使用され始めています。自分もMicrosoft HoloLensを使用したことがありますので、まず仮想現実の種類について説明し、その後HoloLensについて、簡単に説明します。

 

VR、AR、MR、SR、xRとは

「VR:Virtual Reality」とは仮想現実です。
没入型になります。つまり、完全にデジタルな世界に入り込むことになります。それは専用のグラスをかけると目に見える全てが作り物の世界になり、音などもヘッドホンなどで遮断し仮想世界の音を流したり、超音波で触った感触など作り出して(「Ultrahapticsとは」)、仮想世界に完全に入りこむようにできます。

「AR:Augmented Reality」とは拡張現実です。
現実の世界に対して、バーチャルなものを混ぜ合わせたりすることができます。

「MR:Mixed Reality」とは複合現実です。
上記、二つを混ぜ合わせたものになります。ARはグラスをつけなくてもスマホなどで確認することができますが、MRではグラスをつけて、ARでもVRでも対応できるようにしています。

ARとMRの違いとして、MRはARと逆のアプローチを行っています。主眼はデジタル空間に置かれており、カメラなどを通して受け取った現実世界の情報をデジタル空間上に反映します。
そのため、ARは空間座標を持たず、情報が画面上にありますが、MRは情報が空間内に存在し、空間座標を保持するため、物理世界の干渉を発生させることができます。
つまり、時間とともに移動する物理情報を認識しているので、椅子の上などにデジタル情報を置いておき、椅子がなくなるとデジタル情報が落ちたりします。

VRとMRの違いは、VRは現実世界を遮断しているため、移動に制限があり(元の部屋の大きさに注意が必要で)、現実世界の物体に触れたり、人と会話することが困難です。
MRは現実も見えているので、現実世界の移動や物体に触れたり、人との会話も可能です(音などもイヤホンではなく、グラスから聞こえるので、周りの音を通常通り聞くことが可能)。

「SR:Substitutional Reality」とは代替現実です。
理化学研究所の脳科学総合研究センター 適応知性研究チームが実験中のシステムで、現実と過去の映像を合わせて見ることができます。心理・認知実験などのために使われる予定だそうです。
下記の動画を見ていただいた方がイメージが付くかと思います。

 

「xR:x Reality」はこれらの技術を総称して呼ぶときに使用することがあります。

 

仮想現実の技術はいくつかの種類がありますが、どれかがが優れているというわけではなく、必要に応じて適宜に使い分けることが重要になります。

 

Microsoft HoloLensとは

HoloLensはMRであり、VRとARを合わせたものになります。下記Microsoftのサイトにデモなどがあるので、興味があれば見てください。
 HoloLens
また、Microsoftの他の機能については、下記をご覧ください。
 MicrosoftがVR/MRで見ている先は

壁や机などの物体を認識し、そこにバーチャルなものを表示させたり、置いたり、移動させたりできます。基本的な機能として、部屋の空間をスキャンし、部屋の空間自体を3Dで表示できたり(前回と比較したり、部屋の形を分析・解析することができます)、2点間の距離を測ることなどもできます(赤外線の光により、反射させて距離を算出しています)。また複数人でHoloLensをつけて、共有することも可能です。そしてMicrosoftの技術である音声認識や、翻訳機能なども入っています。
将来的には、遠くにいる人がHoloLensを通して、現在の場所にいるかのようにすることもできるようになる予定です。(Holoportation)

これらの技術を用いれば、様々なビジネスケースに利用されていくことになります。

例えば、目に見えづらい機械や人体などの中身をわかりやすく見せてトレーニングに利用することができます。IoTと使用すれば、リアルタイムでデータを見ることができ、デジタルツインとしてシミュレーションや分析することもできます。
他にもリフォームなど設計を仮でするときに手軽で行うことができます。
またクラウド上のデータを取ってきて、3Dの地図上でリアルタイムの渋滞情報や事故の様子などを見ることもできます。

本当に様々なケースに利用できますし、単純にゲームでも楽しめます。
自分もシューティングゲームのようなものを行いましたが、現実の部屋の壁を突き破って敵が出てきたりしたので、リアルで怖かったですし、すごいなと改めて感じました。

 

HoloLensの使用方法

基本的には「視線」と「手のジェスチャー」と「音声」で操作することができます。

視線の先はPCでいうマウスのようになっているので、クリックしたいものがあれば、親指と人差指でつまむようにすれば、クリックできます。つまんだままにすれば、バーチャルな物を掴んで移動もできます。あとはブルーム(花を開くように)という手を閉じた状態から開くようにすれば、必要な画面が出てきます。あとは音声に合わせて、動いたりしてくれます。

他にもキーボードなど、他のデバイスと接続して使用することもできます。そのためPCなど得意な分野を考慮して、上手く融合することも可能です。

 

HoloLensの実装方法

開発者向けですが、HoloLensはUWPやUnityを使用して実装することができます。
Unityについては簡単にここで「Unity」説明してますので、参考にしてください。実装方法は下記にまとめてありましたので、興味があれば参考にしてください。

 UnityによるHoloLensアプリケーション入門
  Mixed Reality Toolkit(MRKT)

 

言葉で説明するよりも、実際に体験してもらった方が理解できるかと思います。ただ現時点では約30万円で、個人として扱うにはまだまだ高いですね。これからのテクノロジーとして注目度が高いものの一つなので、触れる機会も増えてくると考えられます。そのため、少しでも理解ができていると良いのかもしれません。

 

[2018/5/26 追記]
実例の記事は「VR/AR/MR/SR/xR事例」をご覧ください。