• 建設資材を探す
  • 電子カタログを探す
ホーム > 建設情報クリップ > 建設ITガイド > Mixed Realityがもたらす建設業界の変革とその可能性

 

はじめに

近年、さまざまな業界においてARやVRといったテクノロジーの活用が広がりつつある。
 
ARとはAugmented Reality(拡張現実)の略称であり、目の前に広がる物理世界に仮想オブジェクトなどを重畳表現することのできるテクノロジーである。タブレット型端末やスマートフォンの画面、眼鏡型ディスプレイなどにコンピューターで生成された画像をビデオカメラ映像とリアルタイムに合成して表示することで、通知やアノテーションなどを現実世界にオーバーレイしたかたち(現実を拡張したかたち)でユーザーに情報を届けることができる。
 
VRはVirtual Reality(仮想現実)の略称であり、目の前に広がる物理世界を仮想世界に置き換えて表現することのできるテクノロジーである。VRは両目用の小さな2つの画面とレンズなどがはめ込まれた箱の中を覗き込むようにして、作り手によって作られた空間を体験することができる。箱を手で支えるタイプのものや、頭にかぶって(バンドなどで固定して)使用するヘッドマウントディスプレイ(以下、HMD)と呼ばれるタイプのものがある。
 
そしてもうひとつ、Mixed Reality(以下、MR)というテクノロジーがある。
 
MRは現実世界を拡張するという点でARに近いが、ユーザーの目の前に広がる物理空間を常に把握し、物理空間と相互作用するように見せることができる点でARと異なる。MRでは、例えば図-1のように実際に存在するトンネルからCGでつくられた仮想の象が出てくるかのような表現ができる。単に情報を重ねるだけだと図-2のようにトンネルと象の前後関係が崩れたかたちになってしまうが、物理空間をあらかじめ認識しておくことによって現実世界のトンネルと仮想世界の象とがあたかも融合しているかのように見せられる。この現象を作り出すことのできるデバイスがMicrosoft HoloLens(図-3)である。
 
これらのテクノロジーを用いたデバイスは、当初エンターテイメント分野での運用を想定して作られたものが多いが、近年は他分野においてもその有用性が認められつつある。特に、建築物やインフラの設計や施工、整備を行う建設業界との相性が非常に良い。
 

図-1 物理空間が意識された表現図

図-2 物理空間が意識されていない表現

図-3 Microsoft HoloLens




 
 

Microsoft HoloLensとは

(1)ケーブルレスのHMD型コンピューター
Microsoft HoloLens( 以下、HoloLens)は外観やディスプレイ出力系を除き、その中身は一般的なPCとほぼ同じパーツで構成されている。小型ながらスタンドアロンで動作するいわゆるコンピューターそのものなので、デスクトップPCやスマートフォンといった外部端末にケーブルなどでつなげる必要がない。またPCと同じくWi-Fiを経由してネットワークに接続することができ、Bluetoothでキーボードやマウスなどを外部の入力デバイスとワイヤレスで接続することもできる。重量は579gであり、バッテリーがヘッドセット後方に配置されているため前後のバランスが良く、正しく装着することで重さも感じづらい構造となっている。
 
 
(2)Windows10 オペレーティングシステム
HoloLensを制御するオペレーティングシステムはWindows10である。そのためWindows10で実行可能なアプリの多くはHoloLensでも動作する。例えば、オフィス業務で多く利用されているMicrosoft Wordで文書を作成したりExcelで表計算をしたり、Edgeブラウザでbingにアクセスして検索することもできる。またCortanaに話しかけてサポートを受けることもできる。
 
Windows10の画面共有機能を使えば、HoloLens視点の映像をそのまま近くのWindows10PCにワイヤレスディスプレイで飛ばすことも可能で、HoloLensを装着している人に今何が見えているかを確認することもできる(図-4)。

図-4 ワイヤレスディスプレイによる画面共有機能




 
(3)空間認識
HoloLensにはデバイス周辺の現実空間を撮影するための複数のカメラと、奥行きを計測するための深度カメラが装備されており、それらのセンサーによって周囲の状況を常に把握している。SLAM(SimultaneousLocalization and Mapping)と呼ばれる自己位置推定技術によって周囲の3Dマッピングをリアルタイムに行い(図-5)、HoloLensに内蔵されたジャイロセンサーと組み合わせることで高精度に仮想オブジェクトを物理空間に配置でき、それらがあたかも固定されているかのように見せることができる。
 
マッピングされた3DおよびHolo-Lensによって計測された情報から、目の前に存在する物理空間上の実物の大きさや距離などをある程度推測することもできる。

図-5 リアルタイム3Dマッピング




 
(4)3Dモデル表現
BIMやCIMに含まれる建築物やインフラの3DモデルはCADソフトなどを通じて通常のコンピューターのモニター上で確認することができる。しかし3Dモデルの背面を見たい場合や詳細を確認したい場合などでは、マウスやキーボードでカメラビューを操作したり、3Dモデル自体を移動あるいは回転させなければならない。また通常は平面ディスプレイの枠を超えない範囲で作業するためオブジェクトの実際のサイズ感が理解しづらい。
 
しかしHoloLensを装着することで、それらを目の前の空間に実物大で表現することができるため、より直感的にそれらを閲覧できるようになる。また3Dモデルの背面を見たければHoloLens装着者が自ら3Dモデルの背面に回り込むように歩けば良いし、詳細を確認したければ実物を見るのと同じように目の前の3Dモデルに顔を近づければ良い。
 
持ち運びに関しても、仮想オブジェクトにはそもそも物理的な重さがないので大きな建材や機材であっても、現場で楽に配置を変更することができる。
 
 
(5)シェアリング
HoloLensには、作業現場などでHoloLensを装着している人から見えている仮想オブジェクトを同じ現場でHoloLensを装着している別の複数人と共有できるシェアリングという機能がある。つまり、それぞれの視点で同一の3Dモデルを閲覧したり、お互いの視線の先を確認しあって議論することができる。シェアリングは各デバイスや仮想オブジェクトの位置関係をサーバーで統合して整合性を保つ。従って、サーバーとなる外部のコンピューターリソースが必要となるが、仮想オブジェクトを現場の複数人で確認しながら行う必要のある共同作業でシェアリングは効果を発揮する可能性がある。
 
 
 

事例

HoloLensは国内外で数多くの企業が注目しているが、特に建設業界において大きな注目を集めている。本誌でも業界における有用かつ先進的な取り組みが紹介されている。マイクロソフトも業界に変革をもたらしうる新しい働き方を次の2つのソリューションで提案している。
 
(1)Microsof t Dynamics 365 Remote Assist
Microsoft Dynamics 365 RemoteAssist(以下Remote Assist)は、作業現場などで起こったトラブルなどに対処するための支援システムである。HoloLensを装着した現場の技術者はRemote Assistを実行することによって、遠隔地にいる専門家などと声や映像で相談しながら問題解決に取り組むことができる。
 
従来のオンラインビデオ会議システムを使用する場合と異なり、RemoteAssistでは現場の技術者が見ている空間を遠隔地の専門家と共有することができる。例えば、対処すべき箇所を示すアノテーション(フリーハンドで描いた図や何かを示す既定の矢印)を現場の物理空間上に3Dオブジェクトとしてお互いに配置し合うことができる。これにより専門家側は問題の状況をより理解しやすくなる可能性があり、技術者側はより直感的に作業を進められる可能性がある。また、HoloLensを装着した技術者はハンズフリーであるため両手を動かしながらの対処もできる(図-6)。

図-6 Microsoft Dynamics 365 Remote Assist

(現場の技術者が遠方の専門家とビデオ会話で支援を受けながら両手で作業できる。手元には3Dアノテーションが見える)


 
(2)Microsoft Dynamics 365 Layout
Microsoft Dynamics 365 Layout( 以下、Layout) は、空間を設計する場合に役立つシステムである。Layoutを使うことで、部屋や作業現場など実空間に機材などを設置する前にそれらの配置をシミュレートできる。
 
現場と同じサイズの仮想現実空間を作り、その中に機材の3Dモデルを並べていくこともできるし、実際の現場でそれらを配置して不都合がないかを実物サイズのホログラムで確認することもできる。3Dモデルだけではなく、Microsoft Visioからフロアプランを取り込むことも可能であり、配置したオブジェクトをリアルタイムに変更(移動、サイズ変更、回転)することもできる。つまり機材の位置関係や最適な作業スペースの確保といった空間デザイン全般に用いることのできるシステムであるといえる。
 
またRemote Assistと連携することによって、現場の状況を配置された仮想オブジェクトとともに遠隔地のスタッフと共有し、レイアウト案を確認することができる(図-7)。

図-7 Microsoft Dynamics 365 Layout

(設営現場で機材の3Dモデルを実物大で配置シミュレートしている。担当者は次に配置する3Dモデルをリストから選択している)


 
 

BIM/CIMの有効活用

建設業界において現場での設計変更はあり得る話だが、変更後のモデルをしっかり管理することで、BIM/CIMを長期に渡って積極的に活用できるかもしれない。
 
例えば、メンテナンスなどで実際に工事することなく壁の向こうや柱の中を外側から透視したり(図-8,9)、建築物内外の劣化や異常を検知するセンサー情報と連携することで経年シミュレーションを適用したモデルやアラートを示すモデルを現場で重畳表現できる可能性がある。このような手法は、現場に訪れる顧客への説明にも使用できる。

図-8 目の前を塞ぐ実物の壁

図-9 あたかも透けているようにみえる仮想の壁と奥行きのある
仮想の部屋を実物の壁に重畳して立体的に表現




 
 

Mixed Realityの未来と課題

(1)クラウド連携
冒頭で紹介した通り、スタンドアロンのHMD型コンピューターであるHoloLensはクラウドと容易に連携することができる。その特徴を生かすことでHoloLensの利用範囲を大幅に広げられる可能性がある。
 
例えば、シェアリングの項において「外部のコンピューターリソースを使う」と書いたが、インターネットにつながる環境であればそのリソースはクラウド上にあってもかまわない。つまりサーバーを設置する場所や電源の確保、コンピューターのハードウェアに関するメンテナンスを必要とせず、シェアリングのメリットを享受できる。
 
HoloLensは、処理能力だけでみると高性能なデスクトップPCよりも非力であり、高精細な3DモデルをHoloLensの内蔵プロセッサだけで処理した場合、安定したフレームレートを得ることが難しい。そこで、ここ最近ゲーミングの分野でトレンドになりつつあるクラウドレンダリング技術を採り入れることで、リッチな映像表現ができる可能性がある。高負荷なGPU処理をクラウド上のコンピューティングリソースに任せてしまう手法である。
 
 
(2)AI連携
クラウドで公開されている多くの便利なサービスを利用することでHoloLensにAI機能を持たせることもできる。
 
例えば、Deep Learningで問題のあるコンクリート壁と正常な状態のコンクリート壁の学習モデルを構築し、調査したい(例えば経年劣化した)コンクリート壁をHoloLensのカメラで撮影し推論することで、クラックなどを発見できる可能性がある。HoloLensを通じて単に目標物を眺めるだけでAIが問題箇所を指摘してくれると便利かもしれない。
 
クラウドを通じたAI活用は、当然のことながらネットワークインフラの影響を受ける。そのため十分な通信品質や速度が要求されるが、上記のような画像認識技術であればWindows 10で利用可能なWindows MachineLearningと組み合わせることで、ネットワークに接続できない環境あるいは電波状況の良くない環境でも使用できる。
 
 
(3)学習と推論
Learningは大きく学習フェーズと推論フェーズの2つに分類される。前者は膨大な計算量を必要とするためクラウドコンピューティングなどハイエンドな環境が必要だが、学習モデルは規格化されたファイル形式で出力できる、後者は比較的精度に寛容で一般的に処理負荷も前者のように高くはならない。そこで、前者と後者をそれぞれクラウドとローカルで分担するという選択もできる。
 
時代の流れとしてAI向けのコプロセッサがCPUに組み込まれる傾向があるため、将来的にはそのリソースを利用して、CPUに負荷をかけることなくより高速に推論できる可能性もある。
 
 
(4)課題
HoloLensユーザーから視野の広さに関する多くの指摘や要望がある。この点については光学系の技術的な挑戦だけでなく、バッテリーライフやデバイスの重量、重心位置の検討といった、スタンドアロンのHMD型コンピューターそのもののトータルバランスを考慮して慎重に設計しなければならない。しかし世代が上がるとともにこれらの問題は解決されていくであろう。また、ドリフトと呼ばれるホログラムのずれや環境認識精度についても指摘されることがある。これも同様にセンサーハードウェアも含めた技術の進化によって解決されていくと考えられる。
 
 
 

まとめ

本稿ではAR、VRそしてMRテクノロジー概要とHoloLensの特徴について述べた。HoloLensは目の前に広がる現実空間を把握し、空間を3次元で扱って仮想空間との融合表現ができるため、同じく空間そのものを扱っている建設業界との相性がとても良い。また業界からの注目度も非常に高い。
 
Remote AssistとLayoutの2つのソリューションは、作業現場における働き方に変革をもたらすきっかけとなるかもしれない。またBIM/CIMをより積極的に使用するためのツールにもなり得る。
 
そしてHoloLensはそれ自体がコンピューターであるためクラウドとの親和性が高い。クラウドで展開されるさまざまなサービスを利用することもできるし、AIの機能を組み込むこともできる。
 
技術的な挑戦を含め少しずつ改善され、今後も進化を続けるHoloLensと、HoloLensがもたらすさらなる建設業界の変革に引き続き期待したい。
 
 
謝辞 本原稿執筆の機会をくださった、横山慎太郎氏、村中徹氏、上田欣典氏に謹んで感謝いたします。
 
 
参考文献
[1] “Microsoft HoloLens”.https://www.microsoft.com/ja-jp/hololens/,(参照2018-12-11)
 
[2] “Mixed Realityがもたらす新しい世界”.https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_v iew_main_item_detail&page_id=13&block_id=8&item_id=185460&item_no=1,(参照2018-12-11).
 
[3] “Microsoft Dynamics 365 Remote
Assist”.https://dynamics.microsoft.com/ja-jp/mixed-reality/remote-assist/, (参照2018-12-11)
 
[4]“ Microsoft Dynamics 365 Layout”.https://dynamics.microsoft.com/ja-jp/mixed-reality/layout/,(参照2018-12-11)
 
[5] “ Windows Machine Learning ”.https://docs.microsoft.com/ja-jp/windows/ai/,( 参照2018-12-11)
 
[6]“ 建設ITガイド 2018”. 一般財団法人経済調査会
 
 
 

日本マイクロソフト株式会社 千葉 慎二

 
 
 
【出典】


建設ITガイド 2019
特集3「建設ITの最新動向」



 

最終更新日:2019-04-22

 

同じカテゴリの新着記事

ピックアップ電子カタログ

最新の記事5件

カテゴリ一覧

話題の新商品