XR技術を活用した「Virtual Hand」による、遠隔支援の高度化
古林 隆宏 Takahiro Kobayashi
SCSK株式会社
事業革新推進グループ 技術戦略本部 技術開発部
2010年入社。以来、先進技術の調査研究と製品化支援を実施。モバイル開発向けBaaS基盤開発、ビッグデータ処理技術研究、深層学習による言語処理研究など時流にあわせた取り組みを実施。深層学習言語処理の成果はSCSKのテキストマイニング製品「VOiC Finder」のAI機能としてリリースした。近年では3次元データ処理・デジタルヒューマン等のXR関連技術開発を実施している。Scrum Alliance認定スクラムマスター／プロダクトオーナー。
SCSKは、XRを活用した遠隔支援機能「Virtual Hand」を開発しました。この機能により、作業者と支援者はディスプレイ搭載型ヘッドセットを通じて、互いの手振りをリアルタイムで視覚的に認識することが可能となります。
本記事では、Virtual Handが開発された背景とその技術的詳細について紹介します。
Virtual Handの開発背景と課題
XR/メタバース関連の市場動向
株式会社矢野経済研究所によると、2022年度の国内メタバース市場規模（プラットフォーム、コンテンツ・インフラ等、XR機器の合算値）は前年度比173.6％の1,377億円に達し、2023年度には同207.0％の2,851億円まで成長が予測されています。
2022年度までは、試験的に事業参入する企業や新技術への関心が高い企業、自治体、行政により、多様な分野でメタバースを活用した取り組みが行われましたが、市場は形成前のフェーズにあり、参入事業者は競争するよりもまず業界全体を盛り上げるため、様々な業界から業務連携やコラボレーションによる実証実験が活発に行われました。その結果、認知が急速に広がり、メタバースは熱狂的なブームとも言える状況でした。
2023年度にはブームが落ち着きコロナ禍でのリモートワークという状況もなくなったことで、ビジネス展開を加速するための環境が整ってきました。各企業のビジネスモデルが明確になり、市場環境が整ったことで業績を伸ばす企業も増え、今後メタバース市場の本格的な拡大が期待されています。
現場作業支援製品市場に関わる動向
国土交通省が推進するi-Constructionでは、遠隔臨場が2022年4月1日以降、本格的に実施されることになりました。この取り組みは原則として全ての工事へ適用され、関連する現場作業支援製品市場の拡大が見込まれます。
また、建築や運輸業界をはじめとする様々な分野では、労働時間規制に伴う労働効率化への圧力が増しており、その結果、ソリューション導入の目的として「事業戦略を推し進めるため」、いわゆる「攻めのIT」が重視される傾向が強まっています。
既存製品例
現在、既存製品として下記のような事例があります。
■ビデオ通話
XR技術を取り入れたビデオ通話では、製造、流通、データセンター、エネルギー分野の遠隔地にいる熟練工が、設備の点検やトラブルが発生した際に、ハンズフリーで現場の作業者にリアルタイムに指示を出すことが可能です。
■ARでマニュアル閲覧
マニュアル閲覧にAR技術を活用することで、データセンター、製造、モビリティ業界での作業が目線や音声操作で直感的にガイドできます。紙冊子やタブレット端末と比較して、ハンズフリーでの操作や3Dコンテンツの利用も可能です。
■ホロポーテーション
マイクロソフトが開発した「ホロポーテーション」技術は、3Dキャプチャと通信を駆使して、遠隔地の人物をリアルタイムで他所に仮想投影し、実際に同じ空間にいるような対面コミュニケーションを可能にします。
■MRによるロボット教示
ロボット教示（ティーチング）はロボットに動作を記憶させる作業です。MR技術を取り入れることで、熟練エンジニアでなくとも、直感的な3D操作で教示を安全に実施することが可能です。
社会的課題が現場作業に与える影響
日本社会は、2025年問題として知られる団塊世代の大量退職に伴う労働力不足やノウハウの失伝に直面しており、さらに労働時間の規制に対応する必要があります。
このような社会的課題に加えて、現場レベルでも専門家不足によるスタッフ教育や作業効率の低下といった課題が出てきています。
Virtual Handの機能概要
システム概要
SCSKが開発した、Virtual Handのシステムの概要を下図に示します。
現場作業者向けにはMicrosoft HoloLens 2を使用し、遠隔支援者向けにはMeta Quest 2を使用します。別途Virtual Hand用のサーバープログラムが必要です。
現場作業者と遠隔支援者は、音声とジェスチャーによる双方向コミュニケーションが可能です。
また、現場作業者は目の前にある作業対象の3Dモデルを作成し、遠隔支援者に送信することができます。これにより、お互いに同じモデルを見ながら作業を行うことができます。
次に、Virtual Handの特長である「双方向コミュニケーション機能」「作業対象3Dモデル作成機能」について以下の通り解説していきます。
双方向コミュニケーション機能
Virtual Handは音声通話と、頭と手のジェスチャーによるコミュニケーションの機能を搭載しています。頷きや視線、指差しや手の動きのデモンストレーションなどを交えて会話することで、よりスムーズに作業を行うことができます。
手のジェスチャーはHoloLens 2およびQuest 2本体のセンサーを利用して認識するため、コントローラー等を持つことなく手ぶらや工具を持ちながらの状態でVirtual Handを利用することができます。また、一般的な軍手であれば着用したままの利用が可能です。
指差しを行う場所の精度はHoloLens 2およびQuest 2の手指認識の精度に依存します。当社で実験したところ、理想的な環境における誤差は1-3センチ程度でした。
また遅延について、一般的な携帯電話向けの4Gインターネット通信サービスを介して現場作業者と遠隔支援者が通信するような条件下で当社にて実験したところ、コミュニケーション上の不都合は認められませんでした。わかりやすいイメージとしては、現場作業者役と遠隔支援者役で「じゃんけん」を問題なく実施可能です。ただし、この実験は東京都内同士で実施したため、現場作業者と遠隔支援者が地理的に遠く離れているような場合には遅延が大きくなることも想定されます。
作業対象3Dモデル作成機能
現場作業者用のHoloLens 2では、作業対象の3Dモデルを作成して遠隔支援者と共有することができます。これにより、作業対象に対して指差しなどのジェスチャーをまじえながらコミュニケーションができることがVirtual Handの特色となっています。
3Dモデルの作成にあたって追加の機器は必要なく、現場作業者用の Virtual Handアプリの機能により作業対象を撮影します。2m✕2m程度の範囲であれば、何箇所か視点を変えて撮影する操作を含め、全体で3～5分ほどで遠隔支援者との共有が完了します。
そのため、出張先やお客様先で初めて目にする機器など、事前の3Dモデル作成が難しいようなユースケースに特に強みを発揮します。
3Dモデル作成機能を支える技術
Virtual Handの特徴的な機能を支える3Dモデル作成機能がどのような仕組みで動作しているのか、概要をご紹介します。
Virtual Hand の3Dモデル作成では、動画を撮るような感覚で撮影を行います。
撮影モードに入ると、撮影中であることを示すインジケータが表示されます。作業対象を色々な角度から見回したのちに撮影を終了し、しばらく待つと3Dモデルの作成が完了します。
3Dモデル作成技術の分野で広く利用されている手法として、大量の写真をもとに品質の高い3Dモデルを作成する「フォトグラメトリー」というものがありますが、Virtual Handの3Dモデル作成技術ではこの手法を応用しています。
これにより、より複雑で細かい形状の再現や、物体に対して360度回り込んで再現することなどが可能となっています。
一般的なフォトグラメトリーには大量の写真と長時間の処理が必要ですが、Virtual Handの3Dモデル作成技術では、一般的なフォトグラメトリーでは20分かかるデータの処理を2分にまで短縮することに成功しました。
この処理時間短縮の秘密は、HoloLens 2のセンサーの活用にあります。一般的なフォトグラメトリーでは、2D写真から3D形状を作成するために
2D写真を撮った位置と角度を計算により推定
3Dモデルの形状を作成
3Dモデルの着色
という3段階の処理が必要になります。Virtual Handの3Dモデル作成技術では、HoloLens 2のセンサー情報を用いてこの手順の1段階目と2段階目を簡略化することで、3Dモデルの見た目を保ったまま処理時間を高速化しています。
さすがにフォトグラメトリーアーティストが職人技で作り上げる3Dモデルにはかないませんが、誰でも使えて高速に動作することは遠隔作業支援用途において大きなメリットになると考えます。
Virtual Handのユースケース
Virtual Handは、ジェスチャーを用いた指示出し、移動・着目場所の指示、現在地や特定ポイントの俯瞰的な位置関係の把握、そして遠隔地との空間を仮想的に共有することで、これまでにない協働体験を実現します。
以下では、Virtual Handがどのようなシーンで役立つかのユースケースを紹介します。
■機器作業指導
サーバーラックや大型機械の操作において、非熟練者に対して、遠隔地から有識者が詳細な指導を行う場面で活用可能です。チェックすべき箇所や正確な操作方法をリアルタイムで指示することで、作業効率と正確性が大幅に向上します。
■工事遠隔臨場の現場
工事が完了した現場において、元請責任者が遠隔で施工結果を確認し、必要なチェック箇所や是正内容を指示できます。これにより、物理的な現場訪問を削減し、時間とコストを節約します。
■道案内・作業場所案内
サーバールームなどの複雑な施設内でも、作業対象まで迷わず進めるよう、遠隔からの案内が可能です。さらに、移動したエリアを地図上に記録し画面右下に小さく表示したり、後で簡単に戻れるよう重要なポイントにピンを立てる、といった機能拡張も検討中です。
最新技術潮流と今後の展望
最新技術潮流「Radiance Fieldによる3D/4D表現」
最新の技術潮流として、Radiance Fieldを利用した3Dおよび4Dの表現方法が注目を集めています。2022年に脚光を浴びてからその後も着実な発展を遂げ、最新の3D再現技術として非常に有望視されています。
Radiance Fieldの特長は、スマートフォンで撮影した普通の動画から3D空間を再現できる点が挙げられます。加えて、リアルな毛並みの毛皮、角度によって見え方の変わる鏡、反射光の様子など、メッシュによる3Dモデル化では困難だった繊細な表現も可能です。
この技術はAIを用いたNeRFとして2020年に発表され、2022年にはNVIDIAが高速に実行可能なソフトウェアを公開して大きな注目を集めました。以降の研究では、頑健性や精細度、対応範囲の拡大、高速化などが追求され、新たな技術が次々と実装されています。
また近年では、人などの変形する物体の再現や、時間軸を加えた動画表現、シーンの内容から物体を認識・編集できる技術など、さらに進んだ提案もなされています。
Virtual Handの今後の展望
Virtual Handの展望に目を向けると、市場動向と技術進化に応じて追加や改良すべき機能の特定に努めています。例えば、現在の機能では現場の3Dモデルが変化に追従できず、変化をリアルタイムで反映する要求があることを予測しています。この課題に対しては、Radiance Fieldの採用も視野に入れた対応策を検討していく方針です。