この記事の監修者

コーンズテクノロジー編集部

コーンズテクノロジーでは先進的な製品・技術を日本産業界へ紹介する技術専門商社として、通信計測・自動車・防衛セキュリティ・電子機器装置・航空宇宙・産業機械といった技術分野のお役立ち情報を紹介しています。

コンピュータ上の仮想空間を現実世界のように疑似体験できる仕組み、仮想現実（VR＝バーチャルリアリティ）の技術は日々進歩しています。そのなかでも近年、さまざまな分野で用いられ始めているのが、VRのハンドトラッキング機能です。

この記事では、ハンドトラッキングとは何か、どのような活用方法があるのかをご紹介します。

ハンドトラッキングとは、手の動きを即時で検知する技術

ハンドトラッキングは「ハンド（手）」と「トラッキング（追跡）」の2つの意味からなる言葉で、ユーザーの手指の動きをリアルタイムに検知・認識する技術です。VRゴーグルは視覚的に仮想現実に入り込める技術ですが、ハンドトラッキングを活用すれば、仮想現実の世界に対してインタラクションできます。

例えば、実際の手指の動きを仮想現実上で再現したり、手指の動きに合わせてデジタルコンテンツを操作したりということが可能になります。

ハンドトラッキング技術とVRの歴史

VRの概念が生まれたのは1930年代と言われています。1935年の小説『Pygmalion’s Spectacles』をはじめ、VRやメタバースの世界を示唆する作品はこれまで複数登場しています。また、パイロットのトレーニング用としてフライトシミュレーター「リンクトレイナー（Link Trainer）」が開発されたのも1930年代です。

1950年代になると、「Sensorama」という装置が登場します。Sensoramaは筐体に頭を入れることで3D映像を楽しめる装置でした。装置を頭部に装着して仮想現実に入り込む現在のような方式とは異なりますが、Sensoramaは映像に加えて香りやイスの振動、送風などの仕組みが盛り込まれていたことから、最初期のVR装置と呼ばれています。

1960年代には現在のヘッドマウントディスプレイのように頭部に装着して3D映像を見る装置が登場し、1968年には「ダモクレスの剣」というトラッキング技術の元となる装置が登場します。さらに、1980年代～1990年代は第一次VRブームと呼ばれ、VRが実用化され始める時代に突入しました。この時代に生まれたヘッドマウントディスプレイ「Eye Phone」やハンドトラッキング用グローブ「Data Glove」では、現在のVRとほぼ同じ体験ができます。

第一次VRブームでは多くの企業が参入し一時的な盛り上がりを見せましたが、次第に失速。再び注目をあびるようになったのが2010年代以降の第二次VRブームです。盛り上がりの中心となったのは主にゲーム領域ですが、現在ではVRやハンドトラッキングを産業界などさまざまな領域に活用する動きも進んでいます。

ハンドトラッキングの活用事例

次に、ハンドトラッキングの技術が具体的にどのようなかたちで活用されているのかをご紹介します。

VR・AR・ゲーム

VR・AR・ゲームへのハンドトラッキング技術活用も盛んです。とりわけ、Ultraleapの3Dハンドトラッキング技術を活用することにより、ユーザーの手指の動きをリアルタイムに検知・認識でき、より詳細な操作感と没入感を得られるようになります。また、ゲームのみでなく、社員の教育用コンテンツとしても活用が進んでいます。 3Dハンドトラッキングセンサを活用したVRコンテンツ導入事例を以下のページで詳しくご紹介しています。

>>独航空会社 ルフトハンザでの導入事例

Vtuber

2Dや3Dのバーチャルアバターを使って活動するVtuberが増えていますが、ここでも、よりエンターテイメント性の高いコンテンツとしてハンドトラッキング技術が活用されています。従来のフェイストラッキングに加えてハンドトラッキングを用いることで、ボディランゲージやダンスライブなど、より多くのエンターテイメントを実現できます。

デジタルサイネージ

デジタルサイネージとは、ディスプレイやタブレットを用いてデジタルコンテンツを発信するシステムです。ショッピングモールや公共施設など多くで導入が進められていますが、近年ではデジタルサイネージとハンドトラッキングを組み合わせ、非接触で操作できるデジタルサイネージの導入も始まっています。

以下のページでは、3Dハンドトラッキングセンサを活用したデジタルサイネージの事例を詳しくご紹介しています。ぜひあわせてご参照ください。

>>【非接触操作】3Dハンドトラッキングセンサ「Ultraleap 3Di」導入事例

>>【非接触操作】Ultraleapハンドトラッキングセンサの博物館導入事例

タッチレスオーダーシステム

近年、主に飲食店などでタブレットを用いたオーダーシステムの活用が進んでいますが、ここでもハンドトラッキング技術を用いたタッチレスオーダーシステムの実用化が始まっています。今後より導入が進んでいくでしょう。

ハンドトラッキング技術を導入できるツール3選

続いて、ハンドトラッキング技術を導入できるツールとその特徴、導入方法などをご紹介します。

ウルトラリープ リープモーションコントローラー2

英国のウルトラリープ社が開発した「ウルトラリープ リープモーションコントローラー2」は、リアルタイムで両手の手指を検出し、複雑なジェスチャーも認識できる3Dハンドトラッキングセンサです。専用のXRヘッドセットマウントを使うことで、さまざまなVR・AR装置にハンドトラッキング機能を追加できます。また、デジタルサイネージで利用している既存のディスプレイに簡単に取り付けられ、非接触での操作を実現します。

【ウルトラリープ リープモーションコントローラー2】

ウルトラリープ リープモーションコントローラー2の詳細は以下のページでご紹介しています。

>>ウルトラリープ リープモーションコントローラー2（Leap2）

組込向け3Dハンドトラッキングセンサ Stereo IR 170

組込向け「3Dハンドトラッキングセンサ Stereo IR 170」は、組込用途で開発されたウルトラリープ社製の3Dハンドトラッキングセンサモジュールです。VR・AR端末やデジタルサイネージ、車載インターフェースなどに簡単にハンドトラッキング機能を追加でき、組み込み開発・検証で活用できます。

【3Dハンドトラッキングセンサ Stereo IR 170】

組込向け3Dハンドトラッキングセンサ Stereo IR 170の詳細は以下のページでご紹介しています。

>>組込向け3Dハンドトラッキングセンサ Stereo IR 170

AIベース・ハンドジェスチャー認識 ソフトウェアプラットフォーム

上記のようにハードウェアでハンドトラッキングを実現させる一方、ソフトウエアでハンドトラッキングを実現させるソリューションがあります。「AIベース・ハンドジェスチャー認識 ソフトウェアプラットフォーム」は、AIベースで手指の動きを解析することでハードウェアやアプリケーションに依存しないハンドジェスチャー認識を提供する、カナダのモーションジェスチャーズ社が開発したソフトウェアプラットフォームです。既存のスマートフォンやタブレット、医療・産業用機器、家電など、カメラを持つあらゆるデバイスに対してアドオンで組み込みができます。

【AIベース・ハンドジェスチャー認識 ソフトウェアプラットフォーム】

AIベース・ハンドジェスチャー認識 ソフトウェアプラットフォームの詳細は以下のページでご紹介しています。

>>AIベース・ハンドジェスチャー認識 ソフトウェアプラットフォーム

今後、ハンドトラッキング技術はより身近になる

ハンドトラッキング技術は今後もさまざまな領域で活用され、ユーザーエクスペリエンスを高めるコア技術となるでしょう。医療・産業など、まだ活用があまり進んでいない領域においても活用が進むと考えられます。

例えば、英国Ultraeap社では、ユーザーインターフェースにハプティクス（触感フィードバック）を活用したデバイスを提供しています。ハプティクスとは振動により、デジタル空間においても触覚を再現する技術です。空中ハプティクス技術のパイオニア企業でもあるウルトラリープ社が、2023年にリリースした「HDK-REC192」というデバイスにより、何もない空間に超音波を用いた触感提示を行うことが可能です。XR、医療、車載HMI等への活用が期待されています。

空中ハプティクス技術 HDK-REC192の詳細は以下のページでご紹介しています。

>>空中ハプティクス技術 HDK-REC192

また、2024年にApple社が販売を開始したMRヘッドセット「Vision Pro」には、簡単なハンドトラッキングの機能が実装されています。バーチャル空間の操作をコントローラー無しで実現しています。iPhoneが初めて登場した当時、タッチパネルでのピンチ、ズーム等の操作をするのも一苦労でしたが、ハンドトラッキングによるジェスチャー操作も同様のフェーズと考えられます。今後、様々な機器にハンドトラッキング機能が搭載されることで、一般的な技術になっていくでしょう。

まとめ

ハンドトラッキングは、ユーザーの手指の動きをリアルタイムに検知・認識する技術です。ハンドトラッキングを利用すれば、VR・ARなどの世界に対してもインタラクションできるようになり、エンターテイメントをはじめ医療や産業など多くの領域で新しい体験を得られるようになります。

近年、あらゆるデバイスに対してハンドトラッキング機能を追加できる製品が登場しています。ハンドトラッキングの活用にご興味をお持ちの際はお気軽にお問い合わせください。