Motion Gestures社のハンドトラッキング SDK1.9.1からSDK1.10.1への変更点

通常、奥行き情報を含む3D座標の取得にはステレオカメラやToFカメラなどのデプスカメラが用いられます。Motion Gestures社は独自の先端ディープラーニング技術を活用し、単眼RGBカメラの映像からでも手の関節の3D座標を推測できる新機能をSDK1.10.1でリリースしました。正確な奥行き情報を取得するにはカメラの内部パラメータ設定が必要ですが、SDKにはカメラキャリブレーションプログラムも含まれています。

動画 1：WEBカメラで3D座標を推測する例

単眼RGBカメラで奥行き情報を取得できることで、新たなアプリケーションが実現可能になります。指さしの方向から2Dスクリーン上の位置を推測でき、手や腕を大きく動かさなくても、スクリーン上のポイント位置を操作することができます。下記の動画は、SDKに含まれる3D Pointingサンプルプログラムの動作例です（※サンプルプログラムはPythonで作成されています）。

動画 2：3D Pointing 操作の動作例

手の一部が隠れるオクルージョンの状況では、正確に手の動きを追跡することが難しく、コンピュータビジョンの手法を採用するハンドトラッキング技術における大きな課題となっています。Motion Gestures社のハンドトラッキングは、このようなオクルージョン環境において強みを発揮し、両手が複雑に重なった状態でも高い精度でトラッキングすることができます。特に、SDK1.10.1ではSDK1.9.1と比べて、より安定かつ高精度なトラッキングを実現しています。

動画 3：SDK1.9.1(左)とSDK1.10.1(右)のオクルージョン環境下での認識精度比較

動画プレーヤー

Media error: Format(s) not supported or source(s) not found

ファイルをダウンロード: https://cornestech.co.jp/wp-content/uploads/2025/03/2hands.mp4?_=1

00:00

00:00

00:00

ボリューム調節には上下矢印キーを使ってください。

関節位置情報の推測精度も大幅に向上しました。下記の動画は、ランダムな手の写真を使用し、関節位置をどれほど素早く正確に推測できるかをテストしています（写真データセット出典：FreiHAND Dataset）。写真は224×224ピクセルであり、背景の複雑さやオクルージョンによる非常にチャレンジングな環境で撮影されたものです。こうした条件にもかかわらず、手の関節位置を正確に推定しています。特に、SDK1.10.1はSDK1.9.1に比べ、ブレのない安定した位置情報を提供していることが確認できます。
繊細な手の動作を正確にトラッキングするためには、位置情報の安定性と精度が非常に重要です。SDK1.10.1では、より安定性が高く、精度の優れた座標推定を実現しています。

動画 4：SDK1.9.1(左)とSDK1.10.1(右)の手の座標推測の比較

動画プレーヤー

Media error: Format(s) not supported or source(s) not found

ファイルをダウンロード: https://cornestech.co.jp/wp-content/uploads/2025/03/hand_pose_est.mp4?_=2

00:00

00:00

00:00

ボリューム調節には上下矢印キーを使ってください。

SDK1.10.1の主な提供内容は以下のとおりです。

• 21個の関節（ランドマーク）位置情報取得
• 静的・動的・描画ジェスチャー認識モデル
• RGB（NIR）、デプス専用トラッキングモデル
• パフォーマンス設定機能、高パフォーマンスモデル
• ビルド済みサンプルプログラム
• Python、Java、C#ラッパー（※基本言語 : C++）
• 3D Pointing サンプルプログラム（Python）
• カメラキャリブレーション用プログラム
• 日本語マニュアル

※対応OSは下記のようになります。

• x86-64 (64 bit) : Linux, Windows, Android
• aarch64 (64bit ARM) : Linux, Android
• armv7l (32bit ARM) : Android

表 1：SDKで取得可能な情報