この記事の監修者

コーンズテクノロジー編集部

コーンズテクノロジーでは先進的な製品・技術を日本産業界へ紹介する技術専門商社として、通信計測・自動車・防衛セキュリティ・電子機器装置・航空宇宙・産業機械といった技術分野のお役立ち情報を紹介しています。

Motion Gestures社では独自の機械学習技術を用いて、高速かつ正確にハンドトラッキング・ジェスチャー認識を行うソフトウェアを提供しています。2024年6月にMotion Gestures社の最新SDK 1.9.1 (以下、MG SDK1.9.1) がリリースされました。MG SDK 1.9.1にはどんな変更があったのかを本記事にて紹介します。
＊ハンドトラッキング技術の概要についてご興味のある方は、まずこちらの記事をご一読ください：https://cornestech.co.jp/column/hand-tracking 

変更点１：多様な実行環境のサポート

Motion Gestures社ではハードウェア環境に依存しないハンドトラッキングを提供していますが、MG SDK 1.9.1ではハンドトラッキング技術の導入範囲を大幅に拡大しています。

入力ソースの多様化

既存SDKでサポートしていたRGBカメラ(可視カメラ)、NIRカメラ(近赤外線カメラ)に加え、Depthカメラ(深度カメラ)と静止画・動画ファイルを入力ソースとして使用できるようになりました。

多様なカメラをサポート

MD SDK1.9.1からは深度情報も処理できるようになり、Intel® RealSense™のようなDepthカメラを利用できるようになりました。Depthイメージ専用のハンドトラッキングモデルも追加され、Depthイメージでも正確なハンドトラッキングができます。

静止画・動画ファイルの使用

旧SDKではOpenCVのコードを修正するか、ヴァーチャルカメラで動画ファイルを使用しました。MG SDK1.9.1では複雑な過程無しに静止画ファイル及び動画ファイルを使ってハンドトラッキングを実行することができるようになりました。

パフォーマンス設定

MG SDK1.9.1ではパフォーマンスと計算リソースをトレードオフしながら、実行環境と目的に合う設定ができるような機能が追加されました。プログラムを実行する際に使用するYAMLで作成したconfigファイルにパラメータ設定をすることで簡単に使用できます。パラメータには、「手の検知精度」と「高速で動作する手の検知精度」を調整する二種類があります。各精度を上げると、計算リソースの使用量も増えます。

なお、MG SDK1.9.1では基本モデル・軽量モデル・ハイパフォーマンスモデルの3つのハンドトラッキングモデルを提供しています。場面に合わせてモデルを変えることで、環境に最適化されたハンドトラッキングを利用できます。

変更点２：Depthイメージの処理

MG SDK1.9.1では、旧SDKまで色のチャネル情報のみだったイメージデータ構造をtype構造に変更しました。type構造にはチャネル情報はもちろん深度情報も格納できるようになり、Depthカメラの情報を処理できるようになっています。また、深度情報を持っている場合は、3Dビジュアライザーも表示することができます。

動画 3：3DビジュアライザーでDepthイメージのスケルトンを表示する例

変更点３：Ego-Centric Viewの追加

カメラの向きが人の目線と同じ向きになる「Ego-Centric View」が追加されました。この改善によってカメラの設置位置が拡張されるようになりました。つまり、眼鏡などに付けているカメラでユーザーの手をトラッキングできるようになります。この機能の追加によりAR/MR/VR向けのアプリケーション開発も可能になります。

動画 4：Ego-Centric Viewの例

変更点４：精度向上

MG SDK1.9.1では全般的な精度の改善がありましたが、その中でもっとも改善された項目を以下に説明します。

トラッキング精度の向上

手の認識精度もトラッキング精度が向上し、関節の位置情報がより正確になりました。

図 1：MG SDK 1.7.0 (左)とMG SDK 1.9.1(右)の関節位置情報比較

オクルージョン状況での精度向上

カメラの前にある物体で手の一部が隠されてしまう「オクルージョン」はより正確なハンドトラッキングのため解決策が必要な課題であります。MG SDK 1.9.1ではオクルージョン状況でのトラッキングの精度が改善されました。

動画 6：MG SDK1.7.0(左)とMG SDK1.9.1(右)のオクルージョン状況比較 1

動画 7：MG SDK1.7.0(左)とMG SDK1.9.1(右)のオクルージョン状況比較 2

その他の変更点

その他のアップデートについて以下に記述します。

• 関節毎のConfidence Score(信頼度スコア)が追加されました。
• 動的ジェスチャー認識のConfidence Scoreが追加されました。
• AndroidのGPUを使用可能になりました。
• Linux用 C# wrapperが追加されました。

まとめ

本記事ではMotion Gesture社のハンドトラッキングSDK 1.9.1のアップデート内容について紹介しました。主要アップデートは　1) 多様な実行環境のサポート、2) Depth情報処理機能の追加、3) Ego-Centric Viewの追加、4) 精度改善になります。

MG SDK1.9.1は一年間の無料評価版をお試しできます。また、Windows版では複雑なビルド過程が不要なサンプルプログラムもすぐにお試しいただけます。最新ハンドトラッキング技術にご興味のある方は弊社の担当チームまでご連絡ください。