ウェアラブルインターフェイス制御のためのジェスチャー認識技術を活用

センサーの使い方のモダリティ

• [慣性測定ユニット(IMU):[]]コンバインの加速器、ジャイロスコープ、時には運動と向きを追跡する磁気計。 IMUは、安価で、パワー効率があり、ほぼすべてのウェアラブルで発見されています。 彼らは腕のスイング、手首の回転、タップなどのグロスジェスチャーを検出する。
• コンピュータビジョン:]]ミニチュアカメラと近赤外深度センサー(例えば、時間-Flight)のキャプチャハンドと3Dのボディの動き。 彼らは、微粉末状の指の追跡を可能にし、より多くの電力を必要とし、照明条件に敏感です。
• 電界(EMG):[ 皮膚の電極は、筋肉収縮から電気信号を検出します。 EMGは、視力運動なしで指レベルのジェスチャーを識別し、それを助ける技術やサイレントコマンド入力のために価値があります。
• [レーダーとソナー:[]ドップラーレーダー(Google Soliのように)と超音波センサーは、マイクロの移動や材料の質感を検出することができます。レーダーは、障害物や明るい日光で動作しますが、ソーナーは低コストの距離感を提供します。

たとえば、IMUとEMGを組み合わせて、センサーのブラインドスポットごとに補正する2つ以上のモダリティを融合するシステムが多数あります。 ]GoogleのSoliレーダーチップ、ピクセル4といくつかのスマートウォッチに埋め込まれ、微妙な指の動きを使用して、単一のレーダーセンサーが複数のタッチ入力を交換できる方法を示しています。

最近の技術ブレイクスルー

過去3年間、ジェスチャー認識は、ディープラーニングとオンデザ処理の進歩から恩恵を受けています。 []トランスモデル]]は、もともと自然言語処理のために設計され、一時的なセンサーデータを処理するために適応されてきました。 LSTMを長範囲のジェスチャーシーケンスにアウトパーフォーミングします。 MITと他の人の研究者は、 自分自身を指示した事前トレイントは、新しいデータ[FLT]を解除することができます[FLT]:80]。

コントローラーを要求することなく、Microsoft HoloLens 2とMagic Leap 2トラックハンドジェスチャーのようなARメガネ。ユーザーは仮想メニューを選択し、ホログラムをつかむ、スクロールするスワイプを選ぶことができます。 ] 5 ms未満の手追跡レイテンシ]は、経験が直接感じ、応答性を上げる、IMUと深さのカメラの組み合わせで達成可能になりました。 VRでは、ジェスチャーは3 msをペイントするか、またはバルクを交換することを可能にします。

産業・フィールドワーク

タッチパネルを装着した技術者は、マニュアルやスキーマをノドまたはハンドジェスチャーで呼び出すことができ、両手で工具を自由に保ちます。 ]物流労働者]倉庫では、親指のフリクによって活性化可能なリングスキャナを使用して、15〜25 %のスループットを増加させます。 同様に、手術室内のスサームは、滅菌面に触れることなく、医療システムをナビゲートして、リスクを低減することができます。

スマートホームと自動車

Smartwatches では、ユーザーはアラームを却下したり、コールを受け付けたり、簡単なジェスチャーで音楽トラックを変更したりすることができます。いくつかの自動車メーカーは、ボリュームを調整したり、コールに応答したり、情報処理メニューをナビゲートしたりするためのインキャビンジェスチャーコントロールを統合しました。ステアリングホイールマウント式時間 - フライトセンサーを使用して、ドライバーが道路を離れて目指すことなく、指の動きを検出します。

チャレンジの残留

急激な進行にもかかわらず、ウェアラブルでの妊娠認識は、普遍的な採用を防ぐ障害に直面しています。

• []偽の肯定性と環境ノイズ:[]] 時計は、 "dismiss notification"コマンドを歩くときに激しい腕のスイングを誤る可能性があります。 アルゴリズムは、日常の運動から意図的なジェスチャーを区別する必要があります。 意図的検出。 適応的なし、コンテキスト - フィルタリングヘルプが、完璧ではありません。
• []パワーと熱の制約:[連続センサーサンプリングと推圧水差し電池。ウェアラブルデバイスは、エネルギー効率で精度をバランス良くする必要があります。イベントベースのセンサーと完全アナログ処理は、有望な手段です。
• [ 骨折とユーザートレーニング:[]] ほとんどの消費者デバイスは4～8ジェスチャーのみをサポートしています。 混乱のない語彙を拡張したり、メモリフットプリントを増加させることは困難です。 差動的なジェスチャー署名を使用して新しいアルゴリズムは、異なるコマンドの何百もを許可することができますが、各ユーザーがシステムを調整するために必要です。
• [プライバシーとセキュリティ:[]]]カメラとマイクはプライバシーの懸念を上げます。レーダーやEMGでさえ、生体認証情報をキャプチャできます。オンデバイス処理とデータの匿名化は不可欠ですが、一部のユーザーは常にオンセンサーの警戒を残しています。

別のハードルは、 のクロスユーザー ゼグローゼーション:何百ものユーザーが訓練されたジェスチャーモデルは、非典型的な動きパターン(例えば、怪我や解剖学的変化による)人々のためにまだ失敗します。 いくつかのキャリブレーションジェスチャーをパーソナライズされた微調整 - アップルとGoogleは、現在実装しています。 セットアッププロセスに摩擦を追加します。

未来の方向と新興トレンド

研究は、単に「何を」ジェスチャーが実行されているだけでなく、「時」と「方法」がより広いコンテキストで意図されているシステムにプッシュされます。 []マルチモーダルフュージョンは、目視、スピーチ、さらには脳コンピュータインターフェイスでジェスチャーデータをマーリーして、確率的コマンド解釈を作成します。 例えば、ユーザーがスマートホームライトを見て、時計を3つのシステムから3つの円をトレースしながら「オン」と言います。

[自己指示学習と[]連続学習は、デバイスが完全な再訓練サイクルを必要としずに、時間をかけて新しいジェスチャーやユーザーに適応させることを可能にします。 これは、特に、筋肉の活性化パターンがユーザーの残留性肢の変更としてシフトするプロスのために重要です。

オペレーティングシステム(例えば、AndroidのGesture Navigation APIとiOS 18の拡張補助的なタッチ)の先端の、(例えば、) で、 、 どのウェアラブルなアプリがシステム全体でシームレスに接続できる将来にヒントを「」の出現は、開発者がゼロから認識を築く必要性を減らす、 ゲスチャーエンジンにシームレスに差し込むことができます。