착용감에 대한 Gesture 인식 이해

Gesture 인식은 사용자가 터치 스크린과 물리적 버튼을 더 유체, 자연 제어 방법을 통해 이동하는 방법을 변환했습니다. 스마트 워치는 손목에 반응하는 스마트 워치에서 손파로 작동하는 증강 현실 안경에 반응합니다. 이러한 시스템은 명령으로 인간의 움직임을 해석하는 동시에 재적으로 작동합니다. Underlying 기술은 정교한 알고리즘을 사용하여 실시간으로 제스처를 분류하여 애플리케이션의 성장 범위에서 손없는 작업을 가능하게합니다. 최근 진보는 95 %의 상호 작용을 유발하는 반면, 거의 비정상적인 상호 작용을 줄이는 데 필요한 수준이 거의 없다는 것을 의미합니다.

Gesture 검출의 핵심 원리

현대식 착용식 제스처 시스템은 일반적으로 파이프라인을 따릅니다: ENSing] → ]signal processing → ]feature Extract → ]]classification. Sensors는 가속, 각도, 근육 잠재력, 또는 깊이 이미지와 같은 원시 데이터를 캡처합니다. 그 후, 기술자가 끊김 없이, 그리고, 그리고, 멈춘 등 다양한 종류의 데이터가 필요하며, 그 후에도, 멈춘다는 것을 갖춰야 합니다.

Sensor Modalities in 용도

  • 실내 측정 단위 (IMUs): 결합 가속도계, 자이로스코프, 때로는 자기계를 추적 모션 및 방향. IMU는 저렴하고, 힘 ‐ 효율적, 거의 모든 착용 가능에서 발견. 그들은 팔 스윙, 손목 회전 및 탭과 같은 총 제스처를 감지에 능가.
  • Computer Vision: 소형 카메라와 근적한 깊이 센서(예: 시간 ‐의 ‐flight) 캡처 손과 몸의 움직임을 3D로 캡처합니다. 그들은 미세한 횡단 손가락 추적을 활성화하지만 더 많은 전력을 필요로하고 조명 조건에 민감합니다.
  • 전자 (EMG):] 피부의 전극은 근육 수축으로부터 전기 신호를 감지합니다. EMG는 눈에 보이는 운동 없이 손가락 수준의 제스처를 식별할 수 있으며, 보조 기술 및 침묵 명령 입력에 대한 귀중한 기능을 제공합니다.
  • 라다르와 소나르:] 도플러 레이더(Google Soli) 및 초음파 센서는 마이크로 모션 및 재료 질감을 감지할 수 있습니다. 레이더는 장애물과 밝은 햇빛을 통해 작동하며, 소나르는 저비용 거리 감지를 제공합니다.

많은 새로운 시스템 신관 두 개 또는 더 modalities-for 인스턴스, IMU와 EMG 결합하여 각 센서의 블라인드 스팟에 대해 보상합니다. Google의 Soli 레이다 칩, Pixel 4 및 일부 smartwatches에 내장 된 단일 레이더 센서가 하위 손가락 모션을 사용하여 여러 터치 입력을 대체 할 수있는 방법을 보여줍니다.

최근 기술 혁신

지난 3 년 동안 제스처 인식은 깊은 학습 및 현장 처리에 대한 사전에서 혜택을 받았습니다. Transformer model], 원래 자연 언어 처리에 대 한 설계, 긴 범위 제스처 시퀀스에 LSTM를 처리 하는 데 적용 되었다. MIT에 연구자들은 self‐supervised preLT:[3]]:3]-tested data[3]-label:+]-tested data.[3]-tested data.

또 다른 주요 단계는 ]federated Learning, 이는 사용자가 클라우드에 데이터를 업로드하지 않고 개인 제스처를 개선할 수 있도록 모델이 있습니다. Apple Watch Series 9의 Apple 'Double Tap' 기능은이 접근을 사용합니다. 시계는 개인 바이오 기계 공학을 원격 서버에 전송하지 않고 사용자의 고유한 썸 ‐ 및 ‐ 포퍼 pinch 패턴을 배웁니다.

하드웨어 측에서 event‐based camera (silicon retinas)는 각 화소에서 자주적으로 변화하는 것을 검출하여 microsecond ‐level 응답 시간을 제공합니다, 오히려 전체 프레임을 검사합니다. 그들은 전통적인 사진기 보다는 현저하게 더 적은 힘을 소모하고 항상 착용할 수 있는 gesture 추적을 위해 이상적 입니다.

Edge AI Enables Real-Time 성능

시계 또는 안경에 로컬로 실행하는 제스처 모델은 효율적인 아키텍처를 필요로 합니다. TinyML 기술은 50 k 매개 변수보다 적은 네트워크가 생성되어 있으며, 이는 Cortex‐M4 마이크로 컨트롤러에서 5 m 미만의 8 제스처 세트를 분류할 수 있습니다. Edge Impulse는 장치 배터리를 배수하지 않고 저전력 하드웨어를 배포하는 플랫폼을 제공합니다.

Across 기업

Gesture 제어는 더 이상 소설이 없습니다. 다양한 분야에서 생산성과 접근성 도구가되고 있습니다.

의료 및 재활

척추측만증이나 ALS와 같은 모터 장애 환자는 통신 장치, 전기 휠체어, 로봇식 유약을 제어하기 위해 EMG 기반 암 밴드를 사용할 수 있습니다. Myo armband (그리고 그 후속자)는 근육 신호를 커서 운동으로 변환하고 클릭, 사용자가 컴퓨터와 상호 작용하는 새로운 채널을 제공. 재활에서 착용 가능한 센서는 실제 운동에 신속하게 액세스 할 수 있습니다.

증강 및 가상 현실

AR 안경은 컨트롤러가 필요없는 Microsoft HoloLens 2 및 Magic Leap 2 트랙 핸드 제스처와 같은. 사용자는 가상 메뉴를 선택하기 위해 pinch를 선택할 수 있으며 홀로그램을 잡아서 스크롤을 끄는 데 적합합니다. [FLT :0]Hand tracking latency below 5 ms[FLT :1]]는 이제 IMU 및 깊이 카메라의 조합으로 달성되며, 경험은 직접적이고 응답감을 느끼게합니다. VR에서 제스처 인식 플레이어는 3D 또는 3D 플레이어를 교체 할 수 있습니다.

산업과 분야 일

스마트 안경을 착용하는 기술자는 수동 또는 굴절 또는 핸드 제스처를 호출 할 수 있으며 도구에 대한 손이 무료로 유지하십시오. [[FLT : 0]]]로그스틱스 근로자[FLT : 1] 창고 사용에서 마모 가능한 링 스캐너는 바코드를 스캔하고 처리량을 15-25 % 증가시킵니다. 마찬가지로 운영 방에서 외과 의사는 멸균 표면, 오염 위험 감소없이 의료 이미징 시스템을 탐색 할 수 있습니다.

스마트 홈 및 자동차

Smartwatches는 이제 사용자가 알람을 해소하고 통화를 허용하거나, 음악 트랙을 간단한 제스처로 변경할 수 있습니다. 여러 자동차 제조업체는 볼륨을 조정하기 위해 ‐cabin 제스처 컨트롤에 통합되어 통화, 또는 항해 정보 메뉴를 조정하여 스티어링 ‐ 휠 마운트 시간 ‐ ‐ ‐ flight 센서를 사용하여 도로에서 눈을 끄지 않고 손가락 움직임을 감지합니다.

관련 기사

급속한 진도에도 불구하고, 착용할 수 있는에 있는 제스처 승인은 아직도 보편적인 채택을 방지하는 장애물을 직면합니다.

  • False Positives and Environmental Noise: 시계는 "dismiss notification" 명령을 위해 걷는 동안 비옥한 팔 그네를 실수할 수 있습니다. Algorithms는 일상적인 동작에서 의도적 제스처를 다르게 해야 합니다. ]intentionality detection]. 적응형 임계 및 컨텍스트-aware filtering help, 하지만 완벽하지 않습니다.
  • Power and Thermal Constraints: 연속 센서 샘플링 및 인스테이션 드레인 배터리. 착용 가능한 장치는 에너지 효율과 정확도를 균형 잡히는 것입니다. 이벤트 기반 센서 및 완전 아날로그 처리는 복수의 수익입니다.
  • Gesture Vocabulary and User Training: 대부분의 소비자 장치 지원은 4~8개의 제스처만 지원한다. 사용자를 혼란시키지 않고 구약을 확장하거나 메모리 발자국이 어렵다. 차별 제스처를 사용하는 새로운 알고리즘은 수백 개의 특정 명령을 허용하지만, 각 사용자가 시스템을 교정할 수 있도록 요구합니다.
  • 개인정보 보호 및 보안: 카메라와 마이크는 개인 정보 보호 문제를 제기; 심지어 레이더와 EMGs는 생체 정보 캡처 할 수 있습니다. 에 장치 처리 및 데이터 익명화는 중요하지만, 일부 사용자는 항상 센서의 경고를 유지.

또 다른 장애물은 cross-user generalisation: 사용자가 수백 명의 사람들이 부상 또는 원자적 변형으로 인해 인간을 위해 실패한 제스처 모델. Apple과 Google이 이제 구현하는 몇 가지 교정 제스처와 함께 개인화 된 미세 조정은 조정 프로세스에 마찰을 추가합니다.

연구는 “what” 제스처가 수행되지 않는 시스템을 향해 밀어하지만 “when”과 “how”는 더 넓은 컨텍스트에 의도됩니다. Multimodal fusion]는 눈 가제, 연설, 심지어 뇌 ‐ 컴퓨터 인터페이스를 사용하여 악성 코드 해석을 만들 것입니다. 예를 들어, 사용자가 스마트 홈 조명에서 보이는 경우, "턴 on"라는 명령을 입력하는 동안, 3 개의 입력에서 입력된 모든 입력 시스템에서 입력된 입력된 입력 시스템에서 "턴 on"라고 말합니다.

Self-supervised Learning 과 ]지속 학습은 장치가 새로운 제스처에 적응하고 전체 재훈련 주기를 필요로 하지 않고 사용자를 동시에 사용할 수 있도록 합니다. 이것은 특히 사용자가 재활한 사지 변화로 근육 활성화 패턴이 변화하는 prosthetics에 중요합니다.

gesture‐aware Middleware] 운영 체제에서 (예: Android의 Gesture Navigation API 및 iOS 18의 확장 지원 터치) 힌트를 확장하여 마모 가능한 응용 프로그램이 시스템 ‐ 전체 제스처 엔진에 완벽하게 연결할 수 있는 미래에 힌트를 구축할 수 있도록 개발자가 스크래치에서 인식을 줄 필요가 감소시킵니다.

마지막으로, flexible Electronics와 low‐power AI]는 다양한 신체 부위에서 착용할 수 있는 제스처 감지 스티커나 패치로 이어지는 역할을 합니다. 손목이나 머리 위에 새로운 상호 작용 공간을 열어 보세요.

관련 기사

, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,