Gesturen tunnustamisen ymmärtäminen pukeissa

Gesture tunnistus on muuttanut sitä, miten käyttäjät toimivat puettavien laitteiden kanssa, liikkuvat kosketusnäyttöjen ja fyysisten painikkeiden ohi kohti enemmän nesteitä, luonnollisia ohjausmenetelmiä. Älykkäistä kelloista, jotka vastaavat rannevideoihin, lisätyille todellisuuslaseille, joita käytetään käsin aalloilla, nämä järjestelmät luottavat ihmisen liikkeen tulkitsemiseen komentoina. Perusteknologiassa yhdistyvät laitteistosensorit ja hienostuneet algoritmit, joiden avulla eleet voidaan luokitella reaaliajassa, jolloin käsien vapaa toiminta on mahdollistanut kasvavan sovellusalueen. Viimeaikaiset edistysaskeleet ovat nostaneet tarkkuutta 95 prosentin rajan yli yhteisten eleiden osalta, samalla kun ne vähentävät latenssia käsittämättömille tasoille, jolloin vuorovaikutus tuntuu lähes telepaattiselta.

Gesturen toteamisen keskeiset periaatteet

Modernit kulutettavat eleen järjestelmät seuraavat tyypillisesti putkistoa: []sensing[] → [[]signaalin käsittely[[]] → [[]]piirteiden poisto [[]] luokittelu[[]]. Anturit kaappaavat raakadatan, kuten kiihtyvyys, kulmanopeus, lihaspotentiaalit tai syvyyskuvat. Signaali suodatetaan ja segmentoidaan eleikkunan eristämiseksi. Koneen oppimismallit .Tensin runkoiset ja toistuvat hermoverkot.

Sensorien käyttötavat

  • Inertiamittausyksiköt (IMU):[] Yhdistä kiihtyvyysmittarit, gyroskoopit ja joskus magnetometrit liikkeen ja suuntautumisen seuraamiseksi. IMUt ovat halpoja, tehokkaita ja niitä löytyy lähes joka puettavasta. Ne ovat erinomaisia havaitsemaan karkeat eleet kuten käsivarren kierrokset, ranne pyörimiset ja hanat.
  • Tietokonevisio:[ Miniatyyrikamerat ja lähi-infrapunasyvyysanturit (esim. lennon aika) ottavat kätensä ja kehonsa liikkeet 3D:ssä. Ne mahdollistavat hienoksi puristetun sormen seurannan, mutta vaativat enemmän tehoa ja ovat herkkiä valaistusolosuhteille.
  • Sähkökuvaus (EMG):[] Ihon elektrodit havaitsevat sähkösignaaleja lihasten supistuksista. Elektrodien avulla voidaan tunnistaa sormien tason eleitä myös ilman näkyvää liikettä, jolloin se on arvokas apuvälineteknologialle ja hiljaiselle komentosyötölle.
  • Radar ja Sonar:[ Doppler-tutka (kuten Google Solissa) ja ultraäänianturit voivat havaita mikroliikkeitä ja materiaalikuvioita. Tutka toimii esteiden läpi ja kirkkaassa auringonvalossa, kun taas kaikuluotain tarjoaa edullisen etäisyydentunnistuksen.

Monet uudet järjestelmät yhdistävät kaksi tai useampia yksityiskohtia. Esimerkiksi IMU:n ja EMG:n yhdistäminen korvaa jokaisen sensorin sokeat täplät. [Google...]Google... Soli-tutkasiru[, joka on upotettu Pixel 4:ään ja joihinkin älykelloihin, osoittaa, miten yksi tutka-anturi voi korvata useita kosketustuloja hienovaraisesti sormiliikkeillä.

Viimeaikaiset tekniset läpimurrot

Kolmen viime vuoden aikana eleentunnistus on hyötynyt syväoppimisen ja laitteen käsittelyn edistymisestä. [Muuntajamallit[], jotka on alun perin suunniteltu luonnolliseen kielenkäsittelyyn, on mukautettu ajallisen anturidatan käsittelyyn, pitkän kantaman elesekvenssejä koskevien LSTM-arvojen ylittämiseen. MIT:n ja muiden tutkijat ovat osoittaneet, että [ itsevalvottu esikoulutus[] voi vähentää uuden eleen tarvitsemia merkkejä vähintään 80 prosentilla.

Toinen merkittävä askel liittyy federated learning[, jonka avulla mallit voivat parantaa käyttäjien henkilökohtaisia eleitä ilman lataamalla raakaa tietoa pilveen. Apple. Apple.s ...Kaksinkertainen Tap...-ominaisuus Apple Watch Series 9:ssä käyttää tätä lähestymistapaa: kello oppii käyttäjän ainutlaatuinen peukalon ja etusormen nystykuvio ajan ilman, että se lähettää henkilökohtaisia biomekaniikkoja etäpalvelimille.

Laitepuolella tapahtumapohjaiset kamerat[ (Piiverkkokalvot) tarjoavat mikrosekunnin tason vasteajat havaitsemalla muutokset pikselien jokaisessa kuvaruudussa itsenäisesti sen sijaan, että skannaisivat kokonaiset kuvaruudut. Ne kuluttavat huomattavasti vähemmän tehoa kuin perinteiset kamerat ja ovat ihanteellisia eleseurannalle aina pukeutuvilla laitteilla.

Edge AI mahdollistaa reaaliaikaisen suorituskyvyn

Kellon tai lasin juoksumallit paikallisesti vaativat tehokkaita arkkitehtuuria. TinyML-tekniikat ovat luoneet verkkoja, joissa on alle 50 k:n parametrit ja jotka voivat luokitella alle 5 ms:n elesarjan alle 5 ms:llä Cortex-M4-mikro-ohjaimella. Yritykset, kuten Edge Impulse[], tarjoavat alustoja tällaisten mallien käyttöön pientehoisille laitteistoille, mikä mahdollistaa eleiden tunnistamisen ilman laitteen tyhjentämistä.

Sovellukset eri toimialoilla

Gesturen ohjaus ei ole enää uutuus, vaan siitä on tulossa tuottavuuden ja saavutettavuuden väline eri aloilla.

Terveydenhuolto ja kuntoutus

Potilaat, joilla on motorisia vammoja, kuten selkäytimen vammat tai ALS-laitteet, voivat käyttää EMG-pohjaisia käsijohteita kommunikaatiolaitteiden, sähkötuolien tai robottiproteesien ohjaamiseen. []Myo-käsinauha[[] (ja sen seuraajat) muuntaa lihassignaalit kursoriliikkeiksi ja napsautuksiksi, jolloin käyttäjille annetaan uusi kanava vuorovaikutukseen tietokoneiden kanssa. Kuntouttamisessa puettavat sensorit tarjoavat reaaliaikaista palautetta liikuntamuodosta ja auttavat potilaita toipumaan nopeammin.

Lisätty ja virtuaalinen todellisuus

AR lasit kuten Microsoft HoloLens 2 ja Magic Leap 2 track käsieleet ilman ohjainta. Käyttäjät voivat nipistää valita virtuaalinen valikot, napata hologrammit, ja pyyhkäisemään rullaa. []Käsi seuranta latenssi alle 5 ms[] on nyt saavutettavissa yhdistelmä IMUs ja syvyys kameroita, jolloin kokemus tuntuu suoralta ja reagoiva. VR, eleentunnistus mahdollistaa pelaajat heilutella aseita tai maalata 3D tilaa, korvaamalla irtotavaraa liikkeenohjaimet.

Teollisuus- ja kenttätyö

Smartlasit pitävä teknikko voi soittaa käsin tai käsin nyökkäys- tai eleellä varustettuja käsikirjoja, jotka pitävät molemmat kädet vapaina työkaluille. [[]Kirjanpidon työntekijät[[]] varastossa käyttävät puettavaa rengasskanneria, jotka on aktivoitu peukalolla viivakoodien skannaamiseksi ja jotka lisäävät läpäisyä 15. Samoin leikkaussalien kirurgit voivat navigoida lääketieteellisiä kuvantamisjärjestelmiä koskettamatta steriiliä pintaa, mikä vähentää saastumisriskiä.

Älykäs koti ja autoteollisuus

Älykkäiden kellojen ansiosta käyttäjät voivat nyt poistaa hälytyksiä, hyväksyä puheluita tai vaihtaa musiikkiraitoja yksinkertaisella eleellä. Useat autonvalmistajat ovat ottaneet käyttöön ohjausauton eleohjaimissa eleohjaimia äänenvoimakkuuden, puheluiden tai navigointiin tarkoitetun infotainment-valikosta. Usein käytetään ohjauspyörään asennettua lennon aika-anturia, joka havaitsee sormien liikkeet ilman, että kuljettaja katsoo pois tieltä.

Jäljellä olevat haasteet

Nopeasta edistymisestä huolimatta eletunnistus pukeutuvissa vaatteissa on edelleen esteitä, jotka estävät maailmanlaajuisen adoption.

  • ]Väärä positiivinen ja ympäristömelu:[ Kello voi erehtyä voimakas käsivarren keinu kävellessä . Algoritmeilla on erotettava tahalliset eleet arkisesta liikkeestä.Adaptiivinen kynnys ja konteksti-tietoinen suodatus auttaa, mutta ne eivät ole täydellisiä.
  • Voima- ja lämpörajoitteet:[ Jatkuva sensorinäytteenotto ja deferenssi tyhjennysakut. Käytettävissä olevien laitteiden on tasapainotettava tarkkuutta energiatehokkuuden kanssa. Tapahtumaan perustuvat anturit ja täysin analoginen käsittely ovat lupaavia väyliä.
  • Gestore Sanasto ja käyttäjäkoulutus:[ Useimmat kuluttajalaitteet tukevat vain 4.98 elettä. Sanaston laajentaminen ilman käyttäjien hämmennystä tai muistijalanjäljen kasvattaminen on vaikeaa. Uudet algoritmit, joissa käytetään differentiaalieleen allekirjoituksia, voivat sallia satoja erillisiä komentoja, mutta vaativat jokaisen käyttäjän kalibroimaan järjestelmän.
  • Tieto ja tietoturva:[ Kamerat ja mikrofonit herättävät yksityisyyden huolenaiheita; jopa tutkat ja EMG voivat tallentaa biometrisiä tietoja. Laitteiden käsittely ja tietojen anonymisointi ovat kriittisiä, mutta jotkut käyttäjät ovat varuillaan aina-on-sensoreissa.

Toinen este on käyttäjien yleistyminen[: satoja käyttäjiä varten koulutettu elemalli ei vieläkään sovellu ihmisille, joilla on epätyypillisiä liikemalleja (esim. vamman tai anatomisen vaihtelun vuoksi). Personoitu hienosäätö muutamalla kalibrointieleellä. Applen ja Googlen toteuttaessa nyt ...

Tulevat Suuntaukset ja kehittyvät suuntaukset

Tutkimus on työntää kohti järjestelmiä, jotka ymmärtävät paitsi mitä eleen suoritetaan, mutta ... kun ja ... miten... se on tarkoitettu laajempaan kontekstiin. [Monimodaalinen fuusio[ naimisiin eleen data silmän katse, puhe, ja jopa aivo-tietokoneen rajapinnat luoda probabilistinen komento tulkinta. Esimerkiksi, jos käyttäjä katsoo älykkääseen kotiin valoa ja sanoo ... .....ja kun jäljittää myötäpäivään ympyrän, järjestelmä johtaa komentoa kaikista kolmesta syötteestä.

]Itse valvottu oppiminen[ ja jatkuva oppiminen[ mahdollistavat laitteiden mukautumisen uusiin eleihin ja käyttäjiin ajan kuluessa ilman täydellistä uudelleenkoulutussykliä. Tämä on erityisen tärkeää proteesien kannalta, kun lihasten aktivointimallit muuttuvat käyttäjän jäännösraajan muuttuessa.

-informaation mididware[ syntyminen käyttöjärjestelmissä (esim. Android. Android.s Gesture Navigation API ja iOS 18.s laajennettu apuväline) vihjaa tulevaisuuteen, jossa mikä tahansa puettava sovellus voi kytkeä saumattomasti järjestelmän koko elemoottoriin, mikä vähentää kehittäjien tarvetta rakentaa tunnustusta tyhjästä.

Lopuksi, -joustavan elektroniikan ja -teholtaan alhaisen AI-arvon lähentyminen johtaa eleitä aistiviin tarroihin tai laastareihin, joita voidaan käyttää eri kehon paikoissa, ja avaa uusia vuorovaikutustiloja ranteen tai pään ulkopuolelle.

Päätelmät

Käytettävissä olevien rajapintojen eheystunnistus on kehittynyt kikkailusta luotettavaksi, käytännölliseksi ohjausmenetelmäksi. Fiksumpien sensoreiden, parempien algoritmien ja tehokkaiden laitteiden käsittelyn avulla puettavat voivat nyt ymmärtää monenlaisia luonnollisia ihmisen liikkeitä, jotka ovat erittäin tarkkoja ja heikkoja. Koska sähköisiin, yksityisyyteen ja personointiin liittyviä haasteita käsitellään, eleen syöttämisestä tulee standarditoiminto älyvalojen, AR-lasien ja terveysmonitorien välillä. Lopullisena tavoitteena on saada teknologia sopeutumaan ihmisen liikkeeseen eikä toisin päin.