Hareket Yakalanması ve Karakter Animasyonunda Yapay Zekanın Yakınlığı

Hareketin entegrasyonu yapay zeka ile verileri ele alır, temel olarak sanal karakterlerin video oyunları, filmler ve immersive gerçeklik deneyimlerini azaltır ve daha önce makine öğreniminin sayısal gücü ile insan aktörlerinin çıplak performansını birleştirerek, yaratıcılar, hareketlerin spontane hayatta kalmalarına yardımcı olan karakterler üretebilir ve duygusal olarak rezonansa yardımcı olur.Bu sentez, üretim zamanlarını azaltır, daha düşük maliyetler ve modern animasyonda daha önce pratik bir şekilde pratik yapan yaratıcı bir yetenek ortaya koyar.

Hareket Verileri Yakalıyor mu?

Hareket yakalama (sorun olarak adlandırılan mo-cap), nesnelerin veya canlı konuların hareketini kaydetmenin sürecidir -tipik olarak insan aktörleri - ve bu hareketi dijital verilere dönüştürmek.The ham data contains of the location, rotasyon, speed, and acceleration koordinats tracked at high framework, often 120 fps or more.This information can be applied to a digital iskelet, or rig, to drive the 3D character with near-perfect letting to the original performance.

Bugün kullanımda üç birincil hareket yakalama sistemi var:

  • [FONTcal hareket yakalama[[DDDDD], bir aktörün vücuduna yerleştirilen yüzeysel işaretleyicileri takip etmek için bir dizi kızılötesi kamera kullanır. Sistem her işaretin 3D pozisyonu ve iskeletin hareketini yeniden yapılandırır.Bu yöntem yüksek doğruluk sağlar, ancak kontrollü bir stüdyo ortamı gerektirir ve işaretleyici işaretleyici işaretleyici işaretleyicileri yönlendirmek için hassastır.
  • [FONT:0) İnanılmaz hareket yakalama[[Dönetici:0)) Yerinden alınan hareket, kullanılabilir sensörlerin aşınmasına dayanır - hızlanan zayıflıklar, gyroskoplar ve magnetometreler - bir takıma kadar optimize edilir. Sensörler yönlendirme ve hızlanır, sistemin dış kameralar olmadan hareket hesaplamasına izin verir.
  • [FONT:0]Markerless hareket yakalama[[Dönetici:0) Oyuncunun vücudunu doğrudan takip etmek için video kameraları ve bilgisayar görme algoritmaları kullanır, işaretleyiciler olmadan son gelişmeler bu yaklaşımı gerçek zamanlı uygulamalar için uygulanabilir hale getirmiştir. Özel bir takım ve doğru düzgün bir şekilde kullanılabilir hale getirilemez, ancak karmaşık hareketlerin arkasındaki optik sistemlerde doğruluk hala gecikmeler.

Yakalama yöntemine bakılmaksızın, çıktı, bir hiyerarşik iskelete uygulanan bir dönüşüm dizisidir. Bu ham veriler hemen animasyon için hazır değildir; hedef karakterin orantılı ve yeniden hedeflenmiştir. İşte AI araçları vazgeçilmez hale gelmiştir.

AI, nasıl gelişmiştir

Yapay zeka algoritmaları - özellikle derin sinir ağları - üretim hattının birden çok aşamasında veri yakalamaya uygulanır. Yeni hareket geliştirir ve gerçek zamanlı yanıt verir. Aşağıdaki alt bölümler en etkili teknikleri ayrıntılı olarak detaylandırır.

Data Temizlik ve Gap ⁇

Hiçbir hareket yakalama seansı mükemmel veri verir. Markers şu anda yüksek doğrulukla eksik veya bozulmuş çerçeveler yaratabilir ve yansımalar gürültü oluşturabilir. Geleneksel temizleme gerekli saatlerde manuel çalışma, “el-hemgemesel” üç çerçevede, kayıp bir hareketin kaybolduğu zamanları tahmin edilebilir.

Hareket ve karıştırma ve

Anahtar çerçeve animasyon geleneksel olarak sadece en kritik pozları tanımlamak için animatörler gerektirir ve sonra bilgisayar, splines veya diğer matematiksel eğrileri kullanarak çerçeveleri aramaktadır.Halaket yakalama verileri ile, yakalanan çerçeveler genellikle çok yoğundur, ancak küçük jitterler AI-güdümlü olarak insan vücudunun fiziksel kısıtlamalarına dayanır, bu yüzden doğal olmayan bir şekilde hareketsiz veya dönüştürücü olmayan hareketler (daha düşük bir örnekleme veya daha düşük bir durumda yakalanan) ve düzgün, biyolojik olarak makul pozlar üretir.

Hareket Stil Transfer ve Retargeting

Bir insan aktörün dramatik olarak farklı bir orantığa yönelik bir karaktere hedef vermek – dev, bir cüce veya insansız bir yaratık gibi – her zaman meydan okuma ve zuhurma işlemine izin vermek. AI retargeting sistemleri, her zaman bir hedef iskelete kadar kaynak hareketini haritalamak için derin bir öğrenme sağlarken, orijinalin stil transfer ağları her zaman tarafsız bir yürüyüşe girebilir ve “zenfekte edici” veya “ödülsüz” bir şekilde başvurabilir.

Yeni Hareket Öğrenmeden Önce Öğrenin

En gelişmiş AI modelleri, tam olarak yeni bir hareket dizilerini metinsel hızlı veya üst düzey hedeflere dayanan bir model oluşturabilir. Örneğin, büyük bir hareket dalgası üzerinde eğitilmiş bir model, farklı hareket klipleri arasında “uygun bir devam ederken, düşük bir duvar üzerinde bir hareket oluşturabilir.Bu jeneratif otomatik kodlayıcılar veya difüzyon modelleri) insan hareketlerinin gecikmeli bir gösterimini öğrenir ve farklı hareket klipleri oluşturmaz.

“Uygunluk rolü, bir yönetmen ve küratör, bir çerçeveden ziyade bir çerçeve-gerçekten hareket eden bir geleceğe doğru ilerliyoruz. AI, ama insan niyetini tanımlar. ”-Dr. Elena Vasquez, sinir animasyonda araştırmacı.

Gerçek Zamanlı Animasyon ve Etkileşimli Sanal Karakterler

En heyecan verici sınırlardan biri, AI odaklı hareketin gerçek zamanlı sanal karakterlerin animasyonu için yakalaması - video oyunları, sanal üretim ve sosyal VR gibi interaktif senaryolarda. Bu bağlamda, karakter hemen kullanıcı girişi veya çevresel değişikliklerle yanıt vermelidir ve hareket doğal ve bağlamı hissetmeli.

Ters Kinematics and Physics-Based Düzeltme

Raw hareket verileri yalnızca dinamik nesneler veya eşitsiz arazi ile etkileşim kuramaz. Bir oyunda, yakalanan bir idle animasyon oynayan bir karakter merdiven üzerinde veya bir masaya oturabilir, örneğin, Real Engine'suraç:0) Bu sistemler, yakalanan hareketi analiz eder ve sonundaki etkilerini düzeltebilir (elleri, ayakları, başı) karakterin fiziksel kısıtlamalarına saygı duyan bir ortamda, herhangi bir yüzeyle temasa geçmek için otomatik olarak ayarlanabilir.

Sorumluluk Gesture ve Face Animation

Yüz hareket yakalama geleneksel olarak, bir kafaya bağlı kamera veya yüksek çözünürlük seti gerektiren ayrı, işleyici bir süreçtir.Bugün, off-the-shelf web kamerası, derin öğrenme modelleriyle bir araya getirilen bazı semboller, ince ifadeler için bir dijital karakterin karışımını kullanabilir ve gerçek zamanlı olarak kullanır. Meta'surFLT:0Conta Avatarlar ve Epic'in tam zamanlı animasyonlu animasyonları gerçekleştirir.

Kullanıcı-Driven Hareketi

Karakter odaklı oyunlar için, anlatı maceraları veya rol oynama oyunları (RPG) gibi oyunlar, bir karakterin hareketi, bir amote tetiklerken, bir nesneyle etkileşime gir veya savaş alanına giriş yapın. AI-güdümlü hareket eşleştirme sistemleri, her çerçevede, istediğiniz yörüngeyi seçin, hız ve bağlamı (örneğin, koşu, şaf, söndürücü, yaralanan) Bu tür bir diziye sahip olan akışkan hareket eder.

Oyun ve Film Uygulamaları

Hareket yakalama ve AI'nınfüzyon eğlence endüstrisinde en görünür, ancak etkisi çok daha ötesine uzanır. Aşağıda bu teknolojinin zaten iş akışlarını dönüştürdüğü önemli dikeyler vardır.

Video Oyunları

Modern AAA oyunları, 0,0)Bölümümüzün son derece sağlam hareket yakalamalarına ve çevre performansına güvenen bir şekilde; Red Dead Redemption 2) ve [[FONTDÜSÜye Olmayanlar Arası transferler, farklı araziler için bir yürüyüş döngüsü varyasyonları yaratır ve gerçek zamanlı olarak I:9 kez de çevreyle etkileşim sağlar.

Film ve Sanal Üretim

Filmde, hareket yakalama, Gollum ve Na'vi gibi dijital karakterleri oluşturmak için on yıllardır kullanılmıştır.Değişen şey, AI tarafından karşılanan hız ve esnekliktir.[Dönemli, gerçek zamanlı AI retargeting, yönetmenlerin son dijital karakterin performansını görmelerine izin verir[Dönder, çünkü Sanal Üretimin çekirdeğini beklemek yerine).

Sanal Gerçeklik ve Sosyal Platformlar

VRChat, Horizon Worlds ve Rec Room gibi sosyal VR platformlarında kullanıcılar, standart VR baş setinden ve kontrol verilerinin kullanıcı bacaklarının pozisyonlarına, hipniğe ve omuzlara – doğrudan takip etmedikleri – milyonlarca kişilik hareketten öğrenme ve sosyal etkileşimin artırılması gibi.

Meydanlar ve Teknik Hurdles

Dikkat çekici ilerlemeye rağmen, birçok engel, AI odaklı hareket yakalamasının yaygın bir şekilde otomatik bir çözüm olarak kabul edilmesini engeller.

Data Acquisition and Privacy

Güçlü AI modelleri, yüksek kaliteli hareket yakalama verilerini çok çeşitli veri setleri gerektirir.Bu veri setleri genellikle gizlilik kaygılarına tabi olmak (tabiyatçıların yüzlerini veya vücutlarını kaydetmek) ve gerçek havuzları gibi açık bir şekilde kullanılabilir.CMU Grafik Lab yakalama VeritabanıCMU Grafik Lab yakalama Veritabanı).

Gerçek Zaman Sistemlerinde Latency

Etkileşimli uygulamalar için, AI modeli bir sonraki pozu birkaç milisaniye içinde yatırmalıdır. Metinden veya hedeflerden hareket eden Deep sinir ağları genellikle gerçek zamanlı oyun için kabul edilemez (hedef çerçeve süresi: 60 fps) Modelleme, ölçümleme ve donanım hızlandırma gibi optimizasyon teknikleri gereklidir (Nvidia TensorRT, Apple Core ML)

Sanatçının Öngörünü

AI-prodüktif hareket, yetenekli bir animator veya aktörün getirdiği ince, kasıtlı seçimlerden yoksun olabilir. Örneğin, bir karakterin “tahzarlı” tepkisi, bir istatistiksel modelin düzgün bir şekilde koruyabilmesi için belirli bir gecikmeye ve abartılı vücut diline ihtiyaç duyabilir.Bir insan-in-loop iş akışına sahip olmak – animator veto, karışıma veya AI’nın kaliteli sonuçları için gerekli olan temellere ihtiyaç duyar.

İnsan Karakterlerine Yeniden Hedefleme

AI retargeting gelişmiş olsa da, insan hareketlerini birden çok uzuvlu, kanat, çadırlar veya non-anthropomorphic omurgaları hala aktif bir araştırma alanıdır.İnsanoidler üzerinde iyi performans gösteren modeller her iskelet türü için özel eğitim verileri gerektiren karakterler üzerinde başarısız olur.

Future Yol ve Gelişen Araştırma

jeneratif AI ve hareket yakalamadaki inovasyon hızı yavaşlama işareti göstermez. Birkaç trend önümüzdeki birkaç yıl boyunca şekillendirecektir.

Diffüzyon için Modeller

Görüntü neslindeki başarılarından ilham alarak, diffüzyon modelleri artık hareket sentezleri için uyarlanıyor. Bu modeller rastgele ortak rotasyonları, acil durumlarda, ses veya önceki anahtarlar üzerinde şartsız bir şekilde yerine getirmeyi öğreniyorlar.

Minimal Data

Google Research[DÜDÜ:0)Meta Reality Labs[DÜT:1) ve [[Dönetici:2) Google Research[DÜDÜ:3) , yoğun yakalama seansları olmadan kendi hareket tarzı ile kişiselleştirilmiş bir dijital avatar oluşturmayı hedefliyor.

Doğal Dil Interfaces ile entegrasyon

Bir karakterin doğal dil komutlarıyla performansını yönlendirme yeteneği – “oynanızı geri ararken” – daha güvenilir hale gelir.T:0)MDM (Motion Diffüzyon Modeli) ve 03:2)TEACH[D:3)) Doğrulanmış bir genelleme, karmaşık çoklu bölme talimatlarına rağmen, yönetici ve oyun tasarımcıların bir meydan okuma olmaya devam edecektir.

Etik ve Yasal Çerçeveler

AI tarafından üretilen performanslar insan yakalamasından vazgeçilebilir hale geldiğinde, yeni sorular entelektüel mülkiyet ve performanslayıcı onaylar hakkında ortaya çıkıyor.Bir sinir ağı sınırsız varyasyonlar üretebileceğinde bir aktörün hareket verilerine sahip olan kişiler için önemli olacak mı? Ekran Aktörleri Guild ve benzer organlar, aktörlerin eğitim setlerinde hareket verilerinin kullanımı için telafi edilmiş ve kredilenmiş ve kredilenmiş kurallar üzerinde çalışıyor.

Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç

Hareketin birleşimi teknoloji ve yapay zeka, deneysel araştırmadan animasyon üretim hattının temel bileşenine kadar ilerledi. Gerçek zamanlı karakter animasyonu oyunlarda, filmlerde kullanılabilir dijital aktörler ve sanal dünyada daha güçlü ve erişilebilir hale getirme vaat ediyor.In yaratıcılar için, tüm mesajlar insan yaratıcılığına dayanıyor, derin öğrenme, difüzyon modellerine devam ediyor ve bu yeteneklerin geliştirilmesine söz veriyor.

Altta yatan teknolojiyi daha fazla araştırmak için, bkz. <0) DeepMotion'ın AI odaklı animasyon platformu[Dönetici) gerçek zamanlı fizik tabanlı karakter kontrolü için, read OLFLT:2}Meta'nın Kodc Avatarları araştırması[Döneticileri için [Dönetici yüz yakalama ve danışmak için 3 )[Dönetici kaynağı değiştir]