The Convergence of Motion Capture and Artificial Intelligence in Character Animation

وقد أدى إدماج بيانات الاستلام بالذكاء الاصطناعي إلى تغيير جوهري في كيفية تحفيز الشخصيات الافتراضية في ألعاب الفيديو والأفلام والتجارب الواقعية غير المتجانسة، حيث إن هذا التجميع يوحد الأداء المدروس للجهات الفاعلة البشرية التي لديها القدرة الحسابية على التعلم بالآلات، يمكن للمبدعين أن يولدوا سماتاً تشعر بأنها آلية، ومستجيبة للمشاعر، مما يقلل من وقت الإنتاج، ويخفض التكاليف الإبداعية.

ما هي بيانات التقط الصور؟

أما عملية التقاط الحركة )التي تسمى في كثير من الأحيان " مو - كب " ( فهي عملية تسجيل حركة الأجسام أو الأشخاص الأحياء - الذين يطبعون عناصر بشرية - وترجمة تلك الحركة إلى بيانات رقمية، وتتألف البيانات الأولية من الموقع والتناوب والسرعة، وتجرى تنسيقات التسارع بمعدلات عالية، وغالبا ما تكون ١٢٠ فراء أو أكثر، ويمكن تطبيق هذه المعلومات على هيكل رقمي أو تلاعب، لدفع حركة الأداء الأصلي إلى ما يقرب من ٣ دال.

هناك ثلاثة أنواع رئيسية من نظم استخلاص الحركة المستخدمة اليوم:

  • ]]Optical motion capture] uses a constellation of infrared cameras to track retroreflective markers placed on an actor’s body and the system triangulates each marker’s 3D position and reconstructs the skeleton’s motion and this method delivers high accuracy but requires a controlled Stu environment and is sensitive to marker occluions.
  • يعتمد على أجهزة الاستشعار القابلة للارتداء، ومصاعق الجير، والمغنطيسيرات، والمغنطيسيات المدمجة في بدلة، ويقاس جهاز الاستشعار التوجه والتسارع، ويسمح للنظام بمقارنة الحركة دون كاميرات خارجية، وهذا الإنشاء قابل للتنقل وأقل تأثراً بالظروف المخففة، وإن كان الانجراف عبر الزمن.
  • ]]Markerless motion capture] uses video cameras and computer visions to track the actor’s body directly, without markers. Recent advances in deep learning have made this approach viable for real-time applications. It requires no special suit and can be deployed with ordinary webcams, though accuracy still lags behind optical systems for complex motions.

وبغض النظر عن طريقة التقاط الصور، فإن الناتج هو سلسلة زمنية من التحولات المطبقة على هيكل هرمي، وهذه البيانات الخام ليست جاهزة فوراً للتقدير؛ ويجب تنظيفها، وسد الثغرات، وإعادة توجيهها إلى نسب الطابع المستهدف، وهنا أصبحت أدوات آي لا غنى عنها.

How AI Enhances Motion Capture Data

وقد طبقت خوارزميات استخباراتية ذاتية - خاصة شبكات عصبية عميقة - على جمع البيانات في مراحل متعددة من خط الأنابيب الانتاجية، وهي تحسن نوعية البيانات، وتولد حركة جديدة، وتسمح بالاستجابة في الوقت الحقيقي، وتفصل الأقسام الفرعية التالية أكثر التقنيات تأثيرا.

تنظيف البيانات وتعبئة الثغرات

ولا توجد بيانات كاملة عن جلسة تسجيل الطلبات، فالعلامات غير مكتملة، والمجسات تنحرف، والتفكيرات تخلق ضوضاء، فالتنظيف التقليدي يتطلب ساعات عمل يدوية من جانب فنيين مهرة يرتدون " الشريك " للأطر المفقودة، ويمكن الآن أن تنبأ نماذج المعلومات التي يتم تدريبها على مجموعات كبيرة من البيانات عن الحركة البشرية بأطر مفقودة أو فاسقة عالية الدقة، وعلى سبيل المثال، شبكة عصبية متكررة تدرت على ملايين من المشابك الحركة.

التنظيف والتبضع

ويستلزم تقدير الإطار الرئيسي عادة أن يحدد المصممون أكثر الفرضيات أهمية، ثم يتداخل الحاسوب بين الأطر التي يستخدمون فيها المخطوطات أو المنحنىات الرياضية الأخرى، مع بيانات جمع الطلبات، تكون الأطر المأخوذة أكثر كثافة من اللازم، ومع ذلك تبقى صغيرة، ويضع نماذج التنظيف التي يقودها المعهد والتي تستند إلى تركيبات الثوران أو المحولات التي يمكن أن تأخذ أُطراً أساسية أقل.

Motion Style Transfer and Retargeting

إن إعادة توجيه الحركة من فاعل بشري إلى طابع مختلف اختلافاً كبيراً - مثل القزم العملاق أو المخلوق غير الإنساني - كان دائماً صعباً، ويدخل عامل مقياس بسيط الانزلاق والاختراق في القدمين، وتستخدم نظم إعادة الاستهداف تعلماً عميقاً لوضع خريطة لحركة المصدر في هيكل مستهدف مع فرض قيود على الاتصال والحفاظ على أسلوب التحول الأصلي.

توليد حركة جديدة من قبل المتعلمين

ويمكن أن تولد نماذج المعلومات المسبقة عن علم الأكثر تقدما تسلسلا جديدا تماما للحركة استنادا إلى عجلات النص أو الأهداف الرفيعة المستوى، فعلى سبيل المثال، يمكن لنموذج مدرَّب على مجموعة كبيرة من بيانات جمع الطلبات أن يولد " دفعة على الجدار المنخفض بينما يبدو صحيحا " ، ويُقدِّم مباشرة سلسلة من التحولات المشتركة، وهذه النماذج السخية (التي كثيرا ما تُعدُّ نماذج مختلفة للحركة أو نماذج الانتشار) تُتعلِّم تمثيلا متأخّرا متأخّرا في الحركة البشرية.

]

" نحن نتحرك نحو مستقبل يصبح فيه دور المنشط هو دور المدير وأمين الصندوق، بدلا من الحرف الميكانيكي حسب الإطار، وتتولى منظمة العفو الدولية الفيزياء، ولكن الإنسان يحدد النية " . - الدكتور إلينا فاسكيز، الباحث في التصويب العصبي في أعماق الحركة.

]

الصور الحقيقية والصور الافتراضية التفاعلية

ومن أكثر الحدود إثارة استخدام التقاط الحركة التي تحركها منظمة العفو الدولية في تصوير الشخصيات الافتراضية في الوقت الحقيقي - ولا سيما في سيناريوهات تفاعلية مثل ألعاب الفيديو، والإنتاج الافتراضي، والتصوير الاجتماعي. وفي هذه السياقات، يجب أن تستجيب الشخصية فوراً لمدخلات المستخدمين أو التغييرات البيئية، ويجب أن يشعر الاقتراح بالطبيعة والوعي بالسياق.

تصحيحات مصورة وفيزياء

ولا يمكن أن تتناول البيانات المتعلقة بالحركة السريعة التفاعلات مع الأجسام الدينامية أو التضاريس غير المتساوية، ففي لعبة ما، قد يكون الشخص الذي يعزف على المكبّر على السلالم أو قرب طاولة ما، مما يتسبب في الأيدي أو الأقدام التي تقطعها الأرض، بينما تقوم نظم الكينيات ذات القدرة العالية بتحليل الحركة المسبوقة وتعديل المؤثرات النهائية (اليد والأقدام والرأس) في بيئة مقترنة

الأثاث والوجه المستجيب

وقد كان التلقيح الوجهي عادة عملية منفصلة وناشطة تتطلب آلة تصوير مجهزة بالرأس أو مجموعة من العلامات الكثيفة، واليوم، يمكن لغير الموقع الشبكي، إلى جانب نماذج التعلم العميق، أن تتعقب علامات الوجه وتدفع بزجاجات ذات طابع رقمي في الوقت الحقيقي.

مستعمل - دريفن

For[ character-driven games like narrative ventures or role-playing games (RPGs), a character’s motion must change smoothly when the players triggers an emote, interacts with an object, or enters combat. AI-driven motion matching systems maintain a database of captured clips and, in each frame, select the clip that best matches the desired trajectory, velocity, and context (euch).

طلبات اللعب والملف

إن دمج عملية التقاط الحركة وأجهزة الاستطلاع الأكثر وضوحا في صناعة الترفيه، ولكن أثرها يتجاوز بكثير، ويقلل من ذلك العمود الفقري الرئيسي حيث تحول هذه التكنولوجيا بالفعل سير العمل.

ألعاب الفيديو

Moder[FT ألعاب من قبيل The last of Us Part II, Red dead Reemption 2, and Cyberpunk 2077 rely heavily on motion fashion for both body and face performances

الأفلام والإنتاج الافتراضي

In film, motion capture has been used for decades to create digital characters like Gollum and the Na’vi. What has changed is the speed and flexibility afforded by AI. On set, real-time AI retargeting allows directors to see the final digital character’s performance immediately, rather than waiting for weeks of post-production. This is the core of virtual production, as seen in

الواقع الافتراضي والمنابر الاجتماعية

وفي منابر اجتماعية للتعلم على أساس النتائج، مثل VRChat وHorizon Worlds وRc Room، يمثل المستعملون من خلال النجمات، ويمكن للحركة التي تحركها الشركة من الرؤوس والتحكم في الحركات الاستطلاعية أن تستنتج من مواقع أرجل المستخدم وورقاته وأكتفه التي لا تُتبَعَلَّم مباشرة من ملايين تسلسلات الجسم الكامل، مما يؤدي إلى تفاعل مرئي حقيقي ويحسن

التحديات والحواجز التقنية

ورغم التقدم الملحوظ، فإن عدة عقبات تحول دون اعتماد حركة الاستسلام التي تحركها منظمة العفو الدولية على نطاق واسع كحل آلي تماما.

اقتناء البيانات وخصوصيتها

وتحتاج نماذج التدريب القوي على المعلومات المسبقة عن علم إلى مجموعات بيانات واسعة ومتنوعة من بيانات التلقيم العالي الجودة، وهذه مجموعات البيانات مكلفة لإنتاج الشواغل المتعلقة بالخصوصية، وكثيراً ما تخضع لها (عندما تسجل وجوه أو هيئات الجهات الفاعلة) وتظل السجلات المتاحة للجمهور مثل [(FLT:0]) قاعدة بيانات عن الاختراقات في المختبرات ذات النطاقات الكبيرة () محدودة في النمط والنطاق.

درجة الحرارة في نظم الزمن الحقيقي

وبالنسبة للتطبيقات التفاعلية، يجب أن يستدل نموذج " آي " على الوضع التالي في غضون بضعة مليارات من الثانية، وكثيرا ما تستحدث الشبكات العصبية العميقة التي تولد حركة من النص أو الأهداف صبغة غير مقبولة للعبة في الوقت الحقيقي (الإطار المستهدف: 16.6 مترا في 60 فراء) وتقنيات الاستخدام الأمثل مثل اختبار النماذج، وكمية الكم، وتسريع المعدات (Nvidia TensorRT، و " Apple Core ML " المتخصصة).

الحفاظ على الفنون

ويمكن أن يفتقر الاقتراح الذي يصدر عن شركة آي إلى الخيارات الناقصة والمتعمدة التي يجلبها المنشط أو المنشط الماهر، فعلى سبيل المثال، قد يحتاج رد فعل " متفاجيء " شخص ما إلى تأخير محدد وإلى لغة مفرطة من الجسم يمكن أن يُسسدّل بها النموذج الإحصائي، والحفاظ على تدفق عمل ذي نوعية بشرية - حيث يمكن للمنشط أن ينقض النتائج الأساسية للمبادرة أو يخلط بها.

إعادة توجيه إلى غير المصنفين من البشر

وبينما تحسنت عملية إعادة توجيه الأنسجة، فإن رسم خرائط الحركة البشرية للمخلوقات ذات الأطراف المتعددة، والأجنحة، والخلايا، أو العواصف غير المدارية، لا تزال مجالاً بحثياً نشطاً، وكثيراً ما تفشل النماذج التي تؤدي أداء جيد على الإنسان في شخصيات ذات هياكل هرمية مشتركة مختلفة، مما يتطلب بيانات تدريبية حسب الطلب لكل نوع من أنواع الهيكل العظمي.

المستقبل

ولا تدل سرعة الابتكار في مجال التنفيذ المكرّر والحركة على حدوث تباطؤ، وستشكل عدة اتجاهات السنوات القليلة القادمة.

نماذج تشعبية لجيل الحركة

ويجري الآن تكييف نماذج النشر، التي تلهم نجاحها في توليد الصور، بحيث تُجمع الاقتراحات، وتتعلم هذه النماذج أن تُعلن عن عمليات التناوب المشتركة العشوائية في تسلسلات حركة متماسكة تُشترط على أُطر رئيسية سريعة أو سمعية أو سابقة، ويمكن أن تنتج نماذج عالية الجودة ومتنوعة ذات اتساق زمني طويل، ويمكن أن تحل محل نظم مطابقة الحركة التقليدية.

ألفاتار شخصية من البيانات الحيوانية

وترمي البحوث التي تجريها مجموعات مثل Meta Reality Labs و] Google Research] إلى إنشاء فطار رقمي شخصي باستخدام أسلوبه الخاص من بضعة دقائق من لقطات الفيديو، ويمكن للمبادرة، بمجرد التدريب، أن تولد صوراً مكثفة من جميع الأطراف تضاهي ألعاب المستعمل الفريدة،

التكامل مع اللغات الطبيعية

ومن المحزن أن القدرة على توجيه أداء شخص ما مع أوامر اللغة الطبيعية - " على الرصيف أثناء النظر إلى كتفك " - أصبحت أكثر موثوقية، وتظهر نماذج مثل ]MDM (نموذج الحركة) و ، دليل التعددية التقريبية في المستقبل، على نحو أوامر جديدة معقدة.

الأطر الأخلاقية والقانونية

ومع أن الأداءات التي تُنشأ عن طريق مبادرة " آي " لا يمكن تمييزها عن عمليات القبض على البشر، تنشأ أسئلة جديدة بشأن الملكية الفكرية والموافقة على الأداء، ومن يملك بيانات اقتراحية من جهة فاعلة عندما يمكن للشبكة العصبية أن تولد تغيرات غير محدودة؟ ويعمل القائمون على إنشاء هيئات مختصرة ومتشابهة على مبادئ توجيهية تكفل تعويض الجهات الفاعلة وتقييدها لاستخدام بياناتها في مجموعات التدريب والنواتج المجزية.

خاتمة

وقد تطورت مجموعة تكنولوجيا التقاط الحركة والاستخبارات الاصطناعية من البحوث التجريبية إلى عنصر أساسي من خط أنابيب إنتاج الصور، حيث إن مقياس الطابع الحقيقي للألعاب، والجهات الفاعلة الرقمية المصدقة في الأفلام، والعلامات الإبداعية في عالم افتراضي، تعتمد كلها على هذا التآزر، وفي حين أن التحديات المتعلقة بنوعية البيانات، والتساهل، والمراقبة الفنية، والتقدم المستمر في مجال التعلم العميق، ونماذج الإبداع، والارتقاء بالمعدات.

To explore the underlying technology further, see DeepMotion’s AI-driven animation platform] for realtime physics-based character control, read ]Meta’s Codec Avatars research for state-art facial capture, and consult[FL]