ضبط حرکت، تکنولوژی که جنبش انسان را برای هدایت شخصیت های دیجیتال ثبت می کند، در فیلم، بازی های ویدئویی و تولید مجازی ضروری شده است، با این حال داده های خام که تولید می کند به شدت آشفته است - با سر و صدا، انحصار، و ردیابی خطا و پردازش است که داده ها به طور سنتی نیاز به ساعت های تلاش دستی درد گیر است. امروز، هوش مصنوعی به عنوان یک نیروی خودکار پردازش داده ها، به بررسی دقیق پردازش اطلاعات، و تمیز کردن داده ها، به جای اینکه چگونه پردازش اطلاعات تمرکز و بازیابی اطلاعات، پردازش اطلاعات، به طور سنتی، نیاز دارد.

چالش های پاکسازی داده های Motion Capture

داده های ضبط حرکت خام بسیار دور از نقص است.دوربین ها می توانند نشانه های نشانگر را از دست بدهند، سنسورهای الکترومغناطیسی می توانند حرکت را معرفی کنند و حتی بهترین سیستم های نوری می توانند داده های صوتی و پر سر و صدا تولید کنند.

  • انحصارهای مارکر: [FLT 1] هنگامی که قطعات بدن یا وسایل نقلیه دیدگاه نشانگر را مسدود می کنند، سیستم نمی تواند موقعیت خود را ثبت کند، و منجر به شکاف در داده ها می شود.
  • مبادله مارکر: [FLT 1] هنگامی که نشانگرها عبور می کنند یا خیلی نزدیک می شوند، سیستم ممکن است یک نشانگر را برای دیگری اشتباه بگیرد، و مصنوعات حرکتی غیرطبیعی ایجاد کند.
  • نوست و شوخی: [FLT 1] مداخله الکتریکی، نوسانات روشنایی، یا ارتعاشات ظریف صدای با فرکانس بالا را معرفی می کند که باعث می شود حرکت به نظر برسد.
  • لغزش و نفوذ زمین: [FLT 1] بدون تمیز کردن دقیق، پاهای یک کاراکتر ممکن است بر روی سطوح نامرئی یا مشت زدن از طریق کف قرار گیرد.

حل این مسائل به طور سنتی نیاز به ویرایش دستی فریم به فریم توسط یک متخصص است.یک دقیقه از داده های با کیفیت بالا می تواند نیاز به چندین ساعت تمیز کردن داشته باشد.این تنگنا سرعت تولید را محدود می کند و هزینه های بالا را به ویژه در پروژه هایی که به حجم زیادی از داده های حرکت متکی هستند، مانند بازی های باز در جهان یا ویژگی های انیمیشن کامل.

چگونه AI پردازش داده ها را بهبود می بخشد

هوش مصنوعی، به ویژه یادگیری ماشینی، یک رویکرد اساساً متفاوت ارائه می دهد، به جای تکیه بر قوانین کد شده دستی، مدل های AI از مجموعه داده های گسترده ای از داده های حرکت تمیز یاد می گیرند تا الگوهای را شناسایی کنند، ارزش های از دست رفته را پیش بینی کنند و به طور خودکار مزایای اصلی در سرعت و مقیاس قرار می گیرد: یک بار آموزش دیده، یک AI می تواند ساعت ها داده ها را در دقیقه پردازش کند، انجام وظایف تمیز که یک تیم انسانی را می گیرد.

تکنیک های یادگیری ماشین استفاده شده

چندین کلاس یادگیری ماشین برای تمیز کردن چرخ دنده، هر کدام به جنبه های مختلف مشکل مناسب است:

  • آموزش عالی: مدل ها در جفت از داده های پر سر و صدا و "حقیقت زمینه" آموزش داده های تمیز با توجه به یک ورودی پر سر و صدا، مدل یاد می گیرد تا یک نسخه اصلاح شده را تولید کند، این رویکرد به خوبی برای وظایف مانند تجزیه و برش کار می کند، اما نیاز به آموزش داده های آموزش داده های آموزش دیده است که طیف گسترده ای از انواع حرکت و الگوهای خطا را پوشش می دهد.
  • آموزش عالی: این مدل ها ساختار را در داده های برچسب زده نشده پیدا می کنند، برای mocap، خودکارسازیرها می توانند آموزش ببینند تا داده های حرکت را از ورودی پر سر و صدا با یادگیری یک نمایندگی فشرده بازسازی کنند.آنوما می تواند انحراف های غیر طبیعی را که انسان ممکن است از دست بدهد، نشان دهد.
  • یادگیری برش: شبکه های عصبی با لایه های زیادی در مدل سازی دینامیک بالا، غیر خطی حرکت انسان، شبکه های عصبی کانولوی (CNNs) می توانند مسیرهای مشترک را به عنوان تصاویر زمانی پردازش کنند، در حالی که شبکه های عصبی تکراری (RNN) و ترانسفورماتور جذب وابستگی های متوالی دولت-art-artlicion، اغلب اوقات استفاده از خطاهای زمانی را پر می کنند.

جریان های کاری AI برای Mocap Cleanup

در خط لوله های تولید، مدل های AI به طور معمول به عنوان پلاگین ها یا خدمات ابری که با ابزارهای استاندارد صنعتی مانند Autodesk MotionBuilder، Blender یا Unreal Engine ادغام می شوند، به کار می روند:

  1. داده های خام واردات (به عنوان مثال، از Vicon، OptiTrack یا سیستم های غیر رسمی)
  2. داده ها را از طریق یک مدل هوش مصنوعی پیش آموزش دیده که برچسب های شکسته، پر از نشانگرهای مفقود شده و سر و صدا را صاف می کند، ارسال کنید.
  3. به طور خودکار کشیدن پا یا نفوذ زمین را با استفاده از محدودیت های فیزیکی تشخیص و اصلاح کنید.
  4. خروجی داده ها را با نمره اعتماد به نفس در هر مفصل تمیز می کند و به هنرمندان اجازه می دهد تا تنها بدترین موارد را بررسی و اصلاح کنند.

این رویکرد ترکیبی انسانی-AI اطمینان را تضمین می کند: AI کار روتین عمده را مدیریت می کند، در حالی که کارشناسان انسانی بر روی تفاوت های خلاقانه یا موارد نادر لبه تمرکز می کنند.

مزایای AI-Driven Motion Data Cleanup

پذیرش AI برای پردازش فولیکولی بازده ملموسی را در سراسر طیف تولیدی ارائه می دهد:

  • ] صرفه جویی در زمان بحرانی: استودیو گزارش کاهش زمان تمیز تا 50 - 80٪ برای جلسات معمول.به عنوان مثال، یک جلسه ثبت 10 دقیقه ای که قبلا نیاز به 20 ساعت کار دستی داشته است می تواند در 4 ساعت یا کمتر تمیز شود.
  • کیفیت قابل قبول: AI همان منطق اصلاح را در تمام فریم ها اعمال می کند، از بین بردن تنوع که زمانی که هنرمندان مختلف در همان توالی کار می کنند.
  • قابلیت های: به عنوان ثبت حجم رشد - به عنوان مثال، در بازی های چند نفره ضبط هزاران انیمیشن منحصر به فرد - AI می تواند مجموعه داده های عظیم بدون نیاز به افزایش متناسب در کارکنان پردازش.
  • [اعتبار برای تیم های کوچکتر: توسعه دهندگان مستقل و خانه های انیمیشن کوچک که فاقد هنرمندان تمیز کننده اختصاصی هستند می توانند از ابزارهای AI برای تولید داده های پاک کننده در خانه استفاده کنند، اغلب با کسری از بودجه.
  • واقع گرایی وابسته: با حذف انتقال های عجیب و غریب و غیرطبیعی، AI کمک می کند تا ظرافت های ظریف حرکت یک اجرا کننده را حفظ کند، که منجر به شخصیت های دیجیتال بیشتر شبیه به زندگی می شود.

ابزارهای فعلی AI و پلتفرم های برای Mocap Cleanup

چندین راه حل تجاری و متن باز ظهور کرده اند که هر کدام از روش های مختلف AI را به کار می برند:

  • DeepMotion (Animate 3D): یک سرویس AI مبتنی بر ابر که به طور خودکار تولید می کند، انیمیشن هدفمند از داده های ویدئویی یا مبتنی بر نشانگر استفاده از شبکه های عصبی عمیق برای برآورد حرکت 3D و مصنوعات تمیز. DeepMotion یک گزینه برای تیم های اختصاصی بدون AI اختصاصی ارائه می دهد.
  • Rokoko (SmartMocap): در حالی که در درجه اول یک راه حل بدون راننده، نرم افزار Rokoko شامل تمیز کردن با کمک AI برای داده های مناسب بی سابقه آن است.شبکه عصبی آن سیگنال های ضبط شده در زمان واقعی را از بین می برد. [F:2Rokoko
  • Plask: یک ابزار ذخیره سازی مبتنی بر مرورگر که از AI برای تمیز کردن ضبط حرکت مبتنی بر ویدیو استفاده می کند، می تواند قطعات بدن گمشده را پر کند و به طور خودکار اتصالات پا را اصلاح کند. Plask یک لایه آزاد را فراهم می کند، و آزمایش AI را آسان می کند.
  • NVIDIA Omniverse (Audio2Face + AI ردیابی بدن: در حالی که نه صرفا یک ابزار تمیز، Omniverse شامل مدل های AI است که می تواند حرکت تمیز از ورودی های پراکنده تولید کند، و سیستم ACR (Audio2Gesture) می تواند با ماژول های تمیز جفت شود.
  • مدل های منبع باز و باز چارچوب هایی مانند QuaterNet [FLT AI] و FLT: 4Deep Snake نشان می دهد دولت از هنر زدایی و حرکت برای این هنرمندان پیش روند و راه حل های فنی.

راهنمایی های آینده و ملاحظات

نقش AI در پاکسازی موک هنوز در حال تکامل است، در حالی که ابزارهای فعلی در حال حاضر صرفه جویی در زمان قابل توجهی، چندین چالش و پیشرفت های هیجان انگیز پیش رو است.

تعمیم در سراسر انواع حرکت

یک چالش مداوم این است که مدل های AI اغلب بهترین عملکرد را در انواع حرکت دیده شده در طول آموزش انجام می دهند.یک مدل آموزش دیده در راه رفتن و دویدن انسان ممکن است با حرکات بسیار سبک مانند رقص، ورزش یا آکروباتیک ایجاد مجموعه های آموزش بزرگتر و متنوع تر، و همچنین استفاده از تکنیک های انطباق دامنه، برای ساخت مدل های تمیز واقعاً عمومی ضروری باشد.

پردازش زمان واقعی

بسیاری از تولید ها، به ویژه در تلویزیون زنده و تولید مجازی، نیاز به بازخورد فوری دارند.سیستم های آینده AI احتمالا به تمیز کردن زمان واقعی دست خواهند یافت، به اجرا کنندگان اجازه می دهد تا نسخه های تمیز شده حرکت خود را در شخصیت های مجازی بدون هیچ تاخیر مشاهده کنند.این نیاز به شبکه های عصبی بسیار بهینه شده در دستگاه های لبه یا سرورهای ابر با اتصالات کم ارتفاع دارد.

ادغام با Broader Pipelines

تمیز کردن AI ارزشمند ترین زمانی است که به طور یکپارچه به خطوط لوله انیمیشن موجود متناسب است.ما می توانیم انتظار یکپارچگی دقیق تر با ابزارهای ایجاد محتوای دیجیتال (DCC) را داشته باشیم، که AI به عنوان یک سرویس پس زمینه اجرا می شود، به طور خودکار داده های تمیز کننده را به عنوان ضبط می کند. علاوه، قلاب کردن مدل های تمیز کردن به سیستم عامل های کنترل نسخه و همکاری (مانند Perforce یا Shotgun) مدیریت کارآمد دارایی را فعال می کند.

ملاحظات اخلاقی و اعتماد

همانطور که AI بیش از حد از فرایند تمیز کردن را می گیرد، استودیوها باید در نظر بگیرند که چقدر کنترل آنها راحت است تسلیم می شوند. یک انطباق بیش از حد در اصلاحات خودکار می تواند مسائل ردیابی مهم را پنهان کند یا مصنوعات ظریف را معرفی کند که کیفیت را در طول زمان کاهش می دهد. ساخت مدل های تفسیر شده - کسانی که می توانند توضیح دهند که چرا اصلاح شده است - و ارائه امتیازات اعتماد به نفس به حفظ نظارت انسان کمک می کند، علاوه، سوگیری در آموزش داده های دقیق برای اجرای عملکرد بدن و یا نمایش دقیق و یا نمایش تصاویر.

نتیجه گیری

هوش مصنوعی دیگر یک ترکیب منطقی برای گردش های کاری نیست – این یک ابزار عملی و آماده تولید است که داده ها را از یک کار فشرده به یک فرایند خودکار و قابل اعتماد تبدیل می کند.با استفاده از یادگیری ماشین داستان نویسی، یادگیری عمیق و به طور فزاینده پیچیده، استودیوهای همه اندازه می تواند زمان تمیز را با 50 تا 80 درصد کاهش دهد در حالی که بهبود کیفیت حرکت و سازگاری ماشین آلات حرکت واقعی، حتی نیاز به ترکیب دقیق تر، به عنوان یک گزینه های عصبی، حتی می بینند.