לכידת התנועה ואינטליגנציה מלאכותית ב- Character Animation

השילוב של נתונים ללכוד תנועה עם אינטליגנציה מלאכותית שינה באופן יסודי את האופן שבו דמויות וירטואליות מונפשות במשחקי וידאו, סרטים, וחוויות מציאות immersive. על ידי שילוב הביצועים המוערכים של שחקנים אנושיים עם הכוח החישובי של למידה, יוצרי יכולים לייצר דמויות שתנועותיהם מרגישות באופן ספונטני חי, תגובה, ורגשי מחדש.זה מקטין את זמן הייצור, עלויות נמוכות, ופותח דרכים יצירתיות כי הם כעת מאחורי מכניקת דרכים טכנולוגיות מתקדמות, כמו גם עכשיו, כמו גם תכונות מכניקה, אז, אז, וחדשת מסורתיות.

מה זה Motion Capture Data?

ללכוד תנועה (נקרא לעתים קרובות Mo-cap) הוא תהליך של הקלטת התנועה של אובייקטים או נושאים חיים - שחקנים אנושיים קדחתניים - ותרגום התנועה לנתונים דיגיטליים.הנתונים הגולמיים מורכבים ממיקום, סיבוב, מהירות, והאתאורדות עוקבות בקצב גבוה, לעתים קרובות 120 fps או יותר.מידע זה יכול להיות מיושם על השלד דיגיטלי, או הקפדה, כדי להניע את התנועה של אופי בעל אופי 3D קרוב לתפקוד המקורי.

ישנם שלושה סוגים עיקריים של מערכות לכידת תנועה בשימוש כיום:

  • (FLT:0) תנועה לוכדת:1 (FLT) משתמש בקבוצת מצלמות אינפרא אדום כדי לעקוב אחר סמנים רטרוreflective להציב על גוף השחקן.המערכת מבודדת את המיקום 3D של כל סימון ומשחזרת את התנועה של השלד. שיטה זו מספקת דיוק גבוה אבל דורשת סביבת סטודיו מבוקרת רגישה לסימון occlus.
  • (FLT:0) תנועות אינפורמטיביות ללכוד את ה- 1FLT ( 1:1) מסתמכות על חיישנים בעלי יכולת ללבוש - אקרממטרים, גירוסקופים, ומגנטים - המתגבשים לתוך חליפה.החיישנים מודדים אוריינטציה והאוצה, ומאפשרים למערכת למקם תנועה ללא מצלמות חיצוניות.ההגדרה זו היא ניידת ופחות מושפעת, אם כי לאורך זמן הוא חולשה ידועה.
  • (FLT:0) לכידת תנועה ללא מארקר (Markerless MotionלכידתFLT) משתמש במצלמות וידאו ואלגוריתמים ראיית מחשב כדי לעקוב אחר הגוף של השחקן ישירות, ללא סמנים.ההתקדמות האחרונה בלמידה עמוקה הפכה את הגישה הזו ל-קיימא עבור יישומים בזמן אמת.זה דורש שום תוספת מיוחדת וניתן לפרוס עם מצלמות אינטרנט רגילות, אם כי דיוק עדיין מחלחל מאחורי מערכות אופטיות לתנועות מורכבות.

ללא קשר לשיטת הלכידת, הפלט הוא זמן-סדרה של שינויים החלים על השלד ההיררכי.המידע הגולמי הזה אינו מוכן באופן מיידי לאנימציה; יש לנקות אותו, מלא פער, ומוצהר מחדש לפרופורציות של הדמות היעד.כאן, כלים בינה מלאכותית הפכו הכרחיים.

כיצד AI משפר את התנועה ללכוד נתונים

אלגוריתמים בינה מלאכותית – במיוחד רשתות עצביות עמוקות – מוחלים על מנת להניע נתונים בשלבים מרובים של צינור הייצור.הם משפרים את איכות הנתונים, מייצרים תנועה חדשה, ומאפשרים תגובה בזמן אמת.

ניקוי נתונים ופספוס

אין הפעלה לוכדת תנועה מניבה נתונים מושלמים.מארקרס מסולקים, חיישנים סחף, והשתקפות יוצרים רעש.ניקוי מסורתי נדרש שעות של עבודה ידנית על ידי טכנאים מיומנים אשר "לחיים" את מסגרות החסרות. מודלים AI מאומן על נתונים עצומים של תנועה אנושית יכול עכשיו לחזות חסר או מושחתים עם דיוק גבוה.

תנועה בין ו- Smoothing

אנימציה Keyframe באופן מסורתי דורש ממריצים להגדיר רק את התננוחות הקריטיות ביותר, ולאחר מכן המחשב מנטרל את המסגרת ביניהם באמצעות קווי רוחב או עקומות מתמטיות אחרות.עם נתונים ללכוד, מסגרות השבודות לעתים קרובות מדי, אך קטן נשאר ג'ייטר בין מודלים המונעים על ידי AI-ידי שימוש - לעתים קרובות מבוסס על ארכיטקטורות convolutional או טרנספורמטיביות - יכול לקחת מרכזי ספאאר (אורדת (או מדגמי תנועה זעירים) באופן כה נמוך יותר, או מזווית פיזית, או מדגימה, או מדגימה, או נמוכה יותר, או נמוכה יותר, או נמוכה יותר, או מדגימה, או מדגימה, או מדגימה, או נמוכה יותר, או מדגמי גוף.

העברת סגנון ושיקום

תנועה חוזרת של שחקן אנושי לדמות של פרופורציה שונה באופן דרמטי – כגון ענק, אגמד או יצור לא-אנושי – תמיד היה מאתגר. גורם בקנה מידה פשוט מציג חדירה ברגל וחדירה לגפיים. מערכות AI retargeting להשתמש למידה עמוקה כדי למפות את המקור על השלד מטרה תוך אכיפת מגבלות מגע ושימור הכוונה הסטיליסטית של המקור, יתר על כן יכול להעביר את הסגנון הניטרנטימי או "לתקן" ל" לאחר תנועה "מחוסמת" על ידי" על ידי" או "מפרק" על ידי" או "מפרק" על ידי" סגנון "מסוג" או "מפרק" (Riceked" (Ricided") ללא שינוי" (Riced) או "מפרק" (Riced") או "מסוגל" (Riced) או "מסוגל" (Riced) של "מסוגל" (Riced) של חומרים "מפרק" (Riced) או "מסוגלהפוך" (Rided") ללא שינוי" (Riced) של סגנון "מסוג של "מסוג של "מסוג של" (Riced) של" (Ricided) של "מסוג של

יצירת תנועה חדשה מ- Learned Pres

המודלים המתקדמים ביותר של AI מסוגלים ליצור רצפי תנועה חדשים לחלוטין המבוססים על הפניות טקסטאליות או מטרות ברמה גבוהה.לדוגמה, מודל מאומן על מאגר גדול של נתונים ללכוד תנועה יכול ליצור "פציעה על קיר נמוך תוך התבוננות נכונה" פקודה ישירות כמו סדרה של שינויים משותפים. אלה מודלים ניווניים (לעתים קרובות מודולים וריאציות של מודלים diffusion) ללמוד מאוחר של ייצוג אנושי ומחולל במהירות לתוך מגוון רחב של תנועות שונות, מאפשר לתנועות שונות.

[ה] אנו נעים לעבר עתיד שבו תפקידו של הממריץ הופך להיות זה של מנהל ואוצר, ולא בעל מסגרת-על-ידי-מסגרת, AI מטפל בפיזיקה, אך האדם מגדיר את הכוונה." ~ ד"ר אלנה ואסקיץ, חוקרת באנימציה עצבית ב-Demotion.

Real-Time Animation and Interactive Virtual Virtual Characters

אחד הגבולות המרגשים ביותר הוא השימוש ב- AI-oriented Motion ללכוד עבור אנימציה בזמן אמת של דמויות וירטואליות - במיוחד בתרחישים אינטראקטיביים כמו משחקי וידאו, ייצור וירטואלי ו VR חברתי. בהקשרים אלה, הדמות חייבת להגיב מיד לקלט משתמשים או שינויים סביבתיים, והתנועה חייבת להרגיש טבעית וקשרית.

קריטריונים מורכבים ותיקון מבוסס פיזיקה

נתונים של תנועה מהירה לבד לא יכולים להתמודד עם אינטראקציות עם אובייקטים דינמיים או שטח לא אחיד.במשחק, דמות משחק אנימציה idle נתפס עשוי לעמוד על מדרגות או ליד שולחן, מה שגורם הידיים או הרגליים לפרו באמצעות גיאומטריה. AI מופעלת מכשולים kinematics הפוכה (IK) לנתח את התנועה השבויה ולהתאים את אפקט הקצה (ידיים, רגלים), ראש) בזמן אמיתי כדי לשמור על קשר עם הסביבה של Unveding באופן אוטומטי, בעוד ש-F לדוגמה, IF.

ביקורת על Gesture and Face Animation

לכידת תנועה פנימית הייתה תהליך נפרד, עבודה הדורש מצלמה בעל ראש או סמנים בעלי אופי גבוה להגדיר היום, מחוץ ל- Shelf מצלמות בשילוב עם מודלים למידה עמוקה יכולים לעקוב אחר ציוני דרך פנים ולכוון את הבובות של הדמות הדיגיטלית בזמן אמת, כך שמפתחים אותם ל-Automicows-FLT:0codectarsLTs, ו-APTS 1F2:

User-Driven Motion - לנדרינג

(במשחקים מונעים אופי כמו הרפתקאות נרטיביות או משחקי תפקידים (RPGs), תנועה של הדמות חייבת להשתנות בצורה חלקה כאשר השחקן מפעיל אימוטה, אינטראקציה עם אובייקט, או נכנס להילחם.מערכות תנועה מונעות AI לשמור על מסד נתונים של קליפים שנתפסו, בכל מסגרת, לבחור את הקליפ המתאים ביותר להתאים את המסלול הרצוי, מהירות, והקשר (למשל, ריצה, ריצה, מספר 2 ק"מ) פצועים, כמו מנועים, כמו חלוציים, כמו למשל, מ-F) מ-F2, מ-F) עם מספר חלוציים, מ-APTS.

יישומים ב Gaming and Film

ההיתוך של תנועת לכידת ו-AI הוא הבולט ביותר בתעשיית הבידור, אך ההשפעה שלו מתרחבת הרבה מעבר לכך.למטה הם אנכיים מרכזיים שבהם הטכנולוגיה הזו כבר משנה את זרימת העבודה.

משחקי וידאו

(ב) משחקי AAA מודרניים כגון:0) אחרון של Us ParteursualbirFLT ( 1:1), ⁇ 2 Red Dead Redemption 2FLT 3, ו-FLT:4Cyberpunk 2077FLT:5 קבוצות לכידת במידה רבה עלות תנועה עבור שני גופי AI והופעות.

צילום והפקה וירטואלית

(בסרט) שימש לכידת תנועה במשך עשרות שנים ליצירת דמויות דיגיטליות כמו גולום וה- Na'vi.What Changed הוא המהירות והגמישות המוענקת על ידי AI. On set, בזמן אמת AI retargeting מאפשר למנהלים לראות את הביצועים של הדמות הדיגיטלית הסופית באופן מיידי, ולא לחכות שבועות של חומר לאחר הפקה: 7 LTFgets: The Real Engine of BloodFite and: The Powerericericialicialicer (מחדש) ו-A1 (מחדש של 4Fware: 7)

מציאות וירטואלית ופלטפורמות חברתיות

בפלטפורמות VR חברתיות כגון VRChat, Horizon Worlds, ו-Rec Room, משתמשים מיוצגים על ידי avatars. AI---- מונע תנועה ללכוד מ- VR סטנדרטי ונתוני בקר יכולים להסיק את עמדות הרגליים של המשתמש, הירכיים והכתפיים - חלקי גוף שלא עוקבים ישירות - על ידי למידה ממיליוני רצפים מלאים של גוף.זה יוצר תחושה עצמית משכנעת ומשפרת אינטראקציה חברתית, באופן דומה, מאפשר משוב אמיתי, או אימון בזמן, או אימון, או אימון, או אימון, או אימון בזמן אמת, או אימון, או אימון, או אימון עצמי, או אימון, או אימון, או אימון, באופן ישיר, על ידי אימון, על ידי אימון, על ידי אימון, על ידי אימון עצמי, על ידי אימון עצמי, על ידי אימון עצמי, כדי לשפר את הסימולציות, או שיפור, או אימון עצמי, על ידי אימון, כדי לשפר את הסימולציות, על ידי אימון עצמי, כדי לשפר את הסימולציות, באופן ישיר, כדי לשפר את הסימולציות, כדי לשפר את הסימולציות, באופן ישיר, על ידי אימון עצמי, כדי לשפר את הסימולציות, על ידי אימון עצמי, על ידי אימון עצמי, כדי לשפר את הסימולציות, כדי לשפר את הסימולציות, כדי לשפר את התוצאות

אתגרים ומכשולים טכניים

למרות התקדמות יוצאת דופן, כמה מכשולים מונעים אימוץ נרחב של תנועה המונעת על ידי AI לכידת כפתרון אוטומטי לחלוטין.

רכישת נתונים ופרטיות

מודלים בינה מלאכותית חזקים דורשים נתונים עצומים, מגוונים של נתונים של נתונים באיכות גבוהה ללכוד נתונים.המאגרי מידע אלה יקרים לייצר ולעתים קרובות כפופים לחששות פרטיות (כאשר פרצופים או גופים של שחקנים) זמינים לציבור כמו FLT:0CMU גרפיקה מעבדה לתפוס את מסד הנתונים FLT:1 הם מוגבלים בסגנון והיקף.

« « « מערכות בזמן אמת

עבור יישומים אינטראקטיביים, מודל AI חייב להפר את התנוחה הבאה בתוך כמה אלפיות. רשתות עצביות עמוק שיוצר תנועה מטקסט או מטרות לעתים קרובות להציג שקיפות כי הוא בלתי מתקבל על הדעת עבור משחק בזמן אמת (זמן מסגרת זמן: 16.6 מ"מ ב 60 fps) טכניקות אופטימיזציה כגון חיתוך מודל, לכמת, האצה (Nvidia Tensor, Apple CoreML) הם דורשים הנדסה מיוחדת.

שמירה על אמנות

תנועה מתואמת מלאכותית יכולה להיות חסרת אפשרויות עדינות ומכוונת לכך שמניפסט או שחקן מביא.לדוגמה, התגובה "מתפתחת" של הדמות עשויה לדרוש עיכוב מסוים ושפת גוף מוגזמת שמודל סטטיסטי עלול להחליק.

גלגולים של דמויות לא אנושיות

בעוד ש- AI retargeting השתפר, מיפוי התנועה האנושית ליצורים עם מספר רב של גפיים, כנפיים, אוהלים, או עמודות לא-anthropomorphic עדיין אזור מחקר פעיל.מודלים המבצעים היטב על הומניאידים לעתים קרובות נכשלים על דמויות עם היררכיות משותפות שונות, הדורשים נתוני הדרכה אישית עבור כל סוג של השלד.

כיוונים עתידיים ומחקרים עתידיים

קצב החדשנות ב-AI ולכידת תנועה בניו-יורק לא מראה שום סימן להאטה. מגמות מספריות יעצבו את השנים הקרובות.

מודלים של Diffusion לדור התנועה

בהשראת ההצלחה שלהם בדור תמונות, מודלים דיפוזיה עכשיו להיות מותאם עבור סינתזזה תנועה.מודלים אלה ללמוד denoise סיבובים משותפים אקראיים לתוך רצפי תנועה קוהרנטית מותנים על פני הפניות, אודיו, או לפני מסגרות מפתח. הם יכולים לייצר באיכות גבוהה, תנועות מגוונות עם עקביות ארוכת טווח, פוטנציאל להחליף מערכות התאמה מסורתיות.

הסמכת vatar מ-Minimal Data

מחקר מקבוצות כמו FLT:0.10.10.10.10.10.10.10.10.Google ResearchFLT 3: נועד ליצור אבהטר דיגיטלי מותאם אישית בסגנון התנועה שלו מכמה דקות של קטעי וידאו.לאחר אימון, AI יכול ליצור אנימציה מלאה של גוף אשר תואם את ה- gait הייחודי של המשתמש, מחוות, יציבה, אפילו מכמה דקות של חיישנים חזקים זה יאפשרו משחקים חברתיים ומשחקי מותאמים אישית ללא חיישנים.

אינטגרציה עם ממשקי שפה טבעיים

היכולת לכוון את הביצועים של הדמות עם פקודות שפה טבעיות - "Walking But Back Over Your הכתף" - הופכת להיות אמינה יותר.מודלים כמו FLT:0MDM (Motion Diffusion Model)FLT:1 ו- (FLT:2TEACHFLT 3: 3) מפגינים אפס-הכללה לחידושים, אם כי חזק להנחיות מורכבות-חלקית נשאר אתגר עם טקסט ופעולות מהירות, באמצעות משחק וירטואלית, או משחק מחשבתי, עם מעצבי- AI.

מסגרות מוסריות ומשפטיות

כשהופעות מתועשות של AI הופכות בלתי ניתנות לגילוי מלכידת האדם, מתעוררות שאלות חדשות בנוגע לנכסים אינטלקטואליים ולהסכמה המבצעת.מי הבעלים של נתוני התנועה של שחקן כאשר רשת עצבית יכולה ליצור הבדלים בלתי מוגבלים? , ספורטאי המסך וגופים דומים פועלים על קווים מנחים המבטיחים שהשחקנים מקבלים פיצוי וקרדיט לשימוש בנתונים התנועה שלהם במערךי הכשרה ותפוקה משפטית אלה יהיו לצמיחתה החיונית של התעשייה.

מסקנה

השילוב של טכנולוגיית ללכוד תנועה ואינטליגנציה מלאכותית התקדם ממחקר ניסיוני למרכיב הליבה של צינור הייצור אנימציה.אנימציה בעלת אופי בזמן אמת במשחקים, שחקנים דיגיטליים אמינים בסרטים, ו- immersive avatars בעולמות וירטואליים כולם מסתמכים על סינרגיה זו, בעוד אתגרים סביב איכות נתונים, עצלות, ושליטה אמנותית נמשכת, התקדמות מתמשכת בלמידה עמוקה, מודלים דיפוזיה, והבטחות חומרה כדי ללכידתם של אנשי מקצוע חזקים יותר, אפילו לא ניתן למקם את היכולות יצירתיות ולשלוט על ידי עיצוביים חזקים יותר, ולשלוט על ידי כך, ולשלוט על ידי פיתוח אינטליגנציה מלאכותית, ולשלוט על ידי פיתוח חכם יותר, ולשלוט על ידי כך, כדי לחיקוי של מערכות יצירתיות חזקה יותר, ולשלוט על ידי כך, ולשלוט על ידי כך גם על ידי מערכות יצירתיות חזקה יותר, ולשלוט על ידי מערכות יצירתיות, ולשלוט על ידי מערכות יצירתיות, ולשלוט על ידי מערכות יצירתיות, ולשלוט על ידי מערכות יצירתיות חזקה יותר, ולשלוט על ידי פיתוח יעיל יותר, כדי למנוע את יכולות יצירתיות, ולשלוט על ידי כך, כדי לחיקוי, כדי לחיקוי, אפילו לא ניתן לחיקוי, כדי לחיקוי, כדי למנוע את יכולות יצירתיות חזקה יותר, כדי לחיקוי מערכות יצירתיות חזקה יותר, כדי למנוע את יכולות יצירתיות

(ב) לבחון את הטכנולוגיה הבסיסית עוד יותר, ראה את FLT:0 (DeepMotion) של AI-oriented Animation פלטפורמה מבוססת-העצמים (FLT:2) של קידוד AI-DeepMotions Research, ראשי תיבות של AIFLT 3: עבור המדינה-of-of-the-art-art-of-art לכידת, והתייעצות עם LT:4NVID2Fal AudioFal: