モーションキャプチャ、デジタル文字を駆動するために人間の動きを記録する技術は、フィルム、ビデオゲーム、仮想制作に不可欠になりました。 しかし、生成する生データは、ノイズ、オクラシジョン、およびエラーを追跡するという、著名な混乱です。 データのクリーニングと処理は、伝統的に痛みを伴う手動努力の時間を必要としている。 今日、人工知能は、モーションキャプチャデータを自動化する強力な力として生まれ、ターンアラウンド時間を削減し、改善し、アーティストがクリエイティブなデータを回復するのではなく、AIを把握することを可能にする。 未来のAIは、AIがいかにして、将来のAIを把握するのかを把握するのかを把握する。

モーションキャプチャデータのクリーンアップの課題

生体の動きのキャプチャデータは完璧から遠いです。カメラはマーカーのトラックを失うことができます、電磁センサーは漂流を導入することができ、さらに最高の光学システムでも、ジッタリー、騒々しいデータを作り出すことができます。一般的な問題は次のとおりです。

  • [マーカーのオクルージョン:[] ボディパーツやプロップがマーカーのビューをブロックすると、システムがその位置を記録し、データのギャップを招くことはできません。
  • []マーカースワップ:]]]マーカーが交差したり、閉じたりすると、システムは別のマーカーを混同したり、不自然な動きのアーティファクトを作成したりすることができます。
  • ノイズとジッタ:[]]電気干渉、照明変動、または微微振動は、運動がjerkyに見える高周波ノイズを紹介します。
  • フットスライディングと地上貫通:] 気を付けずに、文字の足は見えない表面に滑り、床を貫くことができます。

これらの問題の解決は、熟練したアニメーターによるフレーム・バイ・フレームの手動編集を伝統的に要求します。高品質のモキャップデータの1分は、複数の時間をクリーンアップを必要とすることができます。このボトルネックは、生産速度を制限し、特に、野外ゲームやフル・レンダスのアニメーション機能など、大量のモーションデータに依存するプロジェクトでコストを駆動します。

AIがデータ処理を強化する方法

人工知能、特に機械学習は、根本的に異なるアプローチを提供します。手動でコードされたルールに依存する代わりに、AIモデルは、パターンを認識し、不足している値を予測し、異常を自動で補正するために、広大なデータセットから学習します。コアの利点は、速度とスケールにあります。一度訓練されたAIは数分でデータを処理し、人間のチーム週をとるクリーンアップタスクを実行できます。

使用される機械学習技術

複数の機械学習のクラスは、問題のさまざまな側面に適している、モキャップのクリーンアップに適用されます。

  • :]] モデルは、騒々しいと「地上の真実」のクリーンなデータのペアで訓練されています。 騒々しい入力をすると、モデルは修正されたバージョンを出力することを学びます。 このアプローチは、解凍やギャップ充填などのタスクにうまく機能しますが、幅広いモーションタイプとエラーパターンをカバーする、硬化されたトレーニングデータセットが必要です。
  • []Unsupervised Learning:]]は、ラベルのないデータの構造を見つけます。 モールプでは、オートエンコーダは、圧縮された表現を学ぶことによって、ノイズ入力からきれいなモーションデータを再構築するために訓練することができます。 異常な検出アルゴリズムは、人間が見逃すことができない不自然逸脱をフラグすることができます。
  • [ディープラーニング:]] 人間の動きの高次元、非線形動線をモデル化することで、多くのレイヤーを持つニューラルネットワーク。 複雑なニューラルネットワーク(CNN)は、対称的なイメージとして共同軌跡を処理することができます。 再発ニューラルネットワーク(RNN)とトランスは、シーケンシャル依存をキャプチャします。 最先端の方法は、多くの場合、トランスアーキテクチャを使用して、通常の状況を正確に把握したり、長いエラーを正確に調整したりすることができます。

モーキャップクリーンアップのための実用的なAIワークフロー

製造パイプラインでは、AIモデルは、通常、Autodesk MotionBuilder、Blender、Unreal Engineなどの業界標準ツールと統合するプラグインやクラウドサービスとして展開されます。 一般的なワークフローは次のとおりです。

  1. 生データをインポート(VICON、OptiTrack、または慣性システムなど)。
  2. 破損したフレームをラベル付けし、欠落マーカーを埋め、ノイズを滑らかにする、事前訓練されたAIモデルを介してデータを渡す。
  3. 物理情報入力制約による自動で足のスライドや地上貫通を検知・補正します。
  4. クリーンなデータを、一回のジョイントごとに自信を持って出力し、アーティストが最悪のケースだけを見直し、精製することができます。

このハイブリッドヒューマンAIアプローチは、信頼性を保証します。AIは、クリエイティブなニュアンスやレアなエッジケースに焦点を当てながら、バルクルーチン作業を処理します。

AI搭載モーションデータクリーンアップのメリット

モノキャップ処理のためのAIの採用は、生産スペクトルを渡る有形リターンを提供します。

  • 普通のセッションで50～80%のクリーンアップ時間を短縮する放射線時間節約:[スタジオレポート。例えば、以前にマニュアル作業の20時間以上を4時間以内に清掃する必要がある10分のキャプチャセッション。
  • 一貫した品質:[]] AIは、異なるアーティストが同じ順序で動作するときに生じる分散性を排除し、すべてのフレーム間で同じ補正ロジックを適用します。
  • ]スケール性:]] キャプチャボリュームが成長するので、例えば、マルチプレイヤーゲームでは、数千のユニークなアニメーションを記録しています。つまり、AIは、作業者の比率が増加しなくても、膨大なデータセットを処理することができます。
  • []より小さなチームへのアクセシビリティ:[] 専用のクリーンアップアーティストがいない独立した開発者や小さなアニメーションハウスは、予算のほんの僅かな方法で、AIツールを活用してクリーンなモキャップデータを社内で生成できます。
  • []現実主義の強化:[]]] ジッタと不自然に突然変遷を除去することにより、AIは、より命のようなデジタル文字につながる、パフォーマーの動きの微妙なニュアンスを維持するのに役立ちます。

モーキャップクリーンアップのための現在のAIツールとプラットフォーム

複数の商用およびオープンソースソリューションが出現し、それぞれ異なるAI手法を採用しています。

今後の方向性と考察

もとより、モキャップクリーンアップのAIの役割は進化しています。現在、ツールは既にかなりの時間を節約する一方で、いくつかの課題やエキサイティングな開発が進んでいます。

モーションタイプを横断する総合化

一つは、AIモデルがトレーニング中に見られるモーションタイプで最もよく実行されることが永続的課題です。人間歩行や走行中に訓練されたモデルは、ダンス、スポーツ、アクロバティックスなどの高度に精通した動きに苦労するかもしれません。より大きくて多様なトレーニングデータセットを作成するだけでなく、ドメインの適応技術を使用することは、真に汎用的なクリーンアップモデルの構築に不可欠です。

リアルタイム処理

特にライブテレビや仮想制作では、多くのプロダクションが即時フィードバックを必要としています。将来のAIシステムは、実行者が遅延なく仮想文字上で動作するクリーンアップバージョンを見ることができる、リアルタイムクリーンアップを実現することができます。これにより、エッジデバイスやクラウドサーバー上での最適化されたニューラルネットワークが低レイテンシ接続で実行されます。

より広いパイプラインとの統合

既存のアニメーションパイプラインにシームレスに収まるとAIのクリーンアップが最も価値があります。AIがバックグラウンドサービスとして実行されるデジタルコンテンツ作成(DCC)ツールと緊密な統合を期待でき、記録されたように自動的にデータをクリーニングできます。さらに、クリーンアップモデルをバージョン管理およびコラボレーションプラットフォーム(PerforceやShotgunなど)に活用することで、より効率的なアセット管理が可能になります。

倫理的・信頼の考慮事項

AIは、クリーンアッププロセスの多くを占めるにつれて、スタジオは、彼らが快適な監視であるどのくらいの制御を考慮する必要があります。 自動補正に対する過度性は、重要な追跡の問題をマスクしたり、品質を時間をかけて劣化させる微妙なアーティファクトを導入したりすることができます。 解釈可能なモデルの構築 - 修正が行われた理由を説明し、自信のスコアは人間の監督を維持するのに役立ちます。 さらに、トレーニングデータのバイアスは、特定の身体または行動の比率や公平性を示すスタイルで、パフォーマンスのパフォーマンスを低下させるためのより少ない正確な結果を生み出すことができます。

コンテンツ

人工知能は、もはやモーションキャプチャワークフローに投影されるものではありません。それは、自動化された信頼性の高いプロセスに、人件費集中的な合唱からデータのクリーンアップを変革する実用的な、生産準備ツールです。機械学習、ディープラーニング、および高度のニューラルアーキテクチャを活用することで、すべてのサイズのスタジオは、最終アニメーションの一貫性と品質を向上させる一方で、クリーンアップ時間を50〜80%削減できます。テクノロジーが成熟するにつれて、さらに深層化、リアルタイムでリアルタイムで、あらゆるシーンを最適化し、あらゆる角度から、そして効率性を向上します。