Table of Contents

הבנת עיבוד אותות דיגיטליים במציאות מדומה

מציאות וירטואלית (VR) מטבולת משתמשים בסביבות סינתטיות שבו הראייה והצליל חייבים להתאים בצורה חלקה.בעוד שנאמנות חזותית לעתים קרובות ללכוד תשומת לב, זה אודיו כי מעוגן נוכחות. עיבוד אותות דיגיטליים (DSP) הופך אודיו גולמי לתוך נופים מדויקים ודינמית להגיב תנועות ראש וגיאומטריה סביבתית.עם DSP, VR נשאר שטוח ולא מרתיע, שובר את האשליה של להיות בתוך העולם הווירטואלי.

DSP ב VR אינו רק על משחק בחזרה צלילים מוקלטים.זה חל שינויים מתמטיים בזמן אמת אותות אודיו, מדגימים כיצד קול מתנהג פיזית.זה כולל רציונאליות, תנופה מרחוק, השמדה, התחדשות, ואפקטי דופלר.המטרה היא לחקות את הדרך שבה שמיעות אנושיות בעולם האמיתי, באמצעות טכניקות שפותחו מפסיכואנליזה ועיבוד אותות מחקר.

טכניקות טכנולוגיות VR Audio

מספר שיטות DSP יוצרות את הבסיס של אודיו VR משכנע.כל אחת מתייחסת לפן ספציפי של תפיסה קול ואינטראקציה עם הסביבה הווירטואלית.

תפקוד העברת ראש (HRTF)

HRTF הוא הטכניקה הקריטית ביותר עבור אודיו מרחבי.זה מודל איך הראש, pinnae, ו torso מסנן גלי קול המגיעים מזווית שונות. על ידי שילוב מקור אודיו עם זוג HRTF (אחד עבור כל אוזן), מפתחים לעשות קול מופיע מקור מנקודת מסוימת בחלל.מערכות VR מודרניות לעתים קרובות להשתמש HRTFs בודדים או מודלים גנריים עם מעקב כדי לשמור על עקביות.

חדר וחדר Acoustics

ההערצה מוסיפה את החתימה האקוסית של מרחב.חדר קטן יוצר השתקפות מהירה, צפופה; אולם גדול מייצר דעיכים ארוכים. אלגוריתמים DSP כגון התחדשות אבולוציונית (באמצעות תגובות אימפולס נמדדות) או ריבאונדות אלגוריתמיות (מבוססות על רשתות משוב) מדמיינת את ההשפעות הללו.מנועי המשחק כמו Unity ו-Out משלבת את Ambisonics ו-Baural אימפולס חדר כדי להתאים לסביבה החזותית.

אוקטנות והערכה

כאשר מקור קול הוא מאחורי קיר, התדרים הגבוהים שלו מוזנים ונפח הכולל טיפות.DSP מיישמת מסנן של אוקטנות באמצעות מסננים נמוכים והפחתה של טכניקות מתקדמות יותר מודל diffraction - קול מתכווץ סביב הקצוות - באמצעות ray tracing או גל סימולציה מבוססת גל (למשל, באמצעות שיטת רבפול Boundary Elementary).

דינמי טווח ריכוז ובהירות נורמליזציה

חוויות VR מכילות לעתים קרובות צלילים חזקים פתאומיים (גילויים, התנגשות) לצד רעש שקט טווח דינמי דחיסה מופחתת הפער בין חלקים חזקים ושקטים, מניעת עייפות באוזן ולהבטיח כי דיאלוג נשאר בלתי ניתן להגדרה. Peak הגבלת דחיסה מבוססת RMS הם נפוצים. תקנים כמו ITU-R BS17 עבור חריפות לעזור לשמור על רמות עקביות על פני יישומים שונים VR.

שווה ופילטר

השוויון (EQ) מעצב את האיזון המלא של אודיו.ב VR, EQ לפצות על תגובה אוזניות, העדפות שמיעה של משתמשים, או מדמה סינון סביבתי (למשל, אוויר עבה, תת-ימי) Parametric EQs עם תדירות, רווח, ו- Q בקרות מאפשרות התאמות מדויקות.סינון משמש גם לאפקטי שינוי דופלר - שינוי סט בהתבסס על מהירות יחסית - באמצעות קווי עיכוב וקודרים שלב.

יישום DSP במערכת VR

שילוב DSP ליישום VR דורש אדריכלות זהירה.צנרת השמע חייבת לקבל עמדות ראש ומקור, compute מרחבי אודיו פרמטרים, ליישם אפקטים, ופלט אוזניות - כל בתוך כמה אלפי שניות כדי למנוע שקיפות בלתי ניתנת להשגה. להלן הם השלבים והשיקולים הבסיסיים.

מיקום המשתמש והאוריינטציה

ראשי VR משתמשים ביחידות מדידה אינפורמטיביות (IMUs), מצלמות ותחנות בסיס אורהאוס כדי לעקוב אחר עמדת הראש של המשתמש וסיבוב כל מסגרת.הנתונים האלה מזינים את מנוע DSP.עבור 6 מעלות של חופש (6DoF) חוויות, עמדות יד ובקר גם משנה כאשר מקורות אודיו מחוברים לאובייקטים אלה.

שימוש ב-DSP Algorithms בזמן אמת

אודיו ביניים מודעות כגון FMOD, Wwise, או Unity's Audio Mixer מדריך את שרשרת DSP. שרשרת טיפוסית: מקור אודיו ; HRTF binaural panning פילטר occlusion âtupion המרחק veration ; reveration ¢ ¢ ¢ ¢ ¢ ⁇ ⁇ ¢ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

ניהול שקיפות ואופטימיזציה

שקיפות אודיו מעל 20-30 מ's שוברת את תחושת הנוכחות. פעולות DSP מוסיפים למגוון אסטרטגיות לצמצום כוללים:

  • (FLT:0) הפחתה בגודל של גודל ה- 0Buffer:FLT:1ve) גדלים של קולטי אודיו נמוכים (למשל, 256 דגימות ב-48 kHz נכנעים -5.3 מ"ס) אך מגבירים את עומס ה-CPU.
  • (ב) ⁇ :0) ,הקדמה ל-HRTF ותשובות דחפים לגיאמטמויות ג'ממטות של מקור משותף.
  • (ב) ,0) ,[[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]
  • (FLT:0) האצה המואצת: FLT:1 השתמש בחומרה DSP ייעודית (למשל, Qualcomm Hexagon DSP) או עיבוד אודיו מבוסס GPU.

בדיקות עם פרופילים כמו Intel VTune או Xcode Instruments מזהה צווארי בקבוק.בדיקות רציף על פני מכשירים ליעד מבטיח ביצועים עקביים.

שילוב עם מנועי המשחק ו- SDKs

פלטפורמות VR גדולות מספקות SDKs אשר יוצרות את יכולות ה-DSP:

  • (FLT:0)Oculus Audio SDK:FLT:1irlements HRTF, אפקטים בחדר, ו- reverb. Optimized for Oculus Quest and PC Headets.
  • (FLT:0Steam Audio:FLT:1 קוד פתוח, תומך בגליון בינארי, Ambisonics, ו-Pipe-based Sound propagation עם מסלול צילומי.
  • (FLT:0 Windows Sonic for Headphones:FLT:1) נבנה לתוך Windows 10/11, מספק צליל מרחבי עבור כל אוזניות.
  • (FLT:0) Google Resonance Audio:FLT:1Build-platform SDK עם Ambisonics ו-Reverb, משולב ב- Unity ו-Universal.

מפתחים יכולים לבחור את ה- SDK המתאים ביותר לפלטפורמת היעד שלהם ולתקציב הביצוע שלהם. Mixing SDKs הוא אפשרי אבל מסבך תמיכה והסמכת.

תוצאות עבור Real-Time DSP

אודיו VR חייב לרוץ על חומרה מוגבלת לעתים קרובות, במיוחד ראשי תיבות של Standalone. ביצועי המסחר הם בלתי נמנעים.

CPU לעומת DSP Offloading

רוב אלגוריתמי DSP לרוץ על CPU באמצעות SIMD (Single הוראה, מספר נתונים) הוראות כגון SSE / מל"טX. עם זאת, מקורות רבים וזנבים reverb יכולים להציף את CPU. GPU compute מצללים יכולים לעבד ערוצים רבים במקביל, במיוחד עבור convolution reverb. חלק מכשירים VR ניידים כוללים מעבדי אותות דיגיטליים ייעודיים (Qual Hex) עם צריכת אודיו מינימלית כדי להחליט היכן צריך להיות מסוגל.

מספר מקורות אודיו מפוצצים

כל מקור המעובד עם HRTF ו- occlusion מוסיף עלות חישובית.הפרקטיקות הטובות מציעות עדיפות הצלילים הקרובים והחשובים ביותר. צלילים לא נעים או מרתיעים ניתן לתת עם איכות נמוכה יותר (למשל, פחות השתקפות של ריבב, מערכות עדיפות פשטנית HRTF). דינמית להפחית את מספר המקורות הפעילים המבוססים על מרחק, אומדון, וחשיבות.

דרגה ו- bit Depth

44.1 kHz או 48 kHz ב 16 סיביות או 24bit הם סטנדרטיים.שיעורי מדגם גבוה יותר להגדיל רוחב פס ועיבוד עומס עם תועלת מינימלית perceptual. עבור VR, 48 kHz מומלץ כי הוא מתאים עם שיעורי מסגרת וידאו משותף (72, 80, 90 הרץ). Upsampling ו downsampling צריך להימנע כדי למנוע מעדות ושקיפות.

טביעת אצבע של תגובה לא הולמת

Reverb של Convolution דורש אחסון של נתונים דחפים (IR) A טיפוסי IR ב 48 kHz במשך ארבע שניות הוא - 198K דגימות לערוץ. עבור סביבות מרובות, זיכרון יכול ללטף טכניקות של קומפרס כמו קצר זמן קצר ארבע יותר (FTST) או parametric reverb להפחית את השימוש בזיכרון. לחלופין, להשתמש ב-Reverb אלגוריתמי הדורש זיכרון רשלני, אך פחות צלילים אותנטיים.

עקבו אחרי VR Audio Audio

אפילו אלגוריתמי DSP הטובים ביותר נכשלים ללא בדיקות שמיעה סובייקטיביות ומדידות אובייקטיביות הם חיוניים.

מטרות

  • (FLT:0) Latency:FLT:1 מדידה של רטיוט עגול באמצעות מבחן לולאבק (מיקרופונים מול הדובר, ממשק אודיו).
  • (FLT:0) תגובה עקבית: FLT:1ua ודא אוזניות לשחזר אודיו מרחבי במדויק.מסננים פיצוי עשויים להיות נחוצים לתגובות אוזניות לא נפחות.
  • (FLT:0) דיוקים של פליטה: 1FLT ( 1FLT) השתמש בראש דמוני עם מיקרופון בינארי כדי להעריך את ההקצאות. כלים כמו ראש Brüel & Kjær 5128 ו- Torso Simulator לספק נתונים של מיקום אובייקטיבי.

שמיעה סובייקטיבית ובדיקת משתמשים

ביצוע בדיקות A / B עיוור שבו משתמשים להשוות הגדרות DSP שונות או SDKs. בקש מהמשתתפים לזהות כיוון מקור קול, מרחק ומציאותיות. מלכודות נפוצות כוללים בלבול לפני-חזור (מקור עם HRTFs) ו reverb מוגזם כי המסכות פרטים.Iterate מבוסס על משוב. Unity's Audio Mixer ו- Wwise מאפשר פרמטרים בזמן אמת במהלך בדיקות.

המונחים: different ⁇ Systems

למשתמשים יש אוזניות שונות או אפילו להשתמש ברמקולים חיצוניים.צעד קלורס בהגדרת VR יכול למדוד את אוזניות המשתמש ולהתאים את EQ. חלק מהמערכות לתמוך במדידת HRTF אינדיבידואלית באמצעות אפליקציה ניידת או ראש דימי. עבור רמקולים, ליישם ביטול בין-שיח (למשל, באמצעות Ambiophonics) כדי לשמור רמזים מרחביים.

שיטות DSP מתקדמות ומגמות מתפתחות

אודיו VR ממשיך להתפתח.כמה שיטות DSP מתקדמות צוברות מערכת.

Ambisonics ו-High-order Ambisonics (HOA)

Ambisonics מקודמת שדות קול לתוך spherical הרמוני coefficients, עצמאי פורמט השמעה. HOA (3rd סדר ומעל) משפר את פתרון מרחבי.DSP מקודמים Ambisonics to binaural עבור אוזניות או לערכים דוברי חזק יותר.טכניקה זו משמשת ב- 360 מעלות וידאו וקונצרטים VR עבור דוגמה ריאלית: Facebooks Audiotial Audio for משתמשת ב- 360s.

המונחים: wave-based Acoustics Simulation

ריי טרקינג עבור אודיו הוא יקר חישובי אבל מספק את ה נאמנות הגבוהה ביותר עבור occlusion, diffraction, ו reverb. Nvidia של OptiX ו- AMD של TrueAudio הבא למנף GPU מסלול צילומי עבור ההרחבה אודיו בזמן אמת. בעוד עדיין מוגבל למחשבים מתקדמים, שיטות המבוססות על גל יהפכו להיות יותר סביר כמו התקדמות חומרה.

HRTF מתמונות דיגיטליות

Generic HRTFs גורם שגיאות ההקצאה.מחקר חדש משתמש תמונה של האוזן של המשתמש ואת רשת עצבית כדי ליצור את ה- HRTF מותאם אישית.צעד DSP זה נעשה ללא הפרעה, אבל מערכת המסנן המתקבלת משמשת בזמן אמת. שירותים כגון Genelec Aural ID ו-Smyth Realizer הם דוגמאות מוקדמות.

אודיו מבוסס אובייקטים ומיקסום דינמי

DSP מאפשר אובייקטים אודיו (למשל, קול אופי, דלת slam) להיות מעומקים ועצמאיים.מצב הראש של המשתמש ופרופיל השמיעה יכול להתאים באופן אוטומטי את התערובת. תקן MPEG-H 3D Audio תומך אודיו מבוסס אובייקט ומשמש בשידור VR. DSP בזמן אמת , תזמון DSP , תזמון DSP, תזמון אמיתי , כמו DSP של Technicolors D7000 מטפל בזה.

תוצאות חיפוש: DSP ב- VR Applications

Half-Life: Alyx

הכותרת של Valve של הדגל VR משתמשת Steam Audio עם ray-traced propagation. כל מקור קול מעובד עם occlusion, diffraction, ו reverb כפי שנקבע בזמן אמת.התוצאה היא מאוד אמין: רובוט מאחורי מחבת זכוכית נשמע מכובש, אבל כאשר החלון נשבר, הקול משקף את הגיאומטריה החדשה.

שם הסרטון: Blindness: Into the Darkness

ניסיון VR זה סימולטור עיוורון משתמש אודיו בינארי צפוף כדי להנחות את המשתמש. DSP טכניקות כוללים הקלטות מיקרופון מרחבי (Ambisonics) ו בזמן אמת HRTF להפוך.המפתח השתמש Wwise כדי לנהל עשרות מקורות אודיו בו זמנית, כל אחד עם מרחק ופילטרים של אומדון. התוצאה מראה כיצד DSP יכול להחליף ניווט חזותי לחלוטין.

טיטניק VR

Immersive VR Education חקר אקוסטיקה תת-ימית מציאותית עבור הניסיון שלהם טיטניק. מעצבי סאונד הקליטו IRs בתוך מיכלי מים והשתמשו ב- convolution reverb כדי לדמות אקוסטיקה עמוקה באוקיינוס.DSP EQ מסננים בתדרים גבוהים כדי לדמות ספיגה מים.השמע הוא מרחבי עם HRTF, וטווח דינמי מבטיח כיסמפלקסים לא מסיכה.

בחירת הכלים הנכונים ליישום DSP

עשרות כלים קיימים עבור VR DSP. בחירת הערימה הנכונה תלויה בתקציב, פלטפורמה ומומחיות צוות.

מחשבים ומנועי משחקים

  • (FLT:0)Wwise:IRFLT:1 , חומר אודיו סטנדרטי בתעשייה עם מובנה HRTF, reverb, ו- occlusion. תומך ב- DSP Plug-ins מותאם אישית באמצעות ממשק API של Wwise. אידיאלי עבור קבוצות גדולות.
  • (ב) ⁇ :0.10.10.10.10.10.10.13 אלטרנטיבה פופולרית עם עורך DSP חזותי ו- API ברמה נמוכה.טוב עבור קבוצות אינדי.
  • (FLT:0) אינטגרלר אודיו וספאטיליצר: 1.FLT:1 חינם ומשולבת. תומך בצריפים מרחביים מותאם אישית ואפקטי DSP של Unity (מסנן, reverb, דחוס).
  • (FLT:0) Unreal Engine 5 Audio:FLT:1lude כוללת reverb ריאלי ומרחביזציה. תומך באפקטים של סובייקט ו- MetaSounds, המציעים DSP מבוסס צומת.

המונחים: low-Level Programming Libraries

  • (ב) ויקרא:א): "בְּהִנְתָּבְתָּבְתָּבְתָּבְתָּבָה" (בתרגום חופשי: ).
  • (ב) ,0) פורטודיו: 1 (צילום: יח"צ)
  • (ב) ,0)JUCE:FLT:1 מסגרת לבניית יישומי אודיו ו- DSP Plug-ins.
  • (ב) [ה-]0 [Intel IPP] (ביצועים משולבים פרימיטיביים): FLT:1 אופטימיזציה פונקציות עבור FFT, סינון ו convolution.

אפשרויות אבטחה

  • (ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0)Qualcomm Hexagon DSP:03FLT:1 חלק מפלטפורמות Snapdragon XR2; עיבוד אודיו ייעודי.
  • (FLT:0) FPGA מבוסס DSP:FLT:1 בשימוש במחקר ומערכות VR פרו-דיו עבור שקיפות אולטרה נמוכה.

מלכודות נפוצות וכיצד להימנע מהם

  1. (FLT:0) אבחון תגובה לטלפונים סלולריים: אנדרל 1 (ראה: ⁇ ) לטלפונים ראשיים רבים יש תגובה לא-ניטראלית של תדירות.ליישם מסנן פיצוי כדי להבטיח רמזים מרחביים אינם נשפים.
  2. (FLT:0) עיבוד יתר: 1FLT יותר מדי reverb או דחיסה יוצרת צליל "Swimmy" לשמור על זנב קצר עבור סביבות כלליות; להוסיף עוד reverb לאזורים ספציפיים.
  3. (ב) ⁇ :0) , ⁇ ⁇ : "ללא השמדה, צלילים דולפים דרך קירות, שוברים קידוד.
  4. (FLT:0) לא בדיקות על Target Hardware: FLT:1 מחשב עם CPU חזק יכול להתמודד עם 50 מקורות, אבל אוזניות VR ניידות יכולות לנהל רק 16.פרופיל מוקדם וייעל עבור המכנה המשותף הנמוך ביותר.
  5. (FLT:0) תדירות מעקב ראש: FIRLT:1 גם אם אודיו DSP הוא מהיר, אם מעקב אחר נתונים מגיע מאוחר, אודיו לא יתאים ויזואלים. השתמש בולים זמן וחיזוי תנועת ראש עם מסנן נמוך.

מסקנה

יישום עיבוד אותות דיגיטליים עבור אודיו VR הוא אתגר רב תחומי המשלב פסיכוקלימיקלטיקה, מחשוב בזמן אמת ועיצוב קול אמנותי. על ידי יישום HRTF, התחדשות, השמדה, ובקרת טווח דינמי, מפתחים ליצור סביבות השמעה משכנעת המציאות.הבחירה של SDK, אמצעי זהירות, להאיץ את הפיתוח, אבל בדיקות זהירות ו calibration להישאר חיוני לנוכחות ונוחות.

בעוד חומרה VR הופכת להיות חזקה יותר ואלגוריתמי אודיו מתוחכמת יותר, הקו בין אודיו אמיתי ו וירטואלי ימשיך לטשטש.מפתחים שמשקיעים צינורות DSP חזקים היום יעצב את הדור הבא של חוויות immersive. for more Reading, יעצו עם ה-FLT:0Oculus Audio SDK תיעוד של VRFLT:1, פרויקט FLT:2S Audio ResourcesLTF3, ו-WID5 , , , , , , , , , , , , , , , , , , , , , , ,WWEVWOculus AudioFLT5 , , , , , , , , , , , , , , .