תפקיד FPGAs ב- Real-Time Video Encoding וסטרימינג

FP-Programmable Gate Arrays (FPGAs) הפכו אבן הפינה עבור וידאו בזמן אמת אופטימיזציה וידאו וסטרימינג, המציע שילוב משכנע של ביצועים, הסתגלות ויעילות אנרגיה. יישומים מודרניים דורשים שקיפות נמוכה, תמיכה בהחלטות עד 8K, ואת היכולת להסתגל במהירות לסטנדרטים של קודאקציה באינטרנט.

למה FPGAs Excel ב-Time Video Encoding

המעבר לעבר FPGA-accelerated ⁇ מונע על ידי מספר יתרונות ייחודיים המבדלים את המכשירים הללו מ- CPUs, GPUs, ו ASICs מתפקדים.

חוסר עקביות נמוכה

בתרחישים חיים של זרימה - שידור שידור, וידאו נותן, ניתוח מרחוק - עקשנות היא המדד הקריטית. FPGAs תהליך וידאו על בסיס מחזור שעון ללא עיכובים בלתי צפויים שנגרמו על ידי לוח זמנים מערכת הפעלה, מפספסים cache, או מתגי קישור חוט. a FPGAcoder מתוכנן היטב יכול להשיג סימולציות זכוכית למשקפיים תחת מילימטר, בעוד תוכנות מבוסס תוכנה לעתים קרובות כדי למנוע אופטימיזציה של 30 שניות.

ספוילרים: 4K ו-8K

כהחלטות מטפסות ל-4K ו- 8K, עומס חישובי עולה באופן חד-משמעי. FPGAs יכול מיידית למתן מספר רב של ליבות קודקוד או לרחבה של נתונים פנימיים כדי לעבד יותר פיקסלים לשעון, לספק את הצורך ללא מערכות מרובות שבבים. מסגרת אחת של FPGA - כמו מערכת ההפעלה של AMD XiKK Kintexale+Sc או מכשיר Agilex - מאפשרת מספר רב של מעבדי-RX פיקסלים ב-R.

ניהול כוח וכלכלה

מרכזי נתונים ויחידות שידור מרוחקות הם לעתים קרובות מוגבל כוח. FPGAs לספק ביצועים מעולים-per-וואט בהשוואה GPUs עבור וידאו ⁇ כי הם מבטלים את הסימון משוך וקוד מעל הראש, יכול להיות מכוון בדיוק כדי disable לוגיקה בלתי מנוצל.רבים FPGA מבוסס כרטיסי קודקוד לצרוך 25-75 W תוך עיבוד של זרם 4K, בעוד GPU שווה ערך עשוי לצייר 150-300 על פני רמה של חשמל לא מבוטלת של כוח.

גמישות ותכנית שדה

בניגוד ל ASICs, אשר נעולים בזמן ייצור, FPGAs יכול להיות reprogramed בתחום כדי לתמוך קודים חדשים, אלגוריתמים קנייניים, או אסטרטגיות בקרת קצב מעודכנים, כאשר הברית עבור Open Media שחררה את AV1 Codec, הרבה שידורים להתמודד עם האתגר של אימוץ תקן חדש ללא החלפת חומרה קיימת.

אדריכלות קשיחה לעיבוד וידאו

בליבה, FPGA מורכב בלוקים לוגיים configurable (CLBs), חסם RAM (BRAM), עיבוד אותות דיגיטליים (DSP) פרוסות, ומהירות גבוהה I / O Transceivers. בניגוד CPU או GPU המבצע הוראה קבועה להגדיר באופן קבוע הוראות קבוע להגדיר quentially, FPGA מיישמת אלגוריתמים ישירות בחומרה על ידי לוגיקה אלה וקישורים שלהם עמוק זה.

קווי צינור מקבילים ו-DSP Slices

( ⁇ וידאו כולל שלבים מרובים - הערכת estimation, שינוי והגדרה, קידוד אסטרופי - כל אחד מהם יכול להיות ממפה לשלב צינור ייעודי על FPGA.שלבים מרובים לרוץ במקביל, ומאפשר את המכשיר לעבד כמה מחסומי מאקרו או coding יחידות עץ במקביל.

אסטרטגיות ליישום FPGA-based Encoders

פיתוח קוד מבוסס FPGA בדרך כלל כרוך בעיצוב ארכיטקטורת חומרה באמצעות שפות תיאור חומרה (HDL) או סינתזה ברמה גבוהה (HLS), ולאחר מכן אימות נגד מודלים התייחסות.

קודקוד IP של Pre-Verified Codec

כל רכיבי הוידיאו העיקריים -H.264/AVC, H.265/HEVC, VP9, ו- AV1 - זמינים כ- FPGA IP ליבות של Xilinx, אינטל, וספקי צד שלישי. ליבות אלה כוללות מודולים שליטה בקצב הזמין באופן דינמי ל- CRT כדי להתאים את האלגוריתם זמין תוך שמירה על איכות כזו של IP למערכת לינוקס גדולה יותר ומאפשרת להתמקד בפונקציות גבוהות יותר של מעבדים כגון אינטגרציה של CMPL (לדוגמה, לדוגמה, לדוגמה, לדוגמה, אלגוריתמית אלגוריתמים) אלגוריתמים של 4.

High-Level Synthesis for Faster Development

כלים כמו FLT:0 ,Vitis HLSFLT:1 ו- Intel HLS מאפשרים למהנדסים לתאר אלגוריתמים ב C, C++, או SystemC והופכים אותם לחומרה FPGA.זה מעלה את רמת הפשטות, ומאפשר מפתחי תוכנה לתרום לפרויקטים FPGA ללא ידע HDL עמוק. עבור וידאו, HLS יכול במהירות להפוך את הקרנלים חדשים או אלגוריתמים, להעריך תזמון של Microsoft, ולאחר מכן, ולאחר מכן מעבדים של תמונות של Microsoft של תמונות של תמונות של Microsoft.

Integrating AI for Content-Aware Encoding

מגמה הולכת וגוברת משלבת תוכן וידאו מסורתי עם AI מחלחל ישירות על FPGA. רשת עצבית מנתחת תוכן סצינה בזמן אמת - זיהוי פנים, טקסט או אזורי מוטיבציה גבוהה - ומזין מידע על הבקר של ה- AMD PU אחד לוכדים את ה- C2 לאחר מכן מקצץ יותר סיביות לאזורים של עניין, שיפור איכות נתפסת ללא הגדלת כולל bitrate הכולל, לדוגמה, במהלך דחיסה של מערכת וידאו דחיסה אחת של DPG2 עם דחיסה נמוכה יותר דחיסה של מערכת יחסים עם דחיסה של מערכת יחסים עם דחיסה של DTM2.

יישומים אמיתיים ושימוש במקרים

ההשפעה של FPGA מבוסס ספק על תעשיות שבהן וידאו באיכות גבוהה, נמוך-latency הוא לא ניתן להשגה.

ספורט בשידור חי ורדיו

רשתות ספורט גדולות מסתמכות על FPGA קודרים כדי לספק וידאו 4K עם שקיפות שנייה למיליוני צופים. אלה קודרים להתמודד עם זוויות מצלמה מרובות, על מסך מסך, ופרסום בזמן אמת תוך שמירה על סינכרוניזציה עם סינתזה עם אודיו וזרמי נתונים.הטבע ה-FPGAss קובע כי כל מסגרת מקודדת בתוך חלון צפוי, מניעת פילטרים מרובים עבור אירועים ניידים או FPAST.

וידאו: שיתוף פעולה מרחוק

הזינוק בעבודה מרחוק הציב לחץ עצום על פלטפורמות וידאו מקנה. FPGA מבוסס קידוד עומס עבודה ממכשירים של לקוחות, המאפשר קטעי וידאו 4K חלקה לקבוצות גדולות ללא מחשבי מחשב מהתחממות יתר. עצלנות שומרת על שיחות טבעיות, הימנעות מההפסקה המבוכה של צינורות מבוססי תוכנה.שירותים כמו זום ו- Teams הם חקרואצה FPGA עבור שרתי-side-Coing חוות כדי להפחית את הפחתת הנאות ל- 100 מ-Latency אפילו מתחת ל- 100 משתתפים מורכבים.

מעקב ו-IoT Video Streams

מצלמות ממורשת בערים חכמות ובמתקנים תעשייתיים מייצרים אלפי זרמי וידאו שחייבים להיות מקודדים ולנתח בזמן אמת. FPGAs יכול לדחוס בו זמנית את ההזנה הנכנסת וזיהוי תנועה, זיהוי הצלחות, או אלגוריתמים של זיהוי אנומלי, להפחית את הצורך בפתרונות נפרדים לשרת. Edge מבוססי FPGA מבוססי FPGA להפחית את צריכת רוחב הפס באמצעות שליחת רק מטאפונים רלוונטיים או קטעי וידאו מאוזנים לענן, כאשר משתמשים ב-HMAFD, כאשר הם משתמשים ב- 30 ליטרים של ערוץ VFD.

OUT COMS

כדי לשרת קהל גלובלי עם מהירויות מינימליות, ספקי CDN נעים פונקציות סיבולת לקצה. FPGA-Power Edge צומת יכול לקודש תוכן לתוך מספר רב של bitrates ופורמטים על זבוב, להסתגל למכשירים של הלקוח ותנאי הרשת. בקשה אחת עבור זרם חי 8K יכול להיות דינמי למטה ו recoded לתוך 4K, 1080p, ו- 720p בגרסאות של נקודת ההתחלה הקרובה ביותר, כמו אחסון מוקדם יותר.

השוואת FPGAs ל CPUs, GPUs ו ASICs

בחירת החומרה הנכונה תלויה באיזון של ביצועים, כוח, גמישות ועלויות.

ביצועים לוואט

בעוד ש-GPUs גבוה יותר יכול להשיג דרך מלאה יותר במדדים מסוימים, צריכת החשמל שלהם היא לעתים קרובות שלוש עד חמש פעמים גדול יותר מאשר FPGAs. עבור מרכז נתונים המפעיל אלפי צינורות סיבולת, חיסכון מצטבר של אנרגיה של FPGAs הם משמעותיים. ASICs מציעים אפילו יעילות כוח טובה יותר, אבל חוסר יכולת הפעלה, מה שהופך אותם לחסכוניים רק עבור מוצרים בעלי רמות גבוהות של צריכת קוד קבוע בין FGAs קיצוני, 000 נמוך, 000 עבור NCR2 יכול לספק יעילות של עד 4C עם יעילות של עד 60.

עצלות וג'ייטר

CPUs ו GPUs להציג שקיפות לא-קבועת עקב לוח זמנים משימה, היררכיות זיכרון, ו כיבים משותפים. בעוד כתמים בזמן אמת צינורות GPU ייעודי שיפרו את העניינים, הם עדיין מציגים ג'יי-מסגרת למסגרת שיכול להיות בעייתי עבור סינכרון מספר זרמי FPGA, על ידי ביצוע צינור חומרה קבוע, לספק זמן עקבי עבור כל מסגרת, קידוד קידוד 10 שניות תחת קידוד קידוד קידוד ⁇ ⁇ .

מחיר מוחלט של בעלות

FPGA פיתוח לוחות ורישיון IP יכול להיות עלויות גבוהות יותר מאשר שרת GPU. עם זאת, עבור פריסות שבו חומרה חייבת להתאים לסטנדרטים מתפתחים, FPGAs לחסל רעננות תכופים. מעל חמש שנים, מאיץ FPGA יחיד יכול להיות reprogramed כדי לתמוך בפתרון קודר מרובים, לשמש כקוד, קודר, AI Analytics ב- AI ב-R.

אתגרים נוספים

למרות היתרונות שלהם, פתרונות וידאו מבוססי FPGA מציבים אתגרים שיש לטפל בהם במהלך הפיתוח.

מורכבות ולמידה Curve

עיצוב קודים וידאו ב HDL דורש ידע מיוחד של לוגיקה דיגיטלית, סגירת תזמון, ו FPGA כלי שרשרת. מהנדסי תוכנה רבים למצוא את המעבר מרתיעה. High-Level Synthesis כלים הוריד את המחסום, אבל השגת ביצועים אופטימליים עדיין דורשים הבנה צינורות, זרימת נתונים, ומגבלות משאבים.צוותים לעתים קרובות למנף ליבות IP שנבנו מראש ועיצובים כדי להתחיל עם קוד עבודה והתאמה אישית של כלי למידה ספציפיים.

ויכוח ותיקון

סימל של וידאו מורכב קודקוד על FPGA הוא פקודות של גודל איטי יותר מאשר בדיקות תוכנה על CPU. מפתחים מסתמכים על סימולציה מחזור-accurate RTL, חומרה משותפת-simulation, ובמערכת debugging כלים כמו Xilinx Integrated Logicyzer (ILA) או Intel Signalrs חייב להיות מאומת נגד מודלים זהובים C כדי להבטיח קוד-acate עמוק כדי לאמת קבוצות חומרהת מלאה, אז שימוש חומרהספק בדיקות חומרהחומרה.

מערכת אקולוגית ו- IP Cores

שוק ה-FPGA נשלט על ידי שני ספקים מרכזיים, כל אחד עם קטלוג הכלים שלו ו- IP.ה Quartus Prime ו- Xilinx's Vivado מציע זרמי עיצוב שונים ומודלים רישוי של צד שלישי כגון CAST ו- Xylon מציעים ליבות קודים מוכחים שפועלים על פני משפחות FPGA מרובות, מפשטים את פיתוח חוצה פלטפורמות.

מגמות וחדשנות עתידיים

ההתכנסות של טכנולוגיית FPGA עם AI, תשתיות ענן וסטנדרטים פתוחים מעצבת מחדש את ⁇ הוידאו.

פתרונות היברידיים של FPGA-AI

ככל שמורכבות קודר עולה עם AV1 ו-VVC / H.266, כלים מונעים על ידי AI הופכים הכרחיים עבור אופטימיזציה של קצב קצב ביצועים. FPGAs עתיד הטמיעו מנועי הפחתת AI קשיחים כמו מנועים AI של AMD בפלטפורמת Versal, הפעלת רשתות עצביות עבור ניתוח, אופטימיזציה לאופטימיזציה של 10 קידוד ורזולוציה על פני חנק ללא משככי משאבים לוגיים מ- AI מאפשר מעבדים מינימליים עבור מעבדים של 8 סיביות אופטימיזציה של וידאו, לדוגמה, כלומר, עבור מעבדים ב-pSDK מינימלית של 10.

Cloud FPGA ו- Edge Deployment

ספקי ענן ציבוריים כמו AWS ו- Azure מציעים מקרים FPGA (F1, NP-series) כי מפתחים יכולים להשתמש כדי להאיץ את הקידוד במודל מדרגי, לשלם-as-Go,דמוקרטיזציה הגישה לחומרה FPGA. at the Edge, FPGAs משולב במצלמות חכמות ו-IoT Gateways לדחוף קידוד וניתוח קרוב יותר למקור הנתונים, צמצום תעבורת וידאו גולמית 5G ו-R-Res Access-Rex (MEC) כמו קיבולת מבוססת FPASTASTAST (MEC) עם FPDIRFG-MEC) כמו גם על בסיס FPDERFGA-Reducing FPDERC) עם FPDTM (NYSE-F.

תקנים פתוחים ותרומות קהילתיות

ההצלחה של קודים פתוחים, ללא תמלוגים כמו AV1 תרמה מערכת אקולוגית שיתופית לטובת מפתחי FPGA. יישומי חומרה זמינים לציבור, וקטורים בדיקות, ואופטימיזציה מורידה את המחסום למאמצים סטנדרטיים כגון CCIX ו- CXL חיבורים להפוך את זה קל יותר לצמד FPGAs עם מעבדים מארחים, המאפשרים מערכות hetereous.

מסקנה

FPGAs הוכיח את עצמם כמנועי הכרחי עבור וידאו בזמן אמת וסטרימינג, מתן שקיפות נמוכה, גבוה דרךput, ואת הגמישות להתפתח לצד תקני קודק.מספורט בשידור חי ווידאו הניתנות לחוד החנית וענן Transcoding, הטכנולוגיה מתייחסת הביקוש הגובר לחוויות וידאו גמישות, באיכות גבוהה ללא שכפול כוח או יעילות תוך כדי אינטגרציה גבוהה, נשאר זמין מחדש של פתרונות לוגיים, להמשיך לפתח מערכת ההפעלה HDD.