Table of Contents

Photogrammetry הפך כלי חיוני על פני תעשיות החל ממיפוי גיאו-ספטי וארכיאולוגיה כדי לצלם את הייצור וההנדסה.דיוק והתועלת של כל מודל photogrammetric המתפתל על גורם קריטי אחד: ההחלטה של תמונות המקור, בעוד חומרה ממשיכה לשפר, ללכוד תמונות אולטרה-רזולוציה גבוהה של פתרון באופן ישיר נשאר יקר, זמן-מצטבר, ולעתים קרובות מחוספסת על ידי גודל, איכות, ומהירות גבוהה, במיוחד, על ידי למידה גבוהה יותר, על ידי טכניקות למידה אינטנסיבית.

הבנת החלטה בזרימת העבודה Photogrammetric

לפני צלילה לטכניקות שיפור, חיוני להבהיר מה "פתרון" פירושו בהקשר של photogrammetry.בניגוד למדד צילום סטנדרטי, photogrammetricרזולוציה קשורה ישירות למושג של מרחק הקרקע (GSD) - המרחק הפיזי על הקרקע מיוצג על ידי פיקסל יחיד פיקסל. a Gixel קטן יותר פתרון מרחבי, וכתוצאה מכך, פרטים דקים וכתוצאה מכך, וכתוצאה מכך, תוצאה של מודל 3D עם זאת, הוא גם נקבע על ידי חיישן דיסלקטיבי לא מספיק, אם הוא אפשרי על ידי אורך דיסלקציה 50 גרם, אך ורק על ידי חיישן דיפרקטיבית, אם הוא רק עם אורך דיפרקטי הוא רק עם דחיסה יעיל, אם הוא פחות יעיל, אם הוא 50 מגובה ה-אומטי הוא גם כן, אם הוא פחות יעיל, הוא גם כן, אם הוא רק עם קיבולת דיפרקטיבית גבוהה יותר יעיל, אם זה אפשרי, אם זהה, אם זה אפשרי, אם זהה, אם זה אפשרי, אם זה אפשרי על ידי קיבולת דיפרקטיבית גבוהה יותר יעיל, אם זה אפשרי על ידי אורך דידקמטית חומר הדמיה או יותר יעיל, גם כן, אם זה אפשרי, אם זה אפשרי על ידי קיבולת דידקפטומטי הוא גם כן, אם זה אפשרי על ידי אורך דידקמטית

במבנה טיפוסי - מ-Motion (SfM) צינור, פתרון תמונה משפיע על כל צעד אחר כך: זיהוי מפתח והתאמה, התאמת החבילה, התאמה צפופה, ודור mesh. Blur, רעש, ניגוד נמוך, או חפצים כולם מדגימים את הפלט הסופי ולכן, שיפור החלטות לא ניתן לטפל בהם כמשימה טריוויאלית של עלייה; זה חייב לשמור על גמישות ורדיומטרידות על פני דרישות מרובות על פני הפחתת העמדות אלה.

ביקורת: למידה לראות את הבלתי נראה

Single-Image Super-Resolution (SISR) לעומת Multi-Image Super-Resolution (MISR)

Super-resolution (SR) מתייחס לתהליך חישובי של שחזור תמונה גבוהה של רזולוציה גבוהה מתצפיות חד-משמעיות או יותר ברזולוציה נמוכה.ב photometry, הן תמונות יחיד וגישות מרובות-דימוי מצאו יישומים. SR-Image יחיד (SISR) מבוסס על קלט בודד ומשתמש ידע קודם-מחדשני - לעתים קרובות מהנתונים עצומים של תמונות טבעיות - כדי להזייף פרטים לא מציאותיים (DIVEDIVED) אשר לעתים קרובות מתחומים קצרים יותר, אך ורקמים קצרים יותר (מדומים) משתמשים ב-DIVEDIVEDNSDNSDIVEDIVE DSR) ופרטים).

Multi-image Super-resolution (MISR) הוא טבעי במיוחד עבור photogrammetry כי זרימת העבודה כבר כרוך לכידת תמונות חופפות מנקודות מבט מעט שונות. MISR מנצל שינויים תת-pixel בין מסגרות כדי לשחזר פרטים כי הם משוליים בכל מסגרת בודדת.שיטות MISR קלאסיות המשמשות התאמות תדירות-domain (למשל, פפ-Goul-Gchberg) או לעתים קרובות יותר מקבוצת תמונות ממושכות, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, כלומר, הן יכולות לשנות תמונות מהירות של פורמטים, הן יכולות להיות ממושכות של פורמטים וגרסאות למידה, לפני שלעתים קרובות.

אדריכלות למידה עמוקה ל- Photogrammetric Super-Resolution

בעוד מודלים גנריים SR עובדים בצורה סבירה, הכשרה ספציפית התחום מניב תוצאות מעולות.תמונות Photogrammetric לעתים קרובות מאפיינים ייחודיים: הם בדרך כלל נלכדים תחת תאורה מבוקרת או בזמנים ספציפיים של היום, הם מכילים תכונות גאומטריות (זרים, קצוות, משטחים Planar) כי הם חשובים לשיקום תלת מימדי, והם עשויים להיות מלווה על ידי metadata (הפרמטרים, EXIF) שיכולה להודיע לרזולוציה, כלומר, לעתים קרובות, כגון פיקוח עצמי, כגון בדיקות הגנה עצמית, כגון: "מקלט"מקלט"ממבט על גבי נתונים על גבי ספקטרום"מ-מ-ממבט ראשון, "ממבט על גבי ," (מחשוב"ממבט על גבי רזולוציה, "ממבט על גבי רזולוציה," (מחשוב"ממבט על גבי רזולוציה,"ממבט ראשון,"ממבט על גבי רזולוציה," (חומרים," (מ-מחשוב על גבי בדיקות על גבי בדיקות על גבי בדיקות על גבי בדיקות על גבי בדיקות על גבי רזולוציה,"מחשוב," (חומרים על גבי גבי גבי רזולוציה," (חומרים על גבי בדיקות על גבי רזולוציה,"מ-על-על-ידי בדיקות על גבי בדיקות על גבי בדיקות על גבי

אחד במיוחד מבטיח כיוון הוא השימוש בייצוגים עצביים בלתי פתיר (רשתות בסגנון NeRF) כי מודל פונקציה סצינה רציפה ממערך של 2D צפיות. בעוד שבדרך כלל משמש עבור סינתזה נוף חדשנית, ייצוגים אלה ניתן לדגום ברזולוציה שרירותית, ביעילות ביצוע super-resolution בתחום 3D. על ידי הפעלת נפח למד ב pixel גבוה יותר, צפיפות אחת יכולה לייצר תמונות רחוקות יותר מאשר סימולציה בפועל (R) אבל ביצועים יעילים יותר מאשר TRAD.

Multi-Image Fusion: Synthesizing מפורט ממגוון

מימון של Fusion ב Photogrammetry

Multi- Image fusion (הנקרא גם Multi-view היתוך) משלב מידע ממספר תמונות חופפות כדי לייצר תמונה או מפת עומק עם פתרון משופר וירידה ברעש.בניגוד לרזולוציה סופר-resolution, היתוך אינו בהכרח "להמציא" פרטים חדשים של גבוה גבוה; אלא, מחלים פרטים כי היה נוכח לפחות אחד התמונות קלט, אבל עשוי להיות מלוטש באחרים בגלל תנועה, defocus, או תהליך הרשמה מתקדם), או שימוש מדויק יותר, או בקובץ של כלי תקשורתי, או ב-L-Digitalcactigitald (L) כולל תמונה מתקדמת יותר, או בקיצור, או בקיצור, או בקיצור, או בקיצור, שימוש ב-LDigitaldextextextextextextextexitedial, או בקיצור, או בקיצור, או בקיצור, או בקיצור, או בקיצור, או בקיצור, או בקיצור, שימוש ב-L.

בהקשר של photogrammetry, היתוך הוא לעתים קרובות מוחל באופן בלתי נמנע במהלך התאמה צפופה: אלגוריתמים סטריאו משלבים באופן טבעי מידע ממגוון צפיות. עם זאת, יצירת רזולוציה גבוהה מפורשת אוטומוזוסי או קבוצה של תמונות משופרות לעיבוד נוסף יכול להיות מועיל. לדוגמה, בסקר אווירי, fusing nadir ו- oblique תמונות יכול לייצר תמונה אות עם דיוקים גבוהים ועמודות מפורטות.

אסטרטגיות פיוז'ן: Pixel-Wise, Patch-Wise, ו- Frequency-Wise

פשוט pixel-wise היתוך ממוצעים או בוחר את הפיקסלים החדים ביותר מכל חשיפה.זה עובד טוב עבור סצנות סטטיות עם תאורה עקבית אבל יכול לייצר ים או רוח רפאים שבו ההיערכות היא מושלמת. pch-wise היתוך להעריך חלונות קטנים (למשל, 8x8 או 16x16 פיקסלים) ובוחר את הכתם עם האנרגיה הגבוהה ביותר, תדירות מרחבית, או למד שיטה זו של רזולוציה נמוכה יותר.

שיקולים מעשיים וכלי תוכנה

יישום היתוך רב-דימוי בצינור צילום ייצור דורש תשומת לב זהירה עקביות רדיומטרית. ויגנטינג, הבדלים חשיפה, איזון צבע חייב להיות מתוקן לפני היתוך, או את התרכובת להראות חפצים בולטים.חבילות מסחריות רבות (Pix4Dmapper, Agisoft Metashape, RealityCapture) בנויות בהיתוך או ערבוב שלבים, אבל לעתים קרובות הם מטופלים כמו תיבות שחורות, כגון:

עיבוד תמונה: דינמי שיפור ללא אמנות

איפור ו Unsharp Masking

מסננים חדדים מסורתיים (למשל, מסיכת unsharp) ליישם גרעין יחיד על פני התמונה כולה, אשר יכול להגביר רעש באזורים שטוחים או ליצור halos סביב הקצוות.טכניקות חדד הסתגלות לנתח סטטיסטיקות תמונות מקומיות - שרטוטים, גודל קצה או תוכן תדירות - כדי לשנות את חוזק החדד או אלגוריתמים שונים) עבור תמונות מקודמות, שבו מרקמים שונים (מ"מממ"ד) כדי להתאים את הגישה הניחתת באופן נרחב יותר לדיכאון (ממדורגמטי) באופן כללי יותר (מכיוון שלמטה) או לדיכאון (מתאים יותר לניגודים מתקדמים יותר לדיכאון (מכיוון שלמטה) הוא משפרי תיבות של אלגוריתמים מתקדמים יותר (מתאים יותר לדיכאון (מתאים יותר לדיכאון (מתאים יותר לדיכאון (מתאים יותר לדיכאון) או למולקולות) באופן כללי יותר לניגודים מתקדמים יותר למולקולות (מתאים יותר לדיכאון (מתאים יותר למול אלגוריתמים מתקדמים יותר למול אלגוריתמים מתקדמים יותר לניגודים מתקדמים יותר למול אלגוריתמים מתקדמים יותר למול אלגוריתמים) עם אלגוריתמים מתקדמים (מתאים יותר) עם אלגוריתמים מתקדמים) עם אלגוריתמים מתקדמים יותר למול אלגוריתמים מתקדמים

Noise Reduction מותאם ל- Photogrammetric Data

רעש הוא אויב מתמשך של החלטה. High ISO, חשיפה קצרה, ופיקסלים קטנים כל מציג רעש כי מערפל פרטים יפים ומדפיות תכונה התאמה. צינורות פוטוגרםמטרי רבים כוללים צעד מרתיע, אבל לעתים קרובות ירידה רעש הגנרית לעתים קרובות מטושטשת הקצוות. טכניקות הפחתה של רעש הסתגלות, כגון לא-localicive photox (NLM) ו- BM3D, מעצימות עצמית בתוך התמונה האחרונה כדי להסיר את התמונה של נוגדנים יעיל.

Deconvolution with Point Spread Function (PSF) אסטימוציה

Blur, בין אם מתנועת מצלמה, עדשות diffraction, או זעזוע אטמוספירי, פתרון גבולות. Deconvolution מנסה להפוך את המטושטש על ידי מודל של הפונקציה ההתפלגות נקודה (PSF) שגרם לו.עבור לוויינים ו photometry אווירי, ה-PSF יכול להיות מוערך ממגוון רחב יותר של מטרות מדידה או קלמנטציה בעבר, ולאחר מכן החל באמצעות מסנן Wienering או מהפכת דה-Lucy decongram זה היה כרוך ביעילות כדי לשפר את התמונות.

דרישות מראש ופוסט-Processing Workflows forמקסימום

רכישת תמונה אופטית לשיפור

כל שיטות שיפור ליהנות מחומר מקור טוב. פרקטיקות פשוטות יכול לשפר באופן דרמטי את התוצאות של עיבוד מאוחר יותר: באמצעות טיול או ייצוב עלה כדי להפחית מטושטש תנועה, בחירת מהירות סגורה כי הימנעות רטט, שמירה על תאורה עקבית עם diffusers, ולכידת Raw (לא מייצב) קבצים עבור סקרים אוויריים, מעופף בהשקעה נמוכה יותר (עם מגבלות משפטיות) להפחית את GSD ישירות על ידי תמונות ו- 60% דיוק עבור עיבוד גבוה יותר של זמן (בדרך כלל גבוה יותר של 60 אחוזים).

תיקון צבע ותיקון צבעים

לפני יישום כל שיפור, התמונות צריך להיות מכוונן מבחינה רדיומטרית כדי להסיר את vignetting, עיוות העדשה, חיישן לא אחידות. Calibration כרוך גם תיקון ההבדלים צבע בין מצלמות או תנאי תאורה על פני קו טיסה.אפילו תיקון פשוט שטוח שדה יכול להפחית וריאציות בתדר נמוך כי מבלבל אלגוריתמים הסתגלות.

תוצאות עבור 3D Reשיקום

ברגע שהתמונות משופרות, הן ניזונות לתוך צינור SfM סטנדרטי. עם זאת, כמה שיטות שיפור ניתן ליישם לאחר הענן או mesh נקודה נוצר.לדוגמה, mesh המרקם הסופי ניתן להפוך ברזולוציה גבוהה יותר על ידי מרקמים מתמונות מרובות חופפות - צורה של לאחר תיקון מרקם פוסט-hoc מרקם טכניקה נוספת הוא פני השטח באמצעות עומק כי הם מספקים תועלת רבה יותר מתמונות ענן, כאשר הוא שיפור בשלב מוקדם יותר של שיפור זה הוא משלבת את הרזולוציה גבוהה יותר.

חידושים קשיחים משלימים שיטות תוכנה

חיישן ו-Lens Advances

בעוד מאמר זה מתמקד בשיטות חישוביות, שיפורים חומרה נשארים חלק חיוני של משוואה ההחלטה. התפתחויות חיישן אחרונים - כגון חזרה-illuminated (BSI) CMOS חיישנים עם רעש נמוך יותר, אורגני תמונות מוליכים סרט עם טווח דינמי רחב יותר, ו- Multi-spectral מנגנונים - לספק פתרון גבוה יותר Native ויחסי אותות טובים יותר ל-לא-אין-זהים מתפתח גם כן: אלמנטים מפוזרים, ציפוי מכניים, ואביזרים מכניים, וסימולטיביים, פתורים, והופכים לחיקוייים, והופכים לחיקוי מכניים, לחיקוי, והופכים לחיקוי מכניים, לחיקוי, לחיקוי, לחיקויים, למנגנוני מנגנונים מכניים.

מצלמות מיוחדות ל Photogrammetry

כמה יצרנים מייצרים כעת מצלמות אופטימיזציה במיוחד עבור photogrammetric לכידת. אלה כוללים סוגרים גלובליים, רעש קריאה נמוך, טווח דינמי גבוה, metadata הכולל נתונים GPS / IMU מדויקים עבור כל חשיפה.השלב הראשון iXM סדרה ואת DJI Zenmuse P1 הם דוגמאות של מערכות כאלה. בעוד יקר, הם להפחית את הצורך עבור שיפור לאחר עיבוד כבד כי התמונות כבר באיכות יוצאת דופן, אפילו עם תרחישים חישוביים מינימליים יותר.

אתגרים באימוץ שיטת שיפור החלטות

עלויות אחסון ותיקון

אלגוריתמים סופר-resolution ו-היתוך הם אינטנסיביים חישוביים.מודלים למידה עמוקה יכולים לדרוש אשכולות גדולים GPU ושעות עד ימים. אי-השוויון בנתוני סקר טיפוסי של אלפי תמונות יכול לקחת דקות עד שעות אפילו על חומרה מודרנית.עבור זמן אמת או ליד יישומים בזמן אמת (למשל, מזל"ט-במיפוי), מהירויות אלה הן בלתי מוגבלות, בנוסף לאחסון תמונות - במיוחד אם הן מכוונות ל- 2x המקוריות, אך הן יכולות להוסיף את הרזולוציה של עיבוד של עלויות ו-2.

תלות בנתונים ואימות

מודלים למידה עמוקה אשר משיגים נאמנות גבוהה על סוג אחד של סצנה (למשל, אדריכלות עירונית) עשויים להיכשל על עוד (למשל, צמחייה צפופה או משטח מכוסה שלג) חוסר הכללה פירושו כי מתרגלים חייבים לאסוף מערכת הכשרה גדולה ומגוונת או מודלים של מזל טוב לכל פרויקט - נטל כי קבוצות רבות לא יכולות לשאת שיטות הגנה עצמית ואפס-הפצה כי הם לומדים ישירות מתחומים חיצוניים כגון נתונים נגישים, אך ורק על ידי בדיקות נתונים פעילים יותר, אך הן יכולות לגרום לשיטות מחקר חיצוניות.

הערכת איכות של החלטות

Traditional metrics like PSNR and SSIM do not always correlate with photogrammetric accuracy. A visually pleasing image may still contain geometric errors that degrade the 3D model. New evaluation methods are needed that measure resolution gain in terms of recoverable feature points, achievable GSD, and final model precision. Some researchers propose using the number and consistency of matched keypoints between enhanced images as a proxy for resolution quality. Others advocate for end-to-end validation: process the enhanced images through the full SfM pipeline and compare the output model against a high-resolution ground truth. Such rigorous validation is rare in practice, making it difficult to compare the effectiveness of different enhancement techniques.

כיוונים עתידיים: זמן אמת, היברידית ומעבר

שיפור בזמן אמת במכשירים Edge

הגבול הבא הוא ביצוע שיפור ברחפנים או חיישנים מאוישים בזמן אמת.רשתות עצביות קלות משקל אור (MobileNet מבוסס SR, ידע זיקוק) ניתן לפרוס על GPUs מוטבע (NVIDIA Jetson, Google Coral) זה יאפשר מזל"ט להתאים את נתיב הטיסה שלו - או לגרום לכידת נוספות - בהתבסס על איכות התמונות המוגברת הוא יוצר, סגירת הרכישה בין ג'ט ו-A-A-A-A-A-טיפוס מוקדם של מערכת מחשובית, אשר הוכיחהתרופות ב- 30x מבטיח.

שיטות מבוססות פיזיקה היברידית ו-Data-Driven

גישות למידה עמוקה טהורות לפעמים לייצר חפצים המפרים את המגבלות הגיאומטריות או הפיזיות.שיטות היברידיות משלבות פרמטרים ידועים, מודל עדשות וגיאומטריה סצינה לתוך מסגרת הרשת העצבית.לדוגמה, רשת יכולה להיות מיועדת לייצר תמונה ברזולוציה גבוהה כי, כאשר ירידה למטה מופץ דרך ה-PSF הידוע, להתאים את קלט הרזולוציה הנמוכה הנצפית - זה בדיוק האנלוגיה העצבית של deconconconconconconconology קונבנציונאלינית קונבנציונאלית כזה.

אינטגרציה עם NeRF ו 3D Gaussian Splatting

כייצוגי סצנות בלתי פוסקות מתבגרים, הם עשויים להפוך את הגדלת התמונה המסורתית מיושן.במקום לשפר תמונות 2D, צינור photogrammetric יכול לשחזר באופן ישיר ייצוג תלת-ממדי מתמשך של קלטות ברזולוציה נמוכה ולאחר מכן להפוך אותו ברזולוציה גבוהה יותר באופן שרירותי.זה משנה את הנטל משלב ללכוד לשלב השחזור.

מסקנה: לדחוף את גבולות הפרטים ב Photogrammetry

מתן רזולוציה תמונה פוטוגרמהמטרית היא כבר לא עניין של פשוט לרכוש מצלמה טובה יותר.השיטות החדשניות המתוארות במאמר זה - אלגוריתמים ברזולוציה גבוהה, היתוך רב-דימוי, עיבוד הסתגלות וגישות פיזיקליות היברידיות-AI - דרכים עוצמתיות יותר להפיק פרטים נוספים ממלכודות קיימות, כל טכניקה מגיעה עם תחזיות המסחר שלה בעלות חישובית, דרישות נתונים ותאומים חזקים, אבל השדה הוא במהירות גבוהה יותר לפתרונות הנדסיים, כמו גם לכדי יכולת גבוהה יותר, כמו גם להגדלת איכות גבוהה יותר, כמו גם כן, כמו גם כן, כמו גם כן, כמו גם לפתרונות מתקדמים יותר, כמו גם יותר, כמו גם יותר, כמו גם חסכוני יותר, כמו גם יותר, כמו גם יותר, כדי לייצר מודלים של חומרים מתקדמים יותר, כדי לשפר את האפשרות של חומרים מתקדמים יותר, כמו גם חסכוניים, כמו גם כן, כמו גם חסכוניים יותר, כדי לשפר את היכולת יעילה יותר, כמו גם חסכוניים יותר, כמו גם חסכוניים, כמו גם חסכוניים יותר, כמו גם חסכוניים יותר, כמו גם חסכוניים יותר, כמו גם חסכוניים יותר, כמו גם חסכוניים יותר, כדי ליצור מודלים של אבטחה, כדי ליצור מודלים של אבטחה, כמו גם

(ב) ◄ ⁇ ⁇

  • עוד על מרחק הקרקע ותפקידו בצילום:0.ASPRS - American Society for Photogrammetry and SensingFLT:1
  • סקר מעמיק של למידה על-resolution: FLT:0 (Recent Advances in Single Image Super-Resolution: A Survey (arXiv)uaFLT:1
  • Multi-view Super-resolution for photogrammetry: FLT:0) "Multi-View Super-Resolution for UAV Photometry" (Remote Sensing)uaFLT:1
  • מדריך מעשי לצילום: FLT:0 (הופנה מהדף איור 1)