Table of Contents

La photogrammétrie est devenue un outil indispensable dans les industries allant de la cartographie géospatiale et de l'archéologie à la production et à l'ingénierie de films. La précision et l'utilité de tout modèle photogrammétrique dépendent d'un facteur critique : la résolution des images sources. Bien que le matériel continue de s'améliorer, la capture directe d'images ultrahautes résolution reste coûteuse, longue et souvent contrainte physiquement par la taille des capteurs, la qualité des lentilles et l'altitude de vol. Au cours de la dernière décennie, une convergence des techniques de calcul – en particulier dans l'apprentissage automatique, le traitement des signaux et la géométrie multi-vues – a ouvert de nouvelles voies pour améliorer la résolution au-delà de ce que la caméra seule peut offrir.

Comprendre la résolution dans le flux de travail photogrammétrique

Avant de plonger dans des techniques d'amélioration, il est essentiel de préciser ce que signifie « résolution » dans le contexte de la photogrammétrie. Contrairement à une métrique de photographie standard, la résolution photogrammétrique est liée directement au concept de distance d'échantillonnage au sol (GSD) – la distance physique au sol représentée par un seul pixel. Un GSD plus petit signifie une résolution spatiale plus élevée et, par conséquent, un détail plus fin dans le modèle 3D résultant. Cependant, le GSD est déterminé non seulement par le capteur de la caméra, mais aussi par la distance à l'objet, la longueur focale et les conditions atmosphériques.

Dans un pipeline de structure de mouvement (SfM), la résolution d'image affecte chaque étape suivante : détection et couplage des points de touche, réglage du faisceau, couplage dense et génération de mailles. Flou, bruit, faible contraste ou artefacts de compression dégradent tous la sortie finale. Par conséquent, l'amélioration de la résolution ne peut être traitée comme une tâche de montée en gamme triviale; elle doit préserver la cohérence géométrique et la fidélité radiométrique sur plusieurs vues qui se chevauchent.

Algorithmes de la résolution super : apprendre à voir l'invisible

Résolution Super image unique (RSIS) contre Résolution Super image multiple (MISR)

La super-résolution (SR) désigne le processus de calcul de la reconstruction d'une image à haute résolution à partir d'une ou de plusieurs observations à basse résolution. En photogrammétrie, les approches à image unique et multi-images ont trouvé des applications. La SR à image unique (RSS) utilise une seule entrée et utilise des connaissances antérieures – souvent acquises à partir de vastes ensembles de données d'images naturelles – pour halluciner des détails plausibles à haute fréquence. Les premières méthodes ont utilisé l'interpolation (bicubis, Lanczos), qui a produit des résultats lisses mais n'a pas de détails texturés.

La super-résolution multi-images (MISR) est particulièrement naturelle pour la photogrammétrie car le flux de travail implique déjà la capture d'images qui se chevauchent de points de vue légèrement différents. MISR exploite les déplacements de sous-pixels entre les cadres pour reconstruire des détails qui sont alias dans n'importe quel cadre. Les méthodes classiques MISR utilisent des approches de domaine de fréquence (p. ex. Papoulis–Gerchberg) ou une rétroprojection itérative.

Architectures d'apprentissage profond pour la résolution photogrammétrique

Les images photogrammétriques ont souvent des caractéristiques uniques : elles sont généralement capturées sous un éclairage contrôlé ou à des moments précis de la journée, mais elles contiennent des caractéristiques géométriques (corners, bords, surfaces planes) importantes pour la reconstruction 3D, et peuvent être accompagnées de métadonnées (paramètres de caméra, EXIF) qui peuvent éclairer le processus d'amélioration de la résolution. Les chercheurs ont proposé des architectures qui intègrent des antécédents géométriques, comme une carte de profondeur du nuage point SfM, pour guider la reconstruction de la SR. D'autres efforts utilisent l'apprentissage auto-supervisé sur l'ensemble des données réelles, exploitant la cohérence multi-vue comme signal de supervision – une technique parfois appelée « super-résolution multi-vues » ou « SR auto-supervisée ».

Une direction particulièrement prometteuse est l'utilisation de représentations neurales implicites (réseaux de style NeRF) qui modélisent une fonction de scène continue à partir d'un ensemble de vues 2D. Bien que généralement utilisées pour la synthèse de vues nouvelles, ces représentations peuvent être échantillonnées à résolution arbitraire, exécutant efficacement la super-résolution dans le domaine 3D. En rastérinant le volume appris à une densité de pixels plus élevée, on peut produire des images avec beaucoup plus de détails que n'importe quel cadre d'entrée.

Fusion multi-images : synthèse des détails de la diversité

Les fondamentaux de la fusion en photogrammétrie

Contrairement à la superrésolution, la fusion ne « invente » pas nécessairement de nouveaux détails à haute fréquence; elle récupère plutôt des détails qui étaient présents dans au moins une des images entrées, mais qui peuvent être dégradés dans d'autres en raison du flou du mouvement, de la déconcentration ou des occlusions. Le processus consiste à enregistrer l'image avec précision en utilisant des descripteurs de fonctions (SIFT, ORB, ou deep-learned descripteurs), en se déformant en un cadre de référence commun, puis en utilisant une étape de composition qui peut utiliser le mélange médian, le mélange pyramidal laplacien ou des algorithmes de fusion d'exposition plus avancés.

Dans le contexte de la photogrammétrie, la fusion est souvent appliquée implicitement lors d'un couplage dense : les algorithmes stéréo combinent naturellement des informations provenant de vues multiples. Cependant, la production d'un orthophoto à haute résolution explicite ou d'un ensemble d'images améliorées pour un traitement ultérieur peut être bénéfique.

Stratégies de fusion : Pixel-Wise, Patch-Wise et Frequency-Wise

La fusion par pixel simple permet de calculer ou de sélectionner le pixel le plus aigu de chaque exposition. Elle permet de bien utiliser les scènes statiques avec un éclairage cohérent, mais peut produire des coutures ou des fantômes lorsque l'alignement est imparfait. La fusion par pixel permet d'évaluer les petites fenêtres (p. ex. 8x8 ou 16x16 pixels) et de sélectionner le patch avec la plus haute énergie de gradient, la fréquence spatiale ou une métrique de qualité apprise. Cette méthode est plus robuste et est couramment mise en œuvre dans des pipelines de photogrammétrie open source comme OpenSfM et Colmap par des étapes d'amélioration optionnelles. La fusion par fréquence décompose les images en composants basse et haute fréquence (souvent via des pyramides laplaciennes ou des transformations discrètes d'onde).

Considérations pratiques et outils logiciels

La mise en œuvre de la fusion multi-images dans un pipeline de photogrammétrie de production nécessite une attention particulière à la cohérence radiométrique. Le vignettage, les différences d'exposition et l'équilibre des couleurs doivent être corrigés avant la fusion, ou le composite montrera des artefacts notables. De nombreux paquets commerciaux (Pix4Dmapper, Agisoft Metashape, RealityCapture) comprennent des étapes de fusion ou de mélange intégrées, mais ils sont souvent traités comme des boîtes noires.

Traitement adaptatif de l'image: Amélioration dynamique sans artefacts

Aiguillage adaptatif et masque sans astuce

Les filtres d'affûtage traditionnels (p. ex. masque non évasé) appliquent un seul noyau sur toute l'image, ce qui peut amplifier le bruit dans les régions plates ou créer des halos autour des bords. Les techniques d'affûtage adaptatif analysent les statistiques locales d'image – variation, magnitude des bords ou contenu de fréquence – pour moduler la force de l'affûtage. Pour les images photogrammétriques, où la richesse de texture varie grandement (de l'herbe lisse à la roche rugueuse), les méthodes d'adaptation sont bien supérieures.

Réduction du bruit adaptée aux données photogrammétriques

Le bruit est un ennemi persistant de la résolution. Une haute ISO, une exposition courte et de petits pixels introduisent tous un bruit qui masque les détails fins et dégrade les caractéristiques correspondantes. De nombreux pipelines photogrammétriques comprennent une étape de désenvoûtement, mais la réduction générique du bruit brouille souvent les bords. Les techniques de réduction du bruit adaptative, comme les moyens non locaux (NLM) et BM3D, exploitent l'autosimilarité dans l'image pour éliminer le bruit tout en préservant la texture.

Déconvolution avec estimation de la fonction de propagation ponctuelle (FSP)

Le flou, que ce soit du mouvement de la caméra, de la diffraction des objectifs ou de la turbulence atmosphérique, limite la résolution. La déconvolution tente d'inverser le flou en modélisant la fonction de diffusion ponctuelle (FSP) qui l'a causée. Pour la photogrammétrie par satellite et aérienne, le FSP peut être estimé à partir de bords connus ou de cibles d'étalonnage, puis appliqué par filtrage Wiener ou déconvolution Richardson-Lucy. La photogrammétrie impliquant de multiples images recoupant, il est possible d'estimer conjointement le FSP à travers les vues et d'effectuer une déconvolution multi-images, plus robuste que le traitement par image.

Flux de travail avant et après le traitement pour un gain maximal

Acquisition optimale d'image pour l'amélioration

Toutes les méthodes d'amélioration bénéficient d'un bon matériau de base. Des pratiques simples peuvent améliorer considérablement les résultats d'un traitement ultérieur : utiliser un trépied ou un montage stabilisé pour réduire le flou de mouvement, choisir une vitesse d'obturateur qui évite les vibrations, maintenir un éclairage cohérent avec les diffuseurs et capturer des fichiers bruts (non compressés). Pour les relevés aériens, voler à basse altitude (dans les limites légales) réduit directement la DSG.

Étalonnage et correction de couleur

Avant d'appliquer toute amélioration, les images doivent être étalonnées radiométriquement pour éliminer le vignetage, la distorsion de la lentille et la non-uniformité des capteurs. L'étalonnage implique également de corriger les différences de couleur entre les caméras ou les conditions d'éclairage à travers une ligne de vol. Même une simple correction en champ plat peut réduire les variations de basse fréquence qui confondent les algorithmes d'adaptation.

Après la reconstruction de la 3D

Une fois les images améliorées, elles se retrouvent dans le pipeline standard SfM. Cependant, certaines méthodes d'amélioration peuvent être appliquées après la génération du nuage ou du maillage pointu. Par exemple, le maillage final texturé peut être rendu à une résolution plus élevée en calculant les textures à partir de multiples images recoupantes, une forme de superrésolution de texture post-hoc. Une autre technique de post-traitement est le raffinement de surface à l'aide de cartes de profondeur qui ont été calculées à partir d'images améliorées, donnant un nuage point plus dense. La clé est d'intégrer l'amélioration de la résolution au stade où elle procure le plus d'avantages sans double emploi inutile.

Innovations matérielles complétant les méthodes logicielles

Avances de capteurs et d'objectifs

Les récents développements de capteurs – tels que les capteurs CMOS rétroillurés (BSI) avec un bruit plus faible, les capteurs photoconducteurs organiques avec une plus grande portée dynamique et les réseaux multispectraux – fournissent une résolution native plus élevée et de meilleurs rapports signal-bruit. La technologie des lentilles évolue également : les éléments asphériques, les conceptions apochromatiques et les revêtements multicouches réduisent l'aberration et la torche chromatiques, permettant au capteur de saisir des détails plus fins.

Caméras spécialisées pour la photogrammétrie

Certains fabricants produisent maintenant des caméras spécialement optimisées pour la capture photogrammétrique. Ces appareils disposent de volets globaux, de bruit de lecture faible, d'une plage dynamique élevée et de métadonnées qui comprennent des données GPS/IMU précises pour chaque exposition. La série iXM Phase One et la DJI Zenmuse P1 sont des exemples de tels systèmes. Bien qu'ils soient coûteux, ils réduisent le besoin d'améliorations post-traitement lourdes parce que les images sources sont déjà de qualité exceptionnelle.

Difficultés à adopter des méthodes d'amélioration des résolutions

Coûts de calcul et de stockage

La formation de modèles d'apprentissage profond peut nécessiter de grands clusters GPU et des heures à jour. L'inférence sur un ensemble de données d'enquête typique de milliers d'images peut prendre des minutes à des heures même sur du matériel moderne. Pour des applications en temps réel ou quasi-réel (p. ex., cartographie drone-in-the-loop), cette latence est prohibitive. De plus, le stockage des images améliorées – surtout si elles sont interpolées à 2x ou 3x la résolution originale – augmente les besoins de stockage d'un ordre de grandeur maximum.

Dépendance et généralisation des données

Les modèles d'apprentissage approfondi qui permettent d'atteindre une grande fidélité sur un type de scène (p. ex., l'architecture urbaine) peuvent échouer sur un autre (p. ex., la végétation dense ou le relief couvert par la neige). Cette absence de généralisation signifie que les praticiens doivent soit recueillir un ensemble de formation vaste et diversifié ou des modèles de mise à l'essai pour chaque projet, un fardeau que de nombreuses équipes ne peuvent supporter.

Évaluation de la qualité de l'amélioration de la résolution

Traditional metrics like PSNR and SSIM do not always correlate with photogrammetric accuracy. A visually pleasing image may still contain geometric errors that degrade the 3D model. New evaluation methods are needed that measure resolution gain in terms of recoverable feature points, achievable GSD, and final model precision. Some researchers propose using the number and consistency of matched keypoints between enhanced images as a proxy for resolution quality. Others advocate for end-to-end validation: process the enhanced images through the full SfM pipeline and compare the output model against a high-resolution ground truth.

Such rigorous validation is rare in practice, making it difficult to compare the effectiveness of different enhancement techniques.

Orientations futures : temps réel, hybride et au-delà

Amélioration en temps réel sur les périphériques de bord

Les réseaux neuronaux légers (SAR basé sur MobileNet, distillation des connaissances) peuvent être déployés sur des GPU embarqués (NVIDIA Jetson, Google Coral). Cela permettrait à un drone d'ajuster sa trajectoire de vol – ou de déclencher des captures supplémentaires – en fonction de la qualité des images améliorées qu'il produit, en fermant la boucle entre l'acquisition et le traitement. Les prototypes précoces ont démontré une super-résolution de 2x à 30 fps sur un Jetson Nano, ce qui est prometteur pour les futurs systèmes de consommation et industriels.

Méthodes hybrides basées sur la physique et fondées sur les données

Les méthodes hybrides intègrent des paramètres connus de la caméra, des modèles d'objectif et de la géométrie de la scène dans le cadre du réseau neuronal. Par exemple, un réseau pourrait être conçu pour produire une image à haute résolution qui, lorsqu'elle est sous-échantillonnée par le FSP connu, correspond exactement à l'entrée observée à basse résolution, c'est-à-dire l'analogue neuronal de la déconvolution bayésienne conventionnelle.

Intégration avec NeRF et 3D Gaussian Splating

Au lieu d'améliorer les images 2D, le pipeline photogrammétrique pourrait directement reconstruire une représentation 3D continue à partir d'entrées à basse résolution, puis la rendre à une résolution arbitrairement élevée.Cela déplace le fardeau de résolution de l'étape de capture vers l'étape de reconstruction. Les récents travaux sur les « plenoxels » et le « splatage gaussien 3D » ont montré que des vues nouvelles de haute qualité peuvent être produites à partir d'entrées à faible résolution et peu abondantes, en résolvant efficacement le problème de résolution de façon compatible avec la 3D.

Conclusion: Pousser les limites de détail dans la photogrammétrie

L'amélioration de la résolution photogrammétrique d'images n'est plus une simple acquisition d'un appareil photo de meilleure qualité.Les méthodes novatrices décrites dans cet article – algorithmes de super-résolution, fusion multi-images, traitement adaptatif et approches hybrides de physique-AI – offrent des moyens puissants d'extraire plus de détails des captures existantes. Chaque technique est assortie de ses propres compromis en matière de coûts de calcul, de besoins en données et de robustesse, mais le champ se rapproche rapidement vers des solutions pratiques et déployables.

Liens externes: