Introduction à la vision de la machine et à la vision de l'ordinateur

La vision de la machine et la vision informatique sont deux domaines étroitement liés qui ont connu une croissance explosive au cours de la dernière décennie. La vision de la machine se réfère à la capture automatisée, à l'analyse et à l'interprétation de données visuelles pour des applications industrielles telles que l'inspection de la qualité, l'identification des pièces et le guidage robotique.

Au cœur de nombreux systèmes de vision se trouve le processeur de signal numérique (DSP). Conçu à l'origine pour des tâches de traitement de signal en temps réel comme la compression audio et les télécommunications, les DSP ont évolué pour gérer les volumes de données massives et les opérations arithmétiques complexes requises par les algorithmes modernes d'imagerie et de vision informatique.

Cet article explore comment l'adoption accélérée de la vision machine et informatique influence les architectures de processeurs DSP, les attentes en matière de performance et les budgets énergétiques. Nous examinerons les principales exigences techniques, les innovations continues dans la conception DSP et la trajectoire future de ces processeurs intégrés critiques.

Le rôle des processeurs de signaux numériques dans les systèmes de vision

Contrairement aux processeurs à usage général, les DSP intègrent des multiplicateurs matériels, des unités de données multiples à une seule instruction (SIMD) et un support tampon circulaire pour exécuter efficacement les filtres, les transformations et les corrélations. Dans les systèmes de vision des machines, les DSP gèrent des tâches allant de la lecture et du prétraitement des capteurs d'image (p. ex., réduction du bruit, balance blanche) à l'extraction des fonctionnalités (p. ex., détection des bords, détection des angles) et même à la classification.

Historiquement, les tâches de vision étaient réparties entre les DSP et les FPGA ou les ASIC dédiés, avec des DSP fournissant une programmabilité pour des algorithmes en évolution. Les systèmes sur puces (SoCs) d'aujourd'hui intègrent souvent les cœurs DSP aux côtés des grappes de processeurs, des GPU et des unités de traitement neuronal (NPUs) pour équilibrer flexibilité et performance.

Par exemple, une caméra industrielle typique qui effectue 60 images par seconde à résolution 4K doit traiter plus de 12,4 millions de pixels chaque image. Le DSP doit appliquer des filtres, corriger les distorsions de la lentille et déclencher des événements basés sur la détection de défauts, tous en millisecondes.

Principales exigences imposées aux processeurs DSP par Vision Technologies

La convergence de la vision de la machine et de la vision de l'ordinateur avec l'intelligence artificielle a créé un ensemble d'exigences exigeantes que les architectes DSP doivent répondre.

Haute résolution et traitement en temps réel

Les capteurs modernes captent des images à 20 mégapixels ou plus, souvent à des vitesses d'image supérieures à 100 fps. Les DSP doivent gérer le débit de pixel résultant — des dizaines de gigabits par seconde — tout en maintenant une latence déterministe. Les contraintes en temps réel sont particulièrement strictes dans la conduite autonome, où une décision doit être prise dans les 10 à 20 ms. Les processeurs DSP doivent intégrer des interfaces mémoire à grande vitesse (p. ex. LPDDR5, HBM) et des architectures mémoire multiports pour éviter les décrochages.

Algorithmes avancés et apprentissage profond

Bien que les GPU soient souvent utilisés pour la formation, l'inférence au bord dépend fortement des DSP. Ces processeurs doivent exécuter efficacement des convolutions, des fonctions d'activation et des opérations de mise en commun. Le passage vers des modèles de vision basés sur les transformateurs ajoute une complexité supplémentaire en raison des mécanismes d'auto-attention nécessitant de grandes multiplications matrices. Les DSP intègrent maintenant des noyaux de tenseurs ou des unités de traitement vectoriel dédiés pour accélérer les primitifs d'apprentissage profond.

Efficacité énergétique dans les systèmes embarqués

De nombreuses applications de vision de la machine fonctionnent sur des appareils alimentés par batterie, comme les robots, les drones, les scanners portatifs et les caméras portables. Les contraintes thermiques limitent souvent la dissipation de puissance à quelques watts. Les concepteurs DSP doivent équilibrer les performances de pointe avec la consommation d'énergie, en utilisant des techniques comme la tension dynamique et l'échelle de fréquence (DVFS), le ginginging à grain fin et le fonctionnement de tension quasi-seuil.

Bande passante de données et accès à la mémoire

Chaque pixel nécessite plusieurs octets (par exemple 2 octets pour l'échelle de gris, 12 octets pour le RGB avec des flotteurs 32 bits). Le traitement simultané de plusieurs images nécessite des sous-systèmes de mémoire à bande large et à faible latence. Les DSP utilisent de larges bus internes (256 bits ou 512 bits), une mémoire étroitement couplée (TCM) et des caches multiniveaux avec des moteurs pré-détecteurs pour alimenter les données aux unités de calcul.

Ces exigences ont un effet de comptage : des besoins de calcul parallèles en hausse, des délais plus stricts en temps réel et des enveloppes de puissance plus serrées.

Innovations technologiques dans l'architecture DSP

Pour répondre aux exigences changeantes, les grandes entreprises de semi-conducteurs ont introduit plusieurs caractéristiques révolutionnaires dans leurs derniers cœurs DSP et SoCs.

Accélérateurs de matériel spécialisé pour réseaux neuraux

Bien que les DSP aient toujours été efficaces pour les opérations à accumulation multiple (MAC), l'inférence réseau neuronal exige des comptes MAC extrêmement élevés – souvent des billions d'opérations par seconde (TOPS). Les DSP modernes intègrent des accélérateurs neuronaux dédiés aux côtés des unités DSP traditionnelles. Par exemple, Qualcomm's Hexagon DSP intègre un accélérateur de tenseur qui peut gérer des opérations à 8 bits, 16 bits et à points flottants de précision mixte.

De plus, certaines architectures utilisent une approche de flux de données où l'accélérateur est conçu pour exécuter des couches entières d'un CNN avec une intervention minimale du processeur scalaire. Cela permet au DSP de se concentrer sur le pré- et post-traitement tandis que l'accélérateur gère la lourde levage des convolutions.

Traitement multi-cœur et vectorielle

Les fournisseurs offrent maintenant des grappes multi-cores DSP avec mémoire partagée et synchronisation matérielle. Par exemple, le TI TMS320C6670 dispose de quatre cœurs C66x, chacun pouvant compter huit MAC 16 bits par cycle par cœur, ce qui permet des performances globales supérieures à 256 GMAC. De plus, les DSP vectoriels étendent SIMD à des centaines de voies de données, permettant une seule instruction pour traiter une ligne d'image entière.

Techniques de gestion de l'énergie

Les DSP pour les applications de vision mettent souvent en œuvre une gestion de l'énergie sophistiquée. Le biais de corps adaptatif, les domaines multi-tensions et le réveil rapide des états de sommeil aident à répondre aux budgets énergétiques. Les capteurs de température sur puce permettent un étranglement dynamique pour empêcher les fuites thermiques.

Intégration avec d'autres unités de traitement (SoCs)

Les puces DSP isolées laissent de plus en plus place à des SoC hétérogènes qui combinent les cœurs CPU, les stores GPU, les cœurs DSP, les NPU et les accélérateurs matériels sur une seule matrice. Cette intégration réduit la latence, la puissance et la surface de la carte. Par exemple, le NVIDIA Orin SoC intègre un GPU, des coeurs CPU Arm et un accélérateur d'apprentissage profond, mais comprend également un DSP dédié au traitement des capteurs en temps réel.

Ces innovations ont permis une nouvelle génération de systèmes de vision qui étaient impensables il y a une décennie. Examinons quelques applications industrielles qui sont à la base des exigences les plus agressives du DSP.

Applications industrielles pour l'évolution du PSD

Vision de la machine industrielle pour le contrôle de la qualité

Dans la fabrication, les systèmes de vision machine inspectent des milliers de produits par minute pour détecter les défauts de surface, la précision dimensionnelle et la justesse de montage. Des caméras à grande vitesse fonctionnant à des centaines de cadres par seconde fournissent des données aux DSP qui doivent détecter les anomalies en temps réel – souvent en quelques microsecondes par pixel. La tendance vers la vision 3D pour la métrologie ajoute une charge de calcul supplémentaire, car les cartes de profondeur doivent être calculées à partir de modèles de lumière stéréo ou structurés.

Véhicules autonomes et systèmes avancés d'assistance au conducteur (ADAS)

Les algorithmes de vision informatique effectuent la détection de voies, la reconnaissance des objets, l'estimation de l'espace libre et la segmentation sémantique. Le DSP doit traiter jusqu'à 30 millions de points par seconde à partir de lidar et exécuter simultanément des réseaux neuraux sur des flux vidéo HD. Latence est critique : une commande de frein doit être émise dans les 20 ms de la détection d'un piéton.

Imagerie médicale et diagnostic

Dans les applications médicales, la vision de la machine aide à analyser les rayons X, les scans, les images d'IRM et les diapositives de microscopie. Les DSP sont utilisés pour la reconstruction en temps réel de l'image, la réduction du bruit et l'amélioration.

Sécurité et surveillance

Les DSP traitent la vidéo à résolution 4K ou 8K tout en exécutant plusieurs pipelines d'analyse. Une comparaison de DSP, GPU et FPGA pour les applications de vision souligne que les DSP offrent le meilleur compromis pour les charges de travail déterministes de faible puissance communes dans les systèmes de sécurité embarqués.

Chacune de ces applications pousse un aspect différent de la performance DSP – débit, précision, puissance, ou latence. Comme elles convergent dans des produits comme les robots intelligents et les drones autonomes, la demande de DSP polyvalents et à haute efficacité ne fera qu'augmenter.

Tendances et défis futurs

L'évolution des processeurs DSP pour la vision de la machine est loin d'être terminée. Plusieurs tendances formeront la prochaine décennie.

Edge AI et TinyML

Les modèles d'apprentissage automatique sur microcontrôleurs ultra-faible puissance sont connus sous le nom de TinyML. Des DSP avec une consommation de sous-milliwatt sont en cours de développement pour des tâches de vision toujours sur ordinateur – détection de mots de réveil, reconnaissance simple des gestes, ou détection de mouvement. Ces processeurs s'appuieront sur la quantification, la taille et des ensembles d'instructions personnalisés pour exécuter de petits filets neuraux directement sur le capteur.

Convergence architecturale avec l'informatique neuromorphe

Des puces neuromorphes, conçues pour imiter les réseaux neuraux biologiques, offrent une efficacité énergétique extrême pour les réseaux neuraux qui s'étendent. Certaines recherches suggèrent que les futurs PSD pourraient intégrer des carottes neuromorphes pour les premières étapes du traitement de la vision (p. ex. détection de contraste, détection de mouvements) tout en conservant les unités DSP conventionnelles pour les dernières étapes.

Optimisation logicielle

Les frameworks open-source comme TensorFlow Lite pour les microcontrôleurs et ONNX Runtime ajoutent des moteurs de recherche pour les DSP. Pour rester compétitifs, les fournisseurs DSP doivent fournir des SDK robustes, des bibliothèques optimisées pour le traitement d'images et les réseaux neuronaux, et des outils de simulation qui permettent aux développeurs d'algorithmes de modéliser les performances avant que le silicium ne soit disponible. Qualcomm's Hexagon DSP SDK est un exemple de premier exemple d'un tel écosystème.

Sécurité et exécution fiable

Les DSP ont besoin de fonctionnalités de sécurité matérielle comme des démarrages sécurisés, des environnements d'exécution isolés et des chemins de données chiffrés. Les architectures futures DSP intégreront probablement un processeur de sécurité dédié ou exploiteront Arm TrustZone pour protéger la propriété intellectuelle et prévenir les attaques contradictoires sur les algorithmes de vision informatique.

Ces tendances indiquent que le DSP continuera d'être une pointe de vision de la machine et des systèmes de vision d'ordinateur. Le rôle du concepteur du DSP se développe de traitement de signaux purs à l'intégration de systèmes, l'accélération de l'IA, et la sécurité.

Conclusion

L'influence de la vision de la machine et de la vision informatique sur les exigences des processeurs DSP est profonde et accélérée. L'augmentation de la résolution, les contraintes en temps réel, l'intégration en apprentissage profond et l'efficacité de puissance extrême sont en train de remodeler la façon dont les DSP sont conçus.

Pour les éducateurs et les étudiants, la compréhension de ces développements offre une fenêtre sur l'avenir de l'informatique intégrée. Le DSP n'est plus seulement un filtre numérique – c'est un coprocesseur de vision à part entière intégré dans des milliards d'appareils dans le monde entier. À mesure que les algorithmes de prochaine génération émergent avec de nouvelles exigences mathématiques – transformant l'attention, les réseaux neuraux graphiques pour la compréhension des scènes – le DSP évoluera à nouveau.