Comprendre la latence dans les interfaces audio et vidéo

Dans les systèmes audio/vidéo, même les retards de sous‐ 20 millisecondes peuvent se faire sentir, ce qui provoque des problèmes de synchronisation entre le son et l'image ou entrave l'interactivité en temps réel dans la diffusion en direct, la vidéoconférence et le jeu en ligne. Pour apprécier comment minimiser la latence, il faut d'abord comprendre les principaux contributeurs : retards de transmission, retards de traitement et surcharges.

Retards dans la transmission

Le temps de déplacement des données sur un câble ou un support sans fil est régi par la vitesse de propagation du signal (habituellement environ 60 à 70 % de la vitesse de la lumière pour le cuivre) et le débit binaire de l'interface. Les protocoles à haute vitesse tels que Thunderbolt 4 (jusqu'à 40 Gbps) ou USB4 (également 40 Gbps) réduisent le temps nécessaire pour transférer une quantité donnée de données par rapport à des standards plus anciens comme USB 2.0 (480 Mbps). Par exemple, la diffusion vidéo non compressée de 1080p60 à 3 Gbps prendrait beaucoup plus de temps sur une liaison USB 2.0 parce que le débit binaire brut est presque six fois plus lent.

Retards dans le traitement

Chaque étape de traitement du signal numérique, de la conversion analogique à la conversion numérique (ADC) et de compression/décompression (codec) à la mise à l'échelle, la conversion de l'espace de couleur et la conversion de format, ajoute de la latence. Des codecs à haute performance comme ceux basés sur JPEG XS ou la famille SMPTE VC‐2 (Dirac) sont conçus pour une compression visuelle sans perte avec une latence extrêmement faible (souvent une ligne ou quelques microsecondes). Inversement, des codecs plus lourds comme H.265/HEVC peuvent introduire des dizaines de millisecondes de retard en raison de la prédiction complexe et du codage entropie.

La pression et la pression

Les tampons sont essentiels pour absorber les jitters et pour éviter la perte de données lorsque le récepteur n'est pas prêt. Cependant, chaque phase tampon ajoute un retard égal à la taille du tampon divisée par le taux de données. De nombreuses interfaces audio grand public utilisent un tampon 256-échantillon à 48 kHz, ce qui entraîne une latence supplémentaire d'environ 5,3 ms. Les systèmes professionnels AOIP (Audio over IP) tels que Dante ou AVB peuvent fonctionner avec des tampons de taille aussi petite que 32 échantillons (0,67 ms) sur du matériel dédié.

La mesure précise de la latence nécessite des outils spécialisés comme un oscilloscope à bande haute pour les signaux électriques ou un générateur de configuration vidéo avec un délai connu. Les méthodes de test courantes comprennent des mesures de boucle arrière et une analyse de chronomètre sur un écran de référence.

Principes clés de conception pour la latence minimale

La réduction de la latence est un problème d'optimisation au niveau du système. Les principes suivants guident la conception d'interfaces audio et vidéo à grande vitesse qui ne permettent de réaliser des retards de voyage aller-retour que de quelques millisecondes ou moins.

1. Choisir des protocoles de transfert de données à haute vitesse et déterministe

Des protocoles tels que PCI Express (PCIe) 4.0/5.0, Thunderbolt 4, USB 3.2 Gen 2×2 et DisplayPort 2.0 fournissent des chemins de données déterministes et à faible latence. PCIe, par exemple, utilise une topologie point à point avec des voies dédiées et un protocole minimal en hauteur, ce qui le rend idéal pour capturer des images vidéo directement dans la mémoire GPU avec sous-microseconde latence. Thunderbolt 3/4 tunnels PCIe, DisplayPort et USB 3.x sur un seul câble, permettant la transmission de la daisy des périphériques à faible latence.

  • USB 3.2 Gen 2×2 (20 Gbps) utilise des paramètres isochrones avec des tailles de tampon programmables. Pour les interfaces audio, de nombreuses implémentations professionnelles USB atteignent une latence de parcours inférieure à 2 ms à 96 kHz avec des tampons 32 échantillons.
  • Thunderbolt 4 prend en charge les moteurs DMA (accès direct à la mémoire) qui permettent aux données audio/vidéo de contourner entièrement le processeur, réduisant considérablement les retards de traitement.
  • SDI (Serial Digital Interface)[ demeure un élément de base de la production en direct car il transporte des vidéos non compressées avec une latence déterministe, généralement inférieure à 0,2 ms par boîte de convertisseur. Les normes SMPTE ST 2081/2082 définissent 3G/6G/12G‐SDI pour 4K à 60 fps.

2. Matériel de conception pour le chemin minimal de signalisation

Chaque convertisseur (ADC, DAC, récepteur HDMI, récepteur SDI) ajoute un délai de propagation. Choisissez des composants avec la latence la plus faible spécifiée. Par exemple, l'émetteur TFP410 HDMI TFP410 a un délai typique de 0,5 ns, tandis que les DAC vidéo haute performance peuvent se régler dans moins de 10 ns. Les conceptions basées sur FPGA peuvent intégrer plusieurs blocs de traitement à l'intérieur d'une seule puce, éliminant les retards hors puce.

3. Stratégies de tampons efficaces

Pour l'audio, utiliser un double tampon avec un petit tampon (p. ex. 32 ou 64 échantillons) et un gestionnaire d'interruption sophistiqué qui minimise le temps passé dans le noyau. Pour la vidéo, envisager d'utiliser un mode -coup-through , en mode vidéo, des commutateurs qui font avancer une ligne dès que l'en-tête requis est décodé, plutôt que d'attendre un cadre entier. Les convertisseurs HDMI à SDI basés sur FPGA utilisent souvent des tampons de ligne de seulement quelques kilooctets au lieu de tampons à cadre complet, réduisant la latence du niveau de cadre (16,7 ms) au niveau de ligne (environ 15 μs).

4. Système d'exploitation en temps réel (RTOS) et réglage du noyau

Du côté de l'hôte, un système d'exploitation général comme Windows ou Linux peut introduire une latence de programmation. Utilisez un noyau en temps réel (p. ex. PREEMPT RT pour Linux) et assignez des cœurs de processeur dédiés aux fils audio/vidéo. Dans Windows, utilisez le service de planification de classe multimédia (MMCSS) pour empêcher d'autres processus d'interrompre les flux audio hautement prioritaires.

5. Stages minimal de traitement des signaux

Chaque transformation, qu'il s'agisse d'une conversion d'espace de couleur, d'une mise à l'échelle ou d'une conversion de taux d'échantillonnage audio, ajoute un temps de traitement par échantillon. Dans la mesure du possible, combinez les étapes de traitement (p. ex., conversion de couleur et mise à l'échelle dans un noyau fusionné sur GPU ou FPGA).

Technologies permettant des interfaces à faible latence

Les technologies modernes du matériel et des logiciels ont poussé les limites de la latence à moins de millisecondes dans de nombreux contextes professionnels.

Bouton-tonner et USB 3.2/4

La technologie Thunderbolt, développée par Intel et désormais intégrée à USB4, offre une connexion à bande haute unifiée, à faible latence. Avec des moteurs DMA dédiés et des canaux isochrones, elle est l'épine dorsale de nombreuses interfaces audio pro (p. ex. Universal Audio Apollo, Focusrite Clarett) et des dispositifs de capture vidéo (p. ex. Blackmagic UltraStudio). USB 3.2 Gen 2×2 à 20 Gbps est de plus en plus courante dans les équipements audio grand public et pro-sumer, fournissant une bande passante suffisante pour les audios 32 canaux 96 kHz avec des frais de latence bas.

SDI (Interface numérique sérielle)

Dans la production de films et d'événements en direct, SDI reste la norme aurifère pour le transport vidéo déterministe et à faible latence. Audio Engineering Society (AES) définit également AES3 (audio numérique équilibré) et AES67 (audio réseau) avec des exigences de latence serrées. La nature monofilaire et auto-clocking de SDI élimine la paquetstisation et les retards de montage trouvés dans les systèmes basés sur IP.

Audio sur IP (AoIP) – Dante, AVB, AES67

Le réseau audio peut introduire des retards de mise en paquets et des tampons, mais les protocoles AoIP modernes sont conçus pour une latence ultra-faible. Dante, développé par Audinate, offre des options de latence de 0,25 ms à 5 ms, sélectionnables dans la configuration du logiciel. Audio Video Bridging (AVB), ratifié en tant que IEEE 802.1BA, utilise un réseau synchronisé dans le temps avec une bande passante garantie, obtenant une latence déterministe de moins de 2 ms sur un réseau 7-hop. AES67 fournit l'interopérabilité entre différentes normes AoIP, permettant des flux multicast avec une latence aussi bas que 1 ms. Pour une utilisation en radiodiffusion, la suite SMPTE ST 2110 s'étend sur AES67 en ajoutant des flux séparés pour les données vidéo, audio et auxiliaires.

Traitement fondé sur le FPGA

Les tableaux de portes programmables sur le terrain (FPGA) de Xilinx (maintenant AMD) et d'Intel (anciennement Altera) sont des moteurs clés pour le traitement de latences ultrafaible. Leur architecture parallèle permet le traitement simultané de plusieurs canaux audio ou pixels vidéo sans le surcoût séquentiel d'un processeur ou d'un GPU. Par exemple, un FPGA peut mettre en place un commutateur de point croisé vidéo avec une latence de seulement quelques cycles d'horloges – moins de 100 ns. De nombreux convertisseurs de radiodiffusion modernes (p. ex. AJA, Blackmagic) utilisent des FPGA pour effectuer la conversion de format, l'échelle et le classement des couleurs avec latence totale sous une seule ligne vidéo.

Codecs avancés pour faible latence

La compression est souvent nécessaire pour transporter des vidéos à haute résolution sur une bande passante limitée, mais les codes GOP longs typiques (H.264, H.265) introduisent de multiples retards dans les images. Pour une faible latence, utiliser des codecs tout-intra (I-frame seulement) comme TICO (intoPIX) ou JPEG XS. JPEG XS est une norme de codec légère et visuellement inaltérable (ISO/IEC 21122) conçue pour les latences sous-cadres (< 1 ligne de retard) et pour une mise en œuvre matérielle facile.

Meilleures pratiques de mise en œuvre

La traduction des principes de conception en un produit de travail exige une attention particulière à la couche physique, au logiciel et à l'intégration du système.

Utiliser des câbles, des connecteurs et des PCB de haute qualité

Les signaux numériques à grande vitesse (p. ex., SDI 12 Gbps, PCIe Gen 4) sont sensibles aux erreurs d'impédance, aux crosstalk et aux pertes diélectriques. Utilisez Cable coaxial à faible perte de fils pour SDI; pour USB 3.2 et Thunderbolt, les câbles certifiés à 24 fils AWG assurent l'intégrité du signal sur les longs trajets. Sur les PCB, suivez les directives du fabricant pour l'acheminement des paires différentielles, gardez les traces en correspondance avec la longueur et utilisez des piles d'impédance contrôlées.

Optimiser les pilotes et les logiciels firmware

Même avec le matériel le plus rapide, un pilote mal écrit peut ajouter des centaines de microsecondes. Utilisez des interruptions de minuterie à haute résolution (HPET, TSC) au lieu de ticelles de système périodiques. En audio, implémentez les accès mémoire -copie zéro et -combinage -écriture pour éviter les copies inutiles de données. Pour la capture vidéo, utilisez des E/S et DMA maquillés en mémoire pour déplacer les données directement de l'interface vers un tampon d'espace utilisateur.

Mettre en oeuvre la surveillance et l'étalonnage en temps réel

Une fois le système construit, mesurez la latence de bout en bout en utilisant une méthode qui injecte une impulsion connue avec un tampon de temps (p. ex., un générateur d'impulsions de synchronisation) et observe la sortie. Des outils comme VideoToolShed="s Dr. Latency clip fournissent une mesure visuelle simple pour la vidéo. Pour l'audio, utilisez [RME="s loop-back test[] ou un poste de travail audio numérique avec un plugin de latence.

Intégration et essais au niveau du système

Élaborer un plan d'essai complet qui comprend les scénarios les plus défavorables : taux de données maximaux, flux audio/vidéo simultanés et combinaisons avec d'autres périphériques. Utiliser des outils de vérification officiels pour les conceptions FPGA pour assurer la fermeture du chronométrage à la vitesse requise.

Conclusion

La conception d'interfaces audio et vidéo à grande vitesse qui offrent toujours un latence minimale est un défi multidisciplinaire. Elle exige une compréhension approfondie de la transmission des couches physiques, de la sélection des composants, de la gestion des tampons et des nuances du système d'exploitation en temps réel. En privilégiant les protocoles déterministes comme Thunderbolt, SDI et PCIe; en tirant parti de la puissance parallèle des FPGA; et en harmonisant soigneusement chaque étape de tampon et de traitement, les ingénieurs peuvent obtenir des retards aller-retour suffisamment bas pour même les applications audio, la téléprésence et les applications audio professionnelles les plus exigeantes.