Nouvelles tendances dans les technologies de base de données pour l'ingénierie des véhicules autonomes

Chaque véhicule peut produire plusieurs téraoctets de données de capteurs, de caméras, de LIDAR et de radars par jour. Pour soutenir le développement, la validation et le fonctionnement en temps réel de ces systèmes, il faut des technologies de base de données qui s'échellent horizontalement, qui fournissent des latences de sous-milisecube et qui maintiennent la cohérence entre les environnements distribués. À mesure que l'industrie arrive à maturité, plusieurs nouvelles tendances dans les technologies de base de données remodelent la façon dont les ingénieurs de l'AV architecturent leurs pipelines de données, de la simulation et de la formation à la prise de décisions à bord et à la gestion du parc automobile.

Les défis de la gestion des données fondamentales dans le génie automobile autonome

Avant de plonger dans les tendances, il est essentiel de comprendre les contraintes uniques que les systèmes de données AV doivent satisfaire. Ces défis conduisent à l'adoption de solutions de base de données spécialisées.

Volume et vélocité

Un seul véhicule d'essai autonome peut générer de 1 à 10 téraoctets de données brutes par jour lorsque tous les capteurs sont pleinement utilisés. Cela comprend des flux vidéo haute résolution, des nuages de points de LIDAR, des balayages radar, des traces GPS et des journaux de bus CAN. Les systèmes de bases de données doivent ingérer, indexer et interroger ces données en temps quasi réel pour soutenir l'analyse hors ligne et la prise de décisions à bord.

Exigences en matière de latence et de temps réel

Les fonctions de conduite autonomes telles que la détection des obstacles, la planification du trajet et le freinage d'urgence nécessitent des décisions en millisecondes. Les bases de données embarquées doivent pouvoir stocker et récupérer des informations d'état (par exemple, les carrelages, les voies d'objets, les règles de circulation) avec une faible latence déterministe.

Intégrité et cohérence des données

Les algorithmes de fusion des capteurs combinent des données provenant de sources multiples; toute incohérence dans l'horodatage ou la commande peut conduire à des modèles mondiaux incorrects. Les bases de données distribuées utilisées dans les flottes doivent garantir une cohérence éventuelle ou forte selon le contexte.

Échelle et coût

L'empreinte totale des données d'un programme de développement AV peut atteindre les exaoctets lors de l'affacturage des données de simulation, des ensembles de données de formation et des journaux du monde réel. Les architectures de bases de données doivent s'élargir de façon élastique sans casser le budget, favorisant des solutions qui séparent le calcul du stockage et permettent un accès à niveaux en fonction de la température des données.

Bases de données sur l'aide au travail et à la distribution

En traitant les données le plus près possible de la source, le véhicule lui-même, les ingénieurs peuvent réduire le volume de données envoyées au cloud, réduire la latence des voyages aller-retour et maintenir la fonctionnalité même lorsque la connectivité est intermittente ou absente.

Bases de données distribuées conçues pour les environnements de bord, comme Apache Cassandra, Riak et CockroachDB[, permettent à chaque véhicule d'agir comme un nœud de base de données autonome. Ces systèmes reproduisent des métadonnées critiques (p. ex., mises à jour de cartes, registres d'incidents de trafic) sur les véhicules et les serveurs centraux utilisant des types de données reproduites sans conflit (CRDT) ou des protocoles de consensus comme Raft.

Par exemple, le système Cadillac=S Super Cruise repose sur une combinaison de bases de données embarquées et de synchronisation nuageuse pour maintenir une carte haute définition à jour. Lorsqu'un véhicule détecte un changement de route, il annote la base de données locale; la mise à jour se propage ensuite à d'autres véhicules via des nœuds de bord. Ce modèle, souvent appelé -learning -- est seulement réalisable avec une architecture de base de données distribuée qui priorise éventuellement la cohérence par rapport à une forte cohérence, le cas échéant.

Traitement des données en temps réel et bases de données in-Memory

Les décisions critiques en matière de sécurité dans les appareils AV nécessitent l'accès aux données en microsecondes. Les bases de données relationnelles traditionnelles basées sur disque introduisent trop de latence pour les opérations à bord.

Redis est largement utilisé pour la fusion des capteurs de cache, la gestion des états de session et le stockage des pistes d'objets à court terme. Son support pour les structures de données comme les ensembles triés et les flux rend particulièrement adapté pour les données de capteurs de séries temporelles qui doivent être posées avec un minimum de frais généraux. MemSQL[ (maintenant SingleStore) et VoltDB apportent un traitement in-memory combiné avec des capacités SQL, permettant des requêtes analytiques complexes sur les données en streaming – par exemple, en calculant la probabilité d'un passage piéton sur la base de schémas de trajectoire historiques.

En plus des magasins en mémoire pure, Apache Kafka est devenu indispensable pour découpler l'ingestion de capteur de traitement. Les sujets Kafka servent de système nerveux central d'un pipeline de données AV=s : chaque capteur écrit à son sujet, et les services de traitement consomment et enrichissent les données avant d'écrire les résultats à des bases de données en mémoire pour un accès à faible latence.

Un exemple notable est l'utilisation de Waymo , de bases de données spécialisées en mémoire pour gérer les prédictions comportementales. Leur système maintient un modèle d'environnement local --qui met à jour à 100 Hz, mélangeant LIDAR, caméra et données radar. La base de données sous-jacente doit supporter les écritures haute fréquence et les requêtes point à point dans le temps – capacités que les magasins optimisés par la mémoire fournissent beaucoup plus efficacement que les alternatives basées sur disque.

Intégration de l'intelligence artificielle

Les technologies de base de données évoluent au-delà de la simple conservation et récupération pour devenir des participants actifs aux flux de travail de l'IA.

Boutiques de fonctionnalités pour le développement AV

Un magasin de fonctionnalités sert de dépôt centralisé pour les fonctions réutilisables en version utilisées pour la perception et la planification des modèles. Des solutions comme Fête et Tecton[ sont de plus en plus superposées aux bases de données distribuées (p. ex. AlloyDB[ ou Firestore[) pour fournir des fonctions à faible latence servant à la fois pendant l'entraînement et l'inférence en ligne.

Bases de données vectorielles pour la recherche sémantique

Les modèles d'apprentissage profond représentent souvent des objets (péditeurs, véhicules, panneaux) comme des embellies haute dimension. Les bases de données vectorielles telles que Pinecone[, Milvus[ et Fécondité[ permettent aux AV d'effectuer des recherches de similarité entre ces embellies en millisecondes. Cette capacité sert à identifier les cas de bordures rares – par exemple, - trouver toutes les scènes de conduite où un piéton a été occlus par un camion – en cherchant des vecteurs d'intégration semblables plutôt que de se fier uniquement aux balises de métadonnées.

Gestion du cycle de vie des modèles pilotés par la base de données

Les entreprises AV collectent des petaoctets de données étiquetées, elles doivent gérer les versions des ensembles de données, suivre la ligne de modèle et assurer la reproductibilité. Des outils comme DVC et LakeFS[ apportent la sémantique de contrôle des versions dans les lacs de données à grande échelle, tandis que des bases de données spécialisées enregistrent les métadonnées de chaque cycle de formation, y compris les hyperparamètres, les mesures de validation et la tranche de données exacte utilisée.

Bases de données de séries chronologiques pour les registres de capteurs et la télémétrie

La plupart des données générées par les véhicules autonomes sont intrinsèquement temporelles : les scanners LIDAR, les messages de bus CAN, les coordonnées GPS et les images de caméra sont tous des horodatages. Les bases de données à usage général sont souvent en difficulté avec les schémas de débit et de requête requis par les données de séries chronologiques.

InfluxDB et TimescaleDB[ (une extension PostgreSQLTM) sont des options de premier plan. Elles offrent des politiques de conservation automatique des données, des amortissements en baisse et des agrégats continus qui permettent aux ingénieurs de se poser des questions sur de longues tendances historiques (p. ex., vitesse moyenne à l'intersection X au cours de la semaine dernière) sans scanner de données brutes.

Une autre tendance est l'utilisation de Apache Druid pour l'analyse en temps réel sur la télémétrie en continu de flottes entières. Druid prend en charge les requêtes en sous-secondes sur des trillions d'événements, permettant aux gestionnaires de parc de surveiller la santé des véhicules, la dégradation des batteries et la détection d'anomalies en temps quasi réel.

Bases de données graphiques pour la cartographie et l'acheminement à haute définition

Les véhicules autonomes dépendent de cartes haute définition qui représentent la géométrie de la route, les marquages de voie, les panneaux de signalisation et les obstacles dynamiques comme un réseau de nœuds et de bords interconnectés.Les bases de données relationnelles ne sont pas optimisées pour les requêtes transversales telles que -find le plus court chemin du point A au point B évitant les zones de construction.

Neo4j et Amazon Neptune[ sont utilisés par les entreprises AV pour modéliser les topologies, stocker les métadonnées des graphiques routiers et prendre en charge les mises à jour en temps réel de l'acheminement. Par exemple, lorsqu'un véhicule reçoit une notification de fermeture routière via V2X (véhicule à tout), la base de données des graphiques peut rapidement recalculer d'autres itinéraires et mettre à jour le parcours prévu du véhicule.

En outre, les bases de données graphiques supportent des cartes en version, permettant aux ingénieurs de tester différents instantanés de cartographie dans la simulation. En stockant les versions de cartes comme sous-graphes étiquetés, les équipes peuvent faire reculer les changements et reproduire des incidents qui pourraient avoir été causés par des données de cartes statiques.

Les lacs de données et le stockage des données en nuage

Compte tenu du volume des données AV, de nombreuses organisations se sont éloignées des entrepôts de données monolithiques et se sont tournées vers des lacs de données construits sur des objets tels que Amazon S3, Google Cloud Storage, ou Azure Blob Storage[. Ces systèmes offrent une capacité pratiquement illimitée et permettent la séparation du calcul et du stockage, une caractéristique essentielle pour l'efficacité économique.

Les architectures modernes de lacs de données utilisent des formats de fichiers colonnelar comme Apache Parquet et ORC[ pour compresser et indexer les journaux de capteurs AV. Des moteurs de requêtes comme Presto, Apache Spark[ et DuckDB[ peuvent alors lancer des requêtes SQL directement sur le lac de données sans exiger de ETL coûteux.

Une tendance majeure est l'adoption de formats de table ouverts[ tels que Apache Iceberg[, lac Delta[ et Hudi. Ces formats apportent des transactions ACID, évolution de schéma et voyage dans le temps vers les lacs de données. Pour l'ingénierie AV, le voyage dans le temps est particulièrement puissant : il permet aux développeurs de demander l'état exact d'un ensemble de données tel qu'il existait à un moment précis dans le passé, ce qui est essentiel pour reproduire des bogues ou évaluer la performance du modèle sur des instantanés de données historiques.

Les pipelines de version et de simulation de données

La simulation est une pierre angulaire du développement de l'AV et la simulation nécessite l'accès à des scénarios réalistes et reproductibles. Les technologies de base de données sont maintenant utilisées pour contrôler la version non seulement coder mais aussi l'ensemble des données associées à un exercice de simulation, y compris les données de capteur, les étiquettes de vérité au sol, les versions de carte et les points de contrôle de modèle.

DVC (Data Version Control) s'intègre au stockage dans le cloud pour créer un système de version Git pour les gros ensembles de données. Lorsqu'une simulation révèle une régression, les ingénieurs peuvent tracer les données exactes et les versions de modèles qui ont produit l'échec. Certaines équipes utilisent LakeFS[ pour créer des branches isolées d'un lac de données, permettant une expérimentation parallèle sans interférer avec les ensembles de données de production.

Une autre pratique émergente est de stocker les journaux de replay de simulation dans une base de données qui peut être interrogée pour l'analyse statistique. En enregistrant chaque acteur de trajectoire, vitesse et sortie de décision pendant la simulation, les ingénieurs peuvent exécuter des requêtes agrégées comme -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Sécurité, conformité et gouvernance des données

Les systèmes de bases de données doivent maintenant fournir un chiffrement robuste au repos et en transit, un contrôle d'accès à grain fin et une archivage des audits pour se conformer aux règlements tels que le RGPD, le CCPA et la norme ISO 26262.

Les bases de données cloud de pointe offrent une sécurité de niveaucolonne[ et un masque de données dynamiques[ pour masquer des informations personnellement identifiables (PII) dans les données AV. Par exemple, une requête de base de données qui retourne des cadres de caméra peut automatiquement brouiller les faces ou les plaques de licence avant de présenter les résultats à un développeur. Un cryptage homomorphe[ et un calcul confidentiel[ sont également explorés pour permettre l'analyse sur des données de capteurs chiffrés sans exposer de contenu brut.

En stockant des haches de données AV critiques dans une chaîne de blocs, les fabricants peuvent créer des pistes d'audit falsifiées évidentes pour la reconstruction d'accidents et la conformité réglementaire. Bien que plusieurs consortiums (p. ex. Initiative de la chaîne ouverte de mobilité) ne soient pas encore en place, pilotent ces approches.

Perspectives d'avenir : données quantitatives, sur l'apprentissage fédéré et sur les bases de données autonomes

Les technologies de base de données qui soutiennent l'ingénierie de l'AV continueront d'évoluer parallèlement aux progrès du matériel et du réseau.

Les bases de données de Quantum restent en phase de recherche, mais elles ont la promesse de résoudre des problèmes d'optimisation et de recherche qui sont insolubles pour les bases de données classiques. Par exemple, la planification de trajectoires dans un graphique avec des millions de nœuds (représentant des segments routiers) pourrait être effectuée exponentiellement plus rapidement à l'aide d'algorithmes quantiques.

L'apprentissage fédéré remodele la façon dont les données AV sont collectées et utilisées pour la formation des modèles. Au lieu de centraliser toutes les données des capteurs, le modèle est formé localement sur chaque véhicule et seules les mises à jour des gradients sont transmises à une base de données centrale.

Enfin, la montée en puissance des bases de données autonomes, pionéisées par Oracle Autonomous Database et Amazon Aurora, signifie que de nombreuses tâches de gestion de base de données courantes comme l'indexation, l'accord et l'échelle seront gérées par l'IA.

En conclusion, les technologies de base de données qui sous-tendent l'ingénierie autonome des véhicules évoluent rapidement pour répondre aux exigences uniques de la gestion des données en temps réel, à volume élevé et critique en matière de sécurité. Des bases de données distribuées en bordure aux bases de données de séries chronologiques et graphiques, chaque tendance aborde un point de douleur spécifique dans le pipeline de données AV.

External References: