Table of Contents

Integrare LIDAR con sensori complementari è diventato un punto di riferimento dei moderni sistemi di mappatura e percezione. I sistemi di fusione multisensoriale che coinvolgono Light Detection and Ranging (LiDAR), le telecamere e le unità di misura inerziali (IMU) sono stati ampiamente adottati in settori quali la guida autonoma e la robotica grazie alle loro capacità di percezione complementari.

Comprendere i Fondamenti della Fusione del Sensore

La fusione del sensore rappresenta un approccio sofisticato alla percezione ambientale che sfrutta i punti di forza delle molteplici modalità di rilevamento, compensando le loro singole debolezze. Sensor Fusion fa parte del modulo Perception. Vogliamo fondere i dati dai nostri sensori di visione per aggiungere ridondanza, certezza o sfruttare l'utilizzo di sensori multipli. Il principio fondamentale dietro la fusione del sensore è che i sensori diversi catturano aspetti distinti dell'ambiente e la loro uscita combinata offre una rappresentazione più completa e affidabile.

L'importanza della fusione dei sensori si manifesta quando si esaminano i limiti dei singoli sensori. Le telecamere forniscono informazioni semantiche ad alta risoluzione ma sono sensibili ai cambiamenti di illuminazione, ombre e condizioni atmosferiche avverse come nebbia o pioggia pesante. LiDAR offre una struttura geometrica 3D precisa, ma le sue prestazioni possono degradarsi su superfici riflettenti o a lungo raggio.

Tipi di sensori integrati in comune con LIDAR

I moderni sistemi di mappatura e percezione integrano in genere LIDAR con diversi tipi di sensori complementari, ciascuno con capacità uniche per le prestazioni del sistema complessivo.

Sensori di fotocamera

I moderni sistemi di percezione adottano sempre più eterogenee suite di sensori che integrano sensori monoculari con moduli LiDAR per superare i limiti di modalità specifiche. Mentre le telecamere RGB forniscono una codifica semantica densa e una risoluzione spaziale elevata, affrontano limitazioni inerenti alla stima della profondità metrica a causa di vincoli di geometria proiettiva.

La fotocamera fornisce informazioni semantiche dense ma non fornisce informazioni precise sulla distanza al bersaglio, mentre LiDAR fornisce informazioni accurate sulla profondità ma con una risoluzione rada. Questo rapporto complementare rende la fusione della fotocamera-LIDAR particolarmente efficace per le attività di rilevamento e classificazione degli oggetti. Le telecamere eccelleno nell'identificazione dei tipi di oggetti, nei segni di lettura, nel rilevamento delle marcature di corsia e nella comprensione del contesto semantico attraverso informazioni sul colore e sulla texture.

Kyocera Corporation ha annunciato lo sviluppo del suo unico sensore di fusione Camera-LIDAR, il primo LIDAR al mondo che allinea gli assi ottici della fotocamera e LIDAR in un unico sensore. Questo design unico permette l'acquisizione in tempo reale di dati sovrapposti senza parallax, un'impresa che era in precedenza inattaccabile di calibrazione e riduce la complessità dei dati hardware.

Sensori radar

I sensori radar, in particolare i moderni sistemi radar 4D, forniscono informazioni complementari fondamentali a LIDAR. La fusione di LiDAR e radar 4D è emersa come una soluzione promettente per un rilevamento di oggetti 3D robusto e accurato in condizioni complesse e avverse. I ricercatori hanno rivolto a LiDAR con fusione radar 4D, sfruttando i punti di forza complementari di queste due modalità.

La capacità di Radar di penetrare nebbia, pioggia, neve e polvere lo rende inestimabile per l'intero funzionamento.A differenza di LIDAR, che può essere degradato in modo significativo dalle particelle atmosferiche, il radar mantiene prestazioni costanti nelle condizioni meteorologiche difficili. Inoltre, il radar può misurare direttamente la velocità degli oggetti attraverso il cambiamento Doppler, fornendo informazioni sul movimento che completa le misurazioni spaziali di LIDAR.

Un framework modulare a latenza integra le modalità Camera, LiDAR e Radar per la classificazione degli oggetti nella guida autonoma. L'integrazione di tutti e tre i tipi di sensori – fotocamera, LIDAR e radar – crea un sistema di percezione altamente robusto in grado di funzionare in modo affidabile attraverso diverse condizioni ambientali.

Moduli GPS e GNSS

I moduli Global Positioning System (GPS) e Global Navigation Satellite System (GNSS) forniscono informazioni di posizionamento assolute che completano le relative misurazioni spaziali di LIDAR. Mentre LIDAR eccelle nella creazione di mappe locali dettagliate e nel rilevamento di oggetti vicini, GPS/GNSS fornisce coordinate di riferimento globali che permettono al sistema di capire la sua posizione all'interno di un contesto geografico più ampio.

L'integrazione del GPS con LIDAR è particolarmente importante per applicazioni che richiedono georeferenziazione mappatura, come l'ispezione, l'ispezione delle infrastrutture e la navigazione autonoma su lunghe distanze. I dati GPS aiutano a inizializzare gli algoritmi di localizzazione basati su LIDAR e prevengono la deriva nelle stime di posizione durante i periodi di funzionamento prolungati.

Unità di misura inerziale (UMI)

Le unità di misura inerziali sono componenti essenziali nei sistemi di mappatura basati su LIDAR, fornendo misurazioni di movimento ad alta frequenza che completano le osservazioni spaziali di LIDAR.

IMU misurano l'accelerazione e la velocità angolare, consentendo al sistema di monitorare il suo movimento tra le scansioni LIDAR. Ciò è particolarmente prezioso perché i sensori LIDAR funzionano in genere a frequenze relativamente basse (10-20 Hz per molti sistemi), mentre IMU possono fornire misurazioni a centinaia o migliaia di Hertz. I dati IMU ad alta frequenza aiutano a interpolare la posizione e l'orientamento della piattaforma tra le misurazioni LIDAR, consentendo una compensazione del movimento più accurata e un miglioramento della qualità.

La ricerca futura potrebbe integrare più sensori di veicoli, come radar a onde millimetriche, unità di misura inerziali (IMU), e telecamere a infrarossi, per raccogliere dati ambientali più ricchi. La combinazione di dati IMU con misurazioni LIDAR è fondamentale per algoritmi di localizzazione e mappatura simultanea (SLAM), che consentono robot e veicoli autonomi di costruire mappe mentre tracciano simultaneamente la loro posizione all'interno di tali mappe.

Telecamere a infrarossi termiche

Le telecamere a infrarossi termiche rappresentano un tipo di sensore specializzato ma sempre più importante per i sistemi di fusione LIDAR. Un sistema di fusione del sensore che combina una telecamera a infrarossi termico e un sensore LiDAR può rilevare e identificare in modo affidabile gli oggetti anche in ambienti con scarsa visibilità, come il giorno o la notte.

A differenza delle telecamere RGB tradizionali che si basano sulla luce visibile riflessa, le telecamere termiche rilevano le radiazioni infrarosse emesse da oggetti basati sulla loro temperatura, rendendole particolarmente efficaci per rilevare pedoni, animali e veicoli indipendentemente dalle condizioni di illuminazione. La fusione dei dati delle telecamere termiche con le misurazioni spaziali di LIDAR crea un sistema di rilevamento robusto che mantiene le prestazioni durante il funzionamento notturno e in condizioni di visibilità difficili dove le telecamere convenzionali lottano.

Architettura e livelli di fusione del sensore

La fusione dei sensori può essere implementata a diversi livelli architettonici, ognuno con caratteristiche distinte, vantaggi e requisiti computazionali. La comprensione di questi livelli di fusione è essenziale per la progettazione di sistemi multisensori efficaci.

Fusione precoce (Low-Level Fusion)

La fusione precoce, nota anche come fusione a basso livello o a livello di dati, combina i dati del sensore prima che si verifichi un'elaborazione ad alto livello. La fusione tardiva (fusione a basso livello del sensore) è circa la fusione dei dati grezzi. La fusione tardiva è circa fondere gli oggetti (fusione del sensore a livello medio) o le tracce (fusione del sensore di alto livello) Quando si fa la fusione del sensore precoce, vogliamo fare l'associazione tra nubi a punti e pixel o pixel o scatole.

Le tecniche di fusione variano ampiamente; alcuni metodi utilizzano la fusione precoce per combinare i dati dei sensori prima di alimentarlo in un unico modello, mentre altri utilizzano la fusione tardiva, combinando le uscite dei singoli sensori nella fase decisionale.

Le nubi a punto grezzo vengono convertite in piani di fotocamera per ottenere un'immagine di profondità 2D. Progettare un blocco di fusione a funzione trasversale per collegare i rami di elaborazione della profondità e RGB, la strategia di fusione a strati viene applicata per integrare i dati multimodalità. Questo approccio consente all'algoritmo di fusione di sfruttare le correlazioni nei dati grezzi e può potenzialmente estrarre più informazioni che elaborare ogni flusso di sensore in modo indipendente.

I vantaggi della fusione precoce includono la capacità di sfruttare le correlazioni di precisione tra le modalità dei sensori e la precisione potenzialmente più elevata quando sono disponibili dati di formazione sufficienti. Tuttavia, la fusione precoce presenta anche sfide: richiede una calibrazione spaziale e temporale precisa tra i sensori, può essere computazionalmente intensiva e può essere sensibile ai guasti dei sensori o alla qualità dei dati degradata da una modalità.

Fusione di medio stadio (Feature-Level Fusion)

MS-Occ, un nuovo framework di fusione multistadio LiDAR-camera che comprende fusione di medio-stadio e fusione di fine-stadio, è proposto, integrando la fedeltà geometrica di LiDAR con la ricchezza semantica basata sulla fotocamera tramite fusione trasversale gerarchica.

Nella fusione a livello di funzionalità, i dati di ciascun sensore vengono elaborati attraverso le fasi iniziali di estrazione delle caratteristiche prima della fusione. Ad esempio, le nubi a punto LIDAR potrebbero essere elaborate attraverso la voxelizzazione e strati di convoluzione radi, mentre le immagini della fotocamera passano attraverso strati di rete neurali convoluzionali. Le mappe delle caratteristiche che ne derivano da entrambe le modalità vengono poi combinate utilizzando varie strategie di fusione come la concatenazione, i meccanismi di attenzione o i moduli di fusione.

L'algoritmo si fonde con adattatività alle caratteristiche geometriche LiDAR e alle caratteristiche semantiche della fotocamera attraverso la ponderazione dell'attenzione del canale, migliorando la rappresentazione multimodale delle caratteristiche da parte di una priorità dinamica dei canali informativi.

La fusione a livello di funzionalità offre un equilibrio tra l'integrazione finemente granulata della fusione precoce e la modularità della fusione tardiva, consentendo di elaborare ogni modalità del sensore con architetture specializzate ottimizzate per quel tipo di dati, consentendo al contempo interazioni tra i vari moduli a livello di funzionalità.

Fusione tardiva (fusione ad alta velocità)

La fusione tardiva, chiamata anche fusione a livello decisionale o ad alto livello, combina le uscite di algoritmi di rilevamento indipendente o di tracciamento in esecuzione su ogni modalità sensore.

Nelle architetture di fusione tardiva, ogni sensore opera in modo indipendente per rilevare oggetti, valutare posizioni o eseguire altri compiti di percezione. I risultati di queste linee di elaborazione indipendenti vengono poi combinati con algoritmi di associazione. Quando si fa Late Sensor Fusion, vogliamo fare l'associazione tra i risultati (scatolo di entrata) e quindi avere algoritmi come l'Algoritmo ungherese e i filtri Kalman per risolverlo.

Il nostro approccio si basa sulle tecniche di fusione tardiva, consentendo modelli di sensori indipendenti e consentendo strategie di fusione flessibili. La natura modulare della fusione tardiva offre diversi vantaggi: i sensori possono essere sviluppati e ottimizzati in modo indipendente, il sistema è più robusto per i singoli guasti dei sensori, ed è più facile aggiungere o rimuovere i sensori senza ridisegnare l'intero condotto di percezione.

La fusione tardiva è particolarmente adatta per sistemi con sensori eterogenei che possono operare a frequenze diverse o avere diversi campi di vista. Il trade-off è che la fusione tardiva non può catturare correlazioni finissime tra le modalità dei sensori in modo efficace come approcci di fusione precedenti, potenzialmente con conseguente lieve riduzione delle prestazioni in condizioni ideali.

Approcci ibridi della fusione

I moderni sistemi di fusione dei sensori impiegano sempre più approcci ibridi che combinano più livelli di fusione per sfruttare i vantaggi di ciascuno. I metodi di fusione ibridi tendono a raggiungere la massima robustezza, ma la loro complessità, costo di formazione e requisito per i set di dati multisensori sincrono possono limitare la distribuzione pratica.

Un'architettura ibrida di fusione potrebbe utilizzare la fusione precoce per coppie di sensori strettamente accoppiate (come LIDAR e fotocamera montate nello stesso alloggiamento), mentre impiegando la fusione tardiva per integrare sensori aggiuntivi come radar o GPS. Questo approccio multi-livello consente ai progettisti di sistema di ottimizzare la strategia di fusione per ogni combinazione di sensori in base alle loro caratteristiche, ai requisiti di sincronizzazione e ai vincoli computazionali.

Tecniche di fusione e algoritmi

L'implementazione di una fusione efficace dei sensori richiede algoritmi sofisticati che possono gestire le sfide di unire fonti di dati eterogenee.

Filtro Kalman e Filtro Kalman esteso

Il filtro Kalman rappresenta uno degli algoritmi più fondamentali e ampiamente utilizzati nella fusione dei sensori, offrendo un metodo ottimale per stimare lo stato di un sistema dinamico dalle misurazioni rumorose, rendendolo ideale per combinare i dati da sensori multipli con diverse caratteristiche di rumore e velocità di aggiornamento.

Nei sistemi di fusione basati su LIDAR, i filtri Kalman sono comunemente utilizzati per tracciare oggetti in movimento combinando le misurazioni di posizione da LIDAR con le informazioni di velocità da radar o previsioni di movimento da dati IMU. Il filtro mantiene una stima probabilistica dello stato dell'oggetto (posizione, velocità, accelerazione) e aggiorna questa stima in quanto nuove misure arrivano da sensori diversi, ponderando ogni misura in base alla sua precisione stimata.

Il filtro Kalman esteso (EKF) estende il filtro Kalman di base per gestire dinamiche e modelli di misura del sistema non lineari, comuni nelle applicazioni reali. Ad esempio, il rapporto tra le misurazioni LIDAR e la posizione del veicolo comporta trasformazioni geometriche non lineari, rendendo EKF una scelta naturale per la fusione LIDAR-IMU nei sistemi di navigazione.

Filtro Kalman non concentrato

Il Filtro Kalman non concentrato (UKF) fornisce un approccio alternativo alla gestione di sistemi non lineari che spesso supera il Filtro Kalman Esteso. Un filtro Kalman non concentrato viene utilizzato per prevedere con precisione lo stato di movimento di oggetti non lineari, e le informazioni di movimento dell'oggetto vengono aggiunte al modulo di corrispondenza IoU per migliorare la precisione corrispondente nel processo di associazione dati.

Invece di linearizzare le funzioni non lineari come fa l'EKF, il UKF utilizza una tecnica di campionamento deterministica per catturare la media e la covarianza della distribuzione dello stato attraverso una serie di punti di campionamento accuratamente scelti.

Nel contesto della fusione LIDAR, UKF è particolarmente utile per tracciare oggetti con modelli di movimento complessi, come i veicoli che effettuano giri o i pedoni che cambiano direzione. La migliore precisione nella previsione del movimento migliora la capacità del sistema di mantenere tracce coerenti anche quando gli oggetti sono temporaneamente occlusi o quando le misurazioni dei sensori sono rumorose.

Filtro particella

I filtri a particelle, noti anche come metodi Sequential Monte Carlo, rappresentano la distribuzione dello stato utilizzando un insieme di campioni ponderati (particelle) piuttosto che una distribuzione parametrica, che rende i filtri antiparticella particolarmente adatti per la gestione di sistemi altamente non lineari, rumore non gaussiano e distribuzioni multimodali che possono sorgere in complessi scenari di fusione dei sensori.

In localizzazione e mappatura basati su LIDAR, i filtri di particelle sono comunemente utilizzati per problemi di localizzazione globale in cui la posizione iniziale è sconosciuta o altamente incerta. Ogni particella rappresenta un'ipotesi sullo stato del sistema (come la posizione del robot), e le particelle sono ponderate in base a quanto bene spiegano le misurazioni dei sensori osservati.

La flessibilità dei filtri di particelle è a un costo computazionale, in quanto richiedono in genere centinaia o migliaia di particelle per rappresentare con precisione le distribuzioni complesse. Tuttavia, l'hardware di calcolo moderno e i miglioramenti algoritmici hanno reso i filtri di particelle sempre più pratici per le applicazioni in tempo reale.

Fusione basata sull'apprendimento profondo

L'apprendimento approfondito ha rivoluzionato la fusione dei sensori negli ultimi anni, consentendo l'apprendimento end-to-end delle strategie di fusione direttamente dai dati. Questa recensione analizza le attuali tecniche di armonizzazione dei dati e preprocessing, i vari livelli di fusione dei dati, e il ruolo trasformativo degli algoritmi di apprendimento automatico e deep learning, compresi i modelli di fondazione emergenti.

Le architetture di rete neurali per la fusione dei sensori possono apprendere relazioni complesse e non lineari tra diverse modalità di sensori che sarebbero difficili o impossibili da modellare con approcci tradizionali. Le reti neurali convoluzionali (CNN) sono particolarmente efficaci per l'elaborazione delle immagini di punti LIDAR e di telecamere, mentre le reti neurali ricorrenti (RNN) e i trasformatori possono modellare dipendenze temporali nei dati dei sensori sequenziali.

Un altro approccio moderno di fusione, DifFUSER, sfrutta i modelli di diffusione per fondere le caratteristiche multi-modali e generare robuste rappresentazioni BEV. Utilizzando raffinatezza generativa, il modello può recuperare le informazioni di modalità mancanti o corrotte, migliorando la stabilità della percezione sotto degradazione.

I meccanismi di attenzione sono diventati particolarmente importanti nella fusione basata sull'apprendimento profondo, che permettono alla rete di pesare dinamicamente il contributo di diversi sensori basati sulla loro affidabilità e rilevanza in contesti specifici. Ad esempio, una rete di fusione potrebbe imparare a contare più fortemente su LIDAR in condizioni di scarsa illuminazione in cui le prestazioni della fotocamera si degrada, sottolineando i dati della fotocamera in ambienti ben illuminati dove fornisce ricche informazioni semantiche.

Teoria del Dempster-Shafer

La teoria delle prove di Dempster-Shafer fornisce un quadro matematico per combinare le prove da più fonti con diversi gradi di incertezza. Una strategia di corrispondenza trassezione-over-union (IoU), basata sulla probabilità di distanza di punto centrale e sulla teoria migliorata di Dempster-Shafer (D-S), viene utilizzata per eseguire la fusione della fiducia di classe per ottenere il risultato finale di rilevamento della fusione.

A differenza degli approcci Bayesian che richiedono distribuzioni precise di probabilità, la teoria di Dempster-Shafer può rappresentare esplicitamente l'incertezza e l'ignoranza, rendendolo particolarmente utile per gli scenari di fusione dei sensori in cui i sensori differenti possono avere livelli di fiducia variabili nelle loro misurazioni o dove alcuni sensori potrebbero non essere in grado di fornire informazioni su alcuni aspetti dell'ambiente.

Nella fusione con la fotocamera LIDAR per il rilevamento degli oggetti, la teoria di Dempster-Shafer può combinare le confidenze di classificazione da entrambe le modalità, tenendo conto in modo appropriato dei casi in cui un sensore è incerto o fornisce informazioni contrastanti.

Calibrazione: Fondazione di Fusione Efficace

La calibrazione accurata tra i sensori è assolutamente critica per una fusione efficace, che ha portato ad una crescente domanda di calibrazione accurata dei sensori. Senza una precisa conoscenza dei rapporti spaziali e temporali tra i sensori, gli algoritmi di fusione non possono associare correttamente le misurazioni da diverse modalità, portando a prestazioni degradate o a un completo fallimento del sistema.

Calibrazione spaziale (parametri esperienziali)

La calibrazione spaziale determina la posizione e l'orientamento relativi tra diversi sensori. Lo sviluppo della tecnologia di fusione con le telecamere e LiDAR nei veicoli autonomi richiede una posizione relativa accurata (comprese le informazioni di postura e direzione) della fotocamera e del sensore LiDAR come una necessità assoluta.

Per la fusione della fotocamera LIDAR, la calibrazione estrinseca comporta la determinazione della matrice di rotazione e del vettore di traduzione che trasformano i punti dal telaio di coordinate LIDAR al telaio di coordinate della fotocamera.

Vengono presi più numeri di dati del campione per calcolare i parametri di calibrazione intrinseca ed estrinseca in modo che la fusione funzioni sui dati in tempo reale con un minimo errore di proiezione. La calibrazione comporta in genere la cattura dei dati di target di calibrazione appositamente progettati che sono visibili a entrambi i sensori, quindi risolvendo un problema di ottimizzazione per trovare i parametri di trasformazione che allineano al meglio le osservazioni.

Gli approcci di calibrazione moderni includono metodi basati su obiettivi utilizzando checkerboard o marcatori 3D specializzati, metodi senza obiettivo che sfruttano le caratteristiche naturali dell'ambiente e tecniche di calibrazione automatiche che perfezionano continuamente i parametri di calibrazione durante il normale funzionamento. Le capacità di rilevamento RGB sono allineate in fabbrica con il LiDAR, con la capacità di garantire precisi e coerenti parametri di calibrazione visiva tra le unità di produzione.

Calibrazione temporale (Sincronizzazione del tempo)

Alcuni studi di fusione dei sensori richiedono timestamp altamente precisi e ben allineati per le misurazioni della fotocamera e dell'IMM. Tuttavia, questi timestamp sono affetti da molteplici fattori, comprese le differenze nelle sorgenti dell'orologio, i meccanismi di attivazione, i ritardi di trasmissione, la congestione dei dati, il jitter e la deriva.

Per le piattaforme mobili, anche gli offset di tempo ridotto possono causare errori significativi nella fusione. Se un veicolo viaggia a 30 metri al secondo, un tempo di 10 millisecondo compensato provoca un disallineamento spaziale di 30 centimetri tra le misurazioni dei sensori.

Idealmente, un sistema hardware dedicato può attivare sincronizzatamente l'acquisizione dei dati per tutti i sensori, una soluzione già adottata in applicazioni che richiedono un allineamento temporale ad alta precisione, come la fusione multisensoriale di LiDAR, telecamere e radar a onde millimetri nella guida autonoma.

Calibrazione intrinseca

Oltre alla calibrazione estrinseca tra sensori, ogni sensore deve essere calibrato individualmente per correggere le distorsioni interne e le inesattezze.Per le telecamere, la calibrazione intrinseca determina parametri quali lunghezza focale, punto principale e coefficienti di distorsione delle lenti. Per i sensori LIDAR, la calibrazione intrinseca può comportare la correzione di errori di angolo del fascio, dissioni di gamma e variazioni di risposta di intensità.

La calibrazione intrinseca accurata è un prerequisito per una calibrazione estensiva e una fusione efficace. Gli errori nei parametri intrinseci si propagano attraverso la pipeline di fusione e possono degradare significativamente le prestazioni del sistema. I sensori moderni spesso sono dotati di calibrazione di fabbrica, ma la calibrazione del campo può essere necessaria per tener conto delle variazioni dovute a stress meccanico, variazioni di temperatura o all'invecchiamento dei componenti.

Applicazioni della fusione del sensore LIDAR

L'integrazione di LIDAR con sensori complementari consente prestazioni robuste in un'ampia gamma di applicazioni, ognuna con requisiti e sfide uniche.

Veicoli autonome

La guida autonoma rappresenta forse l'applicazione più esigente e di alto profilo della fusione dei sensori LIDAR. I progressi nella tecnologia dei sensori e la crescita sostanziale della potenza informatica hanno spinto un crescente interesse nella fusione multisensoriale per applicazioni come la guida autonoma.

La guida autonoma è stata ampiamente applicata in applicazioni commerciali e industriali, insieme all'aggiornamento dei sistemi di sensibilizzazione ambientale. Compiti come pianificazione del percorso, tracciamento traiettoriale e evitare ostacoli sono fortemente dipendenti dalla capacità di eseguire il rilevamento e la regressione di posizione degli oggetti in tempo reale. La fusione di LIDAR con telecamere, radar, GPS e IMU consente ai veicoli autonomi di percepire il loro ambiente in modo completo, rilevando e tracciando altri veicoli, pedoni, affidabilità ciclisti, ciclisti, ciclisti,.

Grazie alla verifica dei dati auto-collettati, le prestazioni di rilevamento e monitoraggio della fusione sono giudicate significativamente migliori di quelle di un singolo sensore. La fusione multisensoriale fornisce la ridondanza e la robustezza necessarie per le applicazioni di guida autonoma in sicurezza-critica, assicurando che il veicolo possa mantenere la consapevolezza della situazione anche se i singoli sensori non riescono o forniscono dati degradati in condizioni difficili.

In ambienti urbani con complessi modelli di traffico, la fusione della fotocamera-LIDAR eccelle nel rilevare e classificare diversi utenti stradali, tra cui veicoli, pedoni e ciclisti. Nelle autostrade, la combinazione di LIDAR e radar consente un rilevamento affidabile a lungo raggio e la misurazione della velocità per l'evasione di controllo e collisione adattativa.

Robotica e Piattaforme Mobile

I robot mobili di vari domini sfruttano la fusione del sensore LIDAR per la navigazione, la manipolazione e l'interazione con i loro ambienti. I robot di servizio che operano in ambienti interni utilizzano la fusione della fotocamera LIDAR per rilevare gli ostacoli, riconoscere gli oggetti e navigare in sicurezza intorno alle persone. I robot mobili industriali nei magazzini e nelle fabbriche impiegano la fusione dei sensori per una localizzazione precisa e l'elusione alla collisione in ambienti dinamici con attrezzature mobili e personale.

L'integrazione di LIDAR con IMU è particolarmente importante per la navigazione dei robot, consentendo una stima accurata del movimento e la costruzione della mappa attraverso gli algoritmi SLAM. LIDAR fornisce misurazioni spaziali dell'ambiente, mentre i dati IMU aiutano a monitorare il movimento del robot tra le scansioni LIDAR, migliorando l'accuratezza e la coerenza delle mappe risultante.

I robot umanoidi e i sistemi di manipolazione avanzati beneficiano della fusione della fotocamera LIDAR per il riconoscimento degli oggetti e la pianificazione delle impugnature. La fotocamera fornisce informazioni semantiche sull'identità e l'aspetto degli oggetti, mentre LIDAR fornisce una geometria 3D precisa necessaria per la pianificazione del movimento senza collisioni e delle prese stabili.

Sistemi aerei senza equipaggio (UAS)

L'uso di UAS (sistemi aerei senza equipaggio) si sta rapidamente espandendo in applicazioni civili, militari e scientifiche. L'implementazione di droni in prossimità delle aree urbane sta diventando sempre più comune, soprattutto durante le missioni condotte oltre la linea visiva di vista (BVLOS) o in modalità completamente autonomi.

Questo lavoro presenta l'integrazione hardware e software dei sensori di LiDAR e radar con un pilota automatico Pixhawk e un computer compagno Raspberry Pi, finalizzato allo sviluppo di applicazioni di rilevamento degli ostacoli.Per i droni che operano in ambienti complessi, la fusione dei sensori consente la navigazione sicura rilevando ostacoli come edifici, linee di alimentazione, alberi e altri aerei.

I sensori LIDAR leggeri, combinati con telecamere e IMU, offrono una soluzione pratica per il rilevamento e la mappatura di ostacoli su piccoli droni. La fusione di questi sensori consente applicazioni come l'ispezione delle infrastrutture, il monitoraggio dell'agricoltura di precisione, le operazioni di ricerca e salvataggio e l'indagine aerea.

Agricoltura di precisione

Per affrontare l'insufficiente accuratezza dei metodi tradizionali di navigazione a singolo sensore in ambienti fitti di frutteti melograno, questo documento propone una visione e un metodo di estrazione della linea di navigazione basata su fusione LiDAR per ambienti frutteti. Il metodo proposto integra un modello di rilevamento del tronco YOLOv8-ResCBAM, una linea di fusione con proiezione a raggi inversa e di navigazione a costrizione geometrica.

Gli esperimenti sul campo dimostrano che il metodo di navigazione basato sulla fusione migliora l'accuratezza della navigazione sui metodi monosensori e sui metodi di semantica-segmentazione, riducendo l'errore laterale medio a 5,2 cm, ottenendo un errore laterale medio RMS di 6,6 cm, e raggiungendo un tasso di successo di navigazione del 95,4%.

Oltre alla navigazione, la fusione con fotocamera LIDAR consente un monitoraggio dettagliato delle colture, tra cui la misurazione dell'altezza delle piante, la stima del volume delle tettoie e il rilevamento della frutta. La combinazione delle misure 3D precise di LIDAR con l'analisi del colore e della texture basata sulla fotocamera fornisce informazioni complete per applicazioni di agricoltura di precisione come l'applicazione a tasso variabile di fertilizzanti e pesticidi, la previsione della resa e la rilevazione delle malattie.

Sistemi di informazione geografica e mappatura

Il monitoraggio accurato e tempestivo delle terre è fondamentale per affrontare le sfide ambientali, economiche e sociali globali, tra cui il cambiamento climatico, lo sviluppo sostenibile e la mitigazione dei disastri. Mentre i dati di rilevamento remoto a singola risorsa offrono capacità significative, limitazioni intrinseche come l'interferenza della copertura cloud (ottica), il rumore delle falde (radar), o informazioni spettrali limitate (LiDAR) spesso ostacolano la caratterizzazione completa e robusta delle superfici terrestri.

La fusione di LIDAR con immagini ottiche e dati radar consente applicazioni complete di monitoraggio e mappatura del terreno. I sistemi LIDAR terrestri e aerodinamici combinati con telecamere ad alta risoluzione producono modelli 3D dettagliati di terreno, edifici e infrastrutture. Questi modelli supportano applicazioni come pianificazione urbana, valutazione del rischio di inondazione, inventario forestale e indagini archeologiche.

I sistemi di mappatura mobile che integrano LIDAR, telecamere, GPS e IMU sui veicoli consentono una raccolta efficiente di dati 3D georeferenziati lungo le reti stradali, supportando applicazioni come la valutazione delle condizioni stradali, la gestione degli asset e la creazione di mappe ad alta definizione per veicoli autonomi.

Automazione e controllo qualità industriale

Le operazioni di produzione e logistica impiegano la fusione del sensore LIDAR per l'ispezione automatizzata, il controllo della qualità e la movimentazione dei materiali. La combinazione delle misure dimensionali precise di LIDAR con l'ispezione visiva basata sulla fotocamera consente una valutazione completa della qualità delle parti prodotte, rilevando sia deviazioni geometriche che difetti superficiali.

I veicoli guidati automatizzati (AGV) nei magazzini e nelle fabbriche utilizzano la fusione della fotocamera LIDAR per la navigazione e il rilevamento degli ostacoli, trasportando in sicurezza materiali in ambienti dinamici con lavoratori umani e altre attrezzature. La fusione di sensori multipli fornisce i margini di affidabilità e sicurezza necessari per la collaborazione umana-robot in ambienti industriali.

Le applicazioni di prelievo e depalletizzazione del binario beneficiano della fusione della fotocamera LIDAR per la localizzazione degli oggetti e la stima della posa. LIDAR fornisce posizioni 3D accurate di oggetti in contenitori ingombrati, mentre le telecamere consentono il riconoscimento dell'oggetto e la selezione dei punti di presa in base alle caratteristiche visive.

Sfide tecniche in fusione del sensore LIDAR

Nonostante i progressi significativi, la fusione dei sensori LIDAR continua ad affrontare diverse sfide tecniche che i ricercatori e gli ingegneri devono affrontare.

Associazione dei dati e Corrispondenza

La creazione di corrispondenza corretta tra le misurazioni da diversi sensori rimane una sfida fondamentale nella fusione dei sensori. I punti LIDAR devono essere associati a pixel corrispondenti nelle immagini della fotocamera, o i rilevamenti da diversi sensori devono essere abbinati agli stessi oggetti fisici.

Il problema dell'associazione dei dati diventa particolarmente impegnativo in ambienti ingombranti con molti oggetti simili, o quando gli oggetti sono parzialmente occlusi. Le ambiguità nella corrispondenza possono sorgere quando più oggetti sono vicini insieme o quando le misurazioni dei sensori sono rumorose.

Gestione dei guasti del sensore e dei dati degradati

I sistemi di sensori reali devono affrontare guasti dei sensori, qualità dei dati degradata e condizioni ambientali variabili. Le sfide come il rumore radar indotto dalla pioggia, il degrado delle immagini a bassa luce e l'impatto delle prestazioni avverse del sensore non sono stati studiati a fondo.

Gli algoritmi di Fusion devono rilevare quando i singoli sensori forniscono dati inaffidabili e regolare la loro strategia di fusione di conseguenza. Ciò richiede il monitoraggio della salute dei sensori, rilevando anomalie nelle uscite dei sensori e ridimensionando dinamicamente i contributi dei sensori basati sull'affidabilità stimata.

Complessità computazionale e prestazioni in tempo reale

Gli algoritmi di fusione dei sensori devono elaborare grandi volumi di dati da sensori multipli in tempo reale, presentando significative sfide computazionali. I sensori LIDAR possono generare milioni di punti al secondo, mentre le telecamere producono immagini ad alta risoluzione a 30-60 frame al secondo o più in alto. L'elaborazione e la fusione di questi dati all'interno dei vincoli di latenza stretti richiesti per applicazioni come la guida autonoma richiede algoritmi efficienti e potenti hardware di calcolo.

Il metodo proposto ha mantenuto tempi di inferenza stabili, con una media di 147 ms per frame, con solo occasionali latenza più elevata. Importante, non si è verificato alcun tempo cumulativo durante il funzionamento prolungato, indicando la stabilità temporale. Questa velocità di inferenza soddisfa i requisiti in tempo reale per il rilevamento del veicolo negli scenari stradali a bassa velocità del campus.

Gli approcci di fusione basati sull'apprendimento profondo, pur ottenendo un'elevata precisione, possono essere particolarmente esigenti dal punto di vista computazionale. L'accuratezza e l'efficienza computazionale richiedono un'attenta progettazione architettonica, tecniche di ottimizzazione come la potatura del modello e la quantizzazione, e sfruttando acceleratori hardware specializzati come GPU e processori AI dedicati.

Manutenzione e Drift di calibrazione

I parametri di calibrazione del sensore possono cambiare nel tempo a causa di vibrazioni meccaniche, variazioni di temperatura, invecchiamento dei componenti e impatti fisici. Questa deriva di calibrazione degrada gradualmente le prestazioni di fusione se non rilevate e corrette. Mantenere la calibrazione accurata nei sistemi operativi richiede una ricalibrazione manuale periodica o tecniche di calibrazione automatica online che monitorano continuamente e regolano i parametri di calibrazione.

I metodi di calibrazione online devono distinguere tra i cambiamenti di calibrazione reali e le anomalie di misura temporanea, aggiornando i parametri di calibrazione in modo conservativo per evitare l'instabilità. La sfida è particolarmente acuta per le piattaforme mobili che operano in ambienti difficili dove i sensori sperimentano significative tensioni meccaniche e fluttuazioni di temperatura.

Disponibilità e adattamento di dominio

La formazione e la convalida di algoritmi di fusione basati su apprendimento profondo richiedono grandi set di dati con dati sincronizzati e calibrati da sensori multipli insieme a annotazioni di verità di terra. I metodi di fusione ibridi tendono a raggiungere la massima robustezza, ma la loro complessità, costo di formazione e requisito per i dataset multisensori sincroni possono limitare la distribuzione pratica.

Inoltre, gli algoritmi di fusione formati su dati provenienti da un ambiente o da una configurazione del sensore non possono generalizzare bene a diverse condizioni. Le tecniche di adattamento del dominio sono necessarie per trasferire le strategie di fusione apprese in diversi tipi di sensori, configurazioni di montaggio e ambienti operativi senza richiedere un ampio riallineamento.

Tecniche di fusione avanzate e tendenze emergenti

Il campo della fusione dei sensori LIDAR continua ad evolversi rapidamente, con diverse tecniche e tendenze emergenti che modellano gli sviluppi futuri.

Vista Occhio di Uccello (BEV) Rappresentanze

Le rappresentazioni di visione dell'occhio di Bird sono emerse come un potente approccio per la fusione multisensoriale nelle applicazioni di guida autonoma.I dati dei sensori di progetto delle rappresentazioni BEV da diverse modalità in una visione generale della testa, fornendo un quadro spaziale unificato per la fusione che gestisce naturalmente le diverse prospettive e sistemi di coordinate di vari sensori.

La percezione accurata dell'occupazione semantica 3D è essenziale per la guida autonoma in ambienti complessi con oggetti diversi e irregolari. Mentre i metodi vision-centrici soffrono di imprecisioni geometriche, gli approcci basati su LiDAR spesso mancano di informazioni semantiche ricche.

Le rappresentazioni BEV semplificano molti compiti di percezione come il rilevamento degli oggetti, il monitoraggio e la previsione del movimento fornendo un quadro di riferimento spaziale coerente, facilitando anche l'integrazione delle informazioni sulla mappa e consentendo un ragionamento multi-oggetto efficiente nel contesto degli scenari di guida.

Architettura di Fusione basata sui trasformatori

Le architetture trasformatrici, originariamente sviluppate per la lavorazione del linguaggio naturale, hanno dimostrato un notevole successo nella visione del computer e sono sempre più applicate alla fusione dei sensori. I meccanismi di attenzione dei trasformatori consentono una modellazione flessibile delle relazioni tra diverse modalità dei sensori e luoghi spaziali, imparando a concentrarsi sulle informazioni più rilevanti per ogni compito.

I meccanismi di cross-attention permettono ai trasformatori di fondere efficacemente le informazioni dai sensori eterogenei imparando le correlazioni tra le caratteristiche di diverse modalità, che possono catturare dipendenze complesse che sarebbero difficili da modellare con le tecniche di fusione tradizionali, potenzialmente migliorando le prestazioni su compiti di percezione impegnativi.

Adeguamento e Fusione Context-Aware

I moderni sistemi di fusione si stanno muovendo verso strategie adattative che regolano dinamicamente i parametri di fusione basati sulle condizioni ambientali e sull'affidabilità dei sensori. Un'oleodotto di fusione radar LiDAR + 4D proposto introduce un meccanismo di accoppiamento adattativo che modula i contributi radar a seconda delle condizioni di scena.

La fusione context-aware non considera solo le misurazioni dei sensori attuali ma anche il contesto più ampio, incluso il tipo di scena, le condizioni meteorologiche, l'illuminazione e le prestazioni storiche, adattando la strategia di fusione al contesto specifico, questi sistemi possono mantenere prestazioni robuste in una gamma più ampia di condizioni operative rispetto agli approcci di fusione fissi.

Soluzioni hardware integrate

Innoviz Technologies ha annunciato la prima gamma completamente colorato LiDAR con la fotocamera nella sua recente annunciata InnovizThree LiDAR, creando un modulo compatto di rilevamento-fusione progettato per ridurre significativamente la complessità dell'integrazione dell'OEM. La soluzione combina LiDAR e RGB sensibilizzare in un unico modulo di percezione compatto, appositamente progettato per il backup di RGB

Le soluzioni hardware integrate offrono diversi vantaggi: integrazione meccanica semplificata, calibrazione di fabbrica che rimane stabile nel corso della durata del prodotto, sincronizzazione a livello hardware per tempi precisi e ridotta complessità del sistema, che possono ridurre significativamente la barriera per l'implementazione dei sistemi di fusione dei sensori nelle applicazioni di produzione.

Modelli e apprendimento dei trasferimenti

I modelli di base su larga scala formati su diversi dataset stanno iniziando a influenzare la fusione dei sensori, che imparano rappresentazioni generali che possono essere ottimizzate per specifiche attività di fusione con quantità relativamente ridotte di dati specifici per le attività, garantendo così una riduzione dei requisiti di dati per la formazione dei sistemi di fusione e una maggiore generalizzazione in diversi sensori e ambienti.

Le tecniche di apprendimento dei trasferimenti consentono di applicare le conoscenze acquisite da una configurazione dei sensori o da un dominio delle applicazioni ad altri, potenzialmente accelerando lo sviluppo e riducendo la necessità di una vasta raccolta di dati e annotazione per ogni nuovo scenario di distribuzione.

Migliori Pratiche per l'attuazione del sensore LIDAR Fusion

L'implementazione di sistemi di fusione dei sensori LIDAR richiede attenzione a numerose considerazioni pratiche oltre gli algoritmi di base.

Selezione e configurazione del sensore

La scelta dei sensori appropriati e la loro configurazione è fondamentale per le prestazioni del sistema di fusione. I sensori devono essere selezionati in base alle loro caratteristiche complementari, tenendo conto delle specifiche esigenze applicative, dell'ambiente operativo e dei vincoli quali costi, dimensioni, peso e consumo di energia.

Il posizionamento del sensore deve considerare il campo di sovrapposizione della vista, gli effetti di occlusione e la stabilità di montaggio. È necessario sovrapporre sufficientemente tra i campi di vista del sensore per una fusione efficace, ma la ridondanza eccessiva può sprecare le risorse.

Procedure di calibrazione sistemiche

La definizione e il mantenimento di una calibrazione accurata sono fondamentali per le prestazioni di fusione. Le procedure di calibrazione dovrebbero essere sistematiche, ripetibili e ben documentate. La taratura iniziale dovrebbe essere eseguita in condizioni controllate con obiettivi di calibrazione di alta qualità e la precisione di calibrazione dovrebbe essere verificata attraverso misurazioni indipendenti.

I controlli di taratura regolari devono essere effettuati per rilevare la deriva, in particolare dopo eventuali disturbi meccanici o esposizione ambientale. Le procedure di verifica automatizzate della calibrazione possono aiutare a identificare quando è necessario rilibrare senza richiedere interventi manuali.

Architettura software robusta

Il software del sistema Fusion dovrebbe essere progettato con modularità, manutenbilità e robustezza in mente. Le architetture modulari consentono di sviluppare e testare in modo indipendente le singole tubazioni di elaborazione dei sensori prima dell'integrazione, semplificando lo sviluppo e il debug.

La gestione degli errori e la tolleranza dei guasti sono essenziali per i sistemi operativi. Il software dovrebbe rilevare guasti dei sensori, problemi di qualità dei dati e errori di elaborazione, rispondendo in modo appropriato per mantenere la funzionalità del sistema.

Validazione e test

La validazione completa è necessaria per garantire che i sistemi di fusione soddisfino i requisiti di prestazione in tutte le condizioni operative previste.

Per le attività di percezione, le metriche potrebbero includere l'accuratezza di rilevamento, i tassi negativi falsi positivi e falsi, l'errore di localizzazione e la latenza di elaborazione.

Miglioramento e monitoraggio continuo

I sistemi di fusione orientati dovrebbero includere le capacità di monitoraggio per monitorare le prestazioni nel tempo e identificare le opportunità di miglioramento.

Il feedback da implementazione operativa dovrebbe informare i miglioramenti iterativi agli algoritmi di fusione, alle procedure di calibrazione e alla configurazione del sistema, che è essenziale per raggiungere e mantenere elevate prestazioni nelle applicazioni del mondo reale.

Le direzioni e le opportunità di ricerca future

Il campo della fusione dei sensori LIDAR continua a presentare numerose opportunità di ricerca e sviluppo che saranno in grado di modellare i sistemi futuri.

Robustezza avanzata nelle condizioni avverse

Migliorare le prestazioni del sistema di fusione in condizioni ambientali difficili rimane un'importante direzione di ricerca. Mentre i sistemi attuali svolgono un'ottima funzione in condizioni nominali, le prestazioni possono degradarsi significativamente in condizioni di pioggia, nebbia, neve o di illuminazione estrema.

Le opportunità di ricerca includono lo sviluppo di modelli migliori di degrado dei sensori in condizioni avverse, la creazione di strategie di fusione adattative che rispondono alle mutevoli condizioni, e l'esplorazione di nuove modalità sensoriali che completano i sensori tradizionali in ambienti difficili.

Algoritmi efficienti per piattaforme con limitazioni alle risorse

Molte applicazioni richiedono la fusione dei sensori su piattaforme con risorse computazionali limitate, come piccoli droni, robot mobili o sistemi automobilistici incorporati.

Le direzioni di ricerca includono la ricerca di architettura neurale per le reti di fusione efficienti, la distillazione delle conoscenze per comprimere modelli di grandi dimensioni, e gli approcci ibridi che combinano algoritmi tradizionali efficienti con componenti di apprendimento profondo mirati.

Fusione spiegabile e interpretabile

Poiché i sistemi di fusione diventano più complessi, in particolare con approcci di apprendimento approfonditi, capire perché i sistemi prendono decisioni particolari diventa sempre più importante. Le tecniche di AI spiegabili applicate alla fusione dei sensori possono aiutare gli sviluppatori a debug sistemi, costruire fiducia con gli utenti e soddisfare i requisiti normativi per le applicazioni di sicurezza-critica.

Le opportunità di ricerca includono lo sviluppo di tecniche di visualizzazione per la fusione multisensoriale, la creazione di architetture di fusione interpretabili, e la creazione di metodi per quantificare e comunicare la fiducia del sistema di fusione e l'incertezza.

Standardizzazione e Benchmarking

La comunità di fusione dei sensori gioverebbe a standardizzati benchmark, dataset e protocolli di valutazione che consentono un confronto equo di diversi approcci. Mentre i dataset come KITTI, nuScenes e Waymo Open Dataset sono stati preziosi, lo sviluppo continuo di diversi, stimolanti benchmark che coprono diversi sensori, ambienti e compiti guideranno il progresso.

Gli sforzi di standardizzazione per le interfacce dei sensori, le procedure di calibrazione e i formati di dati possono ridurre la complessità dell'integrazione e facilitare il trasferimento tecnologico tra la ricerca e i sistemi di produzione.

Integrazione con la pianificazione e il controllo ad alta velocità

La maggior parte delle ricerche attuali tratta la fusione dei sensori come un problema di percezione separato dalla pianificazione e dal controllo a valle. L'integrazione tra percezione, pianificazione e controllo potrebbe consentire prestazioni di sistema globali più efficaci, consentendo ai requisiti di pianificazione di influenzare le strategie di fusione e l'incertezza della fusione per informare le decisioni di pianificazione.

Gli approcci di apprendimento end-to-end che ottimizzano congiuntamente la percezione, la pianificazione e il controllo rappresentano una direzione per questa integrazione, anche se le sfide significative rimangono nella formazione di tali sistemi in modo sicuro e garantire l'interpretabilità.

Conclusioni

L'integrazione di LIDAR con sensori complementari attraverso tecniche di fusione sofisticate è diventata essenziale per una mappatura robusta e percezione in numerose applicazioni. Combinando le misure spaziali 3D di LIDAR con la ricchezza semantica delle telecamere, la capacità di tutti i radar, il monitoraggio del movimento di IMU e il posizionamento globale dei sistemi di fusione GPS, multisensori, ottengono prestazioni che superano di gran lunga ciò che un singolo sensore può fornire.

Il campo è stato sviluppato da semplici approcci di fusione precoce a sofisticate architetture di deep learning che possono combinare adattativamente le modalità dei sensori basate sul contesto e sull'affidabilità. I moderni sistemi di fusione impiegano tecniche che vanno dal classico filtro Kalman alle architetture trasformatrici all'avanguardia e ai modelli di diffusione, ognuna con vantaggi specifici per applicazioni e vincoli diversi.

L'implementazione di una fusione dei sensori richiede un'attenta attenzione alla selezione dei sensori, alla calibrazione, alla progettazione di algoritmi e alla validazione. Le sfide dell'associazione dei dati, la gestione dei guasti dei sensori, il mantenimento delle prestazioni in tempo reale e la robustezza nelle diverse condizioni continuano a guidare la ricerca e lo sviluppo nel campo.

Poiché i sistemi autonomi diventano più diffusi nel settore dei trasporti, della robotica, dell'agricoltura e delle applicazioni industriali, l'importanza della fusione dei sensori affidabile aumenterà solo. Le tendenze emergenti, comprese le soluzioni hardware integrate, i modelli di base e le strategie di fusione adattative, promettono di rendere questi sistemi più capaci, efficienti e accessibili.

Per i professionisti che desiderano implementare i sistemi di fusione dei sensori LIDAR, la chiave è capire i punti di forza e limitazioni complementari dei diversi sensori, scegliere architetture di fusione adatte ai requisiti e ai vincoli applicativi, investire in calibrazione e validazione accurate e sistemi di progettazione con robustezza e manutentività in mente. Le risorse e le tecniche discusse in questo articolo forniscono una base per lo sviluppo di sistemi di fusione multisensori efficaci che consentono la mappatura e la percezione robuste in applicazioni reali.

Per ulteriori informazioni sulla tecnologia e sulle applicazioni LIDAR, visitare il American Society for Photogrammetry and Remote Sensing]. Per esplorare i sistemi di percezione del veicolo autonomi, vedere le risorse dal SAE International]. Per applicazioni robotiche, IE Robotics and Automation Society [FLT]