Uno sguardo a 360 gradi sui sistemi di visione dell’auto

Autori: John Smrstik, Product Marketing Jacinto™ Processors, Texas Instruments e Aish Dubey, Systems Engineer, Jacinto Processors, Texas Instruments

 

Quando si torna a casa a tarda notte, con il garage pieno di biciclette, attrezzature sportive e attrezzi da giardino, si spera di trovare spazio sufficiente in cui parcheggiare l’auto per la notte. In una mattina piovosa e fredda, il parcheggio dell’ufficio è quasi pieno, e ogni posto disponibile sembra lontano chilometri dalla porta principale. Entrando in città un venerdì sera, l’unica cosa che ti separa dall’inizio di una bella serata è capire se la tua auto potrà entrare o meno nell’unico parcheggio disponibile, riuscendo comunque a uscire dal veicolo.
Questi sono alcuni scenari tipici che possono risultare frustranti per gli automobilisti che hanno fretta, che cercano di evitare il maltempo o semplicemente che vogliono un po’ di comodità. Fortunatamente, le funzionalità di guida automatizzata permettono di ridurre queste frustrazioni e rendere più comoda e piacevole l’esperienza di guida, anche per attività banali come parcheggiare.

I sistemi di visualizzazione dell’area circostante più elementari forniscono ai conducenti indicazioni visive per renderli più informati e consapevoli su ciò che li circonda. Il deep learning applicato alle immagini video acquisite dalle telecamere dell’auto permette servizi più sofisticati, come la localizzazione dei parcheggi aperti, l’automazione del processo di parcheggio e l’abilitazione di funzionalità di «parcheggio assistito automatizzato» senza conducente.

Queste funzionalità automatizzate (inclusi gli input da più telecamere, la percezione visiva e la creazione di scenari) richiedono potenti capacità di elaborazione da parte dell’automobile. I processori per applicazioni in sistemi avanzati di assistenza alla guida (ADAS) devono essere in grado di combinare megabyte di dati visivi o di altri sensori per creare un ambiente interpretato per l’auto, ossia un ambiente sufficientemente affidabile da consentire un funzionamento in sicurezza del veicolo a basse velocità con o senza conducente. Texas Instruments (TI) ha progettato la sua famiglia di processori Jacinto™ 7 proprio per affrontare questa sfida.

In questo white paper verranno esposte i modi in cui i clienti del settore automobilistico possono creare applicazioni ADAS con dispositivi TI Jacinto TDA4VM per funzioni di parcheggio assistito e completamente automatizzato. Verranno descritti i requisiti tecnici per tali sistemi in tutti i segmenti del mercato automobilistico (auto compatte, medie, grandi e lusso) per il dispositivo in silicio Jacinto TDA4VM e per la piattaforma software, spiegando come introdurre la tecnologia necessaria per un parcheggio completamente automatizzato, sicuro e confortevole.

 

Sistemi di parcheggio automatizzato e di assistenza al parcheggio

È possibile separare i sistemi di assistenza al parcheggio in tre classi fondamentali sulla base delle capacità del sistema.
La Tabella 1 mostra una visione a livello superiore delle varie classi.

I sistemi di visualizzazione dell’area circostante più elementari utilizzano gli input da più telecamere per offrire ai conducenti una visione a 360 gradi dell’area immediatamente circostante l’auto. Gli input delle telecamere vengono uniti in un’unica vista a volo d’uccello, con l’auto al centro. L’immagine viene mostrata al conducente come informazione visiva per agevolare il parcheggio manuale. Le sovrapposizioni che mostrano la posizione dell’auto rispetto a oggetti, marciapiedi o linee di parcheggio dipinte migliorano l’immagine della visualizzazione dell’area circostante.

La classe successiva di sistemi di assistenza al parcheggio è costituita da sistemi di parcheggio semiautomatico. Questi sistemi combinano telecamera, ultrasuoni e informazioni di posizione per creare un’immagine più informata dell’ambiente intorno all’auto e consentire quindi un certo livello di automazione del parcheggio. Sulla base di queste informazioni, l’automobile si fa carico delle operazioni di parcheggio di base per consentire le manovre automatiche in entrata (o uscita) dagli stalli di parcheggio paralleli o perpendicolari disponibili gestendo lo sterzo, i freni, l’acceleratore e il cambio. In questi scenari, il conducente prima individua uno spazio libero e mantiene il pieno controllo del sistema per riprendere il controllo delle operazioni di parcheggio automatizzato se necessario.

[boris]

I sistemi di parcheggio assistito completamente automatizzati compiono il passo successivo e permettono all’auto di completare le manovre di parcheggio in entrata e uscita in uno spazio di parcheggio ben definito. Il conducente cede il controllo del veicolo durante il processo di parcheggio, partendo dall’individuazione di uno spazio libero. Questa applicazione richiede più input dai sensori e un livello più sofisticato di elaborazione e algoritmi per eseguire autonomamente le attività di parcheggio in modo affidabile e sicuro.

Ogni scenario, a partire dalla visualizzazione dell’area circostante più elementare fino al parcheggio assistito completamente automatizzato, richiede un numero crescente di sensori, più dati e una maggiore elaborazione dei dati stessi. Un sistema processore SoC (system on chip) costruito per soddisfare queste applicazioni richiede:

• un’elaborazione della pipeline di input dell’immagine,
• elaborazione generica,
• accelerazione specifica per operazioni di deep learning,
• elaborazione grafica per la creazione di immagini con sovrapposizioni e
• elaborazione con classificazione ASIL (Automotive Safety Integrity Level) per garantire un funzionamento sicuro dei sistemi.

Tipo di sistema	Descrizione delle funzionalità	Numero e tipo di sensori utilizzati	Algoritmi richiesti	Caratteristiche del dispositivo richieste
Sistemi di visualizzazione dell’area circostante (noti anche come monitoraggio dell’area circostante)	Offre ai conducenti una vista 2D o 3D a 360 gradi dell’area circostante il veicolo per facilitare il parcheggio manuale	Da quattro a sei fotocamere	Creazione di viste 2D e 3D in base all’unità di elaborazione grafica (GPU) e al processore di segnale digitale (DSP) In alcuni casi è possibile utilizzare acceleratori hardware specializzati per la generazione di viste 3D limitate	ISP integrato GPU o HWA per la creazione della vista
Parcheggio autonomo semiautomatico	Il conducente individua uno spazio disponibile. L’auto si fa carico di eseguire il parcheggio in spazi paralleli o perpendicolari. Il sistema è anche in grado di uscire automaticamente dal parcheggio. Il conducente mantiene il controllo del sistema in ultima istanza.	Da quattro a sei fotocamere Da sei a dodici sensori sonar Da quattro a sei sensori radar a corto raggio Unità di misura inerziali (IMU) Hardware e software di localizzazione	Parcheggio e rilevamento delle corsie Rilevamento e classificazione di oggetti nel campo vicino e lontano a basse velocità Localizzazione e mappatura simultanee (SLAM) Livello L4 di pianificazione del percorso per una data mappa e determinate condizioni di guida Codifica e registrazione di flussi video per registrare le azioni del veicolo	ISP integrato HWA integrato per l’analisi visiva e l’elaborazione della rete neurale convoluzionale (CNN) Elaborazione ASIL-D per fusione di sensori limitata e comunicazione delle decisioni GPU DMIPS MCU (ASIL-B) per la pianificazione generico del percorso, a prestazioni limitate e per la fusione di sensori
Servizio di parcheggio e riconsegna auto completamente automatizzato	L’auto è in grado di entrare e uscire in autonomia da un’area di parcheggio ben definita. L’auto individua i posti disponibili. Il conducente non ha il controllo del veicolo in nessuna fase del processo.	Da quattro a sei fotocamere Da sei a dodici sensori sonar Da quattro a sei sensori radar a corto raggio IMU Hardware e software di localizzazione	Parcheggio e rilevamento delle corsie Rilevamento e classificazione di oggetti nel campo vicino e lontano a basse velocità SLAM Codifica e registrazione di flussi video per registrare le azioni del veicolo	ASIL-D SLAM ISP integrato HWA integrati per analisi visiva, pianificazione del percorso ed elaborazione CNN Elaborazione ASIL-D per fusione di sensori completa DMIPS ASIL-D per la pianificazione del percorso Codificatore video on-chip

Tabella 1. Applicazioni e requisiti per la visualizzazione dell’area circostante e per il parcheggio automatizzato.

La Tabella 1 specifica gli algoritmi e le caratteristiche on-chip necessarie per ogni classe di sistema. Le prestazioni assolute richieste per ciascuna di queste funzionalità, come ad esempio DLTOPS (deep learning tera-operations per second), DMIPS (Dhrystone million instructions per second), GFLOPS (giga-floating-point operations per second) o la capacità di elaborazione megapixel di un ISP (image signal processor) o di un HWA (hardware accelerator), permettono di distinguere ulteriormente i tipi di sistema in sottosegmenti più piccoli.

 

Come la famiglia di processori Jacinto TDA4VM gestisce le sfide della visualizzazione dell’area circostante e del parcheggio automatizzato

Come intuibile dalle informazioni nella Tabella 1, gli architetti di sistema e i team aziendali delle case automobilistiche e dei fornitori di livello 1 incaricati di introdurre queste funzionalità nelle automobili di produzione si trovano ad affrontare varie sfide. In primo luogo, le case automobilistiche puntano ad offrire una gamma di funzionalità nei loro modelli: semplici funzioni di visualizzazione dell’area circostante sui veicoli economici, con livelli crescenti di approfondimento e autonomia sulle auto di medie dimensioni e di lusso. Ogni modello affronta realtà economiche diverse: i modelli economici non possono comprendere lo stesso tipo di elettronica dei modelli di lusso di fascia alta. Cambiare le piattaforme del processore per sviluppare e convalidare nuovo software per ogni tipo di modello richiede tempo e denaro.

I fornitori di Livello 1 preferiscono una piattaforma che offra un approccio comune per l’implementazione di soluzioni scalabili dai veicoli di fascia bassa a quelli di fascia alta aggiungendo sensori e telecamere supplementari al progetto di base. Il riutilizzo delle risorse hardware e software soddisfa la necessaria efficienza ingegneristica per ridurre al minimo le spese di ricerca e sviluppo e giungere rapidamente sul mercato con diverse alternative di prodotto.

La famiglia di processori Jacinto TDA4VM e il kit di sviluppo software (SDK) di TI combinati offrono agli OEM e ai fornitori di Livello 1 una nuova soluzione a questo problema. Questi dispositivi sono caratterizzati da un’elaborazione eterogenea che fornisce le prestazioni necessarie alle applicazioni e gestisce al tempo stesso il consumo energetico consentendone l’uso in spazi integrati con vincoli termici e dimensionali. Il SoC Jacinto TDA4VM di TI utilizza accelerazione hardware, core del processore su misura, processori di segnale, processori generici e microcontroller (MCU) per aiutare i progettisti a creare una soluzione di sistema efficiente. TI ha selezionato e progettato ogni componente di proprietà intellettuale (IP) per risolvere problemi specifici e per essere adattabile a svariati requisiti per il sistema finale.

La Tabella 2 descrive le fasi di elaborazione e i componenti di IP tipicamente utilizzati in semplici applicazioni di monitoraggio con visualizzazione dell’area circostante, oltre a situazioni di parcheggio assistito automatizzato più complesse.

Fase di elaborazione	Componente IP SoC
Acquisizione di immagini	Input/output di imaging (interfaccia seriale della telecamera [CSI]-2)
Elaborazione delle immagini	ISP e componenti per l’accelerazione della visione
Elaborazione analitica per l’estrazione di caratteristiche	DSP e acceleratore di deep learning
Elaborazione della fusione (da input multisensore)	Processore generico, MCU
Preparazione dell’immagine su display	GPU
Output display	Sottosistema multidisplay

Tabella 2. Fasi di elaborazione nelle applicazioni di visualizzazione dell’area circostante e parcheggio automatizzato, con l’IP SoC utilizzata.

L’approccio eterogeneo richiede un software specifico per ogni tipo di core del processore o acceleratore. È possibile l’astrazione di stack software di basso livello, ottimizzati per i core, utilizzando concetti software di livello superiore per semplificare lo sviluppo e fornire accesso ai core ad alte prestazioni. OpenVX è uno di questi framework software; è aperto, privo di royalty e pensato per l’elaborazione della visione incorporata in tempo reale. Il SDK del processore TI utilizza esempi basati su OpenVX che mostrano come creare applicazioni (come il monitoraggio della visualizzazione dell’area circostante) sfruttando i componenti software nel SDK.

Tutto insieme: il SoC Jacinto TDA4VM

 

I requisiti di base dell’applicazione per l’assistenza al parcheggio e le applicazioni di automazione richiedono funzioni specifiche per l’acquisizione dei dati della telecamera e del sensore di immagine e per la preparazione di tali dati per la fase di elaborazione. La fase di elaborazione prende i dati dell’immagine ed esegue analisi e algoritmi di deep learning per estrarre le caratteristiche fondamentali rilevanti per le applicazioni di parcheggio. Questa fase integra (o fonde) i dati di altri sensori per creare un ambiente più completo intorno all’auto e fornisce un’immagine all’applicazione per il processo decisionale: in questo caso, per manovrare in sicurezza l’auto entrando e uscendo da un parcheggio. Un passaggio finale consiste nel mostrare i dati immagine al conducente in modo intuitivo per aiutarlo a guidare in sicurezza il veicolo. Anche la conservazione dei dati video per un’eventuale revisione in futuro è un passaggio necessario, in particolare in situazioni completamente automatizzate. Tutti questi passaggi devono avvenire in un ambiente di sicurezza funzionale che fornisca ridondanza e separi logicamente (o fisicamente) le funzioni fondamentali dalle altre operazioni.

TI ha considerato tutti questi requisiti applicativi nella progettazione del SoC TDA4VM. Basandosi sulla comprensione del sistema e con l’obiettivo di fornire soluzioni efficienti, flessibili e facili da usare, il SoC TDA4VM integra componenti per gestire i requisiti di acquisizione, elaborazione e rendering. Una delle principali scelte progettuali ha comportato il bilanciamento dei requisiti di elaborazione e dati al fine di garantire sufficiente memoria locale e un accesso adeguato alla memoria esterna ad alta velocità, mantenendo i sistemi di elaborazione operativi ad alta efficienza.

 

Figura 1. Sistema di visualizzazione dell’area circostante semplificato basato su TDA4VM.

 

La Figura 1 mostra uno schema a blocchi semplificato del dispositivo TDA4VM in un caso d’uso con visualizzazione dell’area circostante che mostra video e altri input dai sensori, output per il display e accesso alla memorizzazione per i file video compressi. La Tabella 3 descrive le fasi di elaborazione in un’applicazione di parcheggio automatizzato e con visualizzazione dell’area circostante insieme alle caratteristiche fondamentali del dispositivo TDA4VM che supportano tali fasi di elaborazione. Come descritto, il dispositivo TDA4VM è un «system on chip» molto completo per queste applicazioni di parcheggio.

Nessuna soluzione con chip è completa senza un ambiente software che accompagni il chip. Il SoC TDA4VM è supportato da kit software completi per Linux e dal kernel del sistema operativo in tempo reale (RTOS) di TI. Chiamati SDK del processore, questi kit contengono un set completo di driver, kernel del sistema operativo, librerie di applicazioni, esempi di boot, framework applicativi basati su OpenVX ed esempi di applicazioni che mostrano come utilizzare i componenti software e hardware in applicazioni di sistema reali. Questi kit sono convalidati sul modulo di valutazione per i dispositivi disponibili da TI.

 

 

Jacinto TDA4 è una famiglia di dispositivi pianificata, e TDA4VM è solo il primo membro. Altri membri di questa famiglia di processori comprenderanno varie combinazioni della stessa IP a livello di chip per fornire prodotti più ottimizzati per tutte le nicchie del mercato ADAS, sia che si tratti di applicazioni analitiche o di esigenze più ottimizzate in termini di costi per veicoli di fascia consumer. Poiché questi dispositivi sono costruiti condividendo come base la stessa tecnologia hardware e software, la compatibilità tra i dispositivi è garantita. Le risorse software sviluppate per ospitare un singolo dispositivo possono essere ridimensionate ed essere riutilizzate su altri dispositivi della stessa famiglia, ottimizzando l’efficienza in termini di sviluppo e facilitando l’introduzione di una linea di prodotti completa con diversi set di funzionalità tra i vari modelli di veicolo. I sistemi di visualizzazione dell’area circostante che si stanno spostando verso l’assistenza al parcheggio e il parcheggio assistito automatizzato sono una delle serie di applicazioni che è possibile sviluppare facilmente utilizzando la tecnologia della famiglia Jacinto.

 

Stadio applicativo per visualizzazione dell’area circostante/parcheggio automatizzato	Caratteristiche del SoC TDA4VM
Acquisizione dei dati di immagine	Interfaccia CSI-2 per telecamere di segnalazione differenziale a bassa tensione Ethernet per telecamere basate su Ethernet ISP di settima generazione di TI Acceleratore hardware per la correzione della distorsione dell’obiettivo Acceleratore hardware per il filtro del rumore Acceleratore hardware multiscalare
Fusione di sensori ed elaborazione analitica	Core DSP C66x e C7x Acceleratore multiplo a matrice strettamente accoppiata per applicazioni di deep learning Acceleratore hardware a flusso ottico denso Acceleratore hardware con motore di profondità stereo Due CPU Arm® Cortex®-A72 Quattro MCU Arm Cortex-R5F Interfacce Controller Area Network-Flexible Data Rate (CAN FDR) e Universal Asynchronous Receiver Transmitter (UART) Ampia memoria interna condivisa (8 MB) On-chip fabric ad alta efficienza e larghezza di banda elevata DDR4 a basso consumo con larghezza di banda di picco di 17 GBps
Visualizzazione e conservazione delle immagini	Core della GPU Imagination GE8430 (100 GFLOPS) Hardware di codifica H.264 Hardware di decodifica H.265 Uscita display video con risoluzione 4K e 2.5K
Sicurezza e protezione	MCU R5F a doppio blocco (isola di sicurezza ASIL-C) Approccio di sistema alla protezione dell’IP e contro intrusioni e attacchi

Tabella 3. Fasi dell’applicazione di visualizzazione dell’area circostante mappate per le funzionalità del dispositivo TDA4VM.

 

[/boris]