Sony lancerà i primi sensori di visione al mondo con funzionalità di elaborazione AI

Per abilitazione dell’elaborazione AI ad alta velocità Edge e contributo alla creazione di sistemi ottimali collegati al cloud.

Sony Corporation ha annunciato oggi l’imminente rilascio di due modelli di sensore di visione intelligenti, i primi sensori di immagine al mondo dotati della funzionalità di elaborazione AI.

La funzionalità di elaborazione AI sul sensore consente l’elaborazione e l’estrazione dei soli dati necessari; ciò garantisce, quando si utilizzano i servizi cloud, di ridurre la latenza della trasmissione, risolvere i problemi di privacy e riduce il consumo di energia e i costi di comunicazione.

Questi prodotti ampliano le opportunità di sviluppo di telecamere dotate di intelligenza artificiale, consentendo una vasta gamma di applicazioni nel settore delle apparecchiature commerciali e industriali, contribuendo alla costruzione di sistemi ottimali connessi al cloud.

Model name	Sample shipment date	Sample price (excluding tax)
IMX500 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (bare chip product)	April 2020	10,000 JPY
IMX501 1/2.3-type (7.857 mm diagonal) approx. 12.3 effective megapixel intelligent vision sensor (package product)	June 2020 (planned)	20,000 JPY

La diffusione dell’IoT ha portato alla connessione di tutti i tipi di dispositivi al cloud, rendendo comune l’uso di sistemi di elaborazione delle informazioni in cui le informazioni ottenute da tali dispositivi vengono elaborate tramite Intelligenza Artificiale sul cloud. D’altro canto, il crescente volume di informazioni gestite nel cloud pone vari problemi: aumento della latenza della trasmissione dei dati che ostacola l’elaborazione delle informazioni in tempo reale; problemi di sicurezza degli utenti associati alla memorizzazione di dati personali identificabili nel cloud nonché altri problemi come l’aumento del consumo di energia e dei costi di comunicazione.

I nuovi prodotti per sensori di visione di Sony presentano una configurazione sovrapposta costituita da un chip pixel e un chip logico. Si tratta del primo sensore di immagine al mondo ad essere dotato di analisi dell’immagine AI con funzionalità di elaborazione sul chip logico. Il segnale acquisito dal’array di pixel viene elaborato tramite AI sul sensore, eliminando la necessità di processori ad alte prestazioni o memoria esterna, consentendo lo sviluppo di sistemi di AI edge. Il sensore genera metadati (informazioni semantiche appartenenti a dati di immagini) anziché informazioni di immagine, riducendo il volume di dati e risolvendo problemi di privacy. Inoltre, la funzionalità AI consente di offrire diverse funzionalità per applicazioni versatili, come il tracciamento di oggetti in tempo reale con elaborazione AI ad alta velocità.

Caratteristiche principali

Il primo sensore di immagine al mondo dotato di funzionalità di elaborazione AI

Il chip pixel è retroilluminato e ha circa 12,3 megapixel effettivi per l’acquisizione di informazioni attraverso un ampio angolo di visione. Oltre al convenzionale circuito operativo del sensore di immagine, il chip logico è dotato del DSP (Digital Signal Processor) originale di Sony dedicato all’elaborazione del segnale AI e della memoria per il modello AI. Questa configurazione elimina la necessità di processori ad alte prestazioni o memoria esterna, rendendola ideale per i sistemi di edge AI.

 

Uscita dei metadati

I segnali acquisiti dall’array di pixel vengono processati attraverso un ISP (Image Signal Processor) e l’elaborazione AI viene eseguita nella fase di processo sul chip logico generando informazioni sotto forma di metadati in modo da ridurre la quantità di dati gestiti. Garantire che le informazioni complete relative all’immagine non raggiungano l’uscita aiutano ad affrontare i problemi di privacy. Oltre all’immagine registrata dal sensore di immagine convenzionale, gli utenti possono selezionare il formato di uscita dei dati in base alle loro esigenze e usi, comprese le immagini di estrazione dell’area specifica dell’ISP (YUV / RGB) e ROI (Regione di interesse).

Formato di output dei dati selezionabile per soddisfare varie esigenze.

Elaborazione AI ad alta velocità

Quando un video viene registrato utilizzando un sensore di immagine convenzionale, è necessario inviare i dati per ogni singolo fotogramma di immagine di output per l’elaborazione AI, con conseguente aumento della trasmissione dei dati e rendendo difficile fornire prestazioni in tempo reale. I nuovi prodotti di sensori di Sony eseguono l’elaborazione ISP e l’elaborazione AI ad alta velocità (elaborazione 3,1 millisecondi per MobileNet V1 ) sul chip logico, completando l’intero processo in un singolo frame video. Questo design consente di tracciare oggetti in tempo reale ad alta precisione durante la registrazione di video.

Esempio di tracciamento in tempo reale con prodotto e attività in un registro.

Modello AI selezionabile

Gli utenti possono scrivere i modelli AI di propria scelta nella memoria interna e possono riscriverli e aggiornarli in base ai propri requisiti o alle condizioni del luogo in cui viene utilizzato il sistema. Ad esempio, quando più telecamere che utilizzano questo prodotto sono installate in un punto vendita, un singolo tipo di telecamera può essere utilizzato con versatilità in diverse località, circostanze, tempi o scopi. Se installato all’ingresso della struttura, può essere utilizzato per contare il numero di visitatori che entrano nella struttura; se installato sullo scaffale di un negozio può essere utilizzato per rilevare carenze di scorte; se installata sul soffitto può essere utilizzato per la mappatura termica dei visitatori (rilevando luoghi in cui molte persone si riuniscono) e simili. Inoltre, il modello AI in una data telecamera può essere riscritto dall’utilizzatore per rilevare mappe di calore a uno per identificare il comportamento del consumatore e così via.

 Esempio di utilizzo della telecamera in una struttura.

Caratteristiche tecniche:

Modello		IMX500 (prodotto a chip nudo)	IMX501 (prodotto in package)
Numero di pixel effettivi		4056 (H) × 3040 (V), ca. 12,3 megapixel
Dimensione dell’immagine		Diagonale 7.857 mm (tipo 1 / 2.3)
Dimensione del pixel		1.55μm (H) × 1.55μm (V)
Frequenza dei fotogrammi	Pixel pieno	60fps
	video	4K （4056 × 2288） 60fps  1080p 240fps
	Elaborazione completa / video + AI	30fps
	Uscita dei metadati	30fps
Sensibilità (valore standard F5.6)		Circa  250LSB
Livello del segnale di saturazione del sensore (valore minimo)		Circa  9610e-
Alimentazione	Analogico	2.7V
	Digitale	0.84V
	Interfaccia	1.8V
Funzioni principali		Funzione di elaborazione AI, ISP, riprese HDR
Produzione		MIPI D-PHY 1.2 (4 piani) / SPI
Matrice del filtro colorato		Array Bayer
Formato di output		Immagine (Bayer RAW), uscita ISP (YUV / RGB), ROI, metadati
Package		–	LGA in ceramica 12,5 mm (H) × 15,0 mm (V)