Arrow Electronics e NeuReality: rivoluzione nell’inferenza AI con la prima unità di elaborazione indirizzabile di rete

Arrow Electronics ha svolto un ruolo chiave nello sviluppo della prima unità di elaborazione indirizzabile di rete a 7 nm al mondo (NR1 NAPU)™, alloggiata nell’appliance completa di inferenza AI NR1-S™ di NeuReality, che ora offre vantaggi competitivi in termini di costi e risparmio energetico rispetto alla tradizionale architettura incentrata sulla CPU.

L’NR1-S, abbinato agli acceleratori AI in un server di inferenza AI, riduce i costi del data center fino al 90% e aumenta l’efficienza energetica fino a quindici volte, offrendo nello stesso tempo una scalabilità lineare senza cali di prestazioni o ritardi, via via che vengono aggiunti ulteriori acceleratori AI, secondo NeuReality.

Apportando al progetto ampie competenze di progettazione embedded, gli esperti di Arrow hanno fornito una guida alla progettazione firmware e hardware, sviluppando e convalidando il firmware per la gestione dell’alimentazione. Arrow ha gestito anche il debug del microcontrollore (MCU) e dei flussi di alimentazione della piattaforma per supportare il successo del bring-up NAPU, NR1-S e del software NeuReality integrato, il tutto eseguito in tempi record.

Il team di Arrow ha anche aiutato a selezionare l’MCU più adatto per fornire il collegamento incrociato dell’interfaccia tra i componenti di sistema della scheda PCIe e del server.

L’NR1 NAPU™ è un server-on-a-chip personalizzato, che fornisce le prestazioni complete di ogni acceleratore AI dedicato, dal circa 30% attuale fino al 100% di utilizzo completo, aumentando la produzione totale e riducendo lo spreco di silicio. Il NAPU non solo effettua la migrazione dei servizi, tra cui la terminazione della rete, la qualità del servizio e la pre- e post-elaborazione dei dati di intelligenza artificiale, ma migliora anche il flusso di dati per pipeline di flussi di dati AI ad alto volume e ad alta varietà.

L’architettura del sistema NeuReality elimina il collo di bottiglia delle prestazioni causato dalla tradizionale architettura di sistema incentrata sulla CPU su cui si basano oggi tutti i sistemi di inferenza AI e i produttori di hardware. Di conseguenza, l’NR1-S aumenta i costi e l’efficienza energetica dell’esecuzione di pipeline di dati AI ad alto volume e ad alta varietà, una delle principali preoccupazioni finanziarie nell’implementazione delle odierne applicazioni di IA convenzionali e generative ad alto consumo energetico.

“Il nostro NAPU affronta i principali colli di bottiglia che limitano le prestazioni degli attuali acceleratori AI, come la gestione dell’alimentazione e il trasferimento dei dati dalla rete all’acceleratore AI, in genere una GPU, un FPGA o un ASIC”, ha affermato Eli Bar-Lev, Director of Hardware at NeuReality. “Il supporto di Arrow con l’hardware e il firmware per la gestione dell’alimentazione e l’ingegneria termica ci ha permesso di concentrare le risorse su una soluzione completa di inferenza IA silicio-software, che ridurrà le barriere del mercato dell’IA per i governi e le aziende di tutto il mondo”.

“Questo entusiasmante progetto può potenzialmente rendere più conveniente e veloce l’inferenza AI aziendale cloud e on-premise, aumentando in tal modo l’accesso a servizi di valore nei settori sanitario e dell’imaging medico, bancario e assicurativo, e nei call center e assistenti virtuali basati sull’intelligenza artificiale”, ha dichiarato Vitali Damasevich, direttore tecnico per l’Europa Orientale e del centro soluzioni tecniche di EMEA.

 

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Menu