Una unità di elaborazione della visione (VPU) è una classe emergente di microprocessore; è un tipo specifico di acceleratore AI, progettato per accelerare i compiti di visione artificiale.
Panoramica
Le unità di elaborazione visiva sono distinte dalle unità di elaborazione video (specializzate per codifica e decodifica video) nella loro idoneità per l’esecuzione di algoritmi di visione artificiale come CNN (reti neuronali convoluzionali), SIFT (Trasformata caratteristiche invarianti di scala), …, ecc. .
Possono includere interfacce dirette per acquisire dati dalle telecamere (ignorando eventuali buffer off-chip) e dare maggiore enfasi al flusso di dati su chip tra molte unità di esecuzione parallele con memoria scratchpad, come un DSP manycore. Ma, come le unità di elaborazione video, possono concentrarsi sull’aritmetica a punto fisso di bassa precisione per l’elaborazione delle immagini.
Contrasto con GPU
Si distinguono dalle GPU, che contengono hardware specializzato per la rasterizzazione e il mapping delle texture (per la grafica 3D) e la cui architettura di memoria è ottimizzata per manipolare le immagini bitmap nella memoria off-chip (leggendo le trame e modificando i frame buffer, con pattern di accesso casuale) .
I mercati di riferimento sono la robotica, l’internet delle cose, le nuove classi di fotocamere digitali per la realtà virtuale e la realtà aumentata, le fotocamere intelligenti e l’integrazione dell’accelerazione della visione artificiale in smartphone e altri dispositivi mobili.
Esempi
Movidius Myriad X, che è l’unità di elaborazione della visione di terza generazione della linea Myriad VPU di Intel Corporation.
Movidius Myriad 2, che trova utilizzo in Google Project Tango e DJI Drones
Microsoft HoloLens, che include un acceleratore denominato Unità di elaborazione olografica (complementare alla CPU e alla GPU), finalizzato all’interpretazione degli input delle telecamere, per accelerare il rilevamento e la visione dell’ambiente per le applicazioni di realtà aumentata.
Eyeriss, un progetto del MIT destinato alla gestione di reti neurali convoluzionali.
Intuitivo, un’azienda israeliana che si concentra sul design VPU, il nome del prodotto è la serie NU.
NeuFlow, un progetto di Yann LeCun (implementato in FPGA) per accelerare le convoluzioni, utilizzando un’architettura di flusso di dati.
Mobileye EyeQ, di Mobileye
Processore VLIW Vision 7-way, di Nvidia.
Processori simili
Alcuni processori non sono descritti come VPU, ma sono ugualmente applicabili alle attività di visione artificiale. Questi possono formare una categoria più ampia di acceleratori AI (a cui possono anche appartenere VPU), tuttavia dal 2016 non c’è consenso sul nome:
IBM TrueNorth, un processore neuromorfico finalizzato al riconoscimento di pattern di dati del sensore e attività di intelligence simili, tra cui video / audio.
Qualcomm Zeroth Unità di elaborazione neurale, un’altra voce nella classe emergente di chip orientati ai sensori / AI.