Unité de traitement de la vision

Une unité de traitement de la vision (VPU) est une classe émergente de microprocesseurs; Il s’agit d’un type spécifique d’accélérateur d’IA conçu pour accélérer les tâches de vision industrielle.

Vue d’ensemble
Les unités de traitement de la vision se distinguent des unités de traitement de la vidéo (spécialisées dans le codage et le décodage vidéo) en ce qui concerne leur aptitude à exécuter des algorithmes de vision artificielle tels que CNN (réseaux de neurones convolutionnels), SIFT (transformation de caractéristique invariante à l’échelle), …, etc. .

Ils peuvent inclure des interfaces directes pour extraire les données des caméras (en contournant les tampons hors puce), et mettre davantage l’accent sur le flux de données sur puce entre plusieurs unités d’exécution parallèles avec une mémoire tampon, comme un DSP à plusieurs niveaux. Mais, à l’instar des unités de traitement vidéo, elles peuvent mettre l’accent sur l’arithmétique en virgule fixe de faible précision pour le traitement des images.

Contraste avec les GPU
Ils sont distincts des GPU, qui contiennent du matériel spécialisé pour la rastérisation et le mappage de texture (pour les graphiques 3D), et dont l’architecture de mémoire est optimisée pour manipuler des images bitmap dans la mémoire externe (lecture de textures et modification de mémoires tampon de trames avec des modèles d’accès aléatoire) .

Les marchés cibles sont la robotique, l’internet des objets, de nouvelles catégories d’appareils photo numériques pour la réalité virtuelle et la réalité augmentée, les caméras intelligentes et l’intégration de l’accélération de la vision artificielle dans les smartphones et autres appareils mobiles.

Exemples
Movidius Myriad X, l’unité de traitement de la vision de troisième génération de la ligne Myriad VPU d’Intel Corporation.
Movidius Myriad 2, qui trouve une utilisation dans Google Project Tango et DJI Drones
Microsoft HoloLens, qui comprend un accélérateur appelé unité de traitement holographique (complémentaire de son processeur et de son GPU), destiné à interpréter les entrées de caméra, afin d’accélérer le suivi et la vision de l’environnement pour les applications de réalité augmentée.
Eyeriss, une conception du MIT destinée à l’exploitation de réseaux de neurones à convolution.
Intuitive, une société israélienne qui s’est concentrée sur la conception de VPU, le nom du produit est la série NU.
NeuFlow, une conception de Yann LeCun (implémentée dans FPGA) pour accélérer les convolutions, utilisant une architecture de flux de données.
Mobileye EyeQ, par Mobileye
Processeur de vision VLIW 7 voies, par Nvidia.

Processeurs similaires
Certains processeurs ne sont pas décrits en tant que VPU, mais sont également applicables aux tâches de vision industrielle. Ceux-ci peuvent former une catégorie plus large d’accélérateurs d’IA (à laquelle les VPU peuvent également appartenir), mais à partir de 2016, il n’y a pas de consensus sur le nom:

IBM TrueNorth, un processeur neuromorphique destiné à la reconnaissance de formes de données de capteurs et à des tâches d’intelligence, notamment vidéo / audio.
Unité de traitement Qualcomm Zeroth Neural, une autre entrée dans la classe émergente des puces orientées capteurs / AI.