Bildverarbeitungseinheit

Eine Vision Processing Unit (VPU) ist eine aufstrebende Klasse von Mikroprozessoren; Es handelt sich dabei um eine spezielle Art von KI-Beschleuniger, die zur Beschleunigung von Bildverarbeitungsaufgaben entwickelt wurde.

Überblick
Bildverarbeitungseinheiten unterscheiden sich von Videobearbeitungsgeräten (die für die Videocodierung und -decodierung spezialisiert sind) in ihrer Eignung für die Ausführung von Machine-Vision-Algorithmen wie CNN (Faltungsneuralnetzwerke), SIFT (Scale-Invariante-Feature-Transformation), usw. .

Sie können direkte Schnittstellen für die Datenübernahme von Kameras enthalten (unter Umgehung von Off-Chip-Puffern), und sie legen mehr Wert auf den On-Chip-Datenfluss zwischen vielen parallelen Ausführungseinheiten mit Scratchpad-Speicher wie einem Manycore-DSP. Wie bei Videoverarbeitungseinheiten können sie sich jedoch auf die Festpunktarithmetik mit niedriger Genauigkeit für die Bildverarbeitung konzentrieren.

Kontrast zu GPUs
Sie unterscheiden sich von GPUs, die spezielle Hardware für das Rasterisieren und Textur-Mapping (für 3D-Grafiken) enthalten und deren Speicherarchitektur für die Bearbeitung von Bitmap-Bildern im Off-Chip-Speicher optimiert ist (Lesen von Texturen und Modifizieren von Bildpuffern mit Zufallszugriffsmustern). .

Zielmärkte sind Robotik, das Internet der Dinge, neue Klassen von Digitalkameras für Virtual Reality und Augmented Reality, Smart Kameras und die Integration von Machine Vision Beschleunigung in Smartphones und andere mobile Geräte.

Beispiele
Movidius Myriad X ist die dritte Generation der Vision-Processing-Einheit der Myriad VPU-Linie der Intel Corporation.
Movidius Myriad 2, das in Google Project Tango und DJI Drohnen Verwendung findet
Microsoft HoloLens, ein Beschleuniger, der als Holographic Processing Unit (komplementär zu CPU und GPU) bezeichnet wird, dient zur Interpretation der Kameraeingaben und soll die Umgebungsverfolgung und -erkennung für Augmented Reality-Anwendungen beschleunigen.
Eyeriss, ein Design des MIT, das für den Betrieb von Faltungsneuralnetzwerken gedacht ist.
Intuitive, ein israelisches Unternehmen, das sich auf VPU-Design konzentrierte, der Name des Produkts ist NU-Serie.
NeuFlow, ein Entwurf von Yann LeCun (implementiert in FPGA) zur Beschleunigung von Windungen unter Verwendung einer Datenflussarchitektur.
Mobileye EyeQ von Mobileye
7-Wege-VLIW-Vision-Prozessor von Nvidia.

Ähnliche Prozessoren
Einige Prozessoren werden nicht als VPUs bezeichnet, sind jedoch gleichermaßen auf Machine Vision-Aufgaben anwendbar. Diese können eine breitere Kategorie von KI-Beschleunigern bilden (zu denen auch VPUs gehören können), ab 2016 besteht jedoch kein Konsens über den Namen:

IBM TrueNorth, ein neuromorpher Prozessor, der auf ähnliche Sensordatenmustererkennungs- und Intelligenzaufgaben, einschließlich Video / Audio, abzielt.
Qualcomm Zeroth Neuronale Verarbeitungseinheit, ein weiterer Eintrag in der aufstrebenden Klasse von Sensor / AI-orientierten Chips.