视觉处理单元

视觉处理单元(Vision processing unit VPU)是一种新兴的微处理器; 它是一种特殊类型的AI加速器,旨在加速机器视觉任务。

概观
视觉处理单元不同于视频处理单元(专门用于视频编码和解码),它们适用于运行机器视觉算法,如CNN(卷积神经网络),SIFT(尺度不变特征变换),……等。

它们可能包括从摄像机获取数据的直接接口(绕过任何片外缓冲器),并且更加强调许多具有暂存存储器的并行执行单元之间的片上数据流,如多核DSP。 但是,与视频处理单元一样,它们可能专注于图像处理的低精度定点算法。

与GPU对比
它们与GPU不同,后者包含用于光栅化和纹理映射(用于3D图形)的专用硬件,其内存架构已经过优化,可用于处理片外存储器中的位图图像(读取纹理,修改帧缓冲区,具有随机访问模式) 。

目标市场是机器人技术,物联网,用于虚拟现实和增强现实的新型数码相机,智能相机,以及将机器视觉加速集成到智能手机和其他移动设备中。

例子
Movidius Myriad X,是英特尔公司Myriad VPU系列中的第三代视觉处理单元。
Movidius Myriad 2,可在Google Project Tango和DJI Drones中使用
Microsoft HoloLens,包括一个称为全息处理单元(与其CPU和GPU互补)的加速器,旨在解释摄像机输入,加速环境跟踪和增强现实应用的视觉。
Eyeriss,麻省理工学院的一项设计,旨在运行卷积神经网络。
Intuitive是一家专注于VPU设计的以色列公司,产品名称为NU系列。
NeuFlow是Yann LeCun的设计(在FPGA中实现),用于加速卷积,使用数据流架构。
Mobileye EyeQ,Mobileye
Nvidia的7路VLIW视觉处理器。

类似处理器
某些处理器未被描述为VPU,但同样适用于机器视觉任务。 这些可能形成更广泛的AI加速器类别(VPU也可能属于这些加速器),但截至2016年,该名称尚未达成共识:

IBM TrueNorth,一种神经形态处理器,旨在实现类似的传感器数据模式识别和智能任务,包括视频/音频。
Qualcomm Zeroth神经处理单元,是新兴传感器/ AI导向芯片的另一个入口。