Блок обработки зрения (VPU) — это новый класс микропроцессора; это особый тип ускорителя AI, предназначенный для ускорения задач машинного зрения.

обзор
Процессоры обработки изображений отличаются от блоков обработки видео (которые специализируются на кодировании и декодировании видео) в их пригодности для запуска алгоритмов машинного зрения, таких как CNN (сверточные нейронные сети), SIFT (масштабируемое масштабирование функции), … и т. Д. ,

Они могут включать в себя прямые интерфейсы для приема данных с камер (в обход любых несовместимых буферов) и больше внимания уделять потоку данных на чипе между множеством параллельных исполнительных блоков с памятью блокнотной памяти, как многопроцессорный DSP. Но, как и устройства обработки видео, они могут сосредоточиться на арифметике с фиксированной точкой с малой точностью для обработки изображений.

Контрастность с графическими процессорами
Они отличаются от графических процессоров, которые содержат специализированное оборудование для растеризации и сопоставления текстур (для 3D-графики), а архитектура памяти которого оптимизирована для работы с растровыми изображениями в нечеткой памяти (чтение текстур и изменение буферов кадров со случайными шаблонами доступа) ,

Целевые рынки — это робототехника, интернет вещей, новые классы цифровых камер для виртуальной реальности и расширенная реальность, интеллектуальные камеры и интеграция ускорения машинного зрения в смартфоны и другие мобильные устройства.

Примеры
Movidius Myriad X, который является подразделением обработки видения третьего поколения в линейке Myriad VPU от Intel Corporation.
Movidius Myriad 2, который находит применение в Google Project Tango и DJI Drones
Microsoft HoloLens, которая включает в себя ускоритель, называемый модулем голографической обработки (дополняющий его процессор и графический процессор), предназначенный для интерпретации входных данных камеры, для ускорения отслеживания и видения окружающей среды для приложений с расширенной реализацией.
Eyeriss, проект MIT, предназначенный для запуска сверточных нейронных сетей.
Интуитивно понятная израильская компания, ориентированная на дизайн VPU, назвала продукт NU.
NeuFlow, дизайн Янна ЛеКуна (реализованный в FPGA) для ускорения сверток с использованием архитектуры потока данных.
Mobileye EyeQ, от Mobileye
7-way VLIW Vision Processor от Nvidia.

Подобные процессоры
Некоторые процессоры не описываются как VPU, но одинаково применимы к задачам машинного зрения. Они могут образовывать более широкую категорию ускорителей AI (к которым также могут принадлежать VPU), однако с 2016 года не существует единого мнения о названии:

IBM TrueNorth, нейроморфный процессор, предназначенный для аналогичного распознавания образов данных датчиков и задач разведки, включая видео / аудио.
Qualcomm Zeroth Neural processing unit, еще одна запись в новом классе чипов, ориентированных на датчик / AI.