Uma unidade de processamento de visão (VPU) é uma classe emergente de microprocessador; é um tipo específico de acelerador AI, projetado para acelerar tarefas de visão de máquina.
visão global
As unidades de processamento de visão são distintas das unidades de processamento de vídeo (especializadas em codificação e decodificação de vídeo) em sua adequação para executar algoritmos de visão de máquina, como CNN (redes neurais convolucionais), SIFT (conversão de recurso invariante de escala), etc. .
Eles podem incluir interfaces diretas para capturar dados de câmeras (ignorando qualquer buffer de chip desativado) e ter uma ênfase maior no fluxo de dados no chip entre muitas unidades de execução paralela com memória de rascunho, como um DSP manycore. Mas, como as unidades de processamento de vídeo, elas podem ter um foco na aritmética de ponto fixo de baixa precisão para processamento de imagens.
Contraste com GPUs
Eles são distintos dos GPUs, que contêm hardware especializado para rasterização e mapeamento de textura (para gráficos 3D) e cuja arquitetura de memória é otimizada para manipular imagens de bitmap na memória sem chip (leitura de texturas e modificação de buffers de quadros com padrões de acesso aleatório) .
Os mercados-alvo são a robótica, a internet das coisas, novas classes de câmeras digitais para realidade virtual e realidade aumentada, câmeras inteligentes e integração da aceleração de visão de máquina em smartphones e outros dispositivos móveis.
Exemplos
Movidius Myriad X, que é a unidade de processamento de visão de terceira geração na linha Myriad VPU da Intel Corporation.
Movidius Myriad 2, que é usado no Google Project Tango e no DJI Drones
O Microsoft HoloLens, que inclui um acelerador conhecido como Unidade de Processamento Holográfico (complementar ao seu CPU e GPU), visava interpretar as entradas da câmera, para acelerar o rastreamento e a visão do ambiente para aplicações de realidade aumentada.
Eyeriss, um projeto do MIT destinado a executar redes neurais convolucionais.
Intuitivo, uma empresa de Israel que se concentrou no design da VPU, o nome do produto é da série NU.
NeuFlow, um projeto de Yann LeCun (implementado em FPGA) para acelerar convoluções, usando uma arquitetura de fluxo de dados.
Mobileye EyeQ, da Mobileye
Processador VLIW Vision de 7 vias, da Nvidia.
Processadores similares
Alguns processadores não são descritos como VPUs, mas são igualmente aplicáveis a tarefas de visão de máquina. Estes podem formar uma categoria mais ampla de aceleradores de inteligência artificial (aos quais VPUs também podem pertencer), no entanto, a partir de 2016, não há consenso sobre o nome:
IBM TrueNorth, um processador neuromórfico voltado para tarefas semelhantes de reconhecimento e inteligência de padrões de dados de sensores, incluindo vídeo / áudio.
Qualcomm Zeroth Unidade de processamento neural, outra entrada na classe emergente de chips orientados por sensores / IA.