Deci ha presentado modelos «DeciNets» generados por AutoNAC para CPU Intel Cascade Lake, que, según afirma, son más rápidos y precisos que otros modelos de clasificación de imágenes de CPU. Mientras tanto, AAEON anunció que la NPU Hailo-8 está disponible en sus placas UP.
El pasado mes de julio, Desi Anunciando sus DeciNets Una familia de modelos de clasificación de imágenes preentrenados, generados por la tecnología patentada de construcción de arquitectura neuronal automática (AutoNAC) de la compañía israelí.Hoy, Deci dice que los DeciNets preentrenados ahora están disponibles para Intel lago en cascada Un procesador, como una CPU escalable Xeon de segunda generación. Deci afirma que DeciNets que se ejecutan en Cascade Lake de Intel tienen «un tiempo de ejecución más de 2 veces más rápido y una precisión mejorada en comparación con los modelos disponibles públicamente más potentes desarrollados por Google, como EfficientNets».
En otras noticias relacionadas con la IA, Aaeon anunció que la tarjeta aceleradora Hailo de hasta 26 TOPS Hailo-8 M.2 estará disponible en UP Squared Pro, UP Squared 6000 y UP Xtreme i11 SBC (ver más abajo).
Jetson Xavier NX GPU frente a DesiNets Intercambio de latencia/precisión de red neuronal para EfficientNet, ResNet, MobileNet, etc.
Fuente: Entonces.
(click en la imagen para agrandar)
DeciNets puede ejecutarse en cualquier tipo de procesador principal, incluidos GPU y FPGA. La tecnología se optimizó para las GPU Nvidia Jetson Xavier NX (en la foto de arriba) para la IA de borde y las GPU Nvidia T4 para la nube.
Con el apoyo de Intel y Cascade Lake, Deci se está enfocando en el marcado de clasificación de imágenes relativamente inexplorado en la CPU. Las CPU tienden a ser más baratas y más populares que las GPU. También realizan varias tareas en comparación con las GPU, que generalmente se usan para tareas sin cabeza, donde las GPU se usan solo para IA. Sin embargo, las GPU continúan dominando la IA, ya que los modelos de aprendizaje profundo generalmente se ejecutan de 3 a 10 veces más lento en las CPU que en las GPU, dijo Deci.
Deci dijo que DeciNets «cierra significativamente la brecha entre el rendimiento de la GPU y la CPU para las CNN», lo que permite ejecutar tareas en CPU que antes requerían demasiados recursos. Con DeciNets, «la brecha entre el rendimiento de la inferencia del modelo en GPU y CPU se reduce a la mitad sin sacrificar la precisión del modelo».
El aprendizaje profundo se puede acelerar en varios niveles, comenzando con instrucciones dentro del procesador, como las instrucciones de aceleración de aprendizaje profundo integradas en las CPU Cascade Lake, Tiger Lake y Alder Lake. Otras soluciones incluyen complementos aceleradores de hardware como Hailo-8, Myriad X de Intel o Edge TPU NPU de Google. Los tiempos de ejecución y los compiladores, como Tensor RT de Nvidia o OpenVino de Intel, integrados en AutoNAC de Deci, también desempeñan un papel, pero uno de los factores más importantes es el modelo de aprendizaje profundo de la red neuronal convolucional (CNN).
AutoNAC
El rendimiento de un modelo de aprendizaje profundo está relacionado con la arquitectura neuronal utilizada para desarrollarlo. AutoNAC de Deci compite con tecnologías similares, como la tecnología Neural Architecture Search (NAS) de Google, una tecnología de aceleración algorítmica que reconoce el hardware y se ejecuta sobre otras técnicas de optimización.
AutoNAC incluye un componente NAS que modifica un modelo entrenado dado para «optimizar su tiempo de ejecución por un factor de 15, mientras mantiene la precisión de referencia del modelo», dijo Deci. Intel ha trabajado previamente con Intel para usar AutoNAC para acelerar la inferencia en redes neuronales ResNet50 que se ejecutan en CPU Intel, «reduciendo la latencia de los modelos enviados hasta 11,8x y aumentando el rendimiento hasta 11x», dijo Deci.
El proceso de optimización de AutoNAC permite optimizar cada DeciNet para un hardware de inferencia de destino específico de la aplicación. Este proceso requiere un tiempo considerable de capacitación previa, requiere aportes del cliente y utiliza las herramientas de implementación Infery y RTiC de Deci.Sin embargo, como en un ZDNet La historia en DeciNets, que incluye una entrevista con el cofundador y director ejecutivo de Deci, Yonatan Geifman, dice que la capacitación adicional puede reducir los costos operativos y la latencia y mejorar el rendimiento.
Se pueden modificar múltiples DeciNets para proporcionar diferentes compensaciones entre latencia y costo operativo. Si bien el enfoque inicial del proyecto DeciNets Cascade Lake son los centros de datos, el enfoque específico del hardware de la tecnología también debería ayudar a aprovechar al máximo el hardware de IA de borde limitado, según el informe.
«Como profesionales del aprendizaje profundo, nuestro objetivo no es solo encontrar el modelo más preciso, sino también encontrar el modelo más eficiente en recursos que funcione sin problemas en la producción: esta combinación de efectividad y precisión constituye la base del aprendizaje profundo». The Holy Grial'», dijo el CEO de Deci, Geifman. «AutoNAC ha creado el mejor modelo de visión por computadora hasta la fecha, y ahora es posible aplicar una nueva clase de DeciNets y ejecutar aplicaciones de IA de manera eficiente en la CPU».
Hailo-8 ya está disponible en las placas UP
AAEON ofrece sus propios módulos mini-PCIe y M.2 con aceleradores de aprendizaje profundo Intel Movidius Myriad X para sus placas base «UP Bridge the Gap» basadas en Intel y respaldadas por la comunidad. Estos incluyen un módulo UP AI Core XM 2280 con 2 VPU Myriad-X que funcionan como UP Squared Pro basado en Apollo Lake, UP Squared 6000 con tecnología de Elkhart Lake y UP Xtreme x11 con tecnología de Tiger Lake-U de 11.ª generación Opciones disponibles Estos tres SBC son ahora las primeras placas UP que ofrecen opciones para los módulos de aceleración de hasta 26-TOPS Hailo-8 M.2 AI de Hailo.
 Cuadrado superior 6000 |
Hailo afirma que la NPU Hailo-8 de 3 TOP por vatio con el módulo M.2 de $ 199 supera significativamente a Google’s Edge en TOPS por vatio con aplicaciones de detección de objetos y segmentación semántica de IA, incluidas ResNet50 TPU y Movidius Myriad X de Intel. La implementación de Hailo-8 en UP requiere Ubuntu.
Hailo-8 está disponible en un número cada vez mayor de sistemas integrados con tecnología Linux, más recientemente en el sistema de IA perimetral RSC100 basado en Arm de Axiomtek. La mayoría de los demás sistemas también utilizan procesadores Arm, aunque Kontron ofrece Hailo-8 a los clientes de Linux de su sistema KBox A-150-WKL basado en Whiskey Lake de octava generación.
Más información
Modelos DeciNets ahora disponibles para Cascade Lake Community, Professional y Enterprise Plan de precios de la plataformaPuede encontrar más información en Deci Página de DeciNets.
Para obtener más información sobre la opción Hailo-8 en la placa UP, consulte Hailo-8 en la página UP GitHubEsta opción es compatible ARRIBA página de compras Disponible como un accesorio de $199.
