vLLM

La cuantización y el software abierto permiten ejecutar el modelo de Meta sobre infraestructura Intel con opciones de despliegue en procesadores y GPU

Los modelos funcionan en la infraestructura de la empresa con perfiles validados por Intel y una interfaz que conserva la integración con aplicaciones

Neural Magic aportará su experiencia en ingeniería de rendimiento para IA generativa, algoritmos de optimización de modelos de última generación.