Intel y RadixArk optimizarán SGLang para inferencia de IA en CPU, GPU y aceleradores
Optimizaciones abiertas buscan reducir latencia al ejecutar modelos de IA. | Créditos: Intel.

Intel y RadixArk optimizarán SGLang para inferencia de IA en CPU, GPU y aceleradores

Intel anunció una colaboración con RadixArk para optimizar SGLang, un entorno de código abierto para inferencia de IA, en sus procesadores, GPU y aceleradores. Las mejoras se incorporarán al desarrollo principal del proyecto para facilitar despliegues en centros de datos y entornos de nube.

Aceleración de hardware mediante Intel AMX y herramientas abiertas

Las modificaciones contemplan las Intel Advanced Matrix Extensions (Intel AMX) y otras funciones de aceleración del hardware. Intel afirma que estas mejoras permitirían reducir la latencia y los tiempos de puesta en producción, aunque no presentó mediciones de rendimiento ni cifras comparativas.

Intel presentó microservicios para ejecutar LLM con configuración automática en procesadores Xeon
Los modelos funcionan en la infraestructura de la empresa con perfiles validados por Intel y una interfaz que conserva la integración con aplicaciones

Anil Nanduri, vicepresidente de AI Products & GTM del Data Center Group de Intel, enmarcó el acuerdo en las necesidades de adopción empresarial de la inferencia de IA. Su planteamiento incluye el uso de diferentes tipos de procesamiento.

“La IA empresarial está dejando atrás las pruebas de rendimiento aisladas para abordar despliegues productivos de sistemas completos. Esta colaboración garantiza que los desarrolladores estén preparados desde el primer día y cuenten con software de inferencia de alto rendimiento optimizado directamente para CPU, GPU y aceleradores de Intel mediante un enfoque abierto [...]”.

Integración de las mejoras en el código abierto de SGLang

Ying Sheng, director ejecutivo de RadixArk, abordó las contribuciones al proyecto SGLang desde la perspectiva del desarrollo comunitario de software. Su declaración expone la relación entre estándares abiertos y despliegues de modelos de IA en producción.

“[...] Al incorporar optimizaciones profundas al núcleo del marco de trabajo, estamos eliminando limitaciones y garantizando que los desarrolladores nunca tengan que sacrificar los estándares abiertos para obtener alto rendimiento. [...] la arquitectura de Intel preparada para entornos empresariales proporciona a los equipos de desarrollo la flexibilidad y densidad de cómputo que necesitan para escalar las cargas de IA en producción de manera fluida”.
Intel habilitó soporte desde el lanzamiento para Muse Spark Open de Meta en Xeon y GPU D-series
La cuantización y el software abierto permiten ejecutar el modelo de Meta sobre infraestructura Intel con opciones de despliegue en procesadores y GPU