LMSYS crea el consorcio SGLang con nueve empresas para coordinar mejoras en inferencia de IA
Las prioridades abarcan modelos avanzados, razonamiento, multimodalidad e inferencia distribuida. | Créditos: LMSYS

LMSYS crea el consorcio SGLang con nueve empresas para coordinar mejoras en inferencia de IA

LMSYS, organización sin fines de lucro responsable del motor abierto de inferencia SGLang, anunció la creación del SGLang Consortium. Sus nueve miembros fundadores son NVIDIA, AMD, Intel, Google, Meta, Thinking Machines Lab, Cloudflare, Modal y RadixArk.

El anuncio se efectuó el 12 de noviembre en la apertura del primer SGLang Summit, celebrado en San Francisco. LMSYS actualizó su publicación el 16 de noviembre para incorporar a Thinking Machines Lab como miembro fundador.

Hoja de ruta compartida y decisiones técnicas en manos de los mantenedores

Cada integrante designará a un representante técnico y participará en dos reuniones anuales sobre la hoja de ruta. Las prioridades incluyen compatibilidad con modelos avanzados, cargas de razonamiento y multimodales, inferencia distribuida y optimización según el hardware.

Los grupos de trabajo podrán colaborar entre reuniones, con actualizaciones públicas sobre las prioridades y los avances. Los mantenedores de SGLang conservarán la responsabilidad de las decisiones técnicas y la aceptación del código, mientras el proyecto seguirá abierto a la comunidad.

De acuerdo con LMSYS, SGLang forma parte del ecosistema PyTorch y se ejecuta en cientos de miles de GPU. La organización menciona implementaciones de producción en Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection y Modal.

Intel habilitó soporte desde el lanzamiento para Muse Spark Open de Meta en Xeon y GPU D-series
La cuantización y el software abierto permiten ejecutar el modelo de Meta sobre infraestructura Intel con opciones de despliegue en procesadores y GPU

LMSYS también recoge una estimación de Deloitte según la cual la inferencia representaría aproximadamente dos tercios del cómputo de IA durante 2026, frente a cerca de la mitad en 2025.

Ying Sheng, cofundador y director ejecutivo de RadixArk y coautor del artículo original de SGLang, se pronunció en representación del equipo responsable del proyecto. Su intervención abordó la eficiencia del software ante las dificultades de construir nuevos centros de datos.

“Los equipos que ejecutan SGLang a mayor escala identifican antes que nadie qué necesitará la inferencia a continuación. Ante los desafíos que plantea construir nuevos centros de datos, los enfoques de software para mejorar la eficiencia de la IA serán sumamente importantes [...]”.

NVIDIA y AMD destacan la importancia del software abierto de inferencia

Ian Buck, vicepresidente de computación a hiperescala y de alto rendimiento de NVIDIA, abordó la participación del fabricante en un proyecto abierto de inferencia. Su declaración se centró en el aprovechamiento del cómputo disponible y los costos de ejecución.

“NVIDIA se enorgullece de ser miembro fundador del SGLang Consortium y de trabajar con la comunidad para desarrollar software abierto de inferencia. Un mejor software ayuda a los desarrolladores a obtener más rendimiento del cómputo de NVIDIA. [...] Y unos costos de inferencia más bajos hacen que la IA sea más accesible para organizaciones de todo el mundo”.

Ramine Roane, vicepresidente corporativo de aplicaciones de IA de AMD, centró su intervención en el carácter abierto de SGLang y su compatibilidad con diferentes arquitecturas de hardware. El ejecutivo mencionó las GPU AMD Instinct entre los equipos compatibles con el motor de inferencia.

“El código abierto permite a los desarrolladores seguir avanzando en la inferencia de IA. SGLang les proporciona un motor de inferencia rápido y abierto que funciona con distintos tipos de hardware, incluidas las GPU AMD Instinct [...]”.
AMD lanza ROCm 10 y hace disponible ROCm.AI con herramientas agénticas para desarrollar cargas de IA
Hyperloom optimiza inferencia de extremo a extremo; la CLI gestiona entornos y modelos y muestra telemetría en Windows y Linux sin instalación previa.