Por Stephen Watt, Distinguished Engineer & Vice President, Office of the CTO, Red Hat.
No es ningún secreto que la industria tecnológica está adoptando con rapidez el desarrollo de software agéntico para convertir procesos de negocio en flujos de trabajo completamente autónomos con agentes de IA. Aunque el potencial de estas herramientas es indiscutible, los modelos de consumo actuales plantean un desafío. La mayoría de estas soluciones se ofrece mediante un enfoque de modelo como servicio, lo que apunta a desencadenar una versión de la paradoja de la nube aplicada a la IA: la paradoja agéntica.
La paradoja es simple. La forma más rápida de agilizar los procesos de negocio es utilizar modelos de vanguardia potentes. Sin embargo, a medida que la adopción escala, esta estrategia se vuelve insostenible. Los costes por tokens erosionan los márgenes de beneficio, la latencia impredecible puede degradar el rendimiento y el envío de datos sensibles a APIs públicas puede vulnerar la confidencialidad, la soberanía y los requisitos normativos. Para aliviar estas tensiones, las empresas deben ir más allá del simple consumo y avanzar hacia una estrategia arquitectónica híbrida que priorice la capacidad de elección.
Columnas al director
El coste de la innovación
Las señales de fricción ya están ahí. Algunos estudios apuntan a que hay empresas que agotan todo su presupuesto de gasto en la nube en tokens a mitad del segundo trimestre. Nos acercamos a un punto crítico en el que necesitamos nuevos enfoques para la inferencia de modelos con el fin de recuperar el control sobre el coste, el rendimiento y los datos.
¿Cómo responderán las organizaciones cuando la factura de la innovación de ayer llegue mañana? Estamos dejando atrás la era de simplemente usar modelos. Ahora debemos diseñar los sistemas que los sustentan. Es probable que la adopción siga un patrón híbrido. Parte del consumo de tokens utilizará un modelo gestionado, mientras que otra parte se ejecutará de forma autogestionada en la nube pública o en centros de datos empresariales.
Una mentalidad centrada en el sistema
Gran parte de nuestro trabajo en los grupos de Investigación y Tecnologías Emergentes de Red Hat se centra en la relación entre las capas de inteligencia e infraestructura, y da lugar a proyectos innovadores de la comunidad open source, como una base reforzada y basada en imágenes, desarrollada recientemente para agentes de IA. Al tratar las cargas de trabajo de IA con el mismo rigor que el software empresarial tradicional, el open source aporta la estabilidad que requieren los entornos de producción.
Este cambio arquitectónico permite a las organizaciones pasar de una visión centrada en el modelo a un enfoque centrado en el sistema. Desde esta perspectiva, el valor reside en la fiabilidad de todo el stack, no en la API de un único proveedor.
Francisco Carrasco M.
El mecanismo de la elección
A medida que una empresa trabaja para recuperar el equilibrio financiero y establecer una base de control y consistencia híbridos, el camino inicial suele pasar por un proxy o router de inferencia. Es el enfoque menos disruptivo para reducir los costes de inferencia en una implementación agéntica ya existente, con cambios arquitectónicos mínimos. Al mantener consistentes los endpoints de inferencia, las organizaciones pueden cambiar entre proveedores de servicio o modelos autogestionados que ofrezcan un mejor valor.
Por eso Red Hat creó proyectos como vLLM Semantic Router y llm-d: para explorar ideas novedosas en inteligencia artificial y, en el caso de vLLM Semantic Router, el enrutamiento de inferencia y la economía de tokens. Esta investigación y desarrollo pioneros son los bloques de construcción que, con el tiempo, dan forma a las plataformas de Red Hat. Proyectos como vLLM Semantic Router aportan el enrutamiento inteligente y eficiente necesario para navegar por un panorama multimodal y, al controlar esta capa de inteligencia de enrutamiento, las organizaciones pueden recuperar el control sobre sus cargas de trabajo en cualquier infraestructura.
Francisco Carrasco M.
Una realidad híbrida
Más allá del enrutamiento de inferencia, el siguiente paso para las organizaciones es explorar soluciones autogestionadas. Eso significa utilizar las últimas propuestas de modelos de pesos abiertos servidas por una plataforma de inferencia de alto rendimiento como vLLM y alojados en su propia infraestructura.
Aquí surge el gran reto: ¿cómo pueden las organizaciones sustituir los potentes procesos de negocio impulsados por agentes, desarrollados con un modelo como servicio, por modelos de pesos abiertos? ¿Cómo pueden las empresas reproducir ese patrón de modelo como servicio para pasar de consumidoras de tokens a proveedoras de IA? ¿Qué compromisos tendrán que asumir en esa transición? ¿Y cómo pueden hacerlo con éxito sin perder eficacia?
Cada empresa dispone de años de datos únicos, y los modelos entrenados con datos públicos carecen de este contexto y de este entrenamiento específicos. Los modelos de pesos abiertos que se ejecutan localmente pueden combinarse con estas fuentes de datos privadas para mejorar de forma segura la precisión y las capacidades de los agentes. Aunque algunos modelos de pesos abiertos pueden servir como reemplazo inmediato, otros requieren trabajo para cerrar la brecha de rendimiento mediante fine-tuning, distillation y reinforcement learning. A medida que el reinforcement learning entre en el mercado, estos modelos y las cargas de trabajo agéntico resultantes ganarán precisión. Este camino conduce, en última instancia, a una arquitectura híbrida. Algunos modelos seguirán siendo autogestionados para las cargas de trabajo principales, mientras que otros se consumirán a través de una interfaz gestionada por terceros.
Admin
Red Hat está especializada en soluciones híbridas. Del mismo modo que ofrecimos una plataforma híbrida para el consumo de nube con Red Hat Enterprise Linux y Red Hat OpenShift, Red Hat AI Enterprise ofrece una plataforma híbrida para despliegues de agentes e inferencia, independientemente del modelo que utilices o de dónde esté alojado. Eso demuestra que la elección llega de la mano del open source. El futuro de la IA es híbrido, y las plataformas para construirlo ya están aquí en Red Hat.
