Ir al contenido
IA para hoy
Herramientas y productos Producto 3/5 · Una fuente fiable

Salesforce usa el router de inferencia entre regiones de SageMaker AI para repartir la carga de sus modelos

Fotografía de archivo que ilustra: Salesforce usa el router de inferencia entre regiones de SageMaker AI para repartir la carga de sus modelos
Foto: Tobi &Chris · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

Un artículo del blog de AWS Machine Learning describe cómo Salesforce utiliza el router de inferencia entre regiones de Amazon SageMaker AI para servir modelos desde sus endpoints en más de 30 regiones. El router envía cada petición a un endpoint capaz de atenderla, puede apuntar a cuentas y regiones distintas, y registra dónde se sirvió cada llamada y por qué. Según el texto, Salesforce integró el router en su Internal Gateway y mantiene el control de residencia de datos.

Resumen generado mediante IA a partir de AWS Machine Learning Blog (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Para empresas que sirven modelos propios en varias regiones, la capacidad fragmentada puede convertirse en un problema de disponibilidad. Un enrutamiento gestionado y consciente de la capacidad evita replicar esa lógica en cada aplicación.

Quién se ve afectado
Equipos de plataforma e ingeniería que despliegan modelos en varias regiones de AWS, especialmente con requisitos de residencia de datos.
Qué puede cambiar
Si el mecanismo funciona como se describe, el reparto de tráfico entre regiones podría gestionarse en la capa de infraestructura en lugar de en el código de cada aplicación. El texto no aporta cifras independientes de disponibilidad o de coste.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Conviene vigilar si otros clientes publican resultados verificables con este router, cómo se comporta con cargas reales de pico y qué costes de latencia entre regiones y de transferencia de datos aparecen en la práctica.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: AWS Machine Learning Blog (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

inferencia de modelosAmazon SageMaker AIenrutamiento entre regiones SalesforceAWS Agentforce AWS inferencia SageMaker AI Salesforce

Relacionadas

AWS mejora disponibilidad de modelos en SageMaker con distribucion multi-zona

AWS ha añadido capacidades de control de ubicación (SchedulingConfig) a los Componentes de Inferencia de SageMaker, permitiendo distribuir copias de modelos de…

Por qué importaLas empresas que despliegan modelos de IA en producción necesitan garantizar disponibilidad ante fallos de instancias y zonas completas; esta mejora…

Impacto medio Fiabilidad fuente primaria AWS Machine Learning Blog

AWS valida entrenamiento de IA multi-región con SageMaker HyperPod y Qumulo

AWS describe una arquitectura que combina Amazon SageMaker HyperPod con Cloud Native Qumulo y su Cloud Data Fabric para entrenar modelos de IA con cómputo en…

Por qué importaElimina la disyuntiva entre replicar petabytes de datos entre regiones o aceptar cuellos de botella de latencia, permitiendo a las empresas…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

AWS habilita inferencia global para Claude 4.5 en Sudáfrica con enrutamiento automático

AWS anunció que Amazon Bedrock ahora soporta inferencia global entre regiones en la región af-south-1 (Ciudad del Cabo), permitiendo a clientes de Sudáfrica…

Por qué importaPara empresas en Sudáfrica y regiones con restricciones de residencia de datos, esto reduce la latencia de inferencia y mejora la confiabilidad bajo…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 AWS Machine Learning Blog

AWS lanza enrutamiento consciente de prefijos en SageMaker Inference para reducir latencia de LLM

Amazon SageMaker Inference introduce prefix-aware routing, una estrategia que envía peticiones con el mismo prefijo de prompt a la misma instancia para…

Por qué importaPara empresas que despliegan LLMs a escala con prompts que comparten contexto (RAG, bots con instrucciones largas, conversaciones multi-turno), esto…

Impacto medio Fiabilidad una fuente fiable AWS Machine Learning Blog

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.