Por qué la IA se olvida de instrucciones al inicio de una conversación larga: ventana de contexto y atención
Hecho Qué ha ocurrido
Una guía explica que los modelos de lenguaje procesan una cantidad limitada de tokens llamada ventana de contexto, cuyo tamaño en la API llega a 1 millón de tokens en modelos de Anthropic, OpenAI y Google. Cita el estudio 'Lost in the Middle' de 2023, según el cual el rendimiento cae con la información situada en medio de textos largos. Propone seis hábitos para mitigar el problema.
Resumen generado mediante IA a partir de WWWhat's new. Naturaleza de la información: análisis u opinión.
Análisis Por qué importa
Las cifras de ventana de contexto se usan como argumento comercial, pero la atención del modelo no se reparte por igual. Conviene diseñar el uso de la IA en la empresa con esa limitación en cuenta.
- Quién se ve afectado
- Usuarios profesionales que trabajan con chats largos o documentos extensos y equipos que integran modelos vía API.
- Qué puede cambiar
- Las instrucciones críticas pueden necesitar repetirse o colocarse al final, y los documentos largos conviene recortarlos a la sección relevante.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si los proveedores publican métricas actualizadas de recuperación en contextos largos y si las interfaces de chat cambian sus políticas de resumen automático.
Recomendación Qué debería hacer una empresa
Formar a los equipos en buenas prácticas de sesiones largas y revisar en 3 meses si los flujos de trabajo con documentos extensos requieren fragmentación.
Recomendación generada por IA con la evidencia disponible; no es asesoramiento profesional.
Enviar esta noticia por correo
Fuente original: WWWhat's new. La referencia es siempre el artículo original.
Ver fuente original ↗LLM OpenAIAnthropicGoogle ClaudeGeminiLost in the Middletokensventana de contexto
Tu opinión
0 comentarios
Relacionadas
El iPhone Duo llega a España desde 2.339 euros sin la nueva Siri AI en la UE
Apple pone a la venta en España el iPhone Duo, su primer modelo plegable, desde el 23 de octubre y por 2.339 euros en la versión de 256 GB, tras abrir reservas…
Por qué importaPara un directivo o un responsable de compras, el precio europeo y la función de IA sin disponibilidad en la UE encarecen la inversión en un terminal…
Nvidia y Microsoft presentan la Surface Laptop Ultra, un portátil con chip de Nvidia para ejecutar IA en local
Jensen Huang, CEO de Nvidia, habló en un evento para desarrolladores en Londres sobre la Surface Laptop Ultra de Microsoft, primer dispositivo de la compañía…
Por qué importaUn equipo que ejecuta IA sin depender de la nube puede reducir la exposición de datos sensibles y el uso de servicios externos. Es una señal de hacia…
Waymo lleva sus pruebas de robotaxis a Toronto y prevé abrir a pasajeros en 2028
Waymo anunció el 16 de octubre que sus vehículos con conductor empezarán a cartografiar Toronto en los próximos días, con el objetivo de abrir su servicio de…
Por qué importaEs la primera expansión de Waymo a un clima invernal severo, un entorno que la industria ha evitado hasta ahora. Muestra que la conducción autónoma…
Anthropic consulta a bufetes de abogados para fijar normas de negociación entre agentes de IA
Según el Financial Times, citado por The Decoder, Anthropic consulta a bufetes de abogados para desarrollar normas de negociación justa para agentes de IA que…
Por qué importaSi los agentes negocian en nombre de los usuarios, el resultado de una negociación dependerá del modelo que cada parte utilice, lo que puede ampliar…