Ir al contenido
IA para hoy
Modelos y avances Opinión 3/5 · Una fuente fiable

OpenAI propone la perplejidad como métrica común y límites compartidos para el desarrollo de IA

Fotografía de archivo que ilustra: OpenAI propone la perplejidad como métrica común y límites compartidos para el desarrollo de IA
Foto: betül nur akyürek · Licencia Pexels · Pexels

Hecho Qué ha ocurrido

El científico jefe de OpenAI, Jakub Pachocki, propone usar la perplejidad (o la pérdida de entropía cruzada) como métrica común para comparar modelos entre desarrolladores. OpenAI publica sus propias mediciones internas de perplejidad del preentrenamiento, desde GPT-3.5, y asocia umbrales de pérdida con capacidades emergentes, como las de ciberseguridad y matemáticas por debajo de 0,8. El texto plantea normas de evaluación compartidas y límites de desarrollo acordados por la industria.

Resumen generado mediante IA a partir de OpenAI (original en inglés). Naturaleza de la información: declaración de parte interesada.

Análisis Por qué importa

Si la industria adopta una métrica común con límites acordados, las decisiones sobre qué modelos se lanzan y cuándo podrían depender de criterios que hoy no existen. Para empresas que usan modelos de terceros, cambiaría la forma de evaluar su calidad y riesgo.

Quién se ve afectado
Desarrolladores de modelos fundacionales, equipos de seguridad y cumplimiento, y empresas que contratan modelos de terceros.
Qué puede cambiar
Podría surgir un estándar de transparencia y evaluación entre laboratorios, con límites de desarrollo vinculados a métricas concretas. Hoy la propuesta es una tesis de un directivo de OpenAI, sin compromiso formal de la industria.

Análisis generado a partir de la información disponible; no procede de la fuente.

Predicción Qué observar a continuación

Si otros laboratorios responden con datos comparables de perplejidad, si surge un organismo o acuerdo de referencia, y si las mediciones de OpenAI son verificadas por terceros.

Compartir WhatsApp LinkedIn X Bluesky Telegram
Enviar esta noticia por correo

Se envía esta noticia con su análisis. La dirección se usa solo para ese envío y no se guarda.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: hacer el envío que pides. Base: nuestro interés legítimo. Lo envía Resend; la comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.

Fuente original: OpenAI (fuente primaria). La referencia es siempre el artículo original.

Ver fuente original ↗

LLMpreentrenamiento OpenAI Jakub Pachocki OpenAI perplejidad preentrenamiento seguridad de la IA

Relacionadas

OpenAI actualiza el Model Spec con cinco valores y retira la mayor parte de sus pautas de estilo

OpenAI publicó el 29 de octubre una versión actualizada del Model Spec, su documento público sobre el comportamiento de sus modelos. Ahora se organiza en cinco…

Por qué importaPara equipos que despliegan modelos de OpenAI, el documento describe cómo deberían responder el contexto, la memoria y las instrucciones en…

Impacto bajo Fiabilidad declaración interesada Infobae Tecno

Perplexity usa el modelo GPT-6 Astra de OpenAI para gestionar sistemas de producción con menor supervisión

OpenAI publicó un caso de uso en el que Perplexity emplea su modelo GPT-6 Astra para redactar comunicaciones, modificar software y monitorizar sistemas en…

Por qué importaIlustra un avance en la confianza que las empresas depositan en agentes de IA para tareas operativas críticas sin supervisión constante, lo que puede…

Impacto medio Fiabilidad una fuente fiable OpenAI
Regulación y ética

OpenAI propone estándares comunes de seguridad para modelos de IA de frontera

OpenAI publicó un artículo titulado 'Desarrollar los estándares para la próxima fase de la IA', firmado en el contexto de declaraciones de Sam Altman y Jakub…

Por qué importaMarca un giro discursivo en los grandes laboratorios de IA, que pasan de la carrera competitiva a proponer marcos de gobernanza compartidos, lo que…

Impacto bajo Fiabilidad una fuente fiable Relevancia 7/10 Xataka

OpenAI contribuye a estándares compartidos para IA avanzada

OpenAI ha participado en la construcción de estándares compartidos para IA avanzada, apoyando marcos de evaluación, prácticas de seguridad y cooperación global…

Por qué importaLos estándares comunes son críticos para garantizar que el desarrollo de IA avanzada sea seguro y responsable, facilitando la interoperabilidad y la…

Impacto medio Fiabilidad una fuente fiable OpenAI

Tu opinión

0 comentarios

Escribe un comentario

Sin registro. La primera vez te pediremos confirmar el correo y el comentario pasará por moderación; después se publican al momento si cumplen las normas y firmas con el mismo nombre.

Protección de datos. Responsable: Fernando Lobato, PhD. Finalidad: publicar y moderar tu comentario y evitar abusos. Base: tu consentimiento y, contra los abusos, nuestro interés legítimo. Se publica tu nombre, no tu correo. El texto pasa por un filtro con IA de Anthropic, en Estados Unidos, sin tu nombre ni tu correo, y se guarda un resumen de tu IP 90 días. La comprobación de robots es de Cloudflare. Puedes acceder a tus datos, pedir que los borremos y ejercer tus demás derechos como explica la política de privacidad.