OpenAI propone la perplejidad como métrica común y límites compartidos para el desarrollo de IA

Hecho Qué ha ocurrido
El científico jefe de OpenAI, Jakub Pachocki, propone usar la perplejidad (o la pérdida de entropía cruzada) como métrica común para comparar modelos entre desarrolladores. OpenAI publica sus propias mediciones internas de perplejidad del preentrenamiento, desde GPT-3.5, y asocia umbrales de pérdida con capacidades emergentes, como las de ciberseguridad y matemáticas por debajo de 0,8. El texto plantea normas de evaluación compartidas y límites de desarrollo acordados por la industria.
Resumen generado mediante IA a partir de OpenAI (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
Si la industria adopta una métrica común con límites acordados, las decisiones sobre qué modelos se lanzan y cuándo podrían depender de criterios que hoy no existen. Para empresas que usan modelos de terceros, cambiaría la forma de evaluar su calidad y riesgo.
- Quién se ve afectado
- Desarrolladores de modelos fundacionales, equipos de seguridad y cumplimiento, y empresas que contratan modelos de terceros.
- Qué puede cambiar
- Podría surgir un estándar de transparencia y evaluación entre laboratorios, con límites de desarrollo vinculados a métricas concretas. Hoy la propuesta es una tesis de un directivo de OpenAI, sin compromiso formal de la industria.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Si otros laboratorios responden con datos comparables de perplejidad, si surge un organismo o acuerdo de referencia, y si las mediciones de OpenAI son verificadas por terceros.
Enviar esta noticia por correo
Enviado. Revisa que llegue a la bandeja de entrada de quien lo reciba.
La dirección no parece válida.
Has enviado varios correos seguidos. Espera un rato.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
No se ha podido enviar. Inténtalo de nuevo en unos minutos.
Fuente original: OpenAI (fuente primaria). La referencia es siempre el artículo original.
Ver fuente original ↗LLMpreentrenamiento OpenAI Jakub Pachocki OpenAI perplejidad preentrenamiento seguridad de la IA
Relacionadas
OpenAI actualiza el Model Spec con cinco valores y retira la mayor parte de sus pautas de estilo
OpenAI publicó el 29 de octubre una versión actualizada del Model Spec, su documento público sobre el comportamiento de sus modelos. Ahora se organiza en cinco…
Por qué importaPara equipos que despliegan modelos de OpenAI, el documento describe cómo deberían responder el contexto, la memoria y las instrucciones en…
Perplexity usa el modelo GPT-6 Astra de OpenAI para gestionar sistemas de producción con menor supervisión
OpenAI publicó un caso de uso en el que Perplexity emplea su modelo GPT-6 Astra para redactar comunicaciones, modificar software y monitorizar sistemas en…
Por qué importaIlustra un avance en la confianza que las empresas depositan en agentes de IA para tareas operativas críticas sin supervisión constante, lo que puede…
OpenAI propone estándares comunes de seguridad para modelos de IA de frontera
OpenAI publicó un artículo titulado 'Desarrollar los estándares para la próxima fase de la IA', firmado en el contexto de declaraciones de Sam Altman y Jakub…
Por qué importaMarca un giro discursivo en los grandes laboratorios de IA, que pasan de la carrera competitiva a proponer marcos de gobernanza compartidos, lo que…
OpenAI contribuye a estándares compartidos para IA avanzada
OpenAI ha participado en la construcción de estándares compartidos para IA avanzada, apoyando marcos de evaluación, prácticas de seguridad y cooperación global…
Por qué importaLos estándares comunes son críticos para garantizar que el desarrollo de IA avanzada sea seguro y responsable, facilitando la interoperabilidad y la…
Tu opinión
Te hemos enviado un correo para confirmar tu dirección. El comentario se procesará cuando pulses el enlace.
Gracias. Tu comentario se publicará cuando lo revise el equipo (los primeros comentarios de cada persona se moderan).
Comentario publicado. Gracias por participar.
No se puede comentar aquí.
Indica un nombre (de 2 a 60 caracteres).
El correo no parece válido.
El comentario debe tener entre 10 y 2.000 caracteres.
Demasiados enlaces en el comentario.
No se ha podido comprobar que no eres un robot. Vuelve a intentarlo.
Has alcanzado el límite diario de comentarios.
Demasiados comentarios seguidos. Espera un rato.
No se ha podido enviar el correo de confirmación. Inténtalo de nuevo en unos minutos.



