Noticias etiquetadas con «evaluación de IA»
8 noticias
OpenAI publica que Terminal X, con su agente de evaluación, califica los resultados según una rúbrica de 54 criterios. Según la fuente, el sistema detecta un…
Por qué importaSi se confirma, sugiere que los agentes de IA pueden automatizar parte del control de cumplimiento en gestión de inversiones. Para una gestora o un…
Irene Solaiman, directora de políticas de Hugging Face, afirmó en TechCrunch Disrupt que los métodos de evaluación comparativa de modelos de IA siguen…
Por qué importaLas comparativas de modelos que usan las empresas para elegir proveedor son menos fiables de lo que sugieren, y la evaluación de agentes y sistemas…
El UK AI Security Institute (AISI) y la coalición EvalEval han ampliado su colaboración para publicar resultados de evaluación de modelos frontera con…
Por qué importaLa falta de reproducibilidad en los benchmarks dificulta comparar de forma fiable el rendimiento real de los modelos de IA, algo crítico para…
Vals, startup fundada en 2024, ofrece evaluaciones de modelos de IA en tareas específicas de industrias como derecho, finanzas y ciberseguridad, cobrando a…
Por qué importaLos benchmarks son clave para que empresas y reguladores evalúen la fiabilidad real de los modelos de IA que compran o adoptan, y sistemas más…
Andon Labs, empresa de seguridad en IA con sede en San Francisco, gestiona negocios físicos reales (una tienda, un café y una máquina expendedora) con agentes…
Por qué importaEstos experimentos revelan que la capacidad de un modelo para completar tareas puntuales no equivale a fiabilidad para gestionar operaciones de forma…
OpenAI ha introducido Deployment Simulation, una metodología que permite predecir el comportamiento de modelos de IA antes de su despliegue utilizando datos…
Por qué importaLa capacidad de simular el comportamiento de modelos antes del lanzamiento reduce riesgos operacionales y mejora la confiabilidad de las evaluaciones…
Google Research ha publicado ConvApparel, un conjunto de datos de más de 4.000 conversaciones humano-IA multiturno en el dominio de compra de ropa, junto con…
Por qué importaLa mayoría de sistemas de IA conversacionales actuales se entrenan y validan con simuladores de usuario basados en LLM porque las pruebas con…
ServiceNow-AI, en colaboración con Hugging Face, ha presentado EVA, un marco de evaluación end-to-end para agentes de voz conversacionales que mide…
Por qué importaLos agentes de voz son críticos en atención al cliente, pero no existía un estándar que evaluara conjuntamente tanto el éxito de la tarea como la…
