Ir al contenido
IA para hoy

benchmarking

Noticias etiquetadas con «benchmarking»

19 noticias

Filtrar
Inversión y mercado

Arena, plataforma de evaluación de modelos de IA, capta 200 millones y duplica su valoración a 3.100 millones

Arena, la empresa detrás del ranking crowdsourced LMArena, cerró una Serie B de 200 millones de dólares liderada por Lightspeed y Khosla a una valoración de…

Por qué importaArena se posiciona como árbitro neutral de calidad y seguridad de modelos de IA en un momento en que los benchmarks estáticos pierden fiabilidad, lo…

Impacto bajo Fiabilidad una fuente fiable TechCrunch AI
Herramientas y productos

AWS presenta método de 'concurrency sweeps' para dimensionar endpoints de IA generativa en SageMaker

AWS explica en su blog técnico cómo usar la nueva API CreateAIBenchmarkJob de Amazon SageMaker AI para ejecutar 'concurrency sweeps', pruebas de carga…

Por qué importaPermite a equipos técnicos dimensionar infraestructura de inferencia de forma sistemática en lugar de por prueba y error, evitando sobrecostes por…

Impacto bajo Fiabilidad una fuente fiable AWS Machine Learning Blog
Inversión y mercado

Vals AI, respaldada por Andreessen Horowitz, busca ser el estándar de benchmarking de modelos de IA

Vals, startup fundada en 2024, ofrece evaluaciones de modelos de IA en tareas específicas de industrias como derecho, finanzas y ciberseguridad, cobrando a…

Por qué importaLos benchmarks son clave para que empresas y reguladores evalúen la fiabilidad real de los modelos de IA que compran o adoptan, y sistemas más…

Impacto bajo Fiabilidad una fuente fiable TechCrunch AI
Investigación

Nature Methods publica número especial sobre IA aplicada a la biología

Nature Methods dedica un editorial y varios artículos a revisar cómo la IA está transformando la investigación biológica, dos años después de un número…

Por qué importaMuestra la penetración transversal de la IA en disciplinas científicas más allá del software empresarial, con implicaciones para cómo se genera y…

Impacto bajo Fiabilidad una fuente fiable Nature · Machine learning
Investigación

BenchMIRT: método para auditar qué miden realmente los benchmarks de modelos

Allen Institute for AI ha presentado BenchMIRT, una metodología que aplica teoría de respuesta a items multidimensional (MIRT) para analizar benchmarks de…

Por qué importaPara equipos de investigación y empresas que evalúan modelos, comprender qué mide realmente cada benchmark es crítico para elegir las herramientas de…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Hugging Face revela que modelos ASR de código abierto reproducen errores de benchmark

Hugging Face ha publicado investigación que demuestra que 11 modelos populares de reconocimiento automático de voz (ASR) de código abierto exhiben…

Por qué importaEste hallazgo cuestiona la fiabilidad de los benchmarks públicos como medida real del desempeño: modelos que muestran las puntuaciones más altas…

Impacto medio Fiabilidad confirmado por varias fuentes Relevancia 7/10 Hugging Face
Sociedad y trabajo

China convierte el turismo tecnológico en herramienta de influencia global sobre IA y robótica

Operadores turísticos en China ofrecen paquetes de entre 3.000 dólares y 80 euros que incluyen visitas a fábricas de IA, vehículos eléctricos, robótica y…

Por qué importaEl fenómeno señala un desplazamiento de la percepción sobre liderazgo tecnológico global desde Estados Unidos hacia China, con impacto en decisiones…

Impacto bajo Fiabilidad una fuente fiable Xataka
Herramientas y productos

AWS integra MLflow con herramientas de optimización de inferencia en SageMaker

AWS ha añadido integración nativa de MLflow a los trabajos de optimización de inferencia y benchmarking en Amazon SageMaker AI. La integración permite…

Por qué importaPara equipos que despliegan modelos generativos, reduce el tiempo de toma de decisiones en configuración de instancias, paralelismo y técnicas de…

Impacto medio Fiabilidad confirmado por varias fuentes AWS Machine Learning Blog
Investigación

IBM Research lanza ScarfBench para evaluar agentes de IA en migraciones de frameworks Java

IBM Research ha presentado ScarfBench, un benchmark abierto para evaluar agentes de IA en tareas de migración de frameworks en aplicaciones empresariales Java…

Por qué importaLa modernización de aplicaciones empresariales es un desafío crítico para IT, y los agentes de IA se presentan como solución. Este benchmark expone…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Hugging Face propone benchmark de agentes para optimizar librerías de IA

Hugging Face ha publicado una metodología de benchmark para evaluar cómo los agentes de IA usan las librerías de software, no solo si obtienen el resultado…

Por qué importaEsta investigación establece un nuevo estándar para diseñar software pensando en agentes, no en humanos. Para empresas que desarrollan librerías o…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Hugging Face añade datos privados al Open ASR Leaderboard para evitar optimización de benchmarks

Hugging Face ha incorporado nuevos conjuntos de datos privados de reconocimiento de voz (ASR) proporcionados por Appen Inc. y DataoceanAI al Open ASR…

Por qué importaLos benchmarks de IA son herramientas críticas para evaluar modelos, pero su transparencia total puede incentivar optimizaciones artificiales que no…

Impacto bajo Fiabilidad fuente primaria Hugging Face
Investigación

QIMMA: plataforma abierta para evaluar modelos de IA en árabe con validación de calidad

El Technology Innovation Institute ha lanzado QIMMA, un banco de pruebas de código abierto para modelos de lenguaje en árabe que valida la calidad de los…

Por qué importaPara empresas y desarrolladores que trabajan con IA en idiomas no ingleses, esta iniciativa revela cómo los problemas de evaluación pueden…

Impacto medio Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Herramientas y productos

EVA: marco de evaluación integral para agentes de voz conversacionales

ServiceNow-AI, en colaboración con Hugging Face, ha presentado EVA, un marco de evaluación end-to-end para agentes de voz conversacionales que mide…

Por qué importaLos agentes de voz son críticos en atención al cliente, pero no existía un estándar que evaluara conjuntamente tanto el éxito de la tarea como la…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Google DeepMind publica marco para medir progreso hacia AGI basado en ciencia cognitiva

Google DeepMind ha publicado un paper titulado "Measuring Progress Toward AGI: A Cognitive Taxonomy" que propone un marco científico para evaluar las…

Por qué importaEstablecer métricas confiables para medir progreso hacia AGI es fundamental para la industria y los reguladores, ya que permite evaluar objetivamente…

Impacto alto Fiabilidad fuente primaria Relevancia 8/10 Google DeepMind
Investigación

IBM y UC Berkeley publican diagnóstico de fallos en agentes de IA empresariales con MAST

IBM Research y UC Berkeley presentaron MAST (Multi-Agent System Failure Taxonomy), una metodología para diagnosticar por qué fallan los agentes LLM en tareas…

Por qué importaLos benchmarks tradicionales reducen el rendimiento a un número único sin explicar las causas del fallo. MAST permite transformar el "por qué falló"…

Impacto alto Fiabilidad fuente primaria Relevancia 8/10 Hugging Face
Investigación

Modelos de lenguaje alcanzan nivel de traductores profesionales junior y medio

Investigadores de la Universidad de Westlake (Hangzhou, China) publicaron un estudio en IEEE Transactions on Big Data comparando la capacidad de traducción de…

Por qué importaEste es el primer caso científicamente validado en el que un algoritmo alcanza paridad con traductores profesionales humanos en tareas reales, no…

Impacto medio Fiabilidad una fuente fiable Relevancia 7/10 IEEE Spectrum AI
Herramientas y productos

OpenEnv: framework abierto para evaluar agentes en sistemas reales

Meta y Hugging Face han lanzado OpenEnv, un framework de código abierto para evaluar agentes de IA contra sistemas reales en lugar de simulaciones controladas…

Por qué importaEvaluar agentes en entornos reales en lugar de demostraciones controladas es crítico para identificar limitaciones antes del despliegue empresarial…

Impacto alto Fiabilidad fuente primaria Relevancia 7/10 Hugging Face
Investigación

Google DeepMind lanza FACTS Grounding, benchmark para evaluar precisión factual en LLMs

Google DeepMind e Google Research presentaron FACTS Grounding, un benchmark integral para medir la capacidad de los grandes modelos de lenguaje de fundamentar…

Por qué importaLa capacidad de los LLMs para generar respuestas precisas y fundamentadas es crítica para su adopción en aplicaciones empresariales de alto riesgo…

Impacto alto Fiabilidad confirmado por varias fuentes Relevancia 8/10 Google DeepMind
Investigación

DeepMind y Blizzard abren StarCraft II como entorno de investigación de IA

DeepMind y Blizzard Entertainment han lanzado SC2LE, un conjunto de herramientas que permite a los investigadores usar StarCraft II como entorno de prueba para…

Por qué importaStarCraft II presenta desafíos complejos de IA más realistas que entornos previos: incluye ~100 millones de acciones posibles (vs. ~10 en Atari)…

Impacto medio Fiabilidad confirmado por varias fuentes Relevancia 7/10 Google DeepMind