Baseten, Hugging Face y Goodfire lanzan iniciativa de seguridad para modelos de IA abiertos
Hecho Qué ha ocurrido
Baseten anunció Base Labs, su grupo de investigación, en asociación con Hugging Face y Goodfire AI para desarrollar infraestructura de evaluación y monitoreo de seguridad para modelos de peso abierto. La iniciativa responde al problema de 'abliteration', técnica que elimina las salvaguardas de los modelos; Hugging Face aloja más de 6.000 modelos ya abliterados. Baseten levantó una Serie F de 1.500 millones de dólares en junio, alcanzando una valoración de 13.000 millones, y Goodfire recaudó 150 millones en su Serie B.
Resumen generado mediante IA a partir de TechCrunch AI (original en inglés). Naturaleza de la información: declaración de parte interesada.
Análisis Por qué importa
La seguridad de los modelos abiertos es un problema creciente y sin estándares claros, por lo que una iniciativa respaldada por actores bien capitalizados podría influir en cómo se despliegan y monitorizan estos modelos en el futuro.
- Quién se ve afectado
- Desarrolladores y empresas que usan o despliegan modelos de peso abierto, equipos de seguridad de IA e infraestructura.
- Qué puede cambiar
- Podría surgir un marco de facto para entrenar y monitorizar modelos abiertos con controles de seguridad integrados desde el diseño, en lugar de añadidos después.
Análisis generado a partir de la información disponible; no procede de la fuente.
Predicción Qué observar a continuación
Vigilar si se publican detalles técnicos concretos del marco, si otros actores del ecosistema se suman a la iniciativa, y si Hugging Face adopta cambios en sus políticas frente a modelos abliterados.
Enviar esta noticia por correo
Fuente original: TechCrunch AI. La referencia es siempre el artículo original.
Ver fuente original ↗modelos abiertosinterpretabilidadmonitoreo de modelos BasetenHugging FaceGoodfire AI BasetenGoodfireHugging Facemodelos abiertosseguridad IA
Tu opinión
0 comentarios
Relacionadas
Expertos debaten la viabilidad de un 'interruptor de emergencia' para detener IA fuera de control
Un artículo recoge las opiniones de varios expertos en IA y ciberseguridad (Nicolas Papernot, Jean-Gabriel Ganascia, Thierry Poibeau, Hussein Abbass) sobre la…
Por qué importaEl debate expone los límites prácticos del control humano sobre sistemas de IA cada vez más autónomos e integrados en infraestructuras críticas, lo…
CEOs de OpenAI, Anthropic y Nvidia debaten en Dreamforce si frenar el desarrollo de IA
En la conferencia Dreamforce de Salesforce, los CEOs de Anthropic (Dario Amodei), OpenAI (Sam Altman) y Nvidia (Jensen Huang) expresaron posturas distintas…
Por qué importaEl debate público entre los principales líderes de IA sobre riesgos y ritmo de desarrollo puede influir en decisiones regulatorias y en cómo las…
Investigadores hallan que el watermarking SynthID puede debilitar las defensas de seguridad de los LLM
Investigadores de Lasso Security descubrieron que SynthID-Text, el sistema de marca de agua de Google adoptado por Anthropic para Claude, altera no solo la…
Por qué importaEl hallazgo revela un efecto colateral inesperado de una tecnología impulsada por regulación (la ley de la UE) que podría comprometer las…
Google DeepMind lanza instituto y propone un organismo de EEUU para evaluar la IA de vanguardia
Google DeepMind lanzó el DeepMind Institute (DMI), dirigido por James Manyika, Shane Legg y Demis Hassabis, para debatir implicaciones técnicas y sociales de…
Por qué importaEs la propuesta regulatoria más concreta hasta ahora de un laboratorio líder para institucionalizar la evaluación de modelos de frontera, lo que…