Noticias etiquetadas con «inferencia local»
11 noticias
Hugging Face anunció que la librería Transformers ahora puede cargar y ejecutar checkpoints en formato GGUF, el formato usado por llama.cpp para inferencia…
Por qué importaFacilita ejecutar modelos locales cuantizados dentro del ecosistema estándar de Transformers sin depender de un runtime separado, ampliando opciones…
Liquid AI ha publicado modelos de decodificación especulativa (DSpark) para su serie LFM2.5, logrando mejoras de velocidad de hasta 3,2x en inferencia. Los…
Por qué importaLa decodificación especulativa es técnicamente efectiva para reducir latencia en inferencia de LLM, factor crítico para aplicaciones en tiempo real…
Liquid AI ha anunciado LFM2.5-VL-3B, un modelo de visión-lenguaje de 3 mil millones de parámetros optimizado para ejecución en dispositivos periféricos. El…
Por qué importaRepresenta un avance en la viabilidad de modelos multimodales avanzados sin depender de infraestructura en la nube, reduciendo latencia, costes…
Meta ha lanzado Muse Glimmer, un modelo de visión-lenguaje denso de 30 mil millones de parámetros, bajo licencia abierta. El modelo incluye un codificador de…
Por qué importaEs el modelo multimodal más accesible en escala media con capacidades de agencia y herramientas nativas, permitiendo despliegue local sin depender de…
Prince Canuma, desarrollador de la librería MLX-VLM, ha lanzado Nativ, una aplicación de escritorio para macOS que encapsula MLX y permite ejecutar modelos de…
Por qué importaLos profesionales y desarrolladores de empresas pueden ejecutar y experimentar con modelos IA de forma privada y sin costo de API, reduciendo…
Google DeepMind ha lanzado DiffusionGemma, un modelo experimental abierto de 26B parámetros con arquitectura Mixture of Experts que genera texto hasta 4x más…
Por qué importaResuelve un cuello de botella crítico en aplicaciones interactivas locales: la latencia de inferencia en tiempo real. Para desarrolladores que…
Google DeepMind ha lanzado Gemma 4 12B, un modelo multimodal diseñado para ejecutarse localmente en portátiles con 16GB de RAM. El modelo adopta una…
Por qué importaDemocratiza la IA multimodal avanzada llevándola a dispositivos de consumo sin dependencia de servidores en la nube, reduciendo latencia y costes…
AMD ha anunciado la plataforma Ryzen AI Halo, orientada a inferencia local avanzada en PC. El chip principal, Ryzen AI Max+ 395, se comercializará desde junio…
Por qué importaRepresenta un cambio significativo hacia la IA local en dispositivos personales, reduciendo la dependencia de servicios en la nube para cargas de…
NVIDIA ha publicado un tutorial demostrando cómo ejecutar Gemma 4, un modelo de agente visual de lenguaje (VLA), en hardware de bajo consumo Jetson Orin Nano…
Por qué importaDemuestra que los agentes multimodales sofisticados pueden ejecutarse de forma eficiente en dispositivos edge con restricciones severas de memoria y…
Dan Woods consiguió ejecutar una versión personalizada del modelo Qwen3.5-397B-A17B a 5.5+ tokens/segundo en un MacBook Pro M3 Max de 48GB, usando técnicas de…
Por qué importaDemuestra que modelos de escala de 397B pueden ejecutarse localmente en hardware de consumo sin sacrificar demasiado rendimiento, eliminando…
Hugging Face ha lanzado Transformers.js v4, reescrito completamente con un nuevo runtime WebGPU en C++ desarrollado con ONNX Runtime. La actualización incluye…
Por qué importaEsta versión democratiza el despliegue de IA generativa local sin depender de servidores remotos, lo que reduce latencia, costes de inferencia y…
