llama.cpp 1.0: la IA local estrena API estable y caché KV en fp8
El 13 de noviembre, llama.cpp y ggml publicaron la 1.0.0. Después de tres años y medio de builds nocturnos, el motor sobre el que corren Ollama y LM Studio ya tiene un contrato de API.
Qué significa llegar a la 1.0 en un proyecto así
La 1.0 no trae una función nueva: trae una regla. A partir de ahora, cualquier cambio incompatible en la API pública de C o en la ABI obliga a subir la versión mayor. Los mantenedores de ggml-org, que se unieron a Hugging Face en febrero de 2026, dicen que serán más estrictos a la hora de hacer visibles esos cortes.
Un número con reglas: versión mayor = te van a romper
Para quien compila llama.cpp dentro de otro producto, el cambio es de planificación: dejas de perseguir builds nocturnos y sabes que un 2.0.0 será el aviso formal de que algo se rompió. Estable aquí significa contrato, no ausencia de bugs ni soporte garantizado en cada GPU.
Quién depende de esto sin saberlo
Ollama, LM Studio y una buena cantidad de clientes propios envuelven llama.cpp y su biblioteca de tensores. Si usas herramientas de IA local como Ollama, los cambios te llegan cuando tu app actualice su copia interna; lo que ganas, mientras tanto, es memoria de caché y mejor manejo de modelos MoE.
Lee también
Lo que se va: 35 funciones y una opción
La limpieza es la parte que rompe. La 1.0 retira 35 funciones de la API pública declarada obsoleta y una opción de línea de comandos que ya no existe.
El caso de llama_set_warmup
Entre las funciones eliminadas está llama_set_warmup. Si tu integración la llamaba, el enlace falla al compilar. No es un fallo silencioso: se ve en el build, y ese es justamente el punto de haber esperado a una 1.0 para borrar.
defrag_thold: la opción que ahora da error
El flag --defrag-thold ya no se acepta: pasarlo hace que el binario devuelva error. Si tenías un script de arranque con esa opción, hay que quitarla antes de actualizar.
Lo que se gana en memoria: la caché KV en fp8
La 1.0 añade una caché KV en fp8 que, en las pruebas publicadas, reduce a la mitad la memoria de esa caché: de dos bytes a uno por elemento. Se apoya en el tipo tensorial FP8 E4M3 que ggml incorporó en la 0.29.0, publicada junto a llama.cpp 0.9.0 el 4 de noviembre.
La cuenta: cuánto ocupa la caché KV de verdad
Los elementos de caché por token son 2 × capas × cabezas_kv × dim_cabeza, porque hay clave y valor. Con los números de un modelo tipo Llama-3-8B (32 capas, 8 cabezas KV, dimensión 128) son 65.536 elementos por token: 128 KiB por token en f16 y 64 KiB en fp8. A 32.768 tokens, la diferencia es de 4 GiB a 2 GiB. Es aritmética, no una medición: sirve para que repitas la cuenta con tu modelo.
Qué se paga a cambio de la mitad de memoria
Hay pérdida de precisión, menor que la de una cuantización q4, y fp8 exige que el backend y la GPU lo soporten. La regla práctica: si la caché cabe en f16, no hay razón para tocarla; si no cabe, fp8 compra contexto a cambio de algo de calidad.
Expertos MoE en memoria del sistema
La otra novedad de memoria es una caché de expertos MoE en RAM del equipo, con proporción de CPU configurable. Es lo que permite correr modelos de mezcla de expertos que no caben en la VRAM. En una tarjeta pequeña cambia qué modelo puedes cargar, no a qué velocidad responde.
llama-server: SSRF, DNS rebinding y endpoint de voz
El servidor se endureció contra SSRF y DNS rebinding con flags nuevas, y suma un endpoint de voz. La idea es simple: un servidor local que hace peticiones salientes también es una puerta, y no debería poder usarse para alcanzar direcciones internas. El riesgo de la protección es el de siempre: si bloquea de más, algún caso legítimo se rompe, así que conviene probar el flujo real después de actualizar.
Checklist para actualizar sin sustos
Primero, compila y mira qué se rompe: si enlazas contra la librería, cambian cabeceras y funciones; si usas el binario, basta con bajar la versión nueva. Segundo, revisa el arranque de llama-server por si queda un --defrag-thold o un flag retirado. Tercero, si usas inferencia distribuida, actualiza cliente y servidor RPC a la vez: el protocolo cambió en esta generación y mezclar versiones hace fallar la inferencia. Y antes de dar nada por bueno, mide: mismo modelo, mismo prompt y misma longitud de contexto, con la caché en f16 y luego en fp8.
Conclusión
La 1.0 no mejora tu modelo, mejora tu capacidad de planificar: ahora sabes cuándo te van a romper y qué ganas en memoria. El proyecto declara soporte para más de 150 variantes de arquitectura y optimizaciones para NVIDIA, AMD e Intel, pero lo que cambia tu servidor hoy son el fp8 y la caché de expertos. Si vienes de la IA local, el salto de los modelos pequeños que caben en una GPU también se nota: mira el modelo local de Meta para agentes. Seguimos probando en el blog.

