Revolut pasó a 2.000 ingenieros a un modelo autoalojado: la factura de IA cayó a la décima parte
2.000 ingenieros, 56 GPU y una factura de IA que cayó a la décima parte. Lo interesante del caso Revolut con GLM-5.3 no es el modelo que eligió, sino cómo dejó de pagar por token sin comprar más hardware.
Qué hizo Revolut, con números
La historia salió de una charla y no de un comunicado: David Abitbol, responsable de operaciones e infraestructura de IA del banco, la contó en AI Engineer NYC y The Register la recogió el 3 de noviembre.
De Claude Code y Codex a GLM como opción por defecto
Revolut no empezó con modelos abiertos. Probó Gemini en 2025 y Claude Code a comienzos de 2026, con presupuestos estrictos porque el gasto se les iba: Abitbol reconocía ingenieros gastando hasta diez mil dólares al mes sin retorno claro. La salida no fue negociar mejor el precio, fue montar la inferencia dentro de casa: GLM-5.1 desde abril, hoy GLM-5.3. Claude y OpenAI quedaron como la excepción, y un router manda las consultas con imagen a Gemini o GPT Luna porque GLM solo procesa texto.
56 B200 a 0,30 dólares por millón de tokens
El despliegue son 56 GPU NVIDIA B200, el equivalente en número de GPU a siete sistemas DGX B200 de ocho tarjetas. El modelo ronda los 754.000 millones de parámetros totales con unos 40.000 millones activos por token, y solo sostener los pesos pide cerca de 380 GB de memoria. Con eso, el coste de entrada y salida quedó en torno a 0,30 dólares por millón de tokens, una décima parte de lo que pagaban a Anthropic y OpenAI.
Lee también
Una factura plana que cambia el comportamiento
El efecto real no es el precio, es que la factura es plana. Cuando el token marginal casi no cuesta, nadie raciona el uso, y ahí apareció la mejora que presume el banco: un 60% en tiempo de codificación y un 70% en lead time. Son cifras de la empresa, no de una auditoría independiente.
Por qué una factura de API crece sin control
El contexto que un agente reenvía en cada llamada
Un agente de código encadena pasos y en cada paso reenvía el historial, los archivos abiertos y las instrucciones. La mayor parte de lo que pagas es entrada que ya habías pagado, así que pasar de un contexto de 30.000 a 200.000 tokens no multiplica la factura por siete, la dispara. Y el precio de lista engaña: la salida cuesta más, pero el volumen está en la entrada.
El coste por tarea, no por token
La métrica útil es cuánto cuesta cerrar una tarea. En este blog ya explicamos cómo medir ese gasto por tarea en Laravel; sin ese número, "autoalojar es más barato" es una opinión.
Las tres palancas que bajaron el tiempo de respuesta sin comprar GPU
FP4 y prefill separado del decode
Cuantizar los pesos a NVFP4 reduce la memoria que ocupa el modelo y permite más cálculo por segundo, a cambio de algo de precisión. Y servir un modelo tiene dos fases: leer el contexto, muy paralelo, y generar token a token, secuencial. En la misma máquina una tapa a la otra; separarlas evita que la generación espere a un contexto enorme.
Ajustar el contexto: el contexto largo es una estafa
La frase más incómoda de la charla: aunque puedas servir un millón de tokens, lo que necesitas son 256.000, y por encima de eso pagas memoria y latencia por texto que el modelo no usa bien. Es la única de las tres palancas que no toca el hardware.
De más de 10 segundos a 1,6 con un 76% más de demanda
Con ese ajuste, el tiempo hasta el primer token pasó de más de 10 segundos a unos 1,6 mientras la demanda crecía un 76%, según Trending Topics. El objetivo del equipo es quedar bajo 3 segundos: por encima de 5, dijo Abitbol, su bandeja de Slack se llena.
La cuenta honesta de autoalojar
Pagar una API es pedir taxis: no compras el coche, pero cada trayecto se factura. Autoalojar es comprar la furgoneta: el viaje marginal se abarata, pero pagas vehículo, seguro, mecánico y conductor. El 0,30 es el coste del viaje con 2.000 personas ya subidas.
Lo que entra y lo que no en esa cifra
Entra el coste por token servido: hardware amortizado, electricidad y el trabajo de afinado repartido entre el volumen. No entra casi nada de lo demás: gente que sepa de inferencia, refrigeración, repuestos, guardias y un plan para cuando un nodo falla a las tres de la mañana. Revolut no publicó el coste total, y ese silencio es el dato más importante: si tu factura mensual no paga el sueldo de una persona dedicada a infraestructura, el clúster no es una opción.
Lo que se paga además del hardware
Calidad, licencia y dependencia
Revolut mantiene modelos de frontera para las excepciones, y los refactors grandes o el código de interfaz son las tareas que peor llevan un modelo abierto. En licencia hay un cambio que importa: las versiones anteriores de la familia salieron con MIT y GLM-5.3 usa una licencia propia de Z.ai, así que "pesos abiertos" no significa "haz lo que quieras". En el blog ya contamos qué es esta familia de modelos.
Cuándo no autoalojar
Con pocos usuarios y uso intermitente, la API gana casi siempre: el ahorro por token no cubre el coste fijo del modelo encendido ni el de alguien que responda a un incidente. Y si el producto depende de razonamiento de última generación, un modelo abierto un par de generaciones por detrás abarata la factura y encarece el resultado.
Qué puede copiar un equipo pequeño
Medir, probar en un flujo y enrutar por tarea
Registra el consumo por flujo, pon un modelo abierto en la tarea más repetitiva y compara calidad y latencia contra lo que usabas. Después enruta: barato por defecto, caro para lo difícil, con un techo antes de escalar. Es lo que hace Revolut con su router a otra escala; para entender el salto, aquí tienes la guía de IA local con Ollama, mismo principio con una GPU en lugar de 56.
Conclusión
La noticia no es que un banco use un modelo de Z.ai, es que la inferencia propia se defiende con una hoja de cálculo y no con una pancarta. El primer paso no es descargar pesos, es saber cuánto gastas hoy. Si te falta esa parte, en el blog tienes cómo medir el coste por tarea.
