La IA revoluciona la memoria de los servidores: adiós a la RAM en cada máquina

La inteligencia artificial está provocando una auténtica revolución en la infraestructura de los centros de datos, poniendo patas arriba una regla fundamental de los servidores: la memoria ya no quiere vivir en cada máquina. La clave está en trasladar la lógica de la memoria, de forma similar a como ya hacemos con el almacenamiento, a sistemas externos centralizados.

La idea es simple pero transformadora: en lugar de depender exclusivamente de la RAM integrada en cada servidor, una parte significativa de esta memoria se moverá a grandes sistemas externos. Estos clústeres de memoria, apodados “memory godbox”, podrán asignar capacidad según las necesidades dinámicas de cada momento, liberando a las máquinas individuales de su dependencia de la memoria local.

Este cambio de paradigma es posible gracias al avance de tecnologías como Compute Express Link (CXL). Si bien CXL ha estado en desarrollo durante años, la creciente demanda de memoria impulsada por la IA le ha dado un impulso crucial. CXL proporciona una interfaz coherente que permite la comunicación fluida entre procesadores, memoria, aceleradores y otros periféricos, todo ello sobre la base de PCIe.

La evolución de CXL ha sido progresiva. Inicialmente, se centró en ampliar la memoria de un servidor mediante módulos conectados a ranuras PCIe. Con CXL 2.0, se introdujo el concepto de “pooling”, permitiendo agrupar memoria en un fondo común y asignarla a distintas máquinas. Sin embargo, CXL 3.0 marca un punto de inflexión al habilitar topologías más amplias y, lo más importante, la memoria compartida entre máquinas, aunque con ciertas consideraciones técnicas.

¿Por qué es esto tan importante para la IA? Según The Next Platform, la IA no solo se enfrenta a limitaciones de cálculo, sino también de memoria. La memoria HBM, crucial para las GPU, es ultrarrápida pero limitada en capacidad y costosa. En el entrenamiento de modelos, se manejan volúmenes masivos de datos, mientras que en la inferencia, el desafío reside en la eficiencia de la respuesta a peticiones de millones de usuarios.

Aquí es donde entra en juego la “memoria de la conversación”. Cada respuesta generada por un modelo de lenguaje se construye secuencialmente. Para evitar recalcular todo en cada paso, los sistemas utilizan una “KV cache” que almacena la memoria de trabajo. The Next Platform explica que esta caché, que guarda vectores de atención previos, puede crecer exponencialmente, llegando a ocupar más espacio que el propio modelo, especialmente en servicios con alta concurrencia.

La IA no se queda corta solo por falta de cálculo, también por falta de memoria.

Esta visión ya no es mera teoría. Empresas como Panmnesia, Liqid y UnifabriX están desarrollando sistemas para externalizar la memoria y hacerla accesible a múltiples máquinas. Algunas emplean switches CXL, mientras que otras utilizan grandes reservas de DDR5. Enfabrica, por su parte, presenta su sistema Emfasys, diseñado para inferencia y capaz de gestionar hasta 18 TB de DDR5 por servidor de memoria, o 144 TB en un rack completo. La industria está unánimemente enfocada en optimizar la colocación de la memoria para potenciar el rendimiento de la IA.

Este cambio arquitectónico no solo promete mayor eficiencia y escalabilidad, sino que también podría democratizar el acceso a recursos de memoria de alta capacidad. Para las empresas que desarrollan y despliegan modelos de IA, esto significa una flexibilidad sin precedentes y un potencial ahorro de costes, al poder compartir recursos de memoria de forma dinámica y optimizada. La era de la memoria centralizada para la IA ha comenzado.