Servidores GPU: entrenamiento vs inferencia IA

Elegir un servidor GPU para IA es una de las decisiones de infraestructura con más margen de error que existen hoy. El motivo es sencillo: entrenar un modelo, ajustarlo y ejecutarlo en producción son tres cargas de trabajo distintas, y cada una pide un perfil de hardware diferente. Comprar un nodo de 8 GPUs para servir un chatbot interno es tirar el dinero; intentar entrenar un modelo desde cero con una sola tarjeta es perder meses. En esta guía explicamos qué necesita cada fase, cuántas GPUs y de qué tipo, qué papel juegan la red, la CPU y el almacenamiento, y proponemos tres configuraciones de referencia para que la inversión encaje con el proyecto real.

Entrenamiento, fine-tuning e inferencia: entender cada fase

Antes de hablar de tarjetas conviene fijar el vocabulario, porque buena parte de los sobredimensionamientos nacen de confundir estas tres etapas.

Entrenamiento (training): se construye un modelo desde cero o casi desde cero. Requiere procesar datasets de terabytes durante días o semanas, con todas las GPUs sincronizadas. Es la fase más exigente y la menos frecuente en una empresa.
Fine-tuning (ajuste fino): se parte de un modelo ya entrenado (Llama, Mistral, Qwen, un modelo de visión) y se adapta a un dominio con datos propios. Técnicas como LoRA o QLoRA reducen mucho la memoria necesaria; el ajuste completo (full fine-tuning) se acerca al perfil de entrenamiento.
Inferencia: el modelo ya está listo y responde peticiones. La métrica que manda es la latencia y los tokens por segundo, no los TFLOPS brutos. Es la fase que consume el 80 % de las horas GPU en producción y la que peor se dimensiona.

La regla práctica es esta: la mayoría de las empresas no entrenan, ajustan e infieren. Si tu proyecto consiste en desplegar un LLM local con datos privados, un sistema RAG o visión artificial en planta, tu servidor no tiene por qué parecerse al de un laboratorio de investigación. Sobre este enfoque hablamos en detalle en nuestra guía de inteligencia artificial in-house.

Perfil hardware para entrenamiento a gran escala

El entrenamiento de modelos grandes es un problema de ancho de banda, no solo de cómputo. Cada paso de optimización obliga a que todas las GPUs intercambien gradientes, de modo que el cuello de botella está en cómo se comunican entre sí y con otros nodos.

El estándar de la industria es la plataforma NVIDIA HGX: 8 GPUs H100 o H200 en formato SXM unidas por NVLink y NVSwitch con 900 GB/s de ancho de banda entre tarjetas, muy por encima de lo que ofrece PCIe 5.0. La H200 aporta 141 GB de HBM3e y 4,8 TB/s frente a los 80 GB y 3,35 TB/s de la H100, lo que permite cargar modelos más grandes por GPU y reducir el particionado. Si dudas entre ambas, tenemos una comparativa específica NVIDIA H100 vs H200.

A nivel de nodo, un servidor de entrenamiento serio incluye 2 CPUs de muchos núcleos (EPYC 9005 o Xeon 6), 2 TB de RAM o más, 8 NICs de 400 Gb/s (una por GPU) para escalar a varios nodos, almacenamiento NVMe local de decenas de terabytes y una potencia eléctrica de 10 a 12 kW por chasis. Ese último dato descarta por sí solo muchas salas técnicas y es el primer punto que verificamos en cualquier proyecto. Para conocer la arquitectura de estas plataformas puedes leer nuestro artículo sobre NVIDIA HGX.

Perfil hardware para fine-tuning

El fine-tuning es el terreno intermedio y también el más habitual en empresa. La memoria que necesitas depende del tamaño del modelo y de la técnica:

LoRA/QLoRA sobre modelos de 7 a 13B: cabe en una sola GPU de 48 a 96 GB (L40S, RTX PRO 6000 Blackwell). Es la puerta de entrada más razonable.
LoRA sobre modelos de 70B: entre 2 y 4 GPUs con NVLink para no penalizar la comunicación entre tarjetas.
Full fine-tuning de 70B o superior: ya estamos en 4 a 8 GPUs H100/H200, es decir, en el perfil de entrenamiento.

Aquí es donde el NVLink deja de ser un lujo. Con dos o más GPUs trabajando sobre el mismo modelo, una plataforma PCIe estándar obliga a pasar por la CPU y la memoria del sistema; un puente NVLink o una placa con soporte SXM/NVL multiplica el rendimiento efectivo sin cambiar de tarjeta.

Perfil hardware para inferencia (el 80 % del mercado real)

Un servidor de inferencia IA se dimensiona al revés que uno de entrenamiento: primero se calcula la VRAM necesaria para alojar el modelo y después se ajusta el número de GPUs al volumen de usuarios simultáneos. Una referencia rápida para LLM cuantizados a 4 bits: un modelo de 8B ocupa unos 6 GB, uno de 32B alrededor de 20 GB y uno de 70B en torno a 40 GB, a lo que hay que sumar la caché KV que crece con el número de conversaciones abiertas y la longitud del contexto.

Esto explica por qué las tarjetas más rentables para inferencia no son las H100. La NVIDIA L40S (48 GB, 350 W) y la RTX PRO 6000 Blackwell Server Edition (96 GB GDDR7, motores FP4) sirven modelos de 70B en una o dos tarjetas con una fracción del coste. Para cargas ligeras y alta densidad, la L4 (24 GB, 72 W) permite meter cuatro o más GPUs en un 1U sin problemas térmicos. Analizamos estos casos en la comparativa L40S vs L4 vs T4.

El software también cambia la ecuación: servidores de inferencia como vLLM, TensorRT-LLM o SGLang aplican batching continuo y paged attention, y pueden multiplicar por cuatro o cinco el número de usuarios que atiende una misma GPU. Antes de añadir una segunda tarjeta, conviene comprobar que la primera está bien exprimida.

GPU: cuántas y de qué tipo según la fase

La siguiente tabla resume la elección de GPU por etapa. Es una guía general; en proyectos concretos ajustamos el modelo, la cuantización y la concurrencia esperada.

Fase	GPU recomendada	N.º de GPUs	Clave de diseño
Entrenamiento	H100/H200 SXM (HGX)	8 por nodo	NVLink + NVSwitch, red 400G por GPU, refrigeración y potencia
Fine-tuning	H100/H200/RTX PRO 6000	2 a 8	NVLink entre tarjetas, VRAM total ≥ modelo en FP16 + optimizador
Inferencia LLM 70B	L40S/RTX PRO 6000 Blackwell	1 a 2	VRAM para modelo + caché KV, cuantización, vLLM
Inferencia ligera/visión	L4/RTX PRO 4500	1 a 4	Densidad, consumo por tarjeta, latencia

Un matiz importante: en formato PCIe (H100 NVL, L40S, RTX PRO) el chasis es un servidor convencional y la ampliación es sencilla; en formato SXM (HGX) la placa de GPUs viene integrada y se compra el nodo completo. Entre ambos se sitúa NVIDIA MGX, una arquitectura modular que permite a los fabricantes combinar CPU, GPU y red en distintos factores de forma.

Red e interconexión: NVLink, InfiniBand y Ethernet 400G

Dentro del servidor, la interconexión es NVLink. Entre servidores, la elección está entre InfiniBand NDR (400 Gb/s) y Ethernet 400G con RoCE. InfiniBand sigue siendo la referencia en clústeres de entrenamiento por su latencia y su gestión de congestión; Ethernet gana terreno en entornos que ya operan redes IP y quieren evitar una segunda infraestructura. Para un único nodo de inferencia, nada de esto es necesario: una red de 25 o 100 Gb/s hacia los usuarios y el almacenamiento es suficiente.

CPU, RAM y almacenamiento: los grandes olvidados

Las GPUs acaparan la atención, pero un servidor desequilibrado las deja esperando. Tres reglas que aplicamos en cada configuración:

CPU: al menos 4 núcleos físicos por GPU y, sobre todo, líneas PCIe 5.0 suficientes para que cada tarjeta trabaje a x16. Los EPYC 9005 con 128 líneas por socket resuelven esto en single-socket; lo explicamos en nuestra guía de AMD EPYC 9005 Turin.
RAM: como mínimo el doble de la VRAM total del sistema, para preparar datos y hacer offload sin que el servidor se ahogue. En entrenamiento, más.
Almacenamiento: NVMe local para datasets activos y checkpoints, con ancho de banda de lectura de varios GB/s. Un dataset servido desde un NAS de 1 Gb/s convierte un nodo de 8 GPUs en un nodo de una.

Tres configuraciones de referencia

Estas tres configuraciones cubren los escenarios que más nos encontramos. Los rangos de presupuesto son orientativos y dependen del stock y de la cotización del momento.

Configuración 1 · Inferencia y RAG en empresa (desde ~15.000 €)

Servidor 2U con 1 CPU EPYC 9005 de 32 núcleos, 256 GB DDR5, 2 × NVIDIA L40S o 1 × RTX PRO 6000 Blackwell, 2 × NVMe de 3,84 TB y red 25 Gb/s. Sirve modelos de hasta 70B cuantizados a decenas de usuarios concurrentes y es la base habitual de un LLM privado o un sistema de documentación interna.

Configuración 2 · Fine-tuning y desarrollo (desde ~40.000 €)

Servidor 4U con 2 CPUs de 32 a 48 núcleos, 512 GB a 1 TB DDR5, 4 × H100 NVL con puentes NVLink o 4 × RTX PRO 6000 Blackwell, 4 × NVMe de 7,68 TB y red 100 Gb/s. Permite ajustar modelos de 70B con LoRA, entrenar modelos de visión desde cero y servir en producción con la misma máquina.

Configuración 3 · Entrenamiento y clúster (desde ~250.000 € por nodo)

Nodo HGX H200 con 8 GPUs SXM, 2 CPUs de 64 núcleos, 2 TB DDR5, 8 × NVMe, 8 NICs de 400 Gb/s InfiniBand y refrigeración y potencia planificadas (10 a 12 kW por chasis). Es la unidad básica de un clúster de entrenamiento y solo tiene sentido con un plan de uso continuado.

On-premise vs cloud: cuándo y por qué

La nube es imbatible para picos puntuales y para probar antes de comprar. Pero en cuanto una GPU trabaja de forma continua, la aritmética cambia: un servidor de inferencia propio suele amortizarse en 9 a 14 meses frente al alquiler equivalente, y con datos sensibles (sanidad, legal, industria, administración) la soberanía del dato y el cumplimiento de RGPD y NIS2 inclinan la balanza. El modelo híbrido que recomendamos con más frecuencia es inferencia y fine-tuning en casa, entrenamientos masivos ocasionales en cloud. Si quieres profundizar en la oferta de nodos GPU, en nuestra sección de servidores para IA detallamos plataformas y opciones de configuración.

Preguntas frecuentes

¿Qué GPU necesito para ejecutar un LLM de 70B en local?

Cuantizado a 4 bits, un modelo de 70B ocupa unos 40 GB, así que cabe en una L40S de 48 GB con contexto limitado o, con más holgura, en una RTX PRO 6000 Blackwell de 96 GB. Para atender a muchos usuarios simultáneos conviene una segunda tarjeta.

¿Es mejor un servidor con 8 GPUs pequeñas o con 2 grandes?

Depende de si la carga se reparte o se comparte. Para inferencia de muchos modelos pequeños, varias tarjetas independientes (L4, L40S) dan más densidad. Para un modelo grande, pocas GPUs con mucha VRAM y NVLink rinden mejor.

¿Puedo empezar con una GPU y ampliar después?

Sí, si el chasis, la fuente y la CPU se eligen pensando en ello: ranuras PCIe 5.0 x16 libres, potencia sobrada y refrigeración frontal. Es exactamente lo que planificamos cuando configuramos un servidor a medida.

¿Qué diferencia hay entre HGX y MGX?

HGX es la placa de 8 GPUs SXM con NVLink pensada para entrenamiento. MGX es una arquitectura modular de referencia que los fabricantes usan para construir servidores con GPUs PCIe, Grace u otros aceleradores en distintos formatos.