Un cambio potencial en la naturaleza de las cargas de trabajo se filtrará a la industria de centros de datos, lo que afectará la forma en que se construyen y dónde se ubican.

Centros de datos más grandes, racks más calientes

El CEO de Digital Realty, Andy Power, cree que la IA generativa conducirá a “una ola monumental de demanda.

“Todavía es nuevo en cuanto a cómo se desarrolla en la industria del centro de datos, pero definitivamente será una demanda a gran escala. Simplemente haga los cálculos con estas cotizaciones de gasto y chips A100 y piense en los gigavatios de energía necesarios para ellos”.

Cuando se unió a la empresa hace casi ocho años, “pasábamos de suites de TI de uno a tres megavatios, y rápidamente pasamos a seis a ocho, luego a decenas”, recordó. “Creo que el edificio más grande que construimos fue de 100MW durante varios años. Y los acuerdos más importantes que firmamos fueron del tipo de 50MW. Ahora se están firmando ofertas de cientos de megavatios, y he tenido conversaciones preliminares en los últimos meses en las que los clientes piden información sobre un gigavatio'".

Para entrenar modelos de IA, Power cree que veremos un cambio del enfoque de nube tradicional que se enfoca en dividir las cargas de trabajo en múltiples regiones mientras se mantiene cerca del usuario final.

“Dada la intensidad de la computación, no puede simplemente dividirlos y distribuirlos en parches en muchas geografías o ciudades”, dijo. Al mismo tiempo, "no vas a poner esto en medio de la nada, debido a la infraestructura y el intercambio de datos".

Estas instalaciones aún necesitarán estar muy cerca de otros centros de datos con datos y cargas de trabajo más tradicionales, pero "la proximidad y qué tan cerca debe estar la carga de trabajo de IA en relación con la nube y los datos aún se desconoce".

Él cree que "todavía estará muy centrado en el área metropolitana", lo que resultará un desafío porque "va a necesitar grandes franjas de tierra y energía contiguas, pero cada vez es más difícil encontrar un gigavatio de energía contiguo", dijo, señalando los desafíos de transmisión en Virginia y en otros lugares.

En cuanto a los centros de datos en sí mismos, "simple y llanamente, va a ser un entorno más cálido, solo va a instalar muchos más servidores densos en energía y necesitará innovar sus huellas existentes y su diseño para nuevas huellas ", dijo.

“Hemos estado innovando para nuestros clientes empresariales en cuanto a la refrigeración líquida.”, dijo. “También hemos estado haciendo co-diseño con nuestros clientes de hiperescala, pero esas han sido excepciones, no las normas.”

Edificios especializados

En el futuro, cree que “habrá dos edificios que estarán uno al lado del otro y uno admitirá la nube híbrida. Y luego tienes otro al lado que es el doble o el triple del tamaño, con un diseño diferente, una infraestructura de enfriamiento diferente y una densidad de potencia diferente”.

Amazon está de acuerdo en que los grandes modelos de IA necesitarán instalaciones especializadas. “La capacitación debe agruparse, y es necesario tener grupos muy, muy grandes y profundos de una capacidad particular”, dijo Chetan Kapoor de AWS.

“La estrategia que hemos estado ejecutando durante los últimos años, y que vamos a duplicar, es que vamos a elegir algunos centros de datos que estén vinculados a nuestras regiones principales, como el norte de Virginia (EE. UU. Este-1) u Oregón (EE. No solo con el cómputo sin procesar, sino también combinándolo con bastidores de almacenamiento para admitir sistemas de archivos de alta velocidad”.

Por el lado de la capacitación, la empresa tendrá implementaciones de clústeres especializados. “Y se puede imaginar que vamos a enjuagar y repetir en las GPU y Trainium”, dijo Kapoor. “Así que habrá centros de datos dedicados para las GPU H100. Y habrá centros de datos dedicados para Trainium”.

Serán diferentes en el lado de la inferencia, donde estará más cerca del modelo de nube tradicional. “Las solicitudes que estamos viendo son que los clientes necesitan múltiples zonas de disponibilidad, necesitan soporte en múltiples regiones. Ahí es donde realmente brilla parte de nuestra capacidad central en torno a la escala y la infraestructura para AWS. Muchas de estas aplicaciones tienden a ser de naturaleza en tiempo real, por lo que tener la computación lo más cerca posible del usuario se vuelve muy, muy importante”.

Sin embargo, la compañía no planea seguir el mismo enfoque de rack de servidor denso de sus competidores en la nube.

“En lugar de empaquetar una gran cantidad de cómputo en un solo rack, lo que estamos tratando de hacer es construir una infraestructura que sea escalable e implementable en múltiples regiones, y que sea lo más eficiente posible en términos de energía”, dijo Kapoor. "Si está tratando de empaquetar densamente muchos de estos servidores, el costo aumentará, porque tendrá que encontrar soluciones realmente costosas para enfriarlo".

Vahdat de Google estuvo de acuerdo en que veremos grupos específicos para la capacitación a gran escala, pero señaló que, a largo plazo, es posible que no esté tan segmentado. “La pregunta interesante aquí es, ¿qué sucede en un mundo en el que vas a querer refinar gradualmente tus modelos? Creo que la línea entre entrenar y servir se volverá un poco más borrosa que la forma en que hacemos las cosas en este momento”.

Comparándolo con los primeros días de Internet, donde la indexación de búsquedas estaba a cargo de unos pocos centros de cómputo alto, pero ahora está repartida por todo el mundo, señaló: “Desdibujamos la línea entre la capacitación y el servicio.”

Dónde y cómo construir

Si bien esta nueva ola de carga de trabajo corre el riesgo de dejar a algunas empresas a su paso, el director ejecutivo de Digital Realty ve este momento como una "marea creciente para levantar todos los barcos, llegando como una tercera ola cuando la segunda y la primera aún no han llegado a la orilla".

Las dos primeras oleadas fueron clientes que pasaron de las instalaciones a la colocación, y luego a los servicios en la nube entregados desde implementaciones mayoristas de hiperescala.

Esa es una gran noticia para la industria, pero llega después de años en los que el sector lucha por mantenerse al día. “La demanda sigue superando a la oferta, [la industria] está tosiendo de rodillas porque no tiene gasolina”, dijo Power. “La tercera ola de demanda no llega en un momento fortuito para que sea un camino fácil para el crecimiento”.

A pesar de todas sus esperanzas de resolver o trascender los desafíos actuales, el crecimiento de la IA generativa se verá frenado por las dificultades más amplias que han plagado el mercado de los centros de datos: los problemas de escala.

¿Cómo pueden los operadores de centros de datos desarrollar rápidamente capacidad a una escala mayor y más rápida, consumiendo más energía, tierra y agua, al mismo tiempo que utilizan recursos renovables y no provocan un aumento de las emisiones?

“Restricciones de potencia en el norte de Virginia, preocupaciones ambientales, moratorias, problemas en la cadena de suministro, escasez de trabajadores talentosos, etc.”, son algunos de los problemas externos queenumeró Power.

“Y eso sin tener en cuenta los aspectos que el cliente posee y opera. Muchas de estas cosas tienen plazos de entrega muy altos”, ya que las GPU actualmente son difíciles de adquirir incluso para los hyperscalers, lo que provoca el racionamiento."

“La economía ha estado funcionando bien durante muchos años”, dijo Power, “y llevará algún tiempo reponer gran parte de esta infraestructura, llevando líneas de transmisión a diferentes áreas. Y es un esfuerzo comunitario local, gubernamental y entrelazado masivo”.

Mientras que los investigadores de IA y los diseñadores de chips se enfrentan a los desafíos de escala del conteo de parámetros y la asignación de memoria, los constructores y operadores de centros de datos tendrán que superar sus propios cuellos de botella para satisfacer las demandas de la IA generativa.

“Seguiremos viendo hitos más grandes que requerirán que la computación no se convierta en un impedimento para el progreso de la IA y más en un acelerador”, dijo Nidhi Chappell de Microsoft. “Incluso con solo mirar la hoja de ruta en la que estoy trabajando en este momento, es increíble, la escala no tiene precedentes. Y es completamente necesario”.