Mark Zuckerberg ha confirmado que las limitaciones energéticas se han convertido en el mayor obstáculo para la construcción de centros de datos de IA.
Hablando en el Dwarkesh Podcast, el CEO de Meta se hizo eco de los comentarios de la industria sobre los desafíos de construir centros de datos cada vez más grandes.
"En los últimos años, ha habido este problema con la producción de GPU", dijo. "Incluso las empresas que tenían dinero para pagar las GPU no necesariamente podían conseguir tantas como querían debido a todas estas limitaciones de suministro.
Dado que los modelos de IA requieren una inversión cada vez mayor para mejorar, "existe la cuestión capital de en qué momento deja de valer la pena invertir capital", dijo Zuckerberg. "Pero en realidad creo que, antes de que lleguemos a eso, tendremos limitaciones de energía".
También ha dicho que si bien el software está sólo "algo regulado", la industria energética es un sector fuertemente regulado. "Cuando se habla de construir grandes plantas de energía nuevas o grandes construcciones y construir líneas de transmisión que atraviesen terrenos públicos o privados... se está hablando de muchos años de tiempo de espera".
Y añadió: "Si quisiéramos construir una instalación enorme, darle energía sería un proyecto a muy largo plazo. Creo que [algunas personas] lo harán, pero no creo que esto sea algo que pueda ser cosa de magia", como 'obtienes un nivel de IA, obtienes un montón de capital y lo pones en [un gran centro de datos]'".
Estas limitaciones han frenado la construcción del propio centro de datos de Meta. A finales de 2022, la empresa descartó las instalaciones en desarrollo para un nuevo diseño de IA y ahora está desarrollando una serie de instalaciones mejoradas.
"Creo que probablemente construiríamos clusters más grandes de los que podemos actualmente si pudiéramos obtener la energía para hacerlo", dijo Zuckerberg.
"Nadie ha construido todavía un centro de datos de 1 GW. Creo que sucederá. Es sólo cuestión de tiempo, pero no será el año que viene".
En el podcast no se menciona el plan potencial de Microsoft para construir un centro de datos de 5GW para OpenAI para 2030.
"Algunas de estas cosas llevarán algunos años -no sé cuántos- para construirse. Sólo para poner esto en perspectiva, creo que un gigavatio sería el tamaño de una planta de energía nuclear significativa que sólo se utilizaría para capacitar a una modelo."
En otra parte del podcast, Zuckerberg habló sobre el Meta Training and Inference Accelerator y otros silicios personalizados, y cuándo podrían usarse para entrenar sus modelos.
"El enfoque que adoptamos fue que, en primer lugar, básicamente construimos silicio personalizado que pudiera manejar la inferencia para nuestro tipo de clasificación y recomendación, es decir, carretes, noticias y anuncios", dijo.
"Eso consumía muchas GPU. Cuando pudimos trasladar eso a nuestro propio silicio, ahora podemos usar las GPU Nvidia, más caras, solo para entrenamiento. En algún momento, con suerte, tendremos silicio que podamos usar al principio para entrenar algunas de las cosas más simples y luego entrenando modelos realmente grandes".
La compañía anunció esta semana que su asistente de inteligencia artificial Llama 3 se implementaría en todas sus plataformas, con una versión de 400 mil millones de parámetros en camino.