Por Peter Judge, Editor Ejecutivo de DatacenterDynamics

El último número de la revista DCD presenta la investigación más exhaustiva sobre las demandas de infraestructura de la IA que he visto, y me inquieta mucho.

La inteligencia artificial no es nueva. Las ideas detrás de esto se remontan a cincuenta o incluso setenta años. Lo nuevo es una explosión sin precedentes en la capacidad de los sistemas, junto con una inversión masiva. Lo que la IA puede hacer es crecer exponencialmente, y las personas han percibido amenazas y oportunidades allí, por lo que el sector ha sido respaldado por un crecimiento exponencial en la inversión y en los recursos destinados a la capacitación y el funcionamiento de los sistemas de IA.

Sin embargo, la carrera de la IA se desarrolla en relativo secreto. El mundo se pone a jugar con aplicaciones de IA como ChatGPT y Midjourney, y está construyendo modelos comerciales completos sobre lo que podrían hacer, todo ello con solo una mínima comprensión de cómo se ejecutan estos sistemas y de sus costos financieros, sociales y ambientales.

Demandas exponenciales

Nos hemos propuesto cambiar eso. Pedimos hablar con los arquitectos de IA de Microsoft, Google, Nvidia y muchos otros. Dieron generosamente de su tiempo, y el editor en jefe, Sebastian Moss, destiló un recorrido por el universo del hardware de IA. Es francamente alucinante.

El vertiginoso crecimiento de la IA exige innovaciones radicales en los chips semiconductores, junto con arquitecturas de red completamente nuevas. Está consumiendo la capacidad de las supercomputadoras estatales construidas originalmente para trabajos como el pronóstico del tiempo y el modelado molecular, y está generando nuevos sistemas de nube especializados más allá de lo previsto anteriormente.

Pero la industria no habla de cuántos recursos del planeta consumirá este nuevo sector. Bard de Google es una aplicación interna. OpenAI es un socio cercano de Microsoft, que obtiene acceso preferencial y privado a los recursos de la nube de Azure especialmente creados.

En 2018, OpenAI era una organización de investigación sin fines de lucro que fomentaba enfoques de IA amigables con los humanos. Sonó como una advertencia de que las demandas informáticas de los principales modelos de IA se duplicaban cada 3,4 meses. Cuando AlphaGo, la IA de Google/DeepMind venció a un humano en Go en 2018, usó 300.000 veces más poder de cómputo que el favorito de IA de 2012, la red neuronal de 8 capas AlexNet.

La famosa Ley de Moore predijo que la potencia de cómputo de un procesador podría duplicarse cada dos años. Eso fue impresionante, pero solo habría producido un aumento de siete veces en ese período. Y en cualquier caso, la Ley de Moore se ha quedado sin fuerza a medida que alcanzamos los límites físicos de nuestros métodos de fabricación de silicio. Como descubrió Sebastian, la única forma en que los líderes de IA pueden ofrecer mejoras en el entrenamiento y el rendimiento de la IA es ejecutar modelos cada vez más grandes en agregaciones más grandes de procesadores especializados de mayor energía.

Algunas figuras de la industria están haciendo sonar la alarma, ya que las indicaciones que tenemos sobre el uso de energía comienzan a asustar a la gente. En la Conferencia de Automatización del Diseño del año pasado, el CTO de AMD, Mark Papermaster, advirtió que el crecimiento del uso de energía por parte de los sistemas de IA estaba en camino de consumir toda la energía del mundo para 2050, según Semiconductor Engineering.

Ahora eso suena como una repetición de las predicciones histéricas del uso de energía del centro de datos que circularon hace más de diez años, que resultaron ser exageradas. Pero hay razones reales para preocuparse.

Por un lado, realmente no hay limitación en el crecimiento. El CTO de Arm, Ian Bratt, ha descrito las demandas informáticas de las redes neuronales como "insaciables", simplemente porque cuanto más grande sea su red, mejores serán los resultados. El costo de la energía y el hardware podría ser un factor limitante, si no fuera por la presión para ganar la carrera de la IA a toda costa.

Las indicaciones que tenemos sobre el uso de energía de la IA son realmente alarmantes.

Un artículo de un equipo de científicos de Google y Berkeley, dirigido por el inventor de RISC, David Patterson, intenta ponerle un número. Al observar que un avión de pasajeros produce 180 toneladas de CO2 equivalente durante un viaje de ida y vuelta entre San Francisco y Nueva York, el grupo estima que entrenar GPT-3 produce aproximadamente tres veces más carbono. No está claro en el documento qué combinación de energía se asume aquí.

Ahora, sabemos que las IA tienden a tener un número limitado de ejecuciones de entrenamiento, antes de que se apliquen, y luego usan menos energía en la etapa de "inferencia" por uso (pero potencialmente mucho más, si se usan mucho ). Y el trabajo de I+D en un modelo de IA necesita mucho más que una sola ejecución de entrenamiento. Y si los modelos de IA se aplican a una situación del mundo real, deberán actualizarse y volver a capacitarse.

Si Microsoft usa GPT-4 en su motor de búsqueda Bing, cada ejecución de entrenamiento se amortizará en millones de búsquedas, pero los datos de entrenamiento deberán actualizarse regularmente, ya que claramente no es lo suficientemente bueno tener un motor de búsqueda cuyo conocimiento termina en 2021, como fue el caso de la demostración pública de ChatGPT.

Se ha estimado que aumentar un motor de búsqueda como Bing con IA aumentará su huella de carbono por búsqueda aproximadamente cinco veces.

Estas preocupaciones se han planteado durante algún tiempo. En diciembre de 2020, el investigador de ética de IA Timnit Gebru se vio obligado a abandonar Google debido a las preocupaciones que planteó. En ese momento, la atención se centró en sus hallazgos de que el proceso de entrenamiento de la IA introdujo sesgos desconocidos que hicieron que las eventuales aplicaciones fueran racistas y sexistas. Pero como señaló MIT Review, el documento rechazado que precipitó su salida planteó muchas otras preocupaciones, incluido el uso de energía.

Ejecutar tales procesos hambrientos de energía de manera indiscriminada plantea riesgos para algo más que el clima, dijo. Limitó la investigación de IA a corporaciones ricas, mientras que las comunidades pobres sufren los efectos del cambio climático. "Ya es hora de que los investigadores prioricen la eficiencia energética y el costo para reducir el impacto ambiental negativo y el acceso desigual a los recursos", dijo el documento.

Necesitamos transparencia

Cuando se temía que el uso de energía del centro de datos estuviera fuera de control, el investigador Jonathan Koomey produjo las cifras que mostraban que una combinación de la Ley de Moore y las eficiencias de la nube significaba que la eficiencia del centro de datos había aumentado en órdenes de magnitud, manteniendo el uso general de energía bajo control.

Koomey ha advertido contra sacar conclusiones del auge actual en las demostraciones de IA y los primeros lanzamientos, señalando que los chips de IA especializados pueden aumentar la eficiencia y el uso de energía de IA podría disminuir la energía utilizada en otros lugares. "Es probable que las personas tomen anécdotas aisladas y las extrapolen para obtener números sorprendentes, y estos números casi siempre son demasiado altos", dijo a Wired.

Pero a Koomey le preocupa la forma en que se mantiene oculto el uso de la energía de la IA: "Falta transparencia", le dijo a DCD en un correo electrónico. "Tiene que haber normas y responsabilidad".

Está claro que la IA tiene un valor potencial, pero sin transparencia sobre sus costos, no podemos saber si ese valor realmente supera los costos.