Es bien sabido que la Ley de Moore está llegando a su fin. Ya no podemos esperar que la potencia del procesador se duplique cada dos años, ya que se empaquetan más transistores en cada chip de silicio.
Eso es un inconveniente para la TI convencional, que se ha aprovechado de los continuos dividendos de la Ley de Moore. Es potencialmente un desastre para la inteligencia artificial (IA), que está al borde de una gran expansión... pero una expansión que depende mucho del procesamiento rápido.
Una startup cree que la respuesta es combinar silicio convencional con procesadores fotónicos que funcionan con luz.
La explosión de la IA
La inteligencia artificial se encuentra en una fase de crecimiento vertiginoso en este momento, dice Nick Harris, director ejecutivo de Lightmatter: “La gente ha encontrado casos de uso que son insaciables. Tomarán todo lo que puedan obtener, gastarán cualquier cantidad de dinero. Google, Microsoft, Amazon y Facebook pagarán lo que sea por estas cosas”.
Esto es un desarrollo reciente. Después de las oleadas en las décadas de 1960 y 1980, la investigación de la IA avanzaba lentamente. Luego, en 2012, una red neuronal llamada AlexNet, creada por Alex Krizhevsky, ganó un concurso de reconocimiento de imágenes que se ejecutaba en hardware de GPU de bajo costo.
Eso mostró posibilidades comerciales, Google compró la empresa de Krizhevsky y comenzó la inversión.
“Hubo una inversión masiva para escalar estas cosas”, dice Harris. La inversión dio sus frutos. “En los últimos diez años, la complejidad de los modelos de IA ha seguido un período de duplicación de 3,6 meses”.
El problema es que incluso el silicio barato de uso general no puede mantenerse al día con eso. Y, si bien es posible dedicar tiempo y recursos adicionales a una IA en el laboratorio, necesita un rendimiento rápido cuando se implementa en aplicaciones reales.
“El desafío con la IA es que puedes entrenar modelos muy grandes, pero si deseas implementarlos y que la gente interactúe con ellos, el tiempo entre que un usuario hace una consulta y obtiene un resultado es muy importante”, dice. Harris. “Necesitas retroalimentación en tiempo real. El gran desafío en el campo es construir máquinas que puedan ejecutar estas enormes redes neuronales para obtener una respuesta en milisegundos”.
El silicio no puede seguir el ritmo
El rendimiento del procesador se ha estado duplicando cada dos años durante décadas, desde 1965, cuando Gordon Moore de Intel notó la tendencia.
"Eso ha sido bueno, pero esa tasa de progreso no fue suficiente para mantenerse al día con las IA emergentes de este siglo", dice Harris.
Y para empeorar las cosas, justo en el momento en que llegaron las IA más inteligentes, la velocidad de aceleración del silicio disminuyó.
La Ley de Moore se mantuvo porque los fabricantes de chips podrían duplicar la cantidad de transistores empaquetados en un fragmento de silicio cada dos años. Ahora, mientras los procesadores aún contienen más transistores, se calientan más.
“La razón por la que tenemos este problema de calor es Dennard Scaling”, explica Harris. Robert Dennard inventó la DRAM y observó que los transistores más pequeños usaban menos energía, escalando con su área: "Alrededor de 2005, eso se rompió".
Los procesadores rápidos de hoy en día usan 300W y más, y Harris dice que eso se dirige a chips de 1kW.
“Todavía estamos recibiendo más transistores por unidad de área. Pero realmente no puedes usarlos, porque la solución de enfriamiento no te permite usarlos. El chip se quemará. Debe poder desarrollar chips que realicen más operaciones por vatio”.
Entrando a la fotónica
Lo que hace que los chips se calienten es la resistencia. Las señales eléctricas enfrentan resistencia a medida que los electrones fluyen en la corriente. Por el contrario, las señales de luz no enfrentan la misma resistencia y no generan calor, y los fotones también viajan más rápido que cualquier otra cosa.
Durante algunos años, los diseños informáticos avanzados han intentado introducir la fotónica y utilizar “electrones para el procesamiento, fotones para la comunicación”, en palabras de John Sontag, científico de HPE (HPE es inversor en Lightmatter).
Las comunicaciones de larga distancia usan fibra óptica, y esas fibras ahora penetran profundamente en los bastidores de los centros de datos. “Hay empresas que venden ópticas conectables de 100 Gig, y recién ahora están implementando ópticas conectables de 400 Gig. Envían 400 gigabits por segundo de datos a través de la fibra óptica para unir bastidores y cosas que están espacialmente separadas”.
Los desarrollos recientes han permitido que los transistores y la fotónica se fusionen en la misma oblea, en la llamada "óptica coempaquetada". Inicialmente, esto se vio como una forma de reducir el tamaño y el consumo de energía de esos enchufes ópticos, trayendo las señales al chip como luz, en lugar de convertir las señales de luz en señales eléctricas en los bordes del chip CMOS.
De acuerdo con la hoja de ruta, "los componentes ópticos se acercan cada vez más al silicio hasta que, finalmente, la óptica se apila en 3D y se empaqueta conjuntamente con los procesadores y los chips de red, lo que le brinda velocidades de datos muy altas con un bajo consumo de energía".
Intel ha estado demostrando ópticas empaquetadas conjuntamente durante un año o más, Broadcom ha demostrado un interruptor óptico empaquetado conjuntamente y Marvell compró la empresa de fotónica Inphi por $ 10 mil millones en 2021, pero la industria es escéptica acerca de que entre en juego rápidamente.
“Es demasiado pronto para tener una solución óptica empaquetada que esté lista para el despliegue masivo y la producción en volumen en los próximos años”, dijo el analista de Dell'Oro Group, Sameh Boujelbene, en un comentario a SDxCentral este año.
La óptica empaquetada conjuntamente podría ser útil para fabricar los sistemas de GPU altamente interconectados que se utilizan en el entrenamiento de la IA, pero eso aún requiere clústeres de cómputo con un "nido de ratas" de fibras ópticas entrelazadas, comenta Harris. “Están planeando unir los procesadores dentro del servidor utilizando la óptica. Cuando cada chip está conectado a todos los demás chips mediante una fibra, hay beneficios de rendimiento, pero es muy difícil dar servicio a esas cosas”.
El enfoque de Lightmatter es empujar los elementos ópticos más adentro del chip, de modo que todas esas interconexiones sean manejadas por una red fotónica conmutable dentro del silicio, que no genera calor y ocupa un volumen minúsculo.
“La fibra es macroscópica, es del orden de un milímetro”, dice. “Nuestros dispositivos son de dos micras”.
Esto podría reducir drásticamente el hardware requerido, integrando efectivamente un complejo sistema de entrenamiento de IA en un solo chip: “Si abre nuestro servidor, hay un chip allí. Contiene todos los procesadores para el servidor. Y están ópticamente interconectados dentro del chip. Y también pueden comunicarse con otras plataformas a través de la óptica”.
Continúa: "En última instancia, lo que hace esto es una integración extrema, lo que permite que todo tenga una interconexión óptica y permite anchos de banda realmente absurdos".
Y se realiza en procesos estándar disponibles en fábricas comerciales de silicio: "Construimos nuestras obleas con GlobalFoundries", dice Harris. “Tenemos transistores que son vecinos muy cercanos, dentro de los 100 nanómetros de los componentes fotónicos. Todo es monolítico”.
Las mismas herramientas de grabado hacen el CMOS y las conexiones fotónicas, que están en la misma escala nanométrica que los transistores, dice.
“Usamos todas las mismas herramientas de grabado. Así que todo es CMOS completamente estándar. Usamos una 'oblea aislante de silicio', que se usa en la producción de muchos chips electrónicos”.
Harris y sus colegas desarrollaron la idea en el MIT y la han estado comercializando desde 2018, con la ayuda de 11 millones de dólares en fondos iniciales.
El camino hacia soluciones de silicio
La empresa tiene dos productos. Passage es una interconexión que toma conjuntos de procesadores tradicionales y los vincula mediante una red óptica programable en chip.
“Los láseres están integrados en la plataforma, junto con moduladores y transistores”, dice. "Si llevas un microscopio electrónico de barrido, puedes ver las guías de ondas: están separadas por unas dos micras y tienen unos 100 nanómetros de ancho".
El otro producto es Envise, un acelerador de inferencia en la nube de propósito general, que combina elementos de computación con un núcleo de computación fotónica.
La promesa aquí es abordar el problema de la velocidad de procesamiento de la IA: “Tenemos una mejora de aproximadamente 42x en la latencia, porque el procesamiento ocurre a la velocidad de la luz. Estás haciendo multiplicaciones y sumas mientras la luz vuela a través del chip.
La tecnología aún se encuentra en una etapa inicial, pero Harris dice que Lightmatter tiene "alrededor de cinco clientes", que son grandes empresas. La compañía tiene silicio en el laboratorio y tendrá los chips disponibles para el público general más adelante.
“En el caso de Passage, estamos analizando la comunicación entre chips, y en el lado de Envise, el núcleo de procesamiento óptico ayuda con la energía de comunicación y también descarga las operaciones de la computadora”, dice Harris.
Los productos son "chips grandes", dice Harris. Al igual que otra startup de chips de IA, Cerebras, Lightmatter descubrió que la integración de múltiples núcleos y una red se puede hacer a través de una sola oblea.
Cerebras avanza aún más comercialmente, con productos adoptados en el centro de supercomputación EPCC de la Universidad de Edimburgo y en la empresa biofarmacéutica AbbVie, entre otros. Sin embargo, ha tenido que crear su propio sistema de refrigeración líquida para hacer frente al calor generado en la red on-chip.
La red óptica de Lightmatter envía señales con fotones y funciona más fríamente. También es un poco más pequeño, pero aún tiene "pulgadas de ancho", con Passage encajando en un zócalo de chip de ocho pulgadas por ocho pulgadas: "El zócalo de chip más grande que he visto en mi vida".
Sin embargo, ofrece ese ancho de banda “absurdo”: 768Tbps.
Los chips del tamaño de una oblea pueden sonar como una desventaja, dado que todas las obleas de silicio pueden sufrir pequeños defectos puntuales, por lo que una oblea grande tiene una mayor probabilidad de fallar. “Trabajamos mucho en ingeniería de rendimiento”, dice Harris. “Pero no hay muchos transistores en el chip”.
Con pocos transistores, hay menos posibilidades de defectos puntuales: “Tenemos densidades muy bajas, por lo que hay una probabilidad muy baja de tener un defecto puntual en la fabricación que mate al transistor. Los rendimientos terminan siendo altos porque no es un circuito de transistores muy densamente integrado”.
Aplicaciones
Las primeras aplicaciones para esto serán empresas que hagan análisis de videos en tiempo real, dice Harris. Estos podrían incluir empresas de seguridad, pero también empresas que monitorean una línea de fabricación usando cámaras para detectar cuando una pieza tiene un defecto.
También es potencialmente útil para el análisis del habla y otras aplicaciones de IA: "Está en todos los ámbitos".
Hay un factor común: los clientes están interesados en las redes neuronales de tipo "transformador" iniciadas por Google y quieren implementarlas de forma más económica.
“La primera aplicación trataría principalmente de abordar el costo de dólares por inferencia. Si es una persona de productos que está trabajando en Google Cloud, hay muchos modelos de IA que le gustaría implementar, pero no puede pagarlos, porque los dólares por inferencia no tienen sentido".
¿Funcionará todo? Un signo positivo es el calibre de los ingenieros que se incorporan a la empresa.
Richard Ho, uno de los líderes de la familia de chips de IA personalizados de Google, la Unidad de procesamiento de tensor (TPU), se unió a Lightmatter en agosto, siguiendo al vicepresidente de ingeniería, centro de datos, grupo de IA de Intel, Ritesh Jain. En mayo contrató al director de finanzas de Apple, Jessie Zhang, como vicepresidente de finanzas.
Las perspectivas para la computación fotónica podrían ser brillantes.