Intel ha presentado su acelerador de IA Gaudi 3 en su conferencia Vision 2024 en Santa Clara, California.
La compañía también ha proporcionado actualizaciones sobre sus últimos procesadores Xeon 6, con nombres en código Sierra Forest y Granite Rapids-D y presentados por primera vez en el MWC a principios de este año, y ha presentado una vista previa de su cartera de nuevas soluciones Ethernet optimizadas para IA.
La línea de productos Gaudi 3 se compone de tres componentes de hardware. En primer lugar, la tarjeta aceleradora compatible con el módulo acelerador abierto (OAM) proporciona 1835 teraflops de rendimiento informático del FP8, 128 GB de HBM2e, 3,7 TB/s de ancho de banda de HBM, ocho motores de multiplicación de matrices y 1,2 TB/s de red bidireccional.
La placa base universal proporciona 14,6 petaflops de rendimiento informático FP8, más de 1 TB de HBM2e, 29,6 TB/s de ancho de banda de HBM, 64 motores de multiplicación de matrices y 9,6 TB/s de red bidireccional.
Finalmente, PCIe CEM es una nueva oferta exclusiva para Gaudi 3 y contiene 1835 teraflops de rendimiento informático FP8, 128 GB de HBM2e, 600 W de TDP y ocho motores de multiplicación de matrices.
Conectado a través del estándar común de Ethernet, Intel ha dicho que el acelerador Gaudi 3 de 5 nm promete 2 veces más potencia de computación AI FP8, 4 veces más computación AI para BF16, 2 veces más ancho de banda de red y un aumento de 1,5 veces en el ancho de banda de memoria con respecto a su predecesor, el Gaudi 2.
Intel dijo que el Gaudi 3 ya está proporcionando la base para el procesador de próxima generación de la compañía, cuyo nombre en código es Falcon Shores; una GPU para IA y computación de alto rendimiento (HPC).
Según la compañía, en comparación con la Nvidia H100, ofrece una inferencia un 50 por ciento mejor en promedio en los modelos Llama2 de Meta con parámetros 7B y 13B, y el modelo de parámetros GPT-3 175B de OpenAI. También afirma tener una eficiencia energética un 40 por ciento mayor en promedio en los parámetros Llama 7B y 70B, y en los modelos de parámetros Falcon 180B.
La compañía también dijo que la Gaudi 3 también será una “fracción del costo” de la Nvidia H100, pero no proporcionó ningún detalle sobre el precio.
La disponibilidad de muestras del Gaudi 3 refrigerado por aire y del Gaudi 3 refrigerado por líquido estarán disponible en el primer y segundo trimestre de 2024, respectivamente.
Intel espera que la producción en volumen del Gaudi 3 refrigerado por aire esté disponible en el tercer trimestre de 2024 y apunta al cuarto trimestre de 2024 para la opción refrigerada por líquido. La nueva oferta PCIe también estará disponible en el cuarto trimestre de 2024.
El acelerador Gaudi 3 estará disponible para los fabricantes de equipos originales, incluidos HPE, Lenovo y Supermicro, en el segundo trimestre de 2024.
Intel proporciona actualizaciones a su cartera más amplia de productos de IA
Por otra parte, Intel ha anunciado que sus procesadores Sierra Forest podrán ofrecer una mejora de rendimiento por rack de 2,7 veces y una mejora de rendimiento por vatio de 2,4 veces en comparación con los procesadores Intel Xeon de segunda generación. Programado para ser lanzado en la primera mitad de este año, Sierra Forest se basa en el proceso Intel 3 basado en el nodo Intel 7 y ofrece hasta 288 núcleos eficientes (E-cores) por socket.
Diseñado para soluciones Edge, Granite Rapids-D incorpora soporte de software para el formato de datos MXFP4, que reduce la latencia del siguiente token hasta 6,5 veces en comparación con la cuarta generación Xeon que usa FP16, con la capacidad de ejecutar modelos Llama-2 de 70 mil millones de parámetros. Tiene aceleración de IA incorporada y contará con la última generación de núcleos de rendimiento (P-cores).
Intel también ha anunciado que trabajaría con el Consorcio Ultra Ethernet para liderar las redes Ethernet abiertas para tejidos de IA. Las soluciones Ethernet optimizadas para IA que se están introduciendo incluyen Intel AI NIC (tarjeta de interfaz de red), chipsets de conectividad de IA para integración en XPU, sistemas basados en Gaudí y una gama de diseños de interconexión de IA de referencia suave y dura para Intel Foundry.
Finalmente, Intel ha presentado nuevos productos de silicio Edge en sus procesadores Intel Core, Intel Core Ultra e Intel Atom, además de una nueva GPU Intel Arc para Edge. Todos estos productos están dirigidos a los sectores minoristas, de fabricación industrial y de atención médica y estarán disponibles este trimestre, respaldados por la plataforma Intel Edge que llegará al mercado a finales de este año.
"La innovación avanza a un ritmo sin precedentes, todo ello gracias al silicio, y todas las empresas se están convirtiendo rápidamente en empresas de inteligencia artificial", afirmó el director ejecutivo de Intel, Pat Gelsinger. “Intel está llevando la IA a todas partes de la empresa, desde los PC hasta los centro de datos y el Edge. Nuestras últimas plataformas Gaudi, Xeon y Core Ultra ofrecen un conjunto coherente de soluciones flexibles diseñadas para satisfacer las necesidades cambiantes de nuestros clientes y capitalizar las inmensas oportunidades que se avecinan”.