Inicio de la computación fotónica Materia ligera ha recaudado 400 millones de dólares para eliminar uno de los cuellos de botella de los centros de datos modernos. La capa de interconexión óptica de la empresa permite que cientos de GPU funcionen sincrónicamente, agilizando el costoso y complejo trabajo de entrenar y ejecutar modelos de IA.
El crecimiento de la IA y sus correspondientes inmensos requisitos informáticos han potenciado la industria de los centros de datos, pero no es tan sencillo como conectar otras mil GPU. Como los expertos en informática de alto rendimiento saben desde hace años, no importa qué tan rápido sea cada nodo de su supercomputadora si esos nodos están inactivos la mitad del tiempo esperando que lleguen datos.
La capa o capas de interconexión son realmente las que convierten los racks de CPU y GPU en una máquina gigante, por lo que cuanto más rápida sea la interconexión, más rápido será el centro de datos. Y parece que Lightmatter construye la capa de interconexión más rápida con diferencia, utilizando los chips fotónicos que ha estado desarrollando desde 2018.
“Los hiperescaladores saben que si quieren una computadora con un millón de nodos, no pueden hacerlo con conmutadores Cisco. Una vez que sales del estante, pasas de una interconexión de alta densidad a básicamente una taza en un fuerte”, dijo a TechCrunch Nick Harris, director ejecutivo y fundador de la empresa. (Puedes ver una breve charla que dio resumiendo este tema aquí.)
Lo último en tecnología, dijo, es NVLink y particularmente la plataforma NVL72, que coloca 72 unidades Nvidia Blackwell conectadas entre sí en un rack, con capacidad para un máximo de 1,4 exaFLOP con precisión FP4. Pero ningún rack es una isla, y toda esa computación debe exprimirse a través de 7 terabits de red “ampliable”. Parece mucho, y lo es, pero la incapacidad de conectar estas unidades en red más rápidamente entre sí y con otros racks es una de las principales barreras para mejorar el rendimiento.
“Para un millón de GPU, se necesitan varias capas de conmutadores. y eso añade una enorme carga de latencia”, afirmó Harris. “Tienes que pasar de lo eléctrico a lo óptico, de lo eléctrico a lo óptico… la cantidad de energía que usas y la cantidad de tiempo que esperas es enorme. Y empeora dramáticamente en grupos más grandes”.
Entonces, ¿qué aporta Lightmatter? Fibra. Montones, montones de fibra, enrutadas a través de una interfaz puramente óptica. Con hasta 1,6 terabits por fibra (usando varios colores) y hasta 256 fibras por chip… bueno, digamos que 72 GPU a 7 terabits empiezan a sonar positivamente pintoresco.
“La fotónica está llegando mucho más rápido de lo que la gente pensaba; la gente ha estado luchando para que funcione durante años, pero estamos ahí”, dijo Harris. “Después de siete años de una rutina absolutamente asesina”, añadió.
La interconexión fotónica actualmente disponible en Lightmatter genera 30 terabits, mientras que el cableado óptico en el bastidor es capaz de permitir que 1.024 GPU funcionen sincrónicamente en sus propios bastidores especialmente diseñados. En caso de que se lo pregunte, los dos números no aumentan en factores similares porque mucho de lo que necesitaría conectarse en red a otro rack se puede hacer en el rack en un clúster de mil GPU. (Y de todos modos, 100 terabits están en camino).
El mercado para esto es enorme, señaló Harris, y todas las principales empresas de centros de datos, desde Microsoft hasta Amazon y los nuevos participantes como xAI y OpenAI, muestran un apetito infinito por la computación. “¡Están uniendo edificios! Me pregunto cuánto tiempo podrán seguir así”, dijo.
Muchos de estos hiperescaladores ya son clientes, aunque Harris no mencionó a ninguno. “Piense en Lightmatter un poco como una fundición, como TSMC”, dijo. “No elegimos favoritos ni adjuntamos nuestro nombre a las marcas de otras personas. Les proporcionamos una hoja de ruta y una plataforma, lo que les ayuda a hacer crecer el pastel”.
Pero, añadió tímidamente, “no se cuadriplica su valoración sin aprovechar esta tecnología”, tal vez en alusión a la reciente ronda de financiación de OpenAI que valoró a la empresa en 157.000 millones de dólares, pero el comentario también podría referirse a su propia empresa.
Esta ronda D de 400 millones de dólares la valora en 4.400 millones de dólares, un múltiplo similar de su valoración de mediados de 2023 que “nos convierte, con diferencia, en la mayor empresa de fotónica. ¡Eso es genial! dijo Harris. La ronda fue dirigida por T. Rowe Price Associates, con la participación de los inversores existentes Fidelity Management and Research Company y GV.
¿Qué sigue? Además de la interconexión, la empresa está desarrollando nuevos sustratos para chips para que puedan realizar tareas de red aún más íntimas utilizando la luz.
Harris especuló que, además de la interconexión, la potencia por chip será el gran diferenciador en el futuro. “En diez años tendremos chips a escala de oblea de todo el mundo; simplemente no hay otra manera de mejorar el rendimiento por chip”, afirmó. Por supuesto, Cerebras ya está trabajando en esto, aunque es una cuestión abierta si son capaces de capturar el verdadero valor de ese avance en esta etapa de la tecnología.
Pero Harris, al ver que la industria de los chips se topa contra una pared, planea estar listo y esperando el siguiente paso. “Dentro de diez años, interconectar es Ley de Moore”, dijo.