Fabricante de chips Nvidia obtuvo 30 mil millones de dólares en ingresos último trimestre fiscal, impulsado en gran parte por la insaciable demanda de GPU de la industria de la inteligencia artificial. Las GPU son esenciales para entrenar y ejecutar modelos de IA; contienen miles de núcleos que trabajan en paralelo para realizar rápidamente las ecuaciones de álgebra lineal que estructuran los modelos.
El apetito por la IA sigue siendo alto y las GPU de Nvidia se han convertido en el chip preferido entre los jugadores de IA de todos los tamaños. Pero onda tensoruna empresa fundada a finales del año pasado, va contra la corriente al lanzar una nube que solo ofrece acceso al hardware del rival de Nvidia, AMD, para cargas de trabajo de IA.
“Reconocimos un monopolio insalubre en funcionamiento, uno que privaba a los usuarios finales de acceso a la computación y sofocaba la innovación en el espacio de la IA”, dijo a TechCrunch Darrick Horton, director ejecutivo de TensorWave y uno de sus cofundadores. “Motivados por nuestro deseo de democratizar la IA, nos propusimos ofrecer una alternativa viable y restaurar la competencia y las opciones”.
Caminos sinuosos
Pickleball inicialmente reunió a Horton con los otros dos cofundadores de TensorWave, Jeff Tatarchuk y Piotr Tomasik, o al menos, fue lo que hizo rodar la pelota (disculpe el juego de palabras).
Un día, después de un partido, Tomasik y Tatarchuk, amigos cercanos y compañeros de dobles de pickleball desde hace mucho tiempo, invitaron a Horton, un ex colega de Tatarchuk, a unirse a ellos en su bar favorito de Las Vegas.
“A medida que se desarrolló la conversación, discutimos el control monopolístico sobre la capacidad de procesamiento de GPU, lo que estaba generando limitaciones de suministro”, dijo Horton. “Esta comprensión llevó a la formación de TensorWave”.
Los tres socios no sólo se conocían del pickleball.
Tatarchuk cofundó el proveedor de nube VMAccel con Horton antes de vender otra startup, el desarrollador de CRM Lets Rolo, a la firma de identidad digital LifeKey. Horton, que tiene una licenciatura en ingeniería mecánica y física, trabajó una vez en la división de I+D de Skunk Works de Lockheed Martin y luego cofundó VaultMiner Technologies, una empresa de criptominería y matriz corporativa de VMAccel.
En cuanto a Tomasik, co-lanzó Lets Rolo junto a Tatarchuk. (Tomasik también es cofundador del sitio de marketing de influencers Influential, que la firma francesa de relaciones públicas Publicis adquirió por 500 millones de dólares en julio).
Entonces, ¿qué hizo que tres emprendedores con poco conocimiento del panorama del hiperescalador pensaran que podían competir con los titanes de la industria de la IA? Tenacidad, básicamente.
“Creíamos que podíamos resolver el problema de suministro de GPU”, dijo Horton.
Vegas, inc.
TensorWave tiene su sede en Las Vegas, una elección de ciudad inusual para una startup de infraestructura en la nube. Pero Horton dijo que al equipo le gustaban las probabilidades.
“Pensamos que Las Vegas tenía el potencial de convertirse en un próspero ecosistema tecnológico y de startups”, dijo.
Esa predicción no está totalmente equivocada. De acuerdo a Según los datos de Dealroom.co, Las Vegas alberga poco más de 600 nuevas empresas que emplean a más de 11.000 personas, lo que atrajo más de 4.000 millones de dólares en inversiones en 2022.
Costos de energía y gastos generales. son más bajo en Las Vegas que en muchas ciudades importantes de Estados Unidos también. Y tanto Tomasik como Tatarchuk tienen estrechos vínculos con la comunidad de capital riesgo de la ciudad.
Tomasik anteriormente fue médico de cabecera en el fondo semilla 1864 Fund, con sede en Las Vegas, y ahora trabaja con las aceleradoras sin fines de lucro StartUp Vegas y Vegas Tech Ventures. (Curiosamente, Vegas Tech Ventures sitio lanzó un 404 para las páginas que enumeran sus socios y empresas de cartera; un portavoz dijo que se trataba de un error técnico y que se corregiría). Tatarchuk es un inversor ángel en Fruition Lab, una incubadora de Las Vegas que, de manera bastante inusual, comenzó como una organización religiosa cristiana.
Estas conexiones, junto con las de Horton, ayudaron a que TensorWave se convirtiera en una de las primeras nubes en comercializar instancias AMD Instinct MI300X para cargas de trabajo de IA. TensorWave, que ofrece configuraciones con almacenamiento dedicado e interconexiones de alta velocidad a pedido, alquila capacidad de GPU por horas y requiere un contrato mínimo de seis meses.
“En el espacio de la nube en su conjunto, estamos en buena compañía”, afirmó Horton. “Nos consideramos complementarios y ofrecemos computación adicional específica de IA a una relación precio-rendimiento competitiva”.
AMD-adelante
Existe un mercado en auge para las nuevas empresas que crean nubes de bajo costo, bajo demanda y impulsadas por GPU para IA.
CoreWeave, el proveedor de infraestructura de GPU que comenzó su vida como una operación de criptominería, recientemente recaudó $1.100 millones en nuevos fondos (y $7.500 millones en deuda) y firmó un contrato de capacidad multimillonario. trato con Microsoft. Lambda Labs obtuvo a principios de abril un vehículo de financiación para fines especiales de hasta 500 millones de dólares y está según se informa buscando 800 millones de dólares adicionales. La organización sin fines de lucro Voltage Park, respaldada por el cripto multimillonario Jed McCaleb, anunció en octubre pasado que está invirtiendo 500 millones de dólares en centros de datos respaldados por GPU. Y Together AI, un host de GPU en la nube que también realiza investigaciones de IA generativa, obtuvo en marzo 106 millones de dólares en una ronda liderada por Salesforce.
Entonces, ¿cómo espera competir TensorWave?
Primero, sobre el precio. Horton señala que el MI300X es significativamente más barato que la GPU más popular de Nvidia para cargas de trabajo de IA en la actualidad, la H100, y que esto permite a TensorWave transferir ahorros a los clientes. No reveló el precio exacto de la instancia de TensorWave. Pero para superar los planes H100 más competitivos, tendría que llegar a menos de ~$2,50 por hora, una hazaña desafiante pero no inconcebible.
“El precio oscila entre aproximadamente 1 dólar por hora y 10 dólares por hora, dependiendo de los requisitos personalizados de la carga de trabajo y las configuraciones de GPU elegidas”, dijo Horton. “En cuanto al costo por instancia en el que incurre TensorWave, no podemos compartir esos detalles debido a acuerdos de confidencialidad”.
En segundo lugar, sobre el rendimiento. Horton señala los puntos de referencia que muestran el MI300X superando el H100 cuando se trata de ejecutar (pero no entrenar) modelos de IA, específicamente modelos de generación de texto como Meta’s Llama 2. (Otros evaluaciones sugieren que la ventaja puede depender de la carga de trabajo).
Parece haber cierta credibilidad en las afirmaciones de Horton, dado el interés de los impulsores y agitadores de la industria tecnológica en el MI300X. Meta dijo en diciembre que utilizará chips MI300X para casos de uso como ejecutar su asistente Meta AI, mientras que OpenAI, el fabricante de ChatGPT, planea admitir el MI300X en sus herramientas de desarrollador.
la competencia
Otros que apuestan por los chips de IA de AMD van desde nuevas empresas como Lamini y Nscale hasta proveedores de nube más grandes y arraigados como Azure y Oracle. (Google Cloud y AWS no estar convencido de la competitividad de AMD.)
Trabajar a favor de todos estos proveedores en este momento es el Continúa la escasez de GPU de Nvidia y el demora del próximo chip Blackwell de Nvidia. Pero la escasez podría aliviarse pronto con un aumento en la fabricación de componentes críticos de chips, en particular la memoria. Y eso podría permitir a Nvidia aumentar los envíos del H200, el sucesor del H100, que cuenta con un rendimiento dramáticamente mejorado.
Otro dilema existencial para las nubes advenedizas que apuestan por el hardware AMD es salvar los fosos competitivos que Nvidia ha construido en torno a los chips de IA. El software de desarrollo de Nvidia se percibe como más maduro y más fácil de usar que el de AMD, y está ampliamente implementado. La propia directora ejecutiva de AMD, Lisa Su, ha aceptado que “se necesita trabajo” para adoptar AMD.
En el horizonte lejano, competir en precios podría convertirse en un desafío en el futuro a medida que los hiperescaladores aumenten sus inversiones en hardware personalizado para ejecutar y entrenar modelos. Google ofrece sus TPU; Microsoft presentó recientemente dos chips personalizados, Azure Maia y Azure Cobalt; y AWS tiene Trainium, Inferentia y Graviton.
“A medida que los desarrolladores busquen alternativas que puedan manejar eficazmente sus cargas de trabajo de IA, especialmente con mayores demandas de memoria y rendimiento, junto con problemas de producción continuos que causan retrasos, AMD mantendrá la superioridad por más tiempo, desempeñando un papel clave en la democratización de la computación en la era de la IA. ”, dijo Horton.
Demanda temprana
TensorWave comenzó a incorporar clientes a finales de esta primavera en una versión preliminar. Pero ya está generando 3 millones de dólares en ingresos recurrentes anuales, afirma Horton. Espera que esa cifra alcance los 25 millones de dólares para fin de año (un salto de 8 veces) una vez que TensorWave aumente su capacidad a 20.000 MI300X.
Arrogante 15.000 dólares por GPU20.000 MI300X equivaldrían a una inversión de 300 millones de dólares; sin embargo, Horton afirma que la tasa de combustión de TensorWave está “muy dentro de niveles sostenibles”. TensorWave anteriormente dijo The Register que utilizaría sus GPU como garantía para una gran ronda de financiación de deuda, un enfoque empleado por otros operadores de centros de datos, incluido CoreWeave; Horton dice que ese sigue siendo el plan.
“Esto refleja nuestra sólida salud financiera”, continuó. “Estamos estratégicamente posicionados para hacer frente a posibles vientos en contra ofreciendo valor donde más se necesita”.
Le pregunté a Horton cuántos clientes tiene TensorWave hoy. Se negó a responder debido a “confidencialidad”, pero destacó las asociaciones anunciadas públicamente por TensorWave con el proveedor de red troncal. Redes Edgecore y MK1una startup de inferencia de IA fundada por ex ingenieros de Neuralink.
“Estamos expandiendo rápidamente nuestra capacidad, con múltiples nodos disponibles, y estamos aumentando continuamente la capacidad para satisfacer las crecientes demandas de nuestra cartera”, dijo Horton, y agregó que TensorWave planea traer las GPU MI325X de próxima generación de AMD, que están programadas para ser lanzado en el cuarto trimestre de 2024, en línea a partir de noviembre/diciembre.
Los inversores parecen satisfechos con la trayectoria de crecimiento de TensorWave hasta el momento. Nexus VP reveló el miércoles que lideró una ronda de 43 millones de dólares en la compañía, que también contó con la participación de Maverick Capital, StartupNV, Translink Capital y AMD Ventures.
El tramo, el primero de TensorWave, valora la startup en 100 millones de dólares después del pago del dinero.
“AMD Ventures comparte la visión de TensorWave de transformar la infraestructura informática de IA”, dijo el vicepresidente senior de AMD Ventures, Matthew Hein, en un comunicado. “Su implementación de AMD Instinct MI300X y su capacidad de ofrecer instancias públicas a clientes y desarrolladores de IA los posiciona como uno de los primeros competidores en el espacio de la IA, y estamos entusiasmados de apoyar su crecimiento a través de esta última ronda de financiación”.