Fundada en julio del año pasado, su más reciente startup de inteligencia artificial, xAI, acaba de poner en línea una nueva supercomputadora llamada Colossus. Este sistema está diseñado para entrenar su modelo de lenguaje grande (LLM) conocido como Grok, un rival del más popular GPT-4 de OpenAI.
Crédito: MysteryPlanet.com.ar.
Aunque Grok está limitado a los suscriptores de pago de la plataforma social X de Musk, muchos expertos en Tesla especulan que eventualmente será la inteligencia artificial que dará vida al robot humanoide de la compañía, Optimus —que igualmente seguro costará bastante en sus inicios—.
Musk estima que este ambicioso proyecto estratégico podría generar a largo plazo hasta un billón de dólares en ganancias anuales para Tesla. Todo gracias al nuevo centro de datos de xAI en Memphis, Tennessee, el cual ahora alberga 100.000 procesadores Nvidia Hopper H100, más que cualquier otro clúster de computación de IA en el mundo.
This weekend, the @xAI team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days.
Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months.
Excellent…
— Elon Musk (@elonmusk) September 2, 2024
«De principio a fin, se completó en 122 días», escribió Musk, calificando a Colossus como «el sistema de entrenamiento de IA más potente del mundo».
Asimismo, el magnate afirmó que, en unos meses, Colossus «duplicará» su tamaño a 200.000 chips de IA, que incluirán 50.000 GPUs H200, una versión más reciente que, según Nvidia, tendrá casi el doble de capacidad de memoria que su predecesora y un 40 % más de ancho de banda.
Juego de tronos
El lanzamiento de la monstruosa supercomputadora, empero, estuvo precedido de controversia. La semana pasada, residentes locales de Memphis, que viven cerca del centro de datos, se quejaron de «niveles insoportables de contaminación» causados por las instalaciones, lo que podría anticipar futuras disputas con la compañía de Musk.
Y eso será solo el comienzo de los problemas de Colossus. Su título como el sistema de entrenamiento de IA más poderoso seguramente será amenazado más pronto que tarde. No es probable que otros líderes en IA, como OpenAI, Microsoft, Google y Meta, se queden de brazos cruzados, ya que algunos de ellos ya cuentan con cientos de miles de GPUs.
Un GPU (Unidad de Procesamiento Gráfico, por sus siglas en inglés) es un tipo de procesador especializado en realizar cálculos masivos de manera simultánea. Aunque fueron diseñados inicialmente para procesar gráficos y renderizar imágenes en tiempo real (como en videojuegos), su arquitectura es ideal para el procesamiento paralelo, lo que los hace muy eficientes para ejecutar las complejas operaciones matemáticas necesarias en el entrenamiento de modelos de aprendizaje profundo o IA.
Microsoft, por ejemplo, tiene como objetivo reunir 1.8 millones de chips de IA para finales de año. Por su parte, la némesis de Musk, Mark Zuckerberg, indicó que Meta planea adquirir 350.000 Nvidia H100 adicionales para la misma fecha.
Por ahora, sin embargo, Colossus sigue siendo una declaración singular de poder computacional bruto, cuyos primeros frutos veremos en diciembre, cuando ya esté entrenado y disponible Grok-3.
Fuente: Fortune/Ft. Edición: MP.
Elon Musk pone en marcha a Colossus, la supercomputadora con GPU Nvidia más grande del mundo