Recientemente pudimos vislumbrar lo que GPU con IA de miles de millones de dólares Es como si Elon Musk hubiera compartido un breve recorrido en vídeo por Cortex, la supercomputadora de entrenamiento de IA actualmente en construcción en la fábrica de Tesla en Giga Texas.
Recientemente, Musk anunció en su plataforma de redes sociales que Colossus, una nueva gama de entrenamiento H100 de 100k, ya está lista para funcionar.
Musk afirma que Colossus es “el sistema de entrenamiento de IA más poderoso del mundo” y que fue construido “de principio a fin” en sólo 122 días. Este es un gran logro. Los servidores para el grupo xAI supuestamente fueron proporcionados por Valle y Supermicro, y el coste del proyecto se estima entre 3 y 4 mil millones de dólares.
Este fin de semana, el equipo @xAI lanzó en línea el paquete de entrenamiento Colossus 100k H100. De principio a fin, se realizó en 122 días. Colossus es el sistema de entrenamiento de IA más poderoso del mundo. Además, duplicará su tamaño hasta los 200.000 (50.000 H200) en unos pocos meses. excelente…2 de septiembre de 2024
¿De dónde obtuvo Coloso su nombre?
Hardware de Tom “Y aunque todos estos clústeres están ejecutando oficialmente e incluso entrenando modelos de IA, no está del todo claro cuántos clústeres se están ejecutando realmente en Internet hoy en día. En primer lugar, se necesita tiempo para depurar estos clústeres gigantes y optimizar su configuración. hasta “Asegurarse de que tuviera suficiente energía, y aunque la compañía de Elon Musk estaba usando 14 generadores diésel para alimentar su supercomputadora en Memphis, no era suficiente para alimentar las 100.000 GPU H100”.
El sistema Colossus eventualmente duplicará su capacidad, con planes para integrar 100.000 GPU adicionales: 50.000 H100 y 50.000 NVIDIAChipset H200 de próxima generación de XAI. El superconjunto se utilizará principalmente para entrenar el Grok-3 de XAI, el modelo de IA más nuevo y avanzado de la compañía. Aún no hemos visto ninguna mención al almacenamiento para el nuevo sistema, pero debería ser enorme.
Pero el nombre de la nueva supercomputadora llamó mucho la atención, ya que la gente notó que su nombre compartía el nombre de una película de ciencia ficción de 1970 (basada en una novela de 1966 de D. F. Jones) sobre una supercomputadora que se volvió inteligente después de obtener el control de la industria estadounidense. arsenal nuclear. Como era de esperar, las cosas salieron mal para la humanidad.
Tanto la novela como la película abordan temas contemporáneos de la autonomía de la inteligencia artificial, los peligros de ceder el control a las máquinas y las implicaciones éticas de la inteligencia artificial. Es posible que Musk no fuera consciente de esto cuando se eligió el nombre para el nuevo sistema de entrenamiento de IA, y es posible que lo haya elegido sólo para enfatizar el enorme tamaño de los cúmulos gigantes. Pero nuevamente, con el historial de Musk, no sería sorprendente que la referencia fuera completamente intencional: él sabe exactamente lo que está haciendo.