AMDInstinct MI300X El Instinct MI300X es un acelerador de IA increíblemente poderoso y las principales empresas de la nube están comenzando a integrarlo en su infraestructura para soportar cargas de trabajo intensivas de IA.
Vultr anunció recientemente que había pedido “miles” de unidades MI300X, y ahora Oracle Cloud Infrastructure (OCI) dice que ha certificado hardware AMD para la nueva instancia de OCI Compute Supercluster, el BM.GPU.MI300X.8.
El nuevo superclúster está diseñado para modelos de IA masivos que contienen miles de millones de parámetros y admiten hasta 16.384 GPU en un solo clúster. Esta configuración aprovecha la misma tecnología de alta velocidad utilizada por otros aceleradores OCI, lo que permite el entrenamiento y la inferencia de IA a escala con la capacidad de memoria y el rendimiento necesarios para las tareas más exigentes. La configuración lo hace particularmente adecuado para estudiantes de LLM y procesos complejos de aprendizaje profundo.
Pruebas de preproducción
“El software abierto AMD Instinct MI300X y ROCm continúan ganando impulso como soluciones confiables para ejecutar las cargas de trabajo de IA OCI más críticas”, dijo Andrew Dickman, vicepresidente corporativo y gerente general de GPU de centros de datos de AMD. “A medida que estas soluciones se expandan aún más hacia mercados en crecimiento con uso intensivo de IA, esta combinación beneficiará a los clientes de OCI con mayor rendimiento, eficiencia y mayor flexibilidad en el diseño del sistema”.
Oracle dice que sus pruebas del MI300X como parte de los esfuerzos de preproducción han validado el rendimiento de la GPU en escenarios del mundo real. Para el modelo Llama 2 70B, el MI300X logró una latencia de “tiempo hasta el primer token” de 65 ms y escaló de manera eficiente para crear 3643 tokens en 256 solicitudes de usuarios simultáneos. En otra prueba que utilizó 2.048 códigos de entrada y 128 códigos de salida, se logró una latencia general de 1,6 segundos, que está muy en línea con los propios puntos de referencia de AMD.
La instancia OCI BM.GPU.MI300X.8 cuenta con 8 aceleradores AMD Instinct MI300X, que proporcionan 1,5 TB de memoria GPU HBM3 con un ancho de banda de 5,3 TB/s, combinado con 2 TB de memoria del sistema y 8 almacenamiento NVMe de 3,84 TB. Oracle ofrecerá la solución básica por 6 dólares por GPU/hora.
“Las capacidades de inferencia de los aceleradores AMD Instinct MI300X se suman a la amplia cartera de instancias bare metal de alto rendimiento de OCI para eliminar la sobrecarga de computación virtual que normalmente se utiliza para la infraestructura de IA”, afirmó Donald Lu, vicepresidente senior de desarrollo de software de Oracle Cloud Infrastructure. “Estamos entusiasmados de ofrecer más opciones a los clientes que buscan acelerar las cargas de trabajo de IA a un precio competitivo”.