[ad_1]
microsoft Anunció el lanzamiento del nuevo Azure Máquinas virtuales (VM) están específicamente destinados a mejorar las capacidades de supercomputación basadas en IA.
Las nuevas máquinas virtuales de la serie H200 v5 ya están disponibles de forma generalizada para los clientes de Azure y permitirán a las organizaciones manejar tareas cada vez más pesadas. Amnistía Internacional Requisitos de carga de trabajo.
El gigante tecnológico reveló que al aprovechar la nueva serie de máquinas virtuales, los usuarios pueden mejorar las capacidades de inferencia y entrenamiento de sus modelos subyacentes.
Alcance, eficiencia y rendimiento
en un Publicación de blogMicrosoft dijo que la nueva serie VM ya está siendo utilizada por una amplia gama de clientes y socios para mejorar las capacidades de IA.
“La escala, la eficiencia y el rendimiento mejorados de nuestras máquinas virtuales ND H200 v5 ya están impulsando la adopción por parte de los clientes de los servicios de inteligencia artificial de Microsoft, como Azure Machine Learning y Azure”. AbiertoAI “Servicio”, dijo la empresa.
Una de esas empresas es OpenAI, según Trevor Kay, jefe de infraestructura de OpenAI, que está aprovechando la nueva serie de VM para impulsar la I+D y el ajuste. ChatGPT Para los usuarios.
“Estamos entusiasmados de adoptar las nuevas máquinas virtuales H200 de Azure”, afirmó. “Hemos visto que el H200 ofrece un rendimiento mejorado con un esfuerzo de transferencia mínimo y esperamos utilizar estas máquinas virtuales para acelerar nuestra investigación, mejorar la experiencia ChatGPT y avanzar en nuestra misión”.
Debajo del capó de la serie H200 V5
La compañía dijo que el VMS Azure H200 v5 fue diseñado utilizando el enfoque de sistemas de Microsoft para “mejorar la eficiencia y el rendimiento” e incluye ocho NVIDIA GPU H200 Tensor Core.
Microsoft dijo que esto aborda una “brecha” creciente para los usuarios empresariales en términos de potencia informática.
Dado que las GPU aumentan sus capacidades computacionales brutas a un ritmo más rápido que la memoria adjunta y el ancho de banda de la memoria, esto ha creado un cuello de botella para las inferencias de IA y el entrenamiento de modelos, dijo el gigante tecnológico.
“Las máquinas virtuales de la serie Azure ND H200 v5 ofrecen un aumento del 76 % en la memoria de alto ancho de banda (HBM) a 141 GB y un aumento del 43 % en el ancho de banda de HBM a 4,8 TB/s en comparación con las máquinas virtuales Azure ND H100 v5 de la generación anterior”, dijo Microsoft en su anuncio. .
“Este aumento en el ancho de banda de HBM permite a las GPU acceder a los parámetros del modelo más rápido, lo que ayuda a reducir la latencia general de las aplicaciones, una métrica crítica para aplicaciones en tiempo real como los agentes interactivos”.
Además, la nueva serie VM también puede compensar modelos de lenguaje grande (LLM) más complejos dentro de la memoria de una sola máquina, dijo la compañía. Posteriormente, esto mejora el rendimiento y permite a los usuarios evitar costosas sobrecargas al ejecutar aplicaciones distribuidas en múltiples máquinas virtuales.
Microsoft cree que una mejor gestión de la memoria GPU de los pesos de los modelos y los tamaños de los lotes también es un diferenciador clave para la nueva serie de VM.
Todas las limitaciones actuales de la memoria GPU afectan directamente el rendimiento y el tiempo de respuesta de las cargas de trabajo de inferencia basadas en LLM y crean costos adicionales para las organizaciones.
Al depender de una mayor capacidad de HBM, las máquinas virtuales H200 v5 pueden admitir lotes de mayor tamaño, lo que, según Microsoft, mejora significativamente la utilización y el rendimiento de la GPU en comparación con iteraciones anteriores.
“En las primeras pruebas, observamos un aumento de hasta un 35 % en el rendimiento con las máquinas virtuales ND H200 v5 en comparación con la serie ND H100 v5 para cargas de trabajo de inferencia que se ejecutan en el modelo LLAMA 3.1 405B (con tamaño global 8, longitud de entrada 128, longitud de salida 8, límite Tamaños máximos de lote: 32 para H100 y 96 para H200).
Más de TechRadar Pro
[ad_2]
Source Article Link