El gigante tecnológico ruso Yandex ha lanzado una nueva aplicación Fuente abierta Una herramienta para ayudar a las empresas de IA a ahorrar dinero y recursos al entrenar nuevos modelos.
en eso anuncioYandex dice que la nueva herramienta YaFSDP puede proporcionar un modelo de lenguaje grande más rápido y eficiente (maestría) capacitación, puede ayudar a ahorrar hasta un 20% de los recursos de la GPU, ahorrando dinero y tiempo.
Yandex también publicó recursos para probar YaFSDP en él. github Para que todos puedan verlo y experimentarlo.
Cómo entrenar tu LLM
Yandex presenta muchos detalles técnicos en su publicación de anuncio, diciendo que la nueva herramienta de código abierto es “la herramienta general más efectiva para impulsar las comunicaciones de GPU y reducir el uso de memoria en la capacitación LLM”, y puede ofrecer velocidades hasta un 26% más rápidas que FSDP, la versión preliminar de YaFSDP.
“La formación LLM es un proceso que requiere mucho tiempo y recursos”, dice Yandex. “Los ingenieros de aprendizaje automático y las empresas que desarrollan sus propios programas de MBA invierten mucho tiempo y recursos de GPU (lo que equivale a dinero) en la capacitación de estos modelos. Cuanto más grande es el modelo, mayor es el tiempo y los gastos generales asociados con la capacitación”.
La compañía estima que usar YaFSDP para entrenar un modelo con 70 mil millones de parámetros podría ahorrar los recursos de aproximadamente 150 GPU, lo que se traduciría en alrededor de $0,5 a $1,5 millones (dependiendo del proveedor o plataforma de vGPU) en ahorros mensuales, si todo saliera bien.
Usar Modelos de Lama Mettaque ha sido elogiado por estar a la vanguardia con su adopción del código abierto, Yandex dice que la “aceleración máxima” es del 21% y 26% en Llama 2 70B y Llama 3 70B, respectivamente.
YaFSDP no es la primera incursión de Yandex en las herramientas de IA, ya que lanzó CatBoost, YTsaurus, AQLM y Petals, todos los cuales abordan un nicho diferente en el desarrollo de IA.
La medida de Yandex se produce después de que se viera obligada a vender tras la invasión rusa de Ucrania. venta Su negocio local retoma su anterior gestión en el país.
Muchas empresas de tecnología importantes también están trabajando para hacer de la IA la base de sus productos, más recientemente con manzana Libérala inteligencia de manzana Servicios como parte del próximo iOS 18 actualizar.