Stability AI lanza Stable Audio como un generador de texto a audio de código abierto

Estabilidad IA Ha lanzado un modelo de inteligencia artificial (IA) de código abierto llamado Stable Audio Open. Los usuarios pueden utilizar la plantilla para crear hasta 47 segundos de muestras y efectos de sonido. Los usuarios pueden utilizarlo para crear muestras de instrumentos musicales o sonidos ambientales. El modelo de IA también permite a los usuarios crear diferentes formas y estilos de la muestra creada previamente. El modelo de código abierto está separado de la plataforma Static Audio de la compañía AI, que permite a los usuarios crear pistas de hasta tres minutos de duración y solo está disponible como parte de una suscripción.

Estabilidad AI emite un sonido abierto constante

Stable Audio Open funciona de manera similar a muchos modelos de IA en el mercado. Los usuarios pueden escribir un mensaje de texto de muestra o un efecto de sonido y generarán hasta 47 segundos de audio. Estabilidad Mención de la inteligencia artificial en la redacción correo El modelo de IA se lanzó en código abierto para empoderar a los diseñadores de sonido, músicos y comunidades creativas.

Sin embargo, el uso de audio estático abierto se ha limitado a la investigación y al uso no comercial. Para obtener derechos comerciales, los usuarios deberán adquirir una membresía de Stability AI.

En términos de funciones, puede crear ritmos de batería, tonos musicales, sonidos ambientales, grabaciones de foley y otras muestras de audio. Además, los usuarios también pueden ajustar el modelo utilizando sus datos de audio personalizados.

Destacando un ejemplo, la compañía de IA dice que un baterista podría entrenar la IA con grabaciones de sus sesiones de batería y usar el modelo para generar nuevos ritmos. Aunque el modelo puede crear muestras de audio breves, no está optimizado para canciones, melodías o voces completas.

Para entrenar Stable Audio Open, la empresa utilizó un conjunto de datos de 4.86.492 grabaciones de audio procedentes de FreeSound y Free Music Archive. “Realizamos un análisis en profundidad para asegurarnos de que no hubiera música no autorizada con derechos de autor en nuestros datos de entrenamiento antes de comenzar a entrenar”, añadió.

Sin embargo, Stability AI también dijo que el conjunto de datos carecía de diversidad y que no todas las culturas estaban igualmente representadas. Como resultado, las muestras generadas reflejarán sesgos de los datos de entrenamiento. Para acceder al modelo de IA, los usuarios pueden ir a Hugging Face de la empresa. existentedonde se alojan actualmente los pesos del modelo abierto.