Meta comparte un estudio sobre Meta 3D Gen, un sistema de IA generativa para crear activos 3D a partir de indicaciones de texto

Meta ha compartido un nuevo artículo de investigación sobre un modelo de IA generativa que puede crear activos 3D. El modelo de IA se llama Meta 3D Gen y genera modelos 3D de alta calidad a partir de indicaciones de texto en menos de un minuto. La compañía destacó que el modelo de IA puede generar texturas y mapas de texturas de alta precisión de principio a fin utilizando una combinación de generación de texturas y técnicas de conversión de texto a malla desarrolladas íntegramente internamente. Vale la pena señalar que este enfoque difiere del adoptado por Tencent y Stability AI, que Liberado Modelos de imágenes 3D.

Comparte su investigación papelEn su informe publicado en el sitio web Meta, la compañía afirmó que su modelo 3D Gen puede mostrar modelos 3D con alta resolución y garantizar una alta calidad. También se dice que el modelo es compatible con la representación basada en física (PBR), que permite que los modelos generados se vuelvan a iluminar en varias aplicaciones del mundo real. Vale la pena señalar que el artículo de investigación no ha sido revisado por pares, por lo que algunas de las afirmaciones realizadas pueden ser exageradas. No hay forma de saberlo a menos que el modelo se haga público.

El artículo también describe los métodos utilizados para desarrollar el modelo de IA. muerto Meta 3D AssetGen ha desarrollado dos sistemas internos, Meta 3D AssetGen y Meta 3D TextureGen. AssetGen es responsable de generar objetos 3D a partir de un mensaje de texto determinado. En la primera etapa, dibuja el modelo 3D utilizando su comprensión del reclamo, y en la segunda etapa, refina aún más el modelo 3D para conciliar texturas basadas en vistas y partes completas que no se pueden ver en ninguna de las vistas. TextureGen se encarga de encontrar las texturas correctas y aplicarlas al modelo.

Este método de creación de modelos 3D tiene muchos beneficios para los activos 3D generados. Por ejemplo, debido a que utiliza indicaciones de texto, no hay requisitos para imágenes de referencia y los usuarios pueden crear formularios completamente únicos. La compatibilidad con PBR también significa que estos modelos se pueden sacar del sistema y aplicar directamente a otros entornos. El documento afirma que el resultado de la creación de estos modelos también es realista.

Meta dijo que el modelo de IA 3D tenía una tasa de ganancia en una sola etapa del 68 por ciento, lo que significa que 68 de cada 100 veces, la IA podría generar los activos 3D correctos basándose en un mensaje de texto. La compañía también afirma que el modelo supera muchas bases de la industria en términos de precisión de reclamos y calidad visual para reclamos complejos.