Tag: velocidad

manzana Nvidia está colaborando con Nvidia en un esfuerzo por mejorar la velocidad a la que funcionan los modelos de inteligencia artificial (IA). El miércoles, el gigante tecnológico con sede en Cupertino anunció que está estudiando acelerar la inferencia en la plataforma de Nvidia para ver si es posible mejorar la eficiencia y el tiempo de respuesta de un modelo de lenguaje grande (LLM) simultáneamente. El fabricante del iPhone utilizó una tecnología llamada Recurrent Drafter (ReDrafter) que se publicó en un artículo de investigación a principios de este año. Esta tecnología está integrada con el marco de aceleración de inferencia Nvidia TensorRT-LLM.

Apple utiliza la plataforma de Nvidia para mejorar el rendimiento de la IA

en un Publicación de blogLos investigadores de Apple detallaron la nueva colaboración con Nvidia para realizar LLM y los resultados obtenidos a partir de ella. La empresa destacó que estaba investigando el problema de mejorar la eficiencia de la inferencia preservando al mismo tiempo la latencia en los modelos de IA.

La inferencia en el aprendizaje automático se refiere al proceso de hacer predicciones, decisiones o inferencias basadas en un conjunto determinado de datos o entradas mientras se utiliza un modelo entrenado. En pocas palabras, es el paso de procesamiento de un modelo de IA en el que decodifica indicaciones y convierte datos sin procesar en información invisible procesada.

A principios de este año, Apple publicado La tecnología ReDrafter es de código abierto y proporciona un nuevo enfoque para el descifrado de datos especulativos. Utilizando un modelo preliminar de una red neuronal recurrente (RNN), combina la búsqueda de rayos (un mecanismo donde la IA explora múltiples posibilidades para una solución) y la atención dinámica del árbol (los datos de la estructura del árbol se procesan mediante un mecanismo de atención). Los investigadores informaron que la generación de códigos LLM se puede acelerar hasta 3,5 códigos por paso de generación.

Si bien la empresa pudo mejorar un poco la eficiencia del rendimiento combinando los dos procesos, Apple destacó que no hubo un aumento significativo en la velocidad. Para resolver este problema, los investigadores integraron ReDrafter en el marco de aceleración de inferencia Nvidia TensorRT-LLM.

Como parte de la cooperación, NVIDIA Se agregan nuevos operadores y se revelan los operadores existentes para mejorar el proceso de decodificación especulativa. La publicación afirmaba que al utilizar la plataforma Nvidia con ReDrafter, encontraron una aceleración de 2,7 veces en los tokens generados por segundo para el descifrado codicioso (la estrategia de descifrado utilizada en las tareas de generación de secuencias).

Apple ha destacado que esta tecnología se puede utilizar para reducir la latencia del procesamiento de IA utilizando menos GPU y consumiendo menos energía.