[ad_1]
mediateca Microsoft anunció el lunes que ha optimizado varias de sus plataformas móviles para los modelos de inteligencia artificial (IA) Microsoft Phi-3.5. Se fabrica la serie Phi-3.5 de modelos de lenguaje pequeño (SLM), incluida una combinación de Phi-3.5 Expert (MoE), Phi-3.5 Mini y Phi-3.5 Vision. Liberado En agosto. Los modelos de IA de código abierto están disponibles en Hugging Face. En lugar de ser formularios de conversación típicos, eran formularios de instrucciones que requerían que los usuarios ingresaran instrucciones específicas para obtener el resultado deseado.
en un Publicación de blogMediaTek ha anunciado que los conjuntos de chips Dimensity 9400, Dimensity 9300 y Dimensity 8300 ahora se han optimizado para los modelos Phi-3.5 AI. A través de esto, estas plataformas móviles pueden procesar y ejecutar eficientemente inferencias para tareas generativas de IA en el dispositivo utilizando Unidades de procesamiento neuronal (NPU) de MediaTek.
Optimizar el chipset para un modelo particular de IA implica diseñar el diseño del hardware, la arquitectura y el funcionamiento del chipset para respaldar de manera eficiente la potencia de procesamiento, los patrones de acceso a la memoria y el flujo de datos de ese modelo en particular. Después de la optimización, el modelo de IA mostrará una menor latencia, consumo de energía y un mayor rendimiento.
MediaTek destacó que sus procesadores no sólo han sido mejorados microsoft Phi-3.5 MoE pero también para Phi-3.5 Mini, que brinda soporte en varios idiomas, y Phi-3.5 Vision, que viene con comprensión y razonamiento de imágenes de cuadros múltiples.
En particular, Phi-3.5 MoE contiene 16 × 3.800 millones de parámetros. Sin embargo, sólo 6.600 millones de ellos son parámetros activos cuando se utilizan dos expertos (caso de uso típico). Por otro lado, el Phi-3.5 cuenta con un codificador de imágenes de 4.200 millones de parámetros y el Phi-3.5 Mini tiene 3.800 millones de parámetros.
En términos de rendimiento, Microsoft afirmó que el Phi-3.5 MoE superó a los modelos Gemini 1.5 Flash y GPT-4o mini AI en el punto de referencia SQuALITY, que prueba la legibilidad y precisión al resumir un bloque de texto.
Si bien los desarrolladores pueden aprovechar Microsoft Phi-3.5 directamente a través de Hugging Face o Azure AI Model Catalog, el SDK NeuroPilot de MediaTek también brinda acceso a estos SLM. El fabricante de chips afirmó que este último permitirá a los desarrolladores crear aplicaciones mejoradas en los dispositivos capaces de inferir IA generativa utilizando modelos de IA en las plataformas móviles antes mencionadas.
[ad_2]
Source Article Link
