Alibaba OpenAI lanzó un nuevo modelo de inteligencia artificial (IA) el jueves, que se dice que rivaliza con los modelos de la serie GPT-o1 de OpenAI en capacidad de razonamiento. El modelo de lenguaje grande (LLM) QwQ-32B se lanzó en versión preliminar y se dice que supera a la versión preliminar GPT-o1 en varios puntos de referencia relacionados con la inferencia matemática y lógica. El nuevo modelo de IA está disponible para descargar en Hugging Face, pero no es de código abierto. Recientemente, otra empresa china en el campo de la inteligencia artificial Liberado Un modelo de inteligencia artificial de código abierto DeepSeek-R1, que supuestamente compite con los modelos subyacentes centrados en el pensamiento del fabricante de ChatGPT.
Modelo de IA Alibaba QwQ-32B
en un Publicación de blogAlibaba detalló su nuevo programa LLM centrado en heurística y destacó sus capacidades y limitaciones. El QwQ-32B está actualmente disponible como versión preliminar. Como sugiere el nombre, se basa en 32 mil millones de parámetros y tiene una ventana contextual de 32.000 tokens. El modelo completó las fases de pre-entrenamiento y post-entrenamiento.
En cuanto a su arquitectura, el gigante tecnológico chino reveló que el modelo de IA se basa en la tecnología Transformer. Para la codificación posicional, el QwQ-32B utiliza incrustaciones de posición rotatoria (RoPE), junto con funciones de unidad lineal controlada por transformación (SwiGLU) y normalización cuadrática media (RMSNorm), así como sesgo de consulta de atención y sesgo de valor clave (atención QKV). .
al igual que AbiertoAI GPT-o1, el modelo de IA muestra su monólogo interno al evaluar la consulta del usuario e intentar encontrar la respuesta correcta. Este proceso de pensamiento interno permite al QwQ-32B probar diferentes teorías y verificar hechos antes de proporcionar la respuesta final. Alibaba afirma que el LLM obtuvo una puntuación del 90,6 por ciento en el punto de referencia MATH-500 y del 50 por ciento en el punto de referencia AIME durante las pruebas internas y superó a los modelos OpenAI centrados en la inferencia.
Vale la pena señalar que los modelos de IA con mejor razonamiento no son evidencia de que los modelos se estén volviendo más inteligentes o capaces. Es simplemente una nueva técnica, también conocida como cálculo del tiempo de prueba, que permite a los modelos dedicar tiempo de procesamiento adicional para completar la tarea. Como resultado, la IA puede proporcionar respuestas más precisas y resolver preguntas más complejas. Muchos expertos de la industria han señalado que los programas LLM más nuevos no mejoran al mismo ritmo que las versiones anteriores, lo que sugiere que las arquitecturas actuales están alcanzando un punto de saturación.
Debido a que el QwQ-32B dedica más tiempo a procesar consultas, también tiene varias limitaciones. Alibaba afirmó que el modelo de IA a veces puede mezclar o cambiar de idioma, creando problemas como la mezcla de idiomas y el cambio de código. También tiende a entrar en bucles de razonamiento y, aparte de las habilidades matemáticas y de razonamiento, otras áreas aún necesitan mejoras.
Vale la pena señalar que Alibaba puso a disposición el modelo de inteligencia artificial a través de una cara abrazada. existente Puede ser descargado tanto por individuos como por organizaciones para fines personales, académicos y comerciales bajo la licencia Apache 2.0. Sin embargo, la empresa no ha puesto a disposición los pesos y los datos del modelo, lo que significa que los usuarios no pueden replicar el modelo ni comprender cómo funciona la estructura.