Los fabricantes de chips informáticos están viendo un auge en el interés por los modelos de lenguajes grandes.Crédito: Seung-Jun Cho/Bloomberg vía Getty
A medida que aumenta la competencia entre los chatbots de IA, los investigadores en China están avanzando en la construcción de modelos de IA en idioma chino. Se incluyen las principales ofertas chinas ChatGLMEl cual se acerca a ChatGPT en algunas capacidades y lo supera en el idioma chino, según sus desarrolladores.
“Básicamente, ChatGLM es un reemplazo de ChatGPT”, dijo Ji Tang, científico informático de la Universidad Tsinghua en Beijing, durante una conferencia que mostró las capacidades de ChatGLM en la conferencia. Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR 2024) En Viena el 9 de mayo.
ChatGPT pasó la prueba de Turing y comienza la carrera para encontrar nuevas formas de evaluar la inteligencia artificial
el Entusiasmo por los grandes modelos lingüísticos (LLM).) se ha disparado desde el lanzamiento de OpenAI en San Francisco, California Chatbot basado en LLM ChatGPT Para uso general en noviembre de 2022. Ahora, gigantes tecnológicos, startups y Universidades de todo el mundo Desarrollan LLM, que producen respuestas plausibles y similares a las humanas a indicaciones textuales. Pero aunque ChatGPT y muchos de sus competidores pueden responder en una variedad de idiomas, la mayoría son creados por empresas estadounidenses y utilizan el inglés como idioma principal. Por el contrario, ChatGLM es bilingüe y está diseñado para funcionar tanto en chino como en inglés.
“Es uno de los modelos característicos de China”, afirma Wang Yu, biólogo computacional del Laboratorio Ping Cheng, un instituto de investigación centrado en la tecnología en Shenzhen, China.
La Universidad de Tsinghua y su empresa derivada Zhipu AI, valorada en más de 2 mil millones de dólares, según Tang, desarrollaron ChatGLM y el modelo subyacente GLM, que significa Modelo de Lenguaje General. Más de 700 investigadores e ingenieros de Zhipu AI y alrededor de 100 estudiantes de la Universidad de Tsinghua están trabajando en modelos de lenguaje de IA, dijo Tang.
La magnitud de los esfuerzos del GLM sorprende a algunos investigadores. “No sabía que la academia china estaba haciendo este tipo de gran proyecto”, dice el científico informático Masashi Sugiyama, director del Centro RIKEN para Proyectos de Inteligencia Avanzada en Tokio. “Eso fue un gran shock para mí”.
Construyendo un robot chino
ChatGPT no está disponible en China. Pero ésta no es la única razón para construir alternativas locales. Tang dice que los LLM orientados a China producen resultados que reflejan mejor las necesidades y preferencias de las personas en China, incluida, por ejemplo, información financiera o educativa específica de cada país.
Compara esto con entrenar un modelo de lenguaje en una aplicación de redes sociales china en lugar de un modelo occidental. “Básicamente, WeChat sabe más sobre la gente que viene de China que Snapchat”, afirma. Los modelos adaptados a diferentes idiomas evitan “simplificar demasiado o descuidar las características específicas de algunos idiomas y culturas”, afirma Adina Yakivo, líder comunitaria de la plataforma de código abierto de modelado de idiomas Hugging Face, con sede en París.
Para generar respuestas similares a las humanas a las entradas, LLM aprende asociaciones estadísticas entre palabras Procesando miles de millones de frases, normalmente extraídas de Internet. Los chatbots se optimizan aún más para la conversación utilizando los comentarios de entrenadores humanos. Los desarrolladores de ChatGLM lo capacitaron específicamente con ejemplos chinos y utilizaron hablantes chinos para brindar comentarios.1.
ChatGLM tiene interfaces en inglés y chino.ChatGLM
Tang dice que los datos chinos provienen de Internet y que algunos de ellos fueron comprados a empresas. Pero faltan conjuntos de datos en idioma chino disponibles públicamente para entrenar modelos, dice Tizhen Wang, ingeniero de Hugging Face en Haikou, China.
Existen otros desafíos al crear un LLM en un idioma distinto del inglés. Para facilitar el análisis, la mayoría de los modelos de lenguaje dividen la entrada de texto en partes conocidas como tokens. Pero los chinos no utilizan espacios para separar palabras, lo que complica aún más el proceso de codificación, afirma Wang. Sin embargo, Tang dice que los métodos de codificación utilizados en ChatGLM son “casi los mismos” que los utilizados en los modelos de IA ingleses.
En ICLR 2024, Zhipu AI compartió datos que afirman que la versión de mayor rendimiento del modelo base de ChatGLM, GLM-4, se encuentra dentro del 90% de las puntuaciones logradas por el enorme OpenAI. modelo GPT-4 Según varios criterios. Estos incluyen pruebas de conocimientos generales, sentido común y matemáticas. ChatGLM también supera a GPT-4 en el punto de referencia de optimización de LLM en idioma chino. Tang dice que su equipo publicará un informe técnico sobre GLM-4 “muy pronto” como preimpresión.
“Estoy muy impresionado de que hayan logrado un rendimiento a la par del GPT-4”, dice Yizhu Sun, científico informático de la Universidad de California en Los Ángeles.
Auge de los LLM en China
Una versión de ChatGLM está disponible para uso público a través de su sitio web, con interfaces en chino e inglés. Algunos productos GLM, incluido el modelo base anterior GLM-130B2 y el chatbot ChatGLM-6b, de código abierto. Esto significa que cualquiera puede descargarlos y entrenarlos para que se adapten a aplicaciones específicas, y los científicos pueden examinar el código subyacente para comprender cómo funciona.
ChatGLM-6b ha sido descargado 13 millones de veces, afirma Tang. El modelo utiliza seis mil millones de “parámetros” (componentes que capturan correlaciones estadísticas entre palabras) y es el más pequeño entre los chatbots ChatGLM. Pero los procesos internos del modelo GLM-4 y de las versiones más grandes de ChatGLM, que contienen hasta 130 mil millones de parámetros, están cerrados, como los de ChatGPT y GPT-4.
En China se están desarrollando decenas de otros títulos de LLM. Yakifu dice que en 2023 se lanzaron allí más de 100 modelos de lenguaje de IA. “Lo llamamos la Batalla de los 100 Modelos”, dice. Por ejemplo, los gigantes tecnológicos Baidu y Alibaba tienen sus propios chatbots impulsados por inteligencia artificial.
¿Cómo piensa ChatGPT? La psicología y la neurociencia abren grandes modelos de lenguaje para la inteligencia artificial
Los títulos de LLM en China están sujetos a regulaciones diseñadas específicamente para sistemas de IA generativa que entraron en vigor en el país en agosto pasado. Estipulan que los modelos deben “adherirse a los valores socialistas fundamentales, no incitar a la subversión del poder estatal” y deben “tomar medidas efectivas para mejorar la transparencia de los servicios de IA generativa y mejorar la precisión y confiabilidad del contenido generado”, entre otras cosas.
Yu compara las regulaciones chinas con los esfuerzos para hacer que los sistemas de inteligencia artificial sean seguros en otros países. “En China, hay ciertos valores que sostiene todo el país”, afirma. “En cualquier sociedad, hay algunos temas de los que la gente no habla [about] – Cada sociedad tiene este tipo de tabú.
Los investigadores de IA dicen que encontrar fuentes de datos en chino para entrenar modelos de IA es más difícil que encontrar fuentes de datos en inglés.Crédito: Medios de producción/Getty
Inteligencia general
Tang se centra en hacer que ChatGLM y GLM-4 sean más capaces. Comparó el sistema actual con un “cerebro en el agua” porque es incapaz de interactuar físicamente con el mundo. Dotar a los sistemas de IA de capacidades a nivel humano cuando se trata de una amplia gama de tareas, una hazaña conocida como Inteligencia general artificial o AGI – Será necesario que se encarnen en el mundo, afirmó. ¿Podría ChatGLM ser el primer sistema de IA en lograr una Inteligencia General Artificial? “No tengo idea”, dice Tang. “Espero que seamos primeros, pero estamos compitiendo con todos los demás”.
Qué tan cerca están los científicos informáticos del desarrollo de la inteligencia artificial general (y si los títulos de maestría en Derecho serán la tecnología para lograrla) es objeto de un intenso debate. Y también si la inteligencia artificial general es deseable, dado que los modelos de IA superinteligentes pueden ser representan una amenaza para la humanidad. “Inteligencia general artificial no es una palabra que se utilice”, dice Yu.
Independientemente de la inteligencia artificial general, Yu lo dice Los sistemas de inteligencia artificial pueden ayudar a abordar grandes desafíos Como el calentamiento global y Prevenir la próxima epidemia. Dice que China está invirtiendo fuertemente en infraestructura y conocimientos de inteligencia artificial. “Creemos que tenemos una muy buena oportunidad para mejorar toda nuestra industria con IA, y hacerlo bien”, afirma. “No sólo es bueno para los chinos si se puede reducir el uso de energía y las emisiones de dióxido de carbono.2“Es bueno para todos”.