Si la IA va a dominar el mundo, ¿por qué no puede resolver el concurso de ortografía?

Mi misión para nuestros maestros de IA era simple: ayudarme a resolver el problema de la IA. Los New York Times Abeja de hechizos.

Pasé buena parte del sábado por la noche intentando formar la mayor cantidad de palabras posible con las letras G, Y, A, L, P, O y N. Pero después de tres horas, 141 puntos y 37 palabras, incluidas “no disculpa”, “lago” y “medición”, chocó contra una pared. Unas pocas palabras extra fueron todo lo que necesitaba para alcanzar el nivel de “genio” del concurso de ortografía, el título reservado para aquellos que resuelven el 70 por ciento de todas las palabras posibles usando las letras dadas, el punto en el que el rompecabezas en sí se considera efectivo. resuelto. . (Los solucionadores al 100% reciben el estatus de “Abeja Reina”, pero incluso yo tengo mis límites).

Obviamente mi cerebro humano estaba luchando, pero esta tarea parecía un juego de niños para la IA, así que encendí ChatGPT, le dije que estaba tratando de ganar el concurso de ortografía, le di mis mensajes y establecí las reglas. “Dame una lista de todas las palabras que se pueden formar con él”, escribió. “Puedes repetir letras, pero cada palabra debe contener la letra N”.

Cuando presiono Enter, esto es a lo que responde ChatGPT:

No es un gran comienzo.

Respondí escribiendo: “Palabras que deberían estar en el diccionario”. “Claro”, fue la respuesta. “Proporcionaré una lista de palabras en inglés válidas según las letras dadas.“Angli, Galón, Lange.

Obviamente esto no estaba funcionando, así que recurrí al Copilot de Microsoft (Yang, jugando, planeando, molesto). Google Géminis (gabo, John, jian), y Claude Antropía (Mango, una esclava, CÉSPED17.LAY). Meta AI me dijo amablemente que se aseguró de incluir en su lista solo palabras que los diccionarios reconocen Nalb Y grande, Mientras está confundido: chatbot con Ambiciones Elimine la búsqueda de Google: simplemente escribió chica Cientos de veces antes de que de repente se congelara.

La IA ahora puede generar imágenes, videos y audio tan rápido como puedes escribir descripciones de lo que deseas. Puede escribir poesía, ensayos y trabajos de trabajo. También podría ser una pálida imitación de tu novia, terapeuta y asistente personal. Mucha gente cree que este sistema está destinado a dejar automáticamente a la gente sin trabajo y transformar el mundo en formas que difícilmente podemos imaginar. Entonces, ¿por qué es tan difícil resolver un simple acertijo de palabras?

La respuesta está en cómo funcionan los grandes modelos de lenguaje, la tecnología central que impulsa la moda moderna de la IA. La programación informática es tradicionalmente lógica y basada en reglas; Usted escribe comandos que la computadora sigue de acuerdo con un conjunto de instrucciones y proporciona resultados válidos. Pero el aprendizaje automático, del cual la IA generativa es un subconjunto, es diferente.

“Es puramente estadístico”, me dijo Noah Giansiracusa, profesor de matemáticas y ciencia de datos en la Universidad de Bentley. “En realidad se trata de extraer patrones de los datos y luego generar nuevos datos que se ajusten mejor a esos patrones”.

OpenAI no respondió formalmente, pero un portavoz de la compañía me dijo que este tipo de “retroalimentación” ha ayudado a OpenAI a mejorar la comprensión de su modelo y sus respuestas a los problemas. “Cosas como combinaciones de palabras y anagramas no son un caso de uso común para Perplexity, por lo que nuestro modelo no está optimizado para eso”, me dijo Sarah Blatnick, portavoz de la empresa. “Como jugador diario de Wordle/Connections/Mini Crossword, ¡estoy emocionado de ver cómo lo hacemos!” Microsoft y Meta declinaron hacer comentarios. Google y Anthropic no habían respondido al cierre de esta edición.

En el corazón de los grandes modelos de lenguaje se encuentran los “transformadores”, una hazaña técnica lograda por investigadores de Google en 2017. Una vez que escribes un mensaje, un gran modelo de lenguaje descompone palabras o partes de esas palabras en unidades matemáticas llamadas “tokens”. Los transformadores pueden analizar cada token en el contexto del conjunto de datos más grande en el que se entrena el modelo para ver cómo se relacionan entre sí. Una vez que el switch comprende estas relaciones, puede responder a su mensaje adivinando el siguiente token en la secuencia. el Tiempos financieros El tiene una maravillosa Explicación de la animación. Esto lo desglosa todo si estás interesado.

I creencia Estaba dando a los chatbots instrucciones precisas para crear mis palabras del concurso de ortografía, y todo lo que hacían era convertir mis palabras en tokens y usar los convertidores para emitir respuestas plausibles. “No es como programar una computadora o escribir un comando en un indicador de DOS”, dijo Giansiracusa. “Tus palabras han sido traducidas a números y luego procesadas estadísticamente”. La consulta basada puramente en la lógica parecía ser la peor aplicación de las habilidades de la IA, similar al intento de girar un clavo con un martillo, que requiere muchos recursos.

El éxito de un modelo de IA también depende de los datos con los que se entrena. Es por eso que las empresas de inteligencia artificial están haciendo tratos frenéticos con los editores de noticias en este momento: cuanto más recientes sean los datos de capacitación, mejores serán las respuestas. La inteligencia artificial generativa, por ejemplo, desagradable Al sugerir movimientos de ajedrez, pero al menos Marginal Mejor en la tarea que resolviendo acertijos de palabras. Giansiracusa señala que es casi seguro que la abundancia de juegos de ajedrez disponibles en línea esté incluida en los datos de entrenamiento de los modelos de IA actuales. “Creo que no hay suficientes juegos de Spelling Bee en línea anotados para que la IA practique, como sí hay juegos de ajedrez”, dijo.

“Si su chatbot parece más confundido con un juego de palabras que un gato con un cubo de Rubik, es porque no ha sido entrenado específicamente para jugar”, dijo Sandy Bessen, investigadora de inteligencia artificial en NewDesk, una compañía de inteligencia artificial propiedad de NewDesk Complex. palabras. IBM. “Los juegos de palabras tienen reglas y restricciones específicas que el modelo puede tener dificultades para cumplir a menos que se le solicite específicamente que lo haga durante el entrenamiento, el ajuste o la estimulación”.

Nada de esto ha impedido que las principales empresas de inteligencia artificial del mundo comercialicen la tecnología como una panacea. Afirmaciones tremendamente exageradas Sobre sus habilidades. En abril, OpenAI y Meta se jactaron de que sus nuevos modelos de IA serían capaces de “inferir” y “planificar”. En una entrevista, Brad Lightcap, director de operaciones de OpenAI, dijo Decir el Tiempos financieros La próxima generación de GPT, el modelo de IA que impulsa ChatGPT, mostrará avances en la resolución de “problemas difíciles” como el razonamiento. Joelle Pineau, vicepresidenta de investigación de inteligencia artificial de Meta, dijo a la publicación que la compañía está “trabajando duro para descubrir cómo hacer que estos modelos no sólo hablen, sino que realmente piensen, planifiquen… y tengan memoria”.

Mis repetidos intentos de lograr que GPT-4o y Llama 3 pirateen el Spelling Bee han sido espectacularmente infructuosos. Cuando le conté a ChatGPT sobre esto Galón, Lange y Angeli No estaba en el diccionario, el chatbot dijo que estaba de acuerdo conmigo y sugirió Galvanobi en lugar de. Cuando escribí mal “seguro” como “sur” en mi respuesta a una demostración de Meta AI para encontrar más palabras, el chatbot me dijo que “sur” era en realidad otra palabra que podía formarse con las letras G, Y, A, L, F, Oh, wen.

Claramente, todavía estamos muy lejos de la inteligencia artificial general, el concepto vago que describe el momento en que las máquinas serán capaces de realizar la mayoría de las tareas tan bien o mejor que los humanos. Algunos expertos, como Yann LeCun, científico jefe de inteligencia artificial de Meta, han expresado su opinión sobre las limitaciones de los grandes modelos de lenguaje, afirmando que nunca alcanzarán el nivel de la inteligencia humana porque en realidad no utilizan la lógica. En un evento celebrado en Londres el año pasado, LeCun Él dijo La generación actual de modelos de IA “no entiende cómo funciona el mundo”. No pueden planificar. “Son incapaces de pensar realmente”, afirmó. “No tenemos coches totalmente autónomos que puedan entrenarse para conducir con unas 20 horas de entrenamiento, algo que puede hacer un joven de 17 años”.

Pero Giansiracusa adoptó un tono más cauteloso. “No sabemos realmente cómo piensan los humanos, ¿verdad? No sabemos qué es realmente la inteligencia. No sé si mi cerebro es sólo una gran calculadora estadística, como una versión más eficiente de un gran modelo de lenguaje. “

Quizás la clave para vivir con IA generativa sin sucumbir a la exageración o la ansiedad sea simplemente comprender sus limitaciones inherentes. “Estas herramientas en realidad no están diseñadas para muchas de las cosas para las que la gente las usa”, dijo Chirag Shah, profesor de inteligencia artificial y aprendizaje automático en la Universidad de Washington. Coescribir una historia de alto perfil Trabajo de investigación En 2022 una crítica al uso de grandes modelos lingüísticos en los motores de búsqueda. Shah cree que las empresas de tecnología podrían hacer un trabajo mucho mejor al ser transparentes sobre lo que la IA puede y no puede hacer antes de que nos obliguen a hacerlo. Sin embargo, es posible que ese barco ya haya zarpado. En los últimos meses, las empresas de tecnología más grandes del mundo – microsoft, muerto, Samsung, manzanaY Google – Ha hecho anuncios para integrar estrechamente la IA en sus productos, servicios y sistemas operativos.

“Los robots son malos porque no fueron diseñados para esto”, dijo Shah sobre mi dilema del juego de palabras. Queda por ver si puede resolver todos los demás problemas que le plantean las empresas de tecnología.

¿De qué otra manera los chatbots de IA no lograron sus objetivos? Envíame un correo electrónico a pranav.dixit@engadget.com ¡Y déjame saber!

Actualizado el 13 de junio de 2024 a las 4:19 p.m. ET: Esta historia se ha actualizado para incluir una declaración de Perplexity.