Tag: Strawberry

chat gbt fabricante Abierto AI Facebook está trabajando en un nuevo enfoque para los modelos de inteligencia artificial en un proyecto con el nombre en código “Strawberry”, según una persona familiarizada con el asunto y documentos internos revisados ​​por Reuters.

Este proyecto, cuyos detalles no se informaron anteriormente, llega en un momento en el que… Desarrollado por Microsoft Las startups están compitiendo para demostrar que los tipos de modelos que ofrecen son capaces de ofrecer capacidades de pensamiento avanzadas.

Los equipos de OpenAI están trabajando en el desarrollo de Strawberry, según una copia de un documento interno reciente de OpenAI visto por Reuters en mayo. Reuters no pudo determinar la fecha exacta del documento, que detalla un plan sobre cómo OpenAI utilizará Strawberry para realizar investigaciones. La fuente describió el plan a Reuters como un trabajo en progreso. La agencia de noticias no pudo determinar qué tan cerca estaba Strawberry de estar disponible para el público.

El funcionamiento de Strawberry es un secreto muy bien guardado incluso dentro de OpenAI, afirmó esta persona.

El documento describe un proyecto que utiliza los modelos de Strawberry con el objetivo de permitir que la IA de la compañía no solo genere respuestas a consultas sino también planifique con suficiente antelación para navegar por Internet de forma autónoma y confiable para realizar lo que OpenAI llama “búsqueda profunda”, según el fuente.

Esto es algo que hasta ahora ha eludido los modelos de IA, según entrevistas con más de una docena de investigadores de IA.

Cuando se le preguntó sobre Strawberry y los detalles mencionados en esta historia, un portavoz de OpenAI dijo en un comunicado: “Queremos que nuestros modelos de IA puedan ver y comprender el mundo mejor como lo hacemos nosotros. Continuar la investigación sobre nuevas capacidades de IA es una práctica común en Estados Unidos. “Con la creencia compartida de que estos sistemas mejorarán su capacidad de pensar con el tiempo”.

El portavoz no respondió directamente a las preguntas sobre Strawberry.

El proyecto Strawberry se conocía anteriormente como Q* y, según informó Reuters el año pasado, la empresa ya lo consideraba un gran avance.

Dos fuentes describieron su visión a principios de este año de lo que los empleados de OpenAI les dijeron que eran demostraciones de Q*, capaces de responder preguntas científicas y matemáticas difíciles más allá del alcance de los modelos disponibles comercialmente en la actualidad.

En una reunión interna el martes, OpenAI hizo una demostración de un proyecto de investigación que, según afirmaba, tenía nuevas habilidades de pensamiento similares al razonamiento humano, según Bloomberg. Un portavoz de OpenAI confirmó la reunión pero se negó a proporcionar detalles sobre el contenido. Reuters no pudo determinar si el proyecto presentado era Strawberry.

OpenAI espera que la innovación mejore significativamente las capacidades de razonamiento de sus modelos de IA, dijo la persona familiarizada con el tema, y ​​agregó que Strawberry implica una forma especializada de procesar el modelo de IA después de entrenarlo previamente en conjuntos de datos muy grandes.

Los investigadores entrevistados por Reuters dicen que el pensamiento es clave para permitir que la IA alcance un nivel de inteligencia humano o sobrenatural.

Si bien los grandes modelos de lenguaje ya pueden resumir textos densos y componer prosa elegante mucho más rápidamente que cualquier ser humano, la tecnología a menudo no logra resolver problemas que requieren sentido común y cuyas soluciones parecen intuitivas para las personas, como reconocer falacias lógicas y jugar al tres en raya. . Cuando un modelo encuentra tales problemas, a menudo “alucina” información falsa.

Los investigadores de IA entrevistados por Reuters generalmente coinciden en que el razonamiento, en el contexto de la IA, implica formar un modelo que le permita planificar el futuro, reflejar cómo funciona el mundo físico y resolver problemas difíciles de varios pasos de manera confiable.

Mejorar el pensamiento de los modelos de IA se considera la clave para desbloquear la capacidad de los modelos para hacer de todo, desde realizar importantes descubrimientos científicos hasta planificar y crear nuevas aplicaciones de software.

CEO de OpenAI Sam Altman “Las áreas más importantes de progreso en inteligencia artificial estarán relacionadas con la capacidad de pensar”, dijo a principios de este año.

Otras empresas como GoogleMeta y Microsoft también están experimentando con diferentes técnicas para mejorar el pensamiento en modelos de IA, al igual que la mayoría de los laboratorios académicos que realizan investigaciones sobre IA. Sin embargo, los investigadores no están de acuerdo sobre si los grandes modelos lingüísticos son capaces de incorporar conocimientos y planificación a largo plazo en la forma en que hacen predicciones. Por ejemplo, uno de los pioneros de la inteligencia artificial moderna, Yan Le Qun, que trabaja en muertoHa dicho repetidamente que los titulares de un LLM son incapaces de pensar como los humanos.

Desafíos de la inteligencia artificial

La fuente familiarizada con el asunto dijo que Strawberry es un componente clave del plan de OpenAI para superar estos desafíos. El documento visto por Reuters describía lo que Strawberry pretendía habilitar, pero no explicaba cómo.

En los últimos meses, la compañía ha señalado en privado a los desarrolladores y otros terceros que está a punto de lanzar tecnología con capacidades de pensamiento dramáticamente más avanzadas, según cuatro personas que escucharon las presentaciones de la compañía. Se negaron a revelar sus identidades porque no están autorizados a hablar de asuntos privados.

Strawberry incluye un método especializado para lo que se conoce como “post-entrenamiento” para los modelos de IA generativa de OpenAI, o adaptación de los modelos subyacentes para perfeccionar su rendimiento de maneras específicas después de que ya hayan sido “entrenados” en grandes cantidades de datos generalizados, según una fuente.

La fase posterior al entrenamiento del desarrollo del modelo incluye métodos como el “ajuste fino”, un proceso utilizado en casi todos los modelos de lenguaje actuales y que se presenta de muchas formas, como hacer que los humanos brinden retroalimentación al modelo en función de sus respuestas y alimentándolo. Ejemplos de buenas y malas respuestas.

Una fuente familiarizada con el asunto dijo que Strawberry es similar a un método desarrollado en Stanford en 2022 llamado “razonamiento autoexplicativo” o “STaR”. Uno de los creadores de STaR, el profesor de la Universidad de Stanford, Noah Goodman, dijo a Reuters que STaR permite a los modelos de IA “elevarse” a niveles de inteligencia más altos generando repetidamente sus propios datos de entrenamiento y, en teoría, podría usarse para crear modelos de lenguaje más allá de la inteligencia humana.

“Creo que es emocionante y aterrador al mismo tiempo… Si las cosas continúan en esta dirección, tenemos algunas cosas serias en las que pensar como seres humanos”, dijo Goodman. Goodman no está afiliado a OpenAI y no conoce Strawberry.

Entre las capacidades que OpenAI apunta a Strawberry está la de realizar tareas a largo plazo (LHT), dice el documento, refiriéndose a tareas complejas que requieren de un modelo para planificar con anticipación y ejecutar una serie de acciones durante un período prolongado de tiempo, la primera explicó la fuente.

Con ese fin, OpenAI está construyendo, entrenando y evaluando modelos en lo que la compañía llama un conjunto de datos de “investigación profunda”, según los documentos internos de OpenAI. Reuters no pudo determinar el contenido de este conjunto de datos ni lo que podría significar un período prolongado.

Específicamente, OpenAI quiere que sus modelos utilicen estas capacidades para realizar investigaciones navegando de forma autónoma por la web con la ayuda de un “CUA”, o agente que utiliza una computadora, que puede tomar medidas en función de sus hallazgos, según el documento y uno de los fuentes. OpenAI también planea probar sus capacidades para realizar el trabajo de ingenieros de software y aprendizaje automático.

© Thomson Reuters 2024