OpenAI está desarrollando un modelo CriticGPT capaz de detectar errores de generación de código GPT-4

AbiertoAI El jueves se publicó un estudio sobre un nuevo modelo de inteligencia artificial (IA) que puede detectar errores GPT-4 en la generación de código. La compañía de inteligencia artificial dijo que el nuevo chatbot fue entrenado utilizando el marco de aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) y funcionaba con uno de los modelos GPT-4. El chatbot en desarrollo está diseñado para mejorar la calidad del código generado por IA que los usuarios obtienen de grandes modelos de lenguaje. Actualmente, el modelo no está disponible para usuarios ni evaluadores. OpenAI también destacó varias limitaciones en el modelo.

OpenAI comparte detalles sobre CriticGPT

La empresa de IA compartió detalles de su nuevo modelo CriticGPT en un archivo Entrada en el blogDeclaró que estaba basado en GPT-4 y diseñado para identificar errores en el código generado por ChatGPT. “Hemos descubierto que cuando las personas reciben ayuda de CriticGPT para revisar ChatGPT La compañía afirma que el código supera a quienes no reciben asistencia el 60 por ciento de las veces. El modelo se desarrolló utilizando el marco RLHF y los resultados se publicaron en una revista. papel.

RLHF es una técnica de aprendizaje automático que combina resultados humanos y de máquinas para entrenar sistemas de inteligencia artificial. En un sistema de este tipo, los evaluadores humanos brindan retroalimentación sobre el desempeño de la IA. Esto se utiliza para modificar y mejorar el comportamiento del modelo. Los humanos que brindan retroalimentación a la IA se denominan entrenadores de IA.

CriticGPT está entrenado en un gran volumen de datos de códigos que contienen errores. El modelo de IA tiene la tarea de encontrar estos errores y criticar el código. Para ello, se pidió a los entrenadores de IA que escribieran errores en el código además de los errores que ocurren naturalmente, y luego escribieran comentarios de muestra como si hubieran descubierto esos errores.

Una vez que CriticGPT compartió varias versiones de su crítica, se pidió a los instructores que indicaran si la IA detectó los errores que introdujeron junto con los errores que ocurren naturalmente. En su investigación, OpenAI descubrió que CriticGPT funcionó un 63 por ciento mejor que ChatGPT en la detección de errores.

Sin embargo, el modelo todavía tiene algunas limitaciones. CriticGPT está entrenado en cadenas cortas de código generadas por OpenAI. El modelo aún no ha sido entrenado para realizar conjuntos de tareas largos y complejos. La compañía de inteligencia artificial también descubrió que el nuevo chatbot continúa alucinando (es decir, genera respuestas incorrectas en la vida real). Además, el modelo no se ha probado en escenarios donde se distribuyen múltiples errores en el código.

Es poco probable que este modelo se publique porque está diseñado para ayudar a OpenAI a comprender mejor qué técnicas de capacitación pueden generar resultados de mayor calidad. Si CriticGPT se hace público, se cree que se ha integrado en ChatGPT.