No todos los modelos de IA de “código abierto” son realmente abiertos: aquí hay un desglose

Gigantes tecnológicos como Meta y Microsoft describen sus modelos de inteligencia artificial (IA) como “código abierto” y no revelan información importante sobre la tecnología subyacente, dicen investigadores que analizaron una variedad de modelos populares de chatbot.

Aún no se ha llegado a un acuerdo sobre la definición de código abierto en lo que respecta a los modelos de IA, pero sus defensores dicen que la apertura “completa” hace avanzar la ciencia, que es crucial para nosotros. Esfuerzos para hacer que la IA sea responsable. Lo que puede considerarse código abierto probablemente gane cada vez más importancia a medida que… Ley de Inteligencia Artificial de la UE en fuerza. La legislación aplicará regulaciones menos estrictas a los modelos clasificados como abiertos.

Algunas grandes empresas obtienen los beneficios de afirmar que tienen modelos de código abierto, mientras intentan “salir con la suya y revelar la menor cantidad de información posible”, dice Mark Dingemans, lingüista de la Universidad Radboud en Nijmegen, Países Bajos. Esta práctica se conoce como lavado a cielo abierto.

“Para nuestra sorpresa, fueron los actores más pequeños, que tenían relativamente pocos recursos, los que hicieron un esfuerzo adicional”, dice Dingemans, quien con su colega Andreas Liesenfeld, un lingüista computacional, creó una clasificación que identifica los modelos más y menos abiertos. (Ver tabla). Publicaron sus hallazgos el 5 de junio en las actas de la Conferencia ACM 2024 sobre Equidad, Responsabilidad y Transparencia.¹.

El estudio elimina “gran parte de la exageración y la tontería en torno al debate actual sobre el código abierto”, dice Abiba Birhan, científica cognitiva del Trinity College Dublin y consultora de responsabilidad de IA para la Fundación Mozilla, una organización sin fines de lucro con sede en Mountain View. , California.

Definición de apertura

El término “código abierto” proviene de software, donde significa acceso al código fuente y sin restricciones en el uso o distribución del software. Pero dada la complejidad de los grandes modelos de IA y las grandes cantidades de datos involucrados, hacerlos de código abierto no es fácil, y los expertos todavía están… Trabajando en la definición de inteligencia artificial de código abierto. Revelar todos los aspectos del modelo no siempre es deseable para las empresas, dice Dingemans, porque podría exponerlas a riesgos comerciales o legales. Otros creen que publicar modelos con total libertad conlleva el riesgo de abuso.

Qué significa la estricta ley de IA de la UE para la búsqueda y ChatGPT

Pero clasificarlo como código abierto también puede aportar importantes beneficios. De hecho, los desarrolladores pueden aprovechar los beneficios de relaciones públicas de presentarse como duros y transparentes. Pronto habrá implicaciones legales. La ley de IA de la Unión Europea, aprobada este año, eximirá a los modelos de código abierto de propósito general, hasta un cierto tamaño, de requisitos integrales de transparencia, y los comprometerá con obligaciones más pequeñas, aún no especificadas. “Es justo decir que el término código abierto ganará un peso legal sin precedentes en los países regidos por la ley de IA de la UE”, dice Dingemans.

En su estudio, Dingemans y Liesenfeld evaluaron 40 modelos lingüísticos a gran escala, que son sistemas que aprenden a generar texto creando asociaciones entre palabras y frases en grandes cantidades de datos. Todos estos modelos afirman ser de “código abierto” o “abiertos”. El dúo creó una clasificación de apertura evaluando modelos en 14 parámetros, incluida la disponibilidad de código y datos de entrenamiento, la documentación publicada y qué tan accesible es el modelo. Para cada parámetro, juzgaron si los formularios estaban abiertos, parcialmente abiertos o cerrados.

Este enfoque incremental para analizar la apertura es útil y práctico, afirma Amanda Brock, directora ejecutiva de OpenUK, una organización sin fines de lucro con sede en Londres centrada en la tecnología abierta.

Los investigadores descubrieron que muchos modelos que afirman ser abiertos o de código abierto, incluidos Meta's Llama y Google DeepMind's Gemma, en realidad son simplemente “peso abierto”. Esto significa que los investigadores externos pueden acceder y utilizar los modelos entrenados, pero no pueden inspeccionarlos ni personalizarlos. Tampoco pueden entender completamente cómo están preparados para realizar tareas específicas; Por ejemplo, utilizando la retroalimentación humana. “No estás renunciando a mucho… y luego puedes reclamar créditos de apertura”, dice Dingemans.

Los chatbots de IA de código abierto están en auge, entonces, ¿qué significa esto para los investigadores?

De particular preocupación, dicen los autores, es la falta de apertura sobre los datos con los que se entrenaron los modelos. Dicen que aproximadamente la mitad de los modelos que analizaron no proporcionan ningún detalle sobre los conjuntos de datos más allá de los descriptores generales.

Un portavoz de Google dice que la empresa es “precisa en cuanto al lenguaje” que utiliza para describir los modelos y elige etiquetar a Gemma LLM como código abierto en lugar de código abierto. “Los conceptos de código abierto existentes no siempre se pueden aplicar directamente a los sistemas de inteligencia artificial”, agregaron. Microsoft intenta ser “lo más preciso posible sobre lo que está disponible y en qué medida”, afirma un portavoz de Microsoft. “Elegimos hacer que elementos como modelos, códigos, herramientas y conjuntos de datos estén disponibles públicamente porque los desarrolladores y las comunidades de investigación tienen un papel importante que desempeñar en el desarrollo de la tecnología de IA”. Meta no respondió a una solicitud de comentarios de naturaleza.

El análisis encontró que los modelos elaborados por empresas y grupos de investigación más pequeños tienden a ser más abiertos que los de sus homólogos tecnológicos más grandes. Los autores destacan BLOOM, que fue creado a través de una colaboración internacional en gran medida académica, como Un ejemplo de IA verdaderamente de código abierto.

La revisión por pares está “obsoleta”

La pareja descubrió que los artículos científicos que detallan los modelos son extremadamente raros. La revisión por pares parece haberse “obsoleto casi por completo”, reemplazada por publicaciones de blogs con ejemplos cuidadosamente seleccionados o preimpresiones corporativas poco detalladas. “Las empresas pueden publicar un artículo bonito y brillante en su sitio web, que parece muy técnico, pero si se mira de cerca, no se sabe en absoluto qué datos entraron en ese sistema”.

Aún no está claro cuántos de estos modelos se ajustarán a la definición de código abierto de la Unión Europea. Según la ley, esto se refiere a modelos lanzados bajo una licencia “libre y abierta” que, por ejemplo, permite a los usuarios modificar el modelo pero no dice nada sobre el acceso a los datos de entrenamiento. El documento dice que refinar esta definición probablemente constituiría “un punto de presión al que se dirigirán los lobbystas y las grandes corporaciones”.

¿Podemos abrir la caja negra de la inteligencia artificial?

La apertura es importante para la ciencia, dice Dingemans, porque es esencial para la reproducibilidad. “Si no se puede reproducir, es difícil llamarlo ciencia”, afirma. La única forma que tienen los investigadores de innovar es modificando los modelos, y para ello necesitan suficiente información para construir sus propias versiones. No solamente eso, pero Los formularios deben estar abiertos al escrutinio.. “Si no podemos mirar hacia dentro para ver cómo se elaboran las salchichas, tampoco sabemos si impresionarnos o no”, afirma Dingemans. Por ejemplo, el éxito de un modelo en una prueba particular puede no ser un logro si fue entrenado en muchos ejemplos de prueba. Sin responsabilizar a los datos, nadie sabe si… Datos inapropiados o protegidos por derechos de autor Añade que ha sido utilizado.

Liesenfeld dice que el dúo espera ayudar a sus colegas científicos a evitar “caer en las mismas trampas en las que caímos nosotros” cuando busquen modelos para usar en la enseñanza y la investigación.