Las directrices para académicos apuntan a reducir los riesgos éticos en el uso de la IA generativa

Nuevo kit de herramientas para ayudar Académicos utilizarán inteligencia artificial generativa (genAI) está siendo desarrollado de forma más ética por investigadores del Reino Unido.

“La IA generativa es tan nueva que no tenemos ninguna orientación”, afirma Wendy Moncur, investigadora de ciberseguridad de la Universidad de Strathclyde en Glasgow, Reino Unido, que dirige el proyecto. Los académicos ya están pensando en los posibles peligros del uso de herramientas de IA genética, añade, “pero ¿no sería útil si tuvieran una pequeña lista de verificación para decir: 'Estas son las cosas en las que debes pensar; “Estas son las cosas en las que hay que pensar. Estas son las fortalezas. Estas son las amenazas”.

Tablas anuales del Índice de Naturaleza 2023

El proyecto se centra en los problemas que pueden surgir al utilizar herramientas de IA genética, como ChatGPT, creado por OpenAI en San Francisco, California, y Gemini de Google, que Compatible con grandes modelos de lenguaje. (LLM): se utilizan para analizar y procesar información personal de los voluntarios del estudio.

Él era Inspirado por el estudio en cursodirigido por Moncur, analiza cómo las personas que atraviesan transiciones importantes en su vida, como el diagnóstico de cáncer o un cambio de sexo, gestionan su privacidad en línea.

En este trabajo, Moncur y su equipo utilizan herramientas genAI para crear materiales educativos, basados ​​en las historias de los participantes, cuyo objetivo es guiar a otros a través de cambios de vida similares.

Los participantes compartieron detalles sobre sus experiencias, como cómo se vieron afectados su trabajo y sus relaciones, al tiempo que enfatizaron que la información solo se compartiría con otros de forma anónima. Pero antes de que el equipo comenzara a ingresar esta información en el software genAI, Moncur repentinamente temió que si la herramienta combinaba información disponible públicamente con los datos anonimizados que había recibido, los participantes podrían ser reidentificados accidentalmente.

Al equipo también le preocupaba la tendencia de los MBA a “alucinar” –es decir, generar información sin sentido o incorrecta–, lo que podría dar lugar a la difamación de los participantes identificados. Los titulares de un LLM pueden cambiar el significado de la información que se les proporciona, porque están influenciados por prejuicios sociales y de otro tipo. Inherente a su diseño. Por ejemplo, Moncur dice que el software que utilizó su equipo distorsionaría lo que decían los participantes, haciendo que sus historias fueran más positivas de lo que pretendían. “ChatGPT tiene algo de 'Pollyanna', donde no le gustan los finales infelices”, dice Moncur. “Por lo tanto, se necesita un poco de estímulo para producir una historia creíble”.

Esquema de los problemas

Las preocupaciones de Moncur la llevaron a asociarse con los científicos informáticos Ali Farooq y Ryan Gibson de la Universidad de Strathclyde y Burkard Schiffer, investigador jurídico de la Universidad de Edimburgo en el Reino Unido, para colaborar en soluciones. Con financiación del Centro Nacional de Investigación sobre Privacidad, Reducción de Daños e Influencia Hostil en Línea del Reino Unido, lanzaron un proyecto de diez meses para desarrollar directrices para investigadores y comités de ética universitarios. Su finalización está prevista para agosto.

En marzo se celebró el Foro del Espacio Europeo de Investigación de la Comisión Europea Ha emitido directrices sobre el uso responsable de la inteligencia artificialque contribuirá al trabajo realizado por Moncur y su equipo.

Moncur dice que el proyecto tiene tres objetivos principales: abordar la falta de experiencia en la identificación de riesgos de privacidad derivados del uso de IA genética en la investigación; Abordar los requisitos de gestión de datos en la investigación del Reino Unido, muchos de los cuales no tienen en cuenta el uso cada vez mayor de IA genética; y para abordar los riesgos legales para las organizaciones que utilizan genAI para analizar o procesar datos de los participantes.

El proyecto está diseñado para analizar el uso de la IA en la investigación de manera amplia, pero incluirá áreas de enfoque, como cómo proteger la privacidad al usar la IA. Procesamiento de datos médicosdice Farouk.

El equipo está revisando la literatura para describir cómo los investigadores utilizan la IA genética para manejar datos personales y planea realizar entrevistas con académicos que forman parte de comités de ética en universidades del Reino Unido.

A partir de los conocimientos adquiridos en estos proyectos, el equipo desarrollará un conjunto de herramientas basado en FODA, que los comités de ética y los investigadores podrán consultar al revisar o planificar proyectos que incluirán tecnologías de IA genética. El equipo planea hacer que esta herramienta esté disponible gratuitamente en línea.

Orientación muy necesaria

Robert Davison, científico de sistemas de información de la Universidad de la ciudad de Hong Kong, acoge con satisfacción estos esfuerzos para crear una supervisión ética más sólida sobre el uso de genes de IA. “Es muy posible que se vuelva normal [to use this technology]”, dice Davison. Pero recuerda un comentario planteado en un editorial publicado en enero.¹, del que es coautor: “No queremos ver una situación en la que sucumbamos a la creencia de que el uso de genes de IA es 'natural' y que los investigadores no necesitan prestarle especial atención ni informar sus resultados. uso de la IA”. El ella.”

Davison está interesado en establecer estándares éticos en torno al uso de genes de IA, pero le preocupa adoptar un enfoque aislado para establecer estos estándares. Dice que lo ideal serían normas éticas más amplias, pero añade que no está claro quién estaría en la mejor posición para proporcionar dichas directrices y hacerlas cumplir.

Por ahora, Moncur y sus colegas se centrarán en los comités de ética de las universidades. “Los investigadores están bajo mucha presión para ser eficaces”, afirma Moncur. “Están sobrecargados”. “Si tienes una herramienta [such as AI] Esto hará que las cosas sean más eficientes, tiene sentido utilizar la herramienta. Pero necesitamos información que nos ayude a utilizar las herramientas de manera responsable, de una manera que nos permita hacer buena ciencia.

El contenido de noticias y los suplementos de Nature Index son editorialmente independientes de su editor, Springer Nature. Para obtener más información sobre el Índice de la Naturaleza, consulte Página principal.