Tag: esperan

De la manipulación de los números por parte de los científicos a la producción masiva de artículos falsos Fábricas de papelLos manuscritos problemáticos han plagado la literatura académica durante mucho tiempo. Los investigadores científicos trabajan incansablemente Descubrir este mal comportamiento y corregir el registro científico. Pero su tarea se ha vuelto más difícil debido a la introducción de una nueva y poderosa herramienta en manos de los estafadores: una herramienta generativa. inteligencia artificial (Amnistía Internacional).

“La IA generativa está evolucionando muy rápidamente”, afirma. Jana Cristóbalanalista de integración de imágenes en FEBS Press en Heidelberg, Alemania. “Las personas que trabajan en mi campo (integridad de imagen y ética editorial) están cada vez más preocupadas por las posibilidades que ofrece”.

Las imágenes y vídeos generados por IA ya están aquí: ¿cómo pueden dar forma a la búsqueda?

La facilidad que Las herramientas de IA generativa pueden generar textoLas imágenes y los datos generan preocupación sobre una literatura científica cada vez menos confiable, llena de números, manuscritos y conclusiones falsas que son difíciles de detectar para los humanos. Ya ha comenzado a surgir una carrera armamentista a medida que compiten especialistas en integridad, editores y empresas de tecnología. Desarrollando herramientas de inteligencia artificial Lo que puede ayudar a detectar rápidamente elementos fraudulentos creados por inteligencia artificial.

“Es un hecho aterrador”, dice Christopher. “Pero también hay gente inteligente y se proponen buenos cambios estructurales”.

Aunque muchas revistas ya permiten los textos generados por IA en algunas circunstancias, es poco probable que se considere aceptable el uso de tales herramientas para generar imágenes u otros datos, dicen los especialistas en integridad de la investigación. “En un futuro próximo, es posible que aceptemos utilizar textos generados por IA”, afirma. Elizabeth Beckespecialista y consultor forense de imágenes en San Francisco, California. “Pero trazo un límite en la generación de datos”.

Qué significan ChatGPT y la IA generativa para la ciencia

Beck, Christopher y otros sospechan que los datos, incluidas las imágenes, generados mediante IA generativa ya están muy extendidos en la literatura, y que las fábricas de papel están aprovechando las herramientas de IA para producir manuscritos en masa (consulte “Prueba: ¿Puedes detectar falsificaciones respaldadas por inteligencia artificial?

Bajo el radar

Identificar imágenes producidas por IA plantea un gran desafío: a menudo es casi imposible distinguirlas de imágenes reales, al menos a simple vista. “Sentimos que nos topamos con imágenes generadas por IA todos los días”, dice Christopher. “Pero mientras no puedas probarlo, no hay mucho que puedas hacer”.

Hay algunos ejemplos claros del uso de IA generativa en imágenes científicas, por ejemplo La ahora infame figura de una rata con genitales absurdamente grandes y etiquetas sin sentido, creadas con la herramienta de imágenes Midjourney. El dibujo, publicado en una revista en febrero, causó furor en las redes sociales y fue retirarse Días después.

La mayoría de los casos no son muy claros. Las figuras hechas con Adobe Photoshop o herramientas similares antes de la llegada de la IA generativa (particularmente en biología molecular y celular) a menudo contienen signos que los investigadores pueden detectar, como fondos idénticos o ausencias inusuales de manchas o manchas. Las formas creadas por inteligencia artificial a menudo carecen de dichas marcas. “Veo toneladas de artículos en los que creo que estas manchas occidentales no parecen reales, pero no hay pruebas contundentes”, dice Beck. “Sólo se puede decir que parece extraño y, por supuesto, eso no es evidencia suficiente para escribirle al editor”.

Pero la evidencia sugiere que figuras creadas por IA aparecen en manuscritos publicados. Los textos escritos utilizando herramientas como ChatGPT están aumentando en los artículos de investigación, que están siendo eliminados por frases estándar de chatbot que los autores olvidan eliminar y las palabras detalladas que los modelos de IA tienden a usar. “Por tanto, debemos suponer que esto también ocurre con los datos y las imágenes”, afirma Beck.

Una prueba más de que los estafadores están utilizando herramientas de imágenes sofisticadas es que la mayoría de los problemas que los investigadores están descubriendo actualmente se encuentran en artículos que tienen varios años de antigüedad. “En los últimos años, hemos visto cada vez menos problemas de imagen”, dice Beck. “Creo que la mayoría de las personas que fueron sorprendidas alterando imágenes han pasado a crear imágenes más nítidas”.

Cómo crear imágenes

Crear imágenes limpias utilizando IA generativa no es difícil. Kevin Patrick, un investigador científico de imágenes conocido como Cheshire en las redes sociales, demostró lo fácil que es y publicó sus resultados sobre manchas occidentales y más. La mayoría de las imágenes tardaron menos de un minuto en producirse (consulte “Creación de una bandera falsa”).

“Si puedes hacerlo, las personas a las que se les paga por crear datos falsos sin duda lo harán”, afirma Patrick. “Probablemente hay muchos otros datos que se pueden generar usando herramientas como esta”.

Algunos editores dicen haber encontrado evidencia de contenido generado por IA en estudios publicados. Estos sitios incluyen PLoS, que fue alertado sobre contenido sospechoso y encontró evidencia de texto y datos generados por IA en artículos de investigación y presentaciones a través de investigaciones internas, dice Rene Hoch, editor en jefe del equipo de ética editorial de PLoS en San Francisco, California. (Hoch señala que el uso de IA no está prohibido en las revistas PLoS y que su política de IA se centra en la responsabilidad del autor y la divulgación transparente).

Otras herramientas también pueden brindar oportunidades a las personas que quieran crear contenido falso. El mes pasado, los investigadores publicaron¹ Un modelo de IA generativa para crear imágenes microscópicas de alta resolución, y algunos profesionales de la integridad han expresado su preocupación sobre este trabajo. “Esta tecnología puede ser utilizada fácilmente por personas con malas intenciones para crear rápidamente cientos o miles de imágenes falsas”, dice Beck.

La herramienta es útil para producir datos de entrenamiento para modelos, dada la dificultad de obtener imágenes microscópicas de alta resolución, dice Yoav Shechtman del Instituto Tecnológico Technion-Israel en Haifa, el creador de la herramienta. Pero añade que no sirve de nada producir imágenes falsas, porque los usuarios tienen poco control sobre el resultado. Señala que los programas de imágenes actuales, como Photoshop, son más útiles para trabajar con formas.

Eliminar productos falsificados

Es posible que los ojos humanos no puedan hacer esto Toma fotografías creativas hechas con inteligencia artificialpero la IA podría serlo (consulte “Las imágenes de IA son difíciles de detectar”).

Los creadores de herramientas como Imagetwin y Proofig, que utilizan IA para detectar problemas de integridad en figuras científicas, están ampliando su software para extraer imágenes generadas por IA generativa. Dado que este tipo de imágenes son difíciles de detectar, las dos empresas están creando sus propias bases de datos de imágenes generativas de IA para entrenar sus algoritmos.

Los modelos de IA alimentados con datos generados por IA rápidamente difunden tonterías

Proofig ya ha lanzado una función en su herramienta para detectar imágenes microscópicas generadas por inteligencia artificial. Cuando se probó en miles de imágenes reales y generadas por IA a partir de artículos, el algoritmo identificó imágenes de IA el 98% de las veces y tuvo una tasa de falsos positivos del 0,02%, dice el cofundador de la compañía, Dror Kolodkin Gal, en Rehovot, Israel. . Dror añade que el equipo ahora está trabajando para intentar comprender exactamente qué detecta el algoritmo.

“Tengo grandes esperanzas en estas herramientas”, dice Christopher. Pero señala que sus resultados siempre necesitarán ser evaluados por un experto que pueda verificar los problemas que señalan. Christopher aún no ha visto pruebas de la fiabilidad de los programas de IA de detección de imágenes (la evaluación interna de Proofig no se ha publicado). Añade que estas herramientas son “limitadas, pero ciertamente muy útiles, porque significa que podemos intensificar nuestros esfuerzos en la selección de presentaciones”.

Muchas editoriales e instituciones de investigación ya lo están utilizando. prueba y imagentoína. Por ejemplo, las revistas científicas utilizan Proofig para investigar cuestiones de integridad de imágenes. Según Megan Phelan, directora de comunicaciones de… ciencias En Washington, D.C., la herramienta aún no ha revelado ninguna imagen generada por IA.

Springer Nature, que publica naturalezaAmazon está desarrollando sus propias herramientas de detección de texto e imágenes, llamadas Geppetto y SnapShot, que identifican violaciones que luego son evaluadas por humanos. (el naturaleza El equipo de noticias es editorialmente independiente de su editor).

Estafadores, cuidado

Los grupos editoriales también están tomando medidas para procesar imágenes generadas por IA. Un portavoz de la Asociación Internacional de Editores Científicos, Técnicos y Médicos (STM) en Oxford, Reino Unido, dijo que se toma el problema “muy en serio” y señaló iniciativas como United2Act y el Centro de Integridad STM, a saber Procesamiento de fábricas de papel Y otras cuestiones de integridad científica.

ChatGPT un año después: ¿Quién lo usa, cómo y por qué?

Christopher, que preside el grupo de trabajo de STM sobre modificaciones y replicación de imágenes, dice que cada vez se comprende más que desarrollar métodos para verificar datos sin procesar (como poner marcas de agua invisibles en imágenes tomadas con microscopios) es similar a las marcas de agua invisibles. Los utilizados en el texto generado por IA – Puede que sea el camino a seguir. Esto requerirá nuevas tecnologías y nuevos estándares para los fabricantes de equipos, añade.

A Patrick y otros les preocupa que los editores no actúen lo suficientemente rápido para enfrentar la amenaza. “Nos preocupa que esto sea sólo otra generación de problemas en la literatura a los que no se abordará hasta que sea demasiado tarde”, dice.

Sin embargo, algunos son optimistas en cuanto a que el contenido generado por IA que se publica hoy en los periódicos se descubrirá en el futuro.

“Tengo plena confianza en que la tecnología mejorará hasta el punto en que pueda comprender las cosas que se hacen hoy en día, porque en algún momento serán vistas como relativamente primitivas”, dice Patrick. “Los estafadores no deberían dormir bien por la noche. Pueden engañar el proceso hoy, pero no creo que puedan engañarlo para siempre”.