Por qué es hora de deshacerse de las malas críticas

El investigador de electromagnetismo Aklesh Lakhtakia es presidente del importante departamento de ciencias de la ingeniería de la Universidad Estatal de Pensilvania en University Park, autor de más de 840 artículos en revistas científicas y miembro de 9 sociedades científicas. Pero en 1988, cuando era profesor asistente, un crítico dijo de un artículo que había presentado para su publicación: “Esto es una tontería, el autor o los autores claramente no tenían idea sobre el electromagnetismo”. [electromagnetics] “Sin entrenamiento, sin intuición física”.

La revisión por pares, que durante siglos ha sido la herramienta estándar para determinar la idoneidad de un artículo académico para su publicación, es notoriamente defectuosa.¹Ahora, una de sus principales debilidades, la pura mala conducta por parte del crítico, ha sido resaltada en un video de YouTube de IOP Publishing (IOPP), con sede en Bristol, Reino Unido, una editorial propiedad de una asociación que publica más de 90 revistas.

La película de un minuto se estrenó para conmemorar la Semana de revisión por pares, que este año se celebra del 23 al 27 de septiembre, y presenta a cuatro científicos sosteniendo carteles que muestran críticas groseras, inapropiadas o irrelevantes que recibieron cuando eran investigadores al inicio de su carrera. Al mismo tiempo, enumera sus impresionantes logros desde entonces. Las actividades que tendrán lugar durante la Semana de revisión por pares de este año, en las que participarán más de 35 organizaciones de todo el mundo, se centrarán en la innovación y la tecnología, incluida la inteligencia artificial y cómo se puede utilizar para automatizar tareas administrativas en el proceso de revisión por pares.

Un estudio publicado en 2019 reveló que seis de cada diez investigadores de la comunidad STEM internacional habían recibido al menos una revisión no profesional y, de ellos, siete de cada diez habían recibido revisiones no profesionales.².

Estas revisiones no siempre causan daños a largo plazo. Lakhtakia dice naturaleza Estuvo muy enojado durante varias semanas después de que se le negó la oportunidad de presentar un manuscrito revisado que refutara las críticas del revisor. Luego añadió: “Escribí una monografía sobre el tema de investigación más amplio que me llevó a ser ascendido a miembro de una de las principales sociedades científicas en 1992”.

La física Cathy Foley, científica jefe de Australia, que ha publicado 112 artículos revisados ​​por pares en revistas internacionales, recuerda los comentarios inútiles de un crítico sobre un manuscrito en el que ella y un colega más joven habían “puesto su corazón y su alma” en 2009, cuando ella era una Líder del programa de investigación.

“El artículo fue escrito de una manera muy personal, sugiriendo que nuestro equipo es deficiente y que no somos dignos de ser investigadores”, dice. “Fue necesaria mucha discusión y capacitación para ayudarnos a mirar más allá de los comentarios de odio y buscar. consejos de investigación. Y centrarnos en eso”. “Nos permitió revisar el artículo y seguir adelante”.

Pero no todo el mundo ignora los comentarios insultantes. Su impacto en la confianza en uno mismo, la productividad y la trayectoria profesional podría ser significativo, dice Laura Vitham-Walker, directora de participación del cliente en el Instituto Internacional de Investigación Psicológica, quien dirigió el proyecto de video. Aquí explica por qué se deben cuestionar los duros comentarios de las revisiones por pares y por qué la comunidad científica necesita discutir esta humillación común de sus miembros más jóvenes.

¿Cuándo se dio cuenta de que los comentarios de revisores no profesionales eran un problema?

Escuché a académicos discutir este tema por primera vez poco después de que me uní a IOPP en 2020 como primer Director Asociado de Revisores, mientras dirigía talleres de capacitación para revisores que iniciaban su carrera. Antes de eso, trabajó en BMJ Group y la lancetaConsidero que mi función es comunicarme con los auditores y apoyarlos para que proporcionen informes excelentes y constructivos.

En los talleres quedó claro cuántos investigadores se vieron afectados por este problema, incluidos los revisores senior, que hablaron de comentarios groseros que habían recibido al principio de sus carreras.

¿Existe una línea divisoria entre la crítica útil y la mala educación?

De nada. Las dos cosas son completamente diferentes. Puedes recibir una crítica, incluso una muy negativa, pero no es ningún problema. En un estudio de 2019, que recibió comentarios de 1106 profesionales de STEM que fueron los primeros autores de manuscritos enviados a revistas revisadas por pares, la definición fue clara: una revisión no profesional es aquella que no es ética, irrelevante, mezquina o cruel y carece de crítica constructiva. .².

¿Deberían los académicos aprender a ser más duros interpersonalmente?

tal vez. Lakhtakia aconseja a los investigadores novatos que “evalúen las críticas sin emociones y luego avancen en consecuencia”. Pero las personas de grupos que históricamente han estado subrepresentados en los campos STEM (mujeres, personas no binarias y personas de minorías raciales) tienen más probabilidades de informar que su confianza como científicos se ha visto socavada por críticas groseras.²Estas personas también son los grupos con mayor probabilidad de reportar reveses a largo plazo en su productividad y avance profesional. Y es fácil ver cómo puede suceder esto: si ya sufres el síndrome del impostor y tienes poca confianza en ti mismo, un mal comentario podría afectarte mucho. Esto es importante. La comunidad STEM no puede permitir que la revisión por pares no profesionales socave a los investigadores eficaces o provoque que no se publiquen trabajos importantes.

¿Qué se puede hacer?

Es trabajo del editor filtrar los comentarios poco profesionales en las reseñas. La política de IOPP, de acuerdo con la orientación del Comité de Ética en Publicaciones, una organización sin fines de lucro en Eastleigh, Reino Unido, es que el editor cancele las revisiones problemáticas y solicite al revisor que las revise y las vuelva a enviar. Si el revisor lo desaprueba, el editor puede realizar modificaciones menores para eliminar cualquier comentario problemático. Pero los editores están bajo presión de tiempo y se enfrentan a muchos informes de revisión por pares todos los días, por lo que algunos comentarios inapropiados se escapan de la red. Necesitamos definir la revisión no profesional para que sea más fácil rastrear y clasificar dichos comentarios.

También debemos reconocer que la mayoría de los auditores hacen un trabajo excelente en circunstancias difíciles y agradecerían apoyo para mejorar sus habilidades y confianza como auditores. Ahora ofrece un curso gratuito revisado por pares, disponible para todos.Quienes completan este curso reciben un certificado, que los auditores principiantes pueden incluir en su CV.

Pero, sobre todo, los científicos necesitan hablar más sobre las críticas groseras. Por eso grabamos el vídeo.

¿Las reseñas anónimas fomentan la mala educación?

Quizás sí. Hay cierta evidencia de un “efecto de desregulación en línea” –o la falta de autocontrol que sienten las personas cuando se comunican en línea–, por lo que la descortesía puede haber aumentado a medida que la revisión por pares se trasladó a la red, aunque se necesita más investigación en esta área.

¿Qué pasa con la revisión por pares abierta? ¿Ayudaría esto a poner fin a las críticas groseras?

Ha tenido un gran impacto, sin duda. En IOPP, en febrero de 2022, introdujimos una versión de revisión por pares abierta (OPR), llamada Revisión por pares transparente (TPR), en todas nuestras revistas de acceso abierto. TPR muestra el proceso completo de revisión por pares, desde la revisión inicial hasta la decisión final, con los informes de los revisores publicados junto con los artículos aceptados. Los autores y revisores deben suscribirse. En broma, el personal superior de las revistas TPR dice que nunca ha visto comentarios groseros o poco profesionales en los informes de los revisores de TPR. Pero el TPR debería ser obligatorio para los revisores para eliminar por completo la mala educación.

¿Tiene alguna desventaja el TPR?

No. Pero la participación fue modesta. Sólo aproximadamente la mitad de nuestros autores optaron por hacer que sus informes fueran visibles para los revisores. La cantidad de revistas STEM que utilizan TPR u OPR es relativamente baja, por lo que a menudo no es una opción para los autores y revisores.

En 2021, introdujimos la revisión por pares dual anónima (DA). Fuimos el primer editor de física en adoptar este enfoque en todo nuestro trabajo. Según DA, tanto los autores como los revisores son anónimos. El objetivo principal es reducir el sesgo en las publicaciones científicas con respecto al género, la etnia, el país de origen y la afiliación, lo que refleja el riesgo de “sesgo de estatus” o de favorecer el trabajo de académicos asociados con instituciones de élite.

También fuimos la primera editorial comunitaria en combinar DA y TPR en todas nuestras revistas de acceso abierto. El revisor y el autor son anónimos durante todo el proceso de revisión, pero los nombres de los revisores y los informes completos se publican con el manuscrito final.

Sabemos que la revisión por pares a través de la DA funciona. Las mujeres y las personas no binarias que optan por presentar su solicitud a través del DA tienen un 11% más de probabilidades de que se acepten sus documentos. En particular, los autores que envían a través del DA tienen más probabilidades de que se acepten sus manuscritos si son anónimos, y sólo los autores de Europa occidental se benefician de no ser anónimos. También sabemos, nuevamente de manera informal, que DA reduce la frecuencia de los comentarios groseros.

¿Por qué crees eso?

Recuerde, los editores siempre “ven” a los revisores. Nuestros editores internos califican cada reseña en una escala del 1 al 5. Aquellos que obtienen una puntuación de 5 obtienen el estatus de Revisor de confianza del IOP. Una reseña con comentarios poco profesionales casi siempre obtendrá una puntuación de 1 o, a veces, de 2 si los comentarios son algo poco profesionales.

En noviembre pasado, presentamos nuestro servicio de comentarios de revisores, que permite a los revisores solicitar su puntuación de revisión directamente al equipo editorial. Más de 23.000 revisores ya han optado por recibir estos comentarios. También proporcionamos una descripción general de cómo criticar un manuscrito científico, que incluye informes de ejemplo de artículos de ocho áreas de la física, calificados con 1, 3 o 5.

Otros revisores también pueden ver los comentarios de los revisores durante una revisión compartida, donde el revisor invita formalmente a un colega a colaborar. Más de ocho de cada diez revisores que participaron en la revisión compartida nos dijeron que la encontraron útil o muy útil.

Toda la evidencia sugiere que estos mecanismos trabajan juntos para mejorar la comprensión de los revisores sobre cómo realizar una buena revisión por pares, y que esto beneficiará ampliamente a la ciencia.