Por Olavo Amaral
El escrutinio de calidad de la ciencia académica emana autoridad, pero significa poco
*
Puede apostar: en cualquier discusión sobre datos científicos, tarde o temprano alguien invocará el argumento del “artículo revisado por pares”, ya sea para dar crédito a una afirmación o para desacreditarla si la revisión no se llevó a cabo.
El escrutinio de la revisión por pares, la aprobación por parte de investigadores independientes antes de la publicación de un artículo, ha sido visto como un bastión de la investigación científica durante décadas (o más de un siglo, según el área), y para muchos delimita lo que se considera «Ciencia» y lo que no lo es.
En una imagen icónica de la Marcha por la Ciencia en Washington en 2017, se puede ver un cartel frente al Capitolio que dice “En la revisión por pares confiamos«, En alusión a la»En Dios confiamos”. Sin embargo, la sustitución equivale a intercambiar una creencia dogmática por otra.
Después de todo, “revisado por pares” solo significa que algunas personas, generalmente dos o tres, han revisado un artículo y no han visto ninguna razón para negar su publicación. Como el proceso suele tener lugar a puerta cerrada, no sabemos quiénes son estas personas, ni qué opiniones expresaron, ni qué se tomaron la molestia de verificar.
Aparte de eso, los revisores a menudo no están capacitados en la tarea ni reciben instrucciones sobre qué revisar, y no se les paga ni se les recompensa por su trabajo, por lo que tienen poco apoyo o estímulo para continuar con la revisión. No es sorprendente que el acuerdo entre diferentes revisores sea mínimo y, a veces, raya en el azar.
Por si fuera poco, solo actúan al final del proceso científico, cuando los problemas en la recolección de datos ya son irremediables. Peor aún, funcionan en base a los informes de los autores y, por lo general, no tienen acceso a los datos originales, lo que les impide detectar la mayoría de los errores y omisiones que pueden ocurrir a lo largo de un proyecto.
Si nada de esto le hace sospechar que algo anda mal, imagine aplicar la misma lógica en otras áreas. Si una aerolínea le dijera que delega su control de calidad en dos o tres expertos que revisan un informe de pocas páginas sobre la construcción de un avión terminado, ¿abordaría?
La confianza de la comunidad científica en la revisión por pares es aún más desconcertante dada la evidencia limitada sobre el impacto del proceso en la literatura científica. Las comparaciones entre los preprints –artículos publicados antes de la revisión por pares– y sus versiones revisadas muestran que las diferencias de calidad son pequeñas y que tanto el texto como las conclusiones principales rara vez cambian.
En cuanto a la función de filtro, el fallo del sistema es aún más llamativo. Los artículos sin sentido, con errores tajantes o conclusiones absurdas, escritos con intención de broma, invariablemente terminan siendo aceptados en alguna parte. El problema se ve agravado por las llamadas “revistas depredadoras”, revistas que cobran por la publicación y tienen sus ganancias maximizadas por la falta de rigor.
La pandemia de Covid-19 es fértil en ejemplos de la fragilidad del sistema. En teoría, las revistas revisadas por pares han publicado cosas tan extrañas como la idea de que la tecnología 5G podría producir SARS-CoV2. Mientras tanto, las revistas con editores vinculados al Institut Hospitalo-Universitaire Méditerranée Infection de Didier Raoult se han convertido en una muestra sesgada de estudios que abogan por el uso de hidroxicloroquina.
Sería fácil atribuir el problema a publicaciones de baja calidad, pero el escándalo más notorio de la pandemia ha alcanzado el apogeo de la crisis. Lanceta es el Revista de Medicina de Nueva Inglaterra, las revistas médicas más respetadas del mundo, que se vieron obligadas a presentar artículos con datos de fabricación sospechosos por parte de la empresa Surgisphere.
Esto no es sorprendente: aunque las revistas tradicionales tienden a ser más selectivas a la hora de aceptar artículos, no hay nada muy diferente en sus procesos de revisión. Además, la presión para publicar en estas revistas puede incitar a los científicos a dorar la píldora para que sus resultados sean más atractivos. Por tanto, utilizar la “publicación de impacto” como criterio de calidad no resuelve el problema: la visibilidad y la fiabilidad, al fin y al cabo, son cosas distintas.
En el episodio de Surgisphere, los críticos se apresuraron a señalar culpables, como el sesgo de los editores o la prisa de los revisores. Básicamente, sin embargo, el responsable es el propio sistema de revisión, el cual, sin acceso a los datos o al proceso por el cual fueron obtenidos, es incapaz de identificar fraudes bien hechos.
Si la revisión por pares no es una regla, ¿qué podemos llamar «científicamente probado»? La mejor respuesta, algo tautológica, es quizás “el consenso científico”. Pero identificarlo no siempre es obvio. Las posiciones de las instituciones y sociedades científicas son una aproximación a esto, pero tienen su vertiente política –que en casos como el de las asociaciones médicas brasileñas suelen coquetear con el sindicalismo- y están lejos de estar libres de prejuicios.
La verdad es que no contamos con formas institucionales eficientes para demarcar qué es ciencia confiable, que es enormemente escasa en el debate público. Esto es evidente en el headbanging de las agencias de verificación de hechos para lidiar con las docenas de artículos a favor y en contra del tratamiento temprano de Covid, un asunto demasiado complicado para resumirlo en “#fact” o “#fake”.
Hay mucho por hacer, por lo tanto, para construir un sello de confianza que vaya más allá de la “revisión por pares”. Sin embargo, esto solo se logrará si superamos la creencia de que dos o tres revisores que examinan un PDF son suficientes para medir la calidad de un proceso complejo como la investigación científica.
Abundan los ejemplos de éxito: auditorías, certificaciones y procedimientos estándar son rutinarios en aeropuertos, construcciones civiles y hospitales, y uno se pregunta por qué son tan raros en instituciones académicas. E incluso empresas como Wikipedia tienen procesos de revisión y corrección más elaborados y sólidos que la anémica y opaca revisión por pares de artículos científicos.
Sin mejores formas de control, la investigación académica seguirá siendo vulnerable al fraude, los errores y los prejuicios, alimentando la charlatanería con el sello de “científicamente probado”. Esta es solo la consecuencia natural de creer en un proceso en el que nadie ve lo que se está haciendo. Como en la historia de los niños, el rey está desnudo bajo la ropa invisible de la revisión por pares, y a veces se necesita un niño, o una pandemia, para obligarnos a admitirlo.
*
Olavo Amaral es profesor del Instituto de Bioquímica Médica Leopoldo de Meis de la UFRJ y coordinador de la Iniciativa Brasileña de Reproducibilidad.
Suscríbete al boletín de Serrapilheira para seguir más noticias del instituto y del blog Ciência Fundamental. ¿Tiene alguna sugerencia para una agenda? He aquí cómo colaborar.
Noticia de Brasil