TON en Español

June 11, 2020   Roxanne Khamsi

Este artículo se publicó originalmente en inglés en The Open Notebook el 1 de junio de 2020. Este artículo fue traducido por Rodrigo Pérez Ortega.

A finales de enero, mientras el nuevo coronavirus se desataba en Wuhan, China, y aparecían casos en otros países, se publicó una versión preliminar de un manuscrito científico en el que los investigadores postulaban que el nuevo patógeno podría haber adquirido porciones de su secuencia de ARN del VIH, tal vez haciéndolo más infeccioso. Un análisis de Reuters encontró que el estudio fue tuiteado más de 17.000 veces y fue reportado en al menos 25 medios de comunicación en los días siguientes. Pero la lección que nos deja este manuscrito no está relacionada a sus conclusiones, las cuales resultaron infundadas. La verdadera lección fue sobre cómo los reporteros deben desconfiar de reportes científicos sin examinación profunda por pares: solo dos días después de que el documento preliminar se pusiera en línea —después de que otros científicos notaron fallas fundamentales— fue retirado.

El episodio fue una indicación temprana de que los manuscritos científicos preliminares, conocidos como preprints, serían protagonistas en esta pandemia, al igual que las preocupaciones acerca de su rigor. En un ejemplo más reciente, un análisis genético no revisado que sugería que una versión mutante del coronavirus había evolucionado para volverse más contagiosa resultó ser exagerada, y los perros guardianes del periodismo cuestionaron su cobertura. Y en otro caso más, un estudio que utilizó pruebas de anticuerpos en voluntarios en el condado de Santa Clara, en California, afirmó que de 50 a 85 veces más personas en el área habían sido infectadas con SARS-CoV-2 de lo que se pensaba anteriormente, lo que sugeriría un menor riesgo de muerte por el virus. Pero el estudio, que había sido publicado como un preprint, fue rápidamente evaluado por muchos epidemiólogos que señalaron problemas importantes, incluida la forma en que los investigadores habían reclutado a personas para las pruebas. Una versión revisada del manuscrito apareció en medRxiv dos semanas después. Todavía está pendiente de aparecer en una revista científica.

Los preprints son manuscritos que se hacen públicos en línea después de que se realizan los experimentos, pero antes de someterse a una revisión coordinada por expertos en el campo de estudio relevante para asegurar que las conclusiones sean respaldadas por los datos. El primer servidor de preprints, llamado arXiv y dedicado a los artículos de física, se lanzó en 1991 y sigue en uso hoy en día. El aumento de los preprints en biología y medicina es más reciente; los más conocidos servidores de preprints de ciencias biológicas bioRxiv y medRxiv se lanzaron en 2013 y 2019, respectivamente. Un artículo publicado en abril —todavía en forma de preprint— encontró 44 plataformas para preprints que tienen un alcance biomédico y médico. “El mundo se está moviendo a un mundo de ‘preprint primero’”, dice Ivan Oransky, cofundador de Retraction Watch.

El aumento de los preprints en biología y salud es asombroso. Aunque solo alrededor del 2,3 por ciento de los trabajos publicados indexados en la base de datos PubMed aparecen en forma de preprint antes de la publicación, el número de preprints en las ciencias biológicas se ha más que triplicado en los últimos dos años, de alrededor de 2.500 por mes a alrededor de 8.000 por mes.

La pandemia de COVID-19 ha aumentado aún más la visibilidad de los manuscritos preliminares no revisados. En un manuscrito recién posteado —en sí mismo un preprint que los investigadores aún no han sometido a revisión— Jonny Coates, un investigador postdoctoral en inmunología de la Universidad de Cambridge y sus colegas compararon las métricas de tráfico de todos los estudios publicados en bioRxiv y medRxiv entre septiembre de 2019 y abril de 2020. Los preprints pertenecientes a COVID-19, todos publicados este año, fueron vistos más de 15 veces más que los preprints que no tienen que ver con COVID-19. (Algunos servidores de preprints, incluido bioRxiv, etiquetan los manuscritos relacionados con el SARS-CoV-2 con una nota que le recuerda a los usuarios que los preprints son preliminares y no deben considerarse concluyentes).

La cobertura mediática de los preprints también ha aumentado notablemente desde la aparición del SARS-CoV-2. Ese aumento no es sorprendente, dice Lauren Morello, editora adjunta de salud en Politico. “La pandemia está acelerando una tendencia, pero esto ya se venía venir”, dice ella.

“Realmente tenemos la presión para ser los primeros y dar las noticias de última hora, y creo que los preprintsparecen ofrecer esta brillante oportunidad para hacerlo”, dice Aschwanden. “Pero la mayoría de las veces eso realmente no termina funcionando”.

Pero la cobertura de prensa de los preprints es tensa. Los estudios científicos conducidos y reportados rápidamente son un sello distintivo y desafortunado de la pandemia actual, como escribió recientemente la periodista Christie Aschwanden en Wired. Ella dice que los periodistas deberían estar alerta. “Donde he visto a los periodistas equivocarse en esto es cuando toman estos [preprints] porque quieren ser los primeros”, dice Aschwanden. “Realmente tenemos la presión para ser los primeros y dar las noticias de última hora, y creo que los preprints parecen ofrecer esta brillante oportunidad para hacerlo. Pero la mayoría de las veces eso realmente no termina funcionando”. Los reporteros, dice, incluso podrían beneficiarse al suponer que cualquier preprint es “probablemente una pista falsa”.

Un ojo escéptico

Quizás la pregunta más central para los periodistas es si cubrir o no un preprint en primer lugar. En algunos casos, podría valer la pena cubrir un preprint de baja calidad que se está volviendo viral en las redes sociales con el fin de resaltar sus fallas. Sin embargo, los periodistas deben ser cautelosos de poner algún preprint en el centro de atención. “Incluso si estás poniendo todos estos calificadores y [diciendo] ‘esto es preliminar’, las personas no siempre prestan suficiente atención a eso”, dice Aschwanden. “En virtud de incluso cubrirlo y convertirlo en una historia, le estás prestando atención que de otro modo no habría tenido”. Si un estudio es tan débil que solo vale la pena una cobertura crítica, dice, “entonces podría ser una buena decisión no prestarle más atención con una historia”.

Hacer un reporteo sobre un preprint requiere que los periodistas tomen precauciones especiales para examinar la investigación que presentan, dice Camille Carlisle, editora científica de la revista Sky & Telescope. Ella dice que los periodistas deben verificar si el documento de preprint indica que el manuscrito ya ha sido enviado a una revista. “Si no hay ningún comentario que indique que el documento está en proceso de publicación, recuerda que podría deberse a que no vale la pena publicar los resultados”, dice. “También hay científicos para quienes el arXiv es esencialmente un pizzarón de lluvia de ideas. Procede con escepticismo”.

Ese consejo puede ser especialmente cierto para los preprints en el ámbito biomédico debido a sus posibles consecuencias para la salud pública, sugiere Matt Davenport, reportero de Chemical & Engineering News. Mientras que él suele solicitar comentarios de unos tres expertos independientes para historias sobre artículos revisados ​​por pares y procede si recibe comentarios de uno de ellos, la barra de Davenport es más alta para los preprints. “Para un preprint, tal vez duplique eso y luego haga un seguimiento con personas que no se han puesto en contacto conmigo para averiguar exactamente por qué”, dice.

Asimismo, Aschwanden dice que busca comentarios de múltiples fuentes independientes que puedan evaluar si un preprint tiene un diseño de estudio razonable y puedan confirmar que los objetivos del experimento no se movieron durante el curso del estudio. También verifica si un número inusualmente grande de participantes abandonó un ensayo clínico mientras estaba en curso, y si es así, por qué. Finalmente, Aschwanden recomienda pedir a los comentaristas externos que evalúen la solidez estadística del manuscrito. Señala que la American Statistical Association puede ser un excelente recurso para los periodistas científicos.

También es crucial obtener contexto para un preprint—y, al escribir, dar a los lectores una idea de un panorama de investigación más amplio—. Eso incluye obtener contexto sobre los científicos involucrados en el estudio. Cualquier persona que escriba sobre preprints debería “mirar las investigaciones anteriores que los autores han publicado, tanto para verificar sus credenciales como para ver cómo esos hallazgos pueden contribuir a su último trabajo”, dice Melody Schreiber, periodista independiente y editora de un próximo libro de no ficción sobre parto prematuro llamado What We Didn’t Expect (Lo que no esperábamos).

Las fuentes independientes pueden tener opiniones diferentes cuando se les pide que comenten sobre el valor de un preprint. Los reporteros y editores tienen que decidir cómo manejar tales situaciones caso por caso.

Aunque el escaneo de las redes sociales no reemplaza hablar directamente con fuentes independientes, Twitter puede proporcionar una imagen inicial de cómo otros científicos han respondido a un nuevo preprint. (Algunas plataformas de preprints, incluidas bioRxiv y medRxiv, incluso muestran, en la página de cada manuscrito, un resumen de cómo ha sido mencionado en blogs y en tuits). Pero Aschwanden advierte en contra de confiar en la discusión en línea para guiar las decisiones sobre si y cómo cubrir preprints. “Tienes que ser cuidado porque hay tantos intereses en competencia allí”, dice. Cuando ella busca comentarios externos sobre un artículo científico, dice, “quieres personas que no tengan un gallo en esa pelea”.

No hay un número mágico de fuentes independientes a consultar sobre preprints antes de continuar con una historia. A menudo, depende de qué tan grande sea el hallazgo que describe el manuscrito. “Entre más esté en juego en un artículo, más fuentes contactas”, dice Ed Yong, escritor de planta de The Atlantic.

A veces, las fuentes independientes pueden tener opiniones diferentes cuando se les pide que comenten sobre el valor de un preprint. Los reporteros y editores tienen que decidir cómo manejar tales situaciones caso por caso, dice Morello. En algunos casos, dice ella, uno o dos comentaristas externos pueden señalar una advertencia importante a un estudio o incluso compartir serias reservas, pero el estudio aún podría tener un valor noticioso para el público en general y valer la pena cubrirlo.

Otras veces, esas advertencias pueden ser un factor decisivo para no cubrirlo. “A veces, después de escuchar a un grupo de personas decir que un estudio es bueno”, dice Morello, “hablas con alguien que plantea una objeción estadística y luego preguntas a otras personas al respecto y dicen: ‘¡Oh, espera… eso…!’ Y entonces es posible que termines no escribiendo la historia”. En última instancia, la cobertura de estudios preprint controvertidos requiere que los periodistas y sus editores tomen decisiones cuidadosas sobre cómo proceder, no existe una regla general fácil.

Comunicando con cautela

Tan importante como decidir si cubrir o no un manuscrito preprint es determinar cómo se describe la investigación a los lectores, tanto en la historia como en las redes sociales. Cualquier cobertura de un preprint debe transmitir claramente que el estudio no ha sido examinado de la misma manera que los documentos publicados. Pero Oransky advierte en contra de simplemente decir que un estudio no se ha sometido a una “revisión por pares” porque los lectores del público general podrían no estar familiarizados con esa frase.

“Como taquigrafía, es mejor que nada, pero lo que prefiero es decir que nadie ha revisado y criticado formalmente este artículo [como] podría hacerlo una revista científica” dice Oransky, quien también enseña periodismo médico en la Universidad de Nueva York. De forma similar, Aschwanden recomienda usar un lenguaje sencillo y accesible, como por ejemplo escribiendo que el trabajo “aún no ha sido revisado en busca de errores”.

Los estudios revisados ​​por pares también requieren precaución

En medio de la preocupación de que los preprints no revisados reciban atención indebida de los medios, sería fácil corregir en exceso, tratando a los artículos revisados ​​por pares como si fueran perfectos. Tal como la periodista independiente Wudan Yan escribió en un artículo reciente en el New York Times sobre la cobertura de preprints en los medios, los artículos publicados en revistas también a veces reciben una cobertura exagerada. Coates sugiere que considerar la revisión por pares como el estándar de oro puede hacer que algunos periodistas bajen la guardia y no critiquen los artículos publicados en revistas tan cuidadosamente como deberían. Por esa razón, dice, “los trabajos publicados son potencialmente más peligrosos”.

Penny Sarchet, editora de noticias de New Scientist, tiene una opinión similar. “No tratamos automáticamente a los preprints como si tuvieran una calidad mucho menor que los trabajos publicados revisados ​​por pares”, dice ella. “No creemos que la revisión por pares sea un estándar de oro que dé garantía de que la ciencia se sostiene”. Como señala, muchos artículos publicados en revistas científicas no se sostienen cuando otros intentan replicarlos. Y, dice, también se han publicado estudios “realmente malos” sobre COVID-19 desde que comenzó la pandemia.

Qué tanto cambian los manuscritos a medida que pasan por el proceso de revisión por pares sigue siendo incierto. En marzo, Jeffrey Brainard reportó en Science que en un análisis reciente de 76 preprints, principalmente en genética y neurociencia, descubrió que de los 56 manuscritos que finalmente se publicaron, la mayoría sufrió relativamente pocos cambios después de la revisión por pares. Pero el estudio fue pequeño, y todavía está solo en forma de preprint.

Considerar la revisión por pares como el estándar de oro puede hacer que algunos periodistas bajen la guardia y no critiquen los artículos publicados en revistas tan cuidadosamente como deberían.

Aún así, sus hallazgos reflejan la experiencia de Adam Rutherford, genetista y escritor que vive en Londres. Muchos de los documentos que él utilizó en la investigación de uno de sus libros eran preprints sobre paleogenómica que habían sido publicados en bioRxiv. “Me pasó que todos ellos fueron publicados posteriormente en revistas convencionales, así que verifiqué para ver cuánto habían cambiado, y la respuesta fue que casi nada en absoluto”, dice Rutherford.

Sin embargo, existe un sesgo importante inherente a tales análisis: solo consideran los preprints que eventualmente se publican en revistas revisadas por pares. Pero no todos los preprints llegan a la publicación. Un análisis de 2019 encontró que alrededor de dos tercios de los preprints publicados entre 2013 y 2017 se publicaron más tarde. Y algunos estudios son retractados mientras aún están en la etapa de preprint.

Si un estudio cambia considerablemente entre la etapa de preprint y la publicación después de la revisión por pares, dice Oransky, los medios de comunicación deberían incluir “una actualización en la parte superior para explicar qué cambió”. Y si un estudio es retractado, él dice: “Añadiría una actualización en la parte superior señalando eso y explicando por qué se retractó”.

Sarchet dice que lo que está en juego para los preprints en este momento es muy alto, dada la preocupación mundial por la pandemia actual. “Estamos siendo mucho más cuidadosos con la crisis COVID porque obviamente hay mucho más potencial para que las personas los tomen [los preprints] muy en serio y los apliquen a sus vidas”, dice ella. Pero, dice, también es importante compartir hallazgos preliminares con los lectores si esos descubrimientos son sólidos e intrigantes, para darles una idea de la naturaleza evolutiva del conocimiento. Comprender cómo los científicos “están explorando nuevas ideas y probándolas” es una parte importante de la cobertura de la ciencia, dice ella. “Por eso es que siempre hemos cubierto los preprints”.

Roxanne Khamsi es periodista científica con sede en Montreal, Canadá. Su trabajo ha aparecido en publicaciones como Scientific American, Wired, The Economist y The Economist y The New York Times Magazine. Síguela en Twitter en @rkhamsi.