Por Olavo Amaral

Crivo de qualidade da ciência acadêmica emana autoridade, mas significa pouco

*

Pode apostar: em qualquer discussão sobre dados científicos, cedo ou tarde alguém vai invocar o argumento do “artigo revisado por pares”, seja para dar crédito a uma afirmação, seja para desacreditá-la, caso a revisão não tenha acontecido.

O crivo da revisão por pares –a aprovação por pesquisadores independentes antes da publicação de um artigo– é tido como um bastião da pesquisa científica há décadas (ou mais de um século, dependendo da área), e para muitos delimita o que é considerado “ciência” e o que não é.

Em uma imagem icônica da Marcha pela Ciência em Washington, em 2017, vê-se em frente ao Capitólio um cartaz onde se lê “In peer review we trust”, numa alusão ao “In God we trust”. A substituição, porém, equivale a trocar uma crença dogmática por outra.

“Revisado por pares”, afinal, significa apenas que algumas pessoas –em geral duas ou três– analisaram um artigo e não viram razão para negar sua publicação. Como o processo costuma ocorrer a portas fechadas, não sabemos quem são essas pessoas, nem que opiniões emitiram, tampouco o que elas se deram ao trabalho de verificar.

Afora isso, os revisores não costumam ser treinados para a tarefa nem ter um direcionamento sobre o que revisar e não são pagos ou recompensados por seu trabalho, tendo assim pouco apoio ou estímulo para se dedicar ao parecer. Não surpreende que a concordância entre diferentes revisores seja mínima e por vezes beire o aleatório.

Como se não bastasse, eles atuam somente ao final do processo científico, quando problemas na coleta de dados já são irremediáveis. Pior ainda, trabalham com base no relato dos autores, e geralmente não têm acesso aos dados originais, o que os impede de detectar a maior parte dos erros e omissões que podem acontecer ao longo de um projeto.

Se nada disso faz você desconfiar de que algo está errado, imagine a aplicação da mesma lógica em outras áreas. Se uma companhia aérea lhe dissesse que delega seu controle de qualidade a dois ou três especialistas que examinam um relatório de algumas páginas sobre a construção de um avião já pronto, você embarcaria?

A confiança da comunidade científica na revisão por pares é ainda mais desconcertante dada a parca evidência sobre o impacto do processo na literatura científica. Comparações entre preprints –artigos postados antes da revisão por pares– e suas versões revisadas mostram que as diferenças de qualidade são pequenas, e que tanto o texto como as conclusões principais raramente mudam.

Quanto à função de filtro, o fracasso do sistema se revela ainda mais contundente. Artigos sem sentido, com erros crassos ou conclusões absurdas, elaborados com intenção jocosa, invariavelmente acabam aceitos em algum lugar. O problema é agravado pelos ditos “periódicos predatórios” –revistas que cobram por publicação e tem seus lucros maximizados pela ausência de rigor.

A pandemia de Covid-19 é fértil em exemplos da fragilidade do sistema. Revistas teoricamente revisadas por pares publicaram bizarrices como a de que a tecnologia 5G poderia produzir o SARS-CoV2. Enquanto isso, periódicos com editores ligados ao Institut Hospitalo-Universitaire Méditerranée Infection de Didier Raoult se transformaram numa vitrine enviesada de estudos defendendo o uso da hidroxicloroquina.

Seria fácil atribuir o problema a publicações de baixa qualidade, mas o escândalo mais notório da pandemia atingiu o Lancet e o New England Journal of Medicine, as revistas médicas mais respeitadas do mundo, que se viram obrigadas a retratar artigos com dados suspeitos de fabricação por parte da empresa Surgisphere.

O fato não surpreende: ainda que periódicos tradicionais costumem ser mais seletivos ao aceitar artigos, não há nada de tão diferente em seus processos de revisão. Além disso, a pressão para publicar nestas revistas pode estimular cientistas a dourar a pílula para tornar seus resultados mais atraentes. Com isso, usar a “publicação de impacto” como critério de qualidade não resolve o problema: visibilidade e confiabilidade, afinal, são coisas distintas.

No episódio da Surgisphere, críticos foram rápidos em apontar culpados, como o viés dos editores ou a pressa dos revisores. No fundo, porém, o responsável é o próprio sistema de revisão, que, sem acesso aos dados ou ao processo pelo qual foram obtidos, não tem capacidade de identificar fraudes bem feitas.

Se a revisão por pares não serve de régua, o que podemos chamar de “cientificamente comprovado”? A melhor resposta, um tanto tautológica, talvez seja “o consenso científico”. Mas identificá-lo nem sempre é óbvio. Posições de instituições e sociedades científicas são uma aproximação disso, mas elas têm seu lado político –que em casos como o das associações médicas brasileiras costuma flertar com o sindicalismo— e estão longe de ser isentas de viés.

A verdade é que não temos formas institucionais eficientes de demarcar o que é ciência confiável, o que faz uma falta enorme no debate público. Isso fica evidente no bater de cabeça de agências de checagem de fatos para lidar com as dezenas de artigos favoráveis e contrários ao tratamento precoce da Covid, uma questão complicada demais para ser resumida em “#fato” ou “#fake”.

Há muito a fazer, assim, para construir um selo de confiabilidade que vá além do “revisado por pares”. Isso só será alcançado, porém, se superarmos a crença de que dois ou três revisores examinando um PDF são o bastante para aferir a qualidade de um processo complexo como a pesquisa científica.

Exemplos de sucesso não faltam: auditorias, certificações e procedimentos- padrão são parte da rotina de aeroportos, construções civis e hospitais, e é de se perguntar por que são tão raros em instituições acadêmicas. E mesmo empreendimentos como a Wikipedia possuem processos de revisão e correção mais elaborados e robustos do que a anêmica e pouco transparente revisão por pares de artigos científicos.

Sem formas melhores de controle, a pesquisa acadêmica seguirá vulnerável a fraudes, erros e vieses, alimentando charlatanices com o carimbo de “cientificamente comprovado”. Essa é apenas a consequência natural de acreditar em um processo em que ninguém enxerga o que está sendo feito. Como na história infantil, o rei está nu sob a roupa invisível da revisão por pares, e às vezes é preciso uma criança, ou uma pandemia, para nos forçar a admiti-lo.

*

Olavo Amaral é professor do Instituto de Bioquímica Médica Leopoldo de Meis da UFRJ e coordenador da Iniciativa Brasileira de Reprodutibilidade.

Inscreva-se na newsletter do Serrapilheira para acompanhar mais novidades do instituto e do blog Ciência Fundamental. Tem uma sugestão de pauta? Veja aqui como colaborar.