Por Luiz Augusto Campos

O sistema não pode ser julgado como um todo pelos casos que ele deixa escapar

*

O artigo abaixo é uma réplica ao texto “A roupa invisível da revisão por pares”, de Olavo Amaral, publicado no dia 19 de junho.

Outrora técnicas, expressões como “artigo revisado por pares” ou “trabalho disponível em preprint” hoje frequentam de discursos políticos a páginas de jornais. Nem a CPI da pandemia deixou de fora esses debates sobre os critérios de cientificidade de uma dada teoria. O texto de Olavo Amaral sobre o sistema de revisão anônima por pares, portanto, presta um excelente serviço à ciência e à divulgação científica.

Contudo, se suas críticas são quase todas pertinentes, o mesmo não pode ser dito de sua recusa veemente a esse mecanismo de avaliação, ainda hegemônico no mundo. Acredito que esse descompasso entre críticas e conclusões pode ser dirimido se levarmos em conta dois fatores: 1) embora os pareceres possam influir nas decisões das revistas científicas, eles não são a decisão em si, funcionando mais como subsídios a uma deliberação; 2) o texto toma o procedimento no varejo, destacando seus defeitos pontuais sem atentar para os efeitos gerais no atacado.

Há mais ou menos três séculos, a Sociedade Real de Londres decidiu que a publicação de artigos científicos em sua revista teria de ser aprovada por um comitê. Esse é considerado o marco inicial do sistema de revisão por pares, embora com o tempo ele tenha mudado drasticamente. Os primeiros textos da Sociedade Real eram avaliados em reuniões presenciais, nas quais associados da estirpe de Charles Darwin eram arguidos publicamente sobre suas descobertas.

No fim da Segunda Guerra Mundial, porém, o mundo científico havia adquirido magnitude industrial e global. Embora o princípio da avaliação tenha não apenas sobrevivido, mas se difundido globalmente, seus procedimentos mudaram. Na maioria das disciplinas, manuscritos submetidos a um periódico passaram a ser enviados a dois ou três especialistas cujo anonimato buscava garantir imparcialidade no julgamento e, ao mesmo tempo, proteger os pareceristas de eventuais retaliações.

Porém, menos do que juízos definitivos, os pareceres sempre foram vistos como subsídios a uma decisão editorial: seus limites e insuficiências podem e devem ser arbitrados por conselhos editoriais e pelo trabalho dos editores. É verdade que revisores não são treinados para a tarefa, que não costuma ser remunerada. Contudo, isso vale para muitas atividades da ciência, da requisição de financiamento a agências de fomento à gestão administrativa de um laboratório.

Sem dúvida, o segredo próprio a esse sistema de revisão abre margem para descaminhos perigosos. Na medida em que só editores sabem quem são autores e pareceristas, a margem de arbítrio é bastante ampla. Ainda assim, não é forçoso que a escolha de revisores seja aleatória ou que não haja controle do trabalho editorial. Periódicos acadêmicos são empreendimentos coletivos monitorados por conselhos e comitês. E parte importante, ainda que invisível, do trabalho de um editor científico é justamente estabelecer critérios de seleção de leitores adequados a determinadas áreas temáticas, privilegiando os melhores pareceristas.

Como pareceres apenas servem de subsídios à decisão editorial, baixas taxas de concordância entre pareceristas não são em si problemáticas. Para um editor em dúvida da qualidade de uma pesquisa, a multiplicidade de opiniões é francamente positiva. A depender da política editorial do periódico, artigos avaliados de modos distintos por vários revisores podem tanto ser vistos como ainda imaturos para publicação como importantes para fomentar certo debate.

Se artigos predatórios — sem sentido, equivocados ou escritos por má fé etc.– são “invariavelmente aceitos em algum lugar”, a rigor isso mostra que o sistema de revisão por pares serve para afastar das revistas mais prestigiadas as publicações mais duvidosas. Evidentemente o sistema não é infalível (como aliás quase nada no mundo real). Artigos equivocados ou mesmo criminosos já passaram pelo crivo de revistas importantes, do mesmo modo que já burlaram modelos de avaliação acadêmica alternativos. A cada artigo que lemos, revisado ou não, avaliamos a qualidade da pesquisa. Nada impede que textos já publicados sejam denunciados e retirados do ar, faz parte do jogo.

A coleção de artigos revisados que apresenta problemas sérios ou dados falsos é grande e continuará crescendo, infelizmente. Mas ela é infinitamente menor que a de bons artigos úteis ao avanço científico. O sistema não pode ser julgado como um todo pelos casos que ele deixa escapar, mas sim pela ciência que ele produz no agregado.

A revisão por pares não é exclusiva da ciência e plasma decisões em esferas as mais variadas. De fato, eu não entraria em um avião cuja qualidade foi aferida por dois pareceristas selecionados aleatoriamente, mas tal analogia não é adequada. Minha confiança em voar dentro de algo mais pesado que o ar vem da suposição, muitas vezes implícita, de que uma aeronave é fruto da soma de tecnologias e descobertas científicas cuja validade foi comprovada milhares de vezes em diferentes fases de seu processamento. Os próprios sistemas de auditagem, por exemplo, podem ser lidos como estratégias de revisão por pares, pois funcionam a partir da convocação de especialistas encarregados de avaliar uma teoria ou o funcionamento de uma tecnologia de modo imparcial.

Em seus três séculos de existência, a revisão científica se transformou profundamente: migrou dos julgamentos públicos e coletivos para os anônimos e secretos, moderados pelas editorias científicas. Hoje ela vive um momento de transformação com a difusão dos servidores preprints, que funcionam como redes sociais abertas nas quais qualquer cientista pode “curtir” ou comentar um manuscrito. Mas esses novos sistemas não parecem estar substituindo a boa e velha revisão anônima por pares, mas complementando-a. Para fazer um paralelo um tanto batido, tal revisão é como a democracia representativa: apesar de suas inúmeras falhas, as alternativas ainda demandam testes mais robustos (de preferência, revisados por pares).

*

Luiz Augusto Campos é professor de sociologia do Instituto de Estudos Sociais e Políticos da UERJ, editor-chefe da revista acadêmica DADOS e pesquisador da diversidade no mundo acadêmico.

Inscreva-se na newsletter do Serrapilheira para acompanhar mais novidades do instituto e do blog Ciência Fundamental. Tem uma sugestão de pauta? Veja aqui como colaborar.