Por Olavo Amaral

Rankings de cientistas são populares, mas quem avalia a contribuição da ciência?

*

Pesquisadores da Universidade de Stanford e das empresas SciTech e Elsevier publicaram no mês passado um ranking atualizado dos 100 mil cientistas que mais receberam citações em artigos em 2019, bem como nos últimos 22 anos. A classificação foi recebida com festa por universidades, que se apressaram a divulgar quantos de seus professores fazem parte da lista: citações são uma régua popular de influência ou “impacto” acadêmico, e tanto instituições como cientistas costumam ser obcecados por este tipo de métrica. Observadores mais atentos também viram sinais positivos para a ciência brasileira –afinal, o país passou de 600 cientistas na lista dos últimos 22 anos para 853 na de 2019.

A contabilização de citações, porém, carrega consigo uma série de controvérsias. Por um lado, é uma medida melhor de relevância acadêmica do que o número de artigos ou a notoriedade da revista em que são publicados –índices que infelizmente ainda compõem o grosso da avaliação de pesquisadores no Brasil. Mas também tem limitações importantes, pois varia de acordo com a área de pesquisa (cientistas de áreas populares são mais citados) e as parcerias (colaborações com colegas de prestígio são mais citadas), além de se prestar a manipulações (como autocitações e conchavos de citações recíprocas).

Mesmo essas críticas, no entanto, não dão conta do problema principal. Citações podem ser uma forma razoável de medir impacto acadêmico, mas mesmo quando usadas de forma crítica elas não medem mais do que isso. Assim, classificar cientistas por citações mostra quem tem mais prestígio interno em determinada área, mas diz pouco sobre a qualidade e importância de suas contribuições para a sociedade.

Dessa forma, embora se possa comemorar o crescimento do número de brasileiros na lista, tal fato revela pouco sobre a real importância da ciência nacional. O número dá uma ideia de nossa posição relativa na corrida acadêmica –na qual ainda estamos no pelotão intermediário, bem atrás das potências científicas do mundo desenvolvido. Mas a cifra não ajuda muito a entender para onde a corrida está nos levando.

É sabido que a ciência acadêmica possui inúmeros problemas estruturais, muitos dos quais fomentados pela hipercompetitividade. Levantamentos em áreas distintas mostram que grande parte dos achados publicados em artigos científicos não são reprodutíveis por outros pesquisadores — e nem por isso deixam de ser citados. Com isso, contar as citações de um pesquisador sem confirmar a confiabilidade do que ele publica pode ser um tiro no pé — se um dado não é confiável, impacto passa a ser um câncer, e não uma virtude.

Afora isso, citações em artigos medem a influência dentro do mundo acadêmico, o que diz pouco sobre a contribuição de uma pesquisa –ou de um campo científico– para a sociedade. A cultura da autorregulação por parte da comunidade acadêmica vem de longe — no modelo promovido pelo americano Vannevar Bush nos anos 1950, o investimento na pesquisa básica movida pelos interesses dos próprios cientistas seria a maneira mais inteligente de colher os frutos da ciência a longo prazo.

Não é difícil imaginar, porém, que a autorregulação possa levar todo um campo científico a se perder atrás de unicórnios. Há revistas científicas dedicadas ao criacionismo ou à homeopatia, com artigos citados por pesquisadores destas áreas, mesmo que tais teorias girem em torno de premissas que ao que tudo indica são fisicamente impossíveis. Não haveria dentro da ciência dita “séria” exemplos de becos acadêmicos igualmente sem saída, porém mais difíceis de identificar?

O americano Daniel Sarewitz descreve a pesquisa acadêmica como “uma empreitada onanista digna de Swift ou Kafka”, com cientistas produzindo dados para publicar artigos para gerar citações para obter financiamento para produzir mais dados. Ele ilustra a imagem com os inúmeros modelos animais de doença de Alzheimer, em que foram desenvolvidas centenas de terapias eficazes para tratar camundongos, gerando artigos, citações e reputação a seus autores. Praticamente nada disso, porém, reverteu em benefício de seres humanos, levando a suspeitas de que estivemos estudando alterações que podem ter pouco a ver com o Alzheimer real.

É claro que Sarewitz pode acabar mordendo a língua: nada impede que os modelos deem frutos em mais 10 ou 20 anos, até porque, na média, o consenso da comunidade acadêmica acerta mais do que erra. Com isso, rankings de citações não são inúteis, e ter influência acadêmica, mesmo sem a garantia da aplicabilidade da pesquisa, costuma ser melhor do que não tê-la. Mas não seria necessário avaliar a qualidade e os resultados práticos da ciência de uma forma mais direta?

Nossa contribuição nesse sentido é a Iniciativa Brasileira de Reprodutibilidade, que tenta reproduzir achados aleatórios publicados por cientistas no Brasil nos últimos 20 anos, por meio de uma rede de mais de 60 laboratórios. O projeto, porém, limita-se a um conjunto restrito de métodos da pesquisa biomédica, e mal começa a arranhar o problema da reprodutibilidade. Afora isso, ele deixa de fora questões tão ou mais importantes, como o impacto social da pesquisa realizada, para o qual carecemos de bons indicadores na maior parte das áreas.

Com isso, talvez devêssemos nos preocupar menos em subir nos rankings de uma ciência acadêmica autocentrada, hipercompetitiva e pouco transparente –até porque ela é um bonde que frequentemente vai para o lado errado. Talvez valha mais aproveitar nosso estofo científico para ajudar a construir um bonde melhor, alinhado a valores mais saudáveis.

Mais do que ocupar a 15ª posição em rankings internacionais de citações, um motivo mais expressivo de celebração poderia ser o fato de, segundo um levantamento de 2018, o Brasil ser campeão mundial em porcentagem de artigos em acesso aberto. O título se deve em grande parte à Plataforma Scielo, por meio da qual conseguimos criar uma infraestrutura de publicação científica mais barata e racional do que o mercado editorial acadêmico, em que cientistas entregam seu trabalho de graça para corporações lucrarem colocando-o atrás de paywalls. O próprio governo brasileiro sabota o esforço, no entanto, ao exigir que os pesquisadores publiquem em revistas estrangeiras de prestígio –e frequentemente paguem caro por isso.

Mas não se pode esperar que a busca de formas mais relevantes de avaliar a ciência venha do mundo acadêmico, dominado por pesquisadores obcecados por métricas que lhes permitem sobreviver no sistema e manter a roda girando. Pelo contrário, criar uma ciência mais saudável envolve trazê-la para o debate público, e estar aberto à comunicação bilateral com outros agentes. Como fazer isso de forma madura em tempos de negacionismo científico constitui um equilíbrio delicado. Não é difícil supor que a crítica à autorregulação da ciência possa sair pela culatra quando há governos sedentos por desculpas para acabar com ela.

Ainda assim, não podemos esperar que as trevas se dissipem para iniciar a discussão. Enquanto ela engatinha, rankings acadêmicos valem uma espiada, mas não mais do que isso, já que citações não tornam verdade a palavra de ninguém –como mostra seu uso canhestro como argumento ad hominem em recentes manifestos pró-hidroxicloroquina. Para nossa sorte ou azar, é preciso ganhar a confiança do público com mais do que isso para fazer diferença no mundo real.

*

Olavo Amaral é professor do Instituto de Bioquímica Médica Leopoldo de Meis da UFRJ e coordenador da Iniciativa Brasileira de Reprodutibilidade.

Inscreva-se na newsletter do Serrapilheira para acompanhar mais novidades do instituto e do blog Ciência Fundamental.