Por Olavo Amaral

Como lidar com dados bons demais para serem verdade?

*

O coro do tratamento precoce da Covid-19 sofreu um baque há duas semanas com a notícia de que um ensaio clínico egípcio demonstrando a eficácia da ivermectina contra a doença foi retirado da plataforma de preprints Research Square. O estudo mostrava uma redução de 90% na mortalidade de pacientes com doença severa em relação a um grupo que recebera hidroxicloroquina.

Muita gente não havia levado o trabalho a sério já de início, fosse por vir de pesquisadores obscuros, por estar escrito em um inglês macarrônico ou por apresentar um resultado espetacular demais para ser verdade.  Nada disso, porém, impediu que ele fosse incluído em diversas metanálises defendendo a ivermectina, sendo responsável por boa parte do efeito positivo observado nelas.

O artigo só foi retirado de circulação depois que o jornalista inglês Jack Lawrence resolveu investigá-lo ao perceber sinais de plágio. Uma das versões do artigo incluía um link para os dados originais —com acesso pago e protegido por senha. Num lance de sorte, Lawrence chutou um pouco criativo “1234” e viu a planilha do Excel com os dados brutos se materializar em sua tela.

Daí em diante, o trabalho do “policial de dados” Nick Brown mostrou não só inconsistências, mas evidências fortes de fraude: diversos pacientes aparentavam ser clones criados por copy-paste, com alguns dados modificados para disfarçar. Como resultado, a plataforma removeu o artigo e os autores ainda não se manifestaram.

A história é ilustrativa para analisar outro caso que vem ganhando espaço na mídia brasileira. Em março, uma equipe de pesquisadores liderada pelo endocrinologista Flávio Cadegiani divulgou em entrevista coletiva resultados espetaculares da proxalutamida, um medicamento antiandrogênico originalmente desenvolvido para tratar o câncer de próstata, que teria levado a uma redução de 92% na mortalidade de pacientes internados com Covid-19.

O grau de sucesso logo chamou a atenção de críticos, que o apontaram como improvável. Também contribuíram para as suspeitas a demora na publicação dos dados (que só foram surgir como preprint mais de três meses depois), a alta mortalidade no grupo placebo, o recrutamento meteórico de mais de seiscentos pacientes em menos de um mês e indícios de desvios em relação ao protocolo aprovado pelo comitê de ética.

Parte do ceticismo, porém, se deve a fatores não relacionados aos dados. Desde o início da pandemia, Cadegiani já havia alegado resultados positivos para o tratamento precoce com hidroxicloroquina, ivermectina, nitazoxanida e dutasterida, além da própria proxalutamida em pacientes ambulatoriais –uma sequência de sucessos no mínimo improvável. Seu colaborador Ricardo Zimerman foi convidado da bancada governista na CPI da pandemia e virou influenciador digital nas redes sociais e mídias de direita, marcando presença em canais como o de Osmar Terra. Vale ressaltar ainda que as repetidas menções do presidente à proxalutamida não chegam a funcionar como chancela acadêmica.

Seriam essas boas razões, porém, para fechar os olhos para um estudo que alega mais de 90% de eficácia para uma doença que causa milhões de mortes? O lema da Royal Society, afinal, é “nullius in verba” (“nas palavras de ninguém”): dados científicos deveriam ser mais importantes do que quem os apresenta.

A julgar pela recepção ao artigo, porém, a impessoalidade anda em baixa. Em matéria da revista Science, o cardiologista e guru da medicina digital Eric Topol afirma que os resultados são “bons demais pra serem verdade” e que “quase não há intervenções na história da medicina com benefícios dessa magnitude”. A mesma matéria menciona que o New England Journal of Medicine rejeitou o artigo com o argumento de que “os resultados são inesperadamente bons”, o que levaria à necessidade de revisão dos dados primários –que a revista alega não ter capacidade de fazer.

Após ter sua reputação exposta no escândalo da Surgisphere, é compreensível que o New England Journal não queira se arriscar com artigos que levantam suspeitas. Ainda assim, a heurística da decisão parece injustificável — bem como a afirmativa de que a maior revista médica do mundo não tem capacidade para checar os dados originais do estudo, que Cadegiani alega ter oferecido ao editor.

Dito isso, a oferta não parece valer para todo mundo. Ainda que o preprint informe que os dados estão disponíveis mediante solicitação justificada, meu pedido para recebê-los esbarrou na resposta de que “os autores preferem não compartilhá-los neste momento” –uma falsa disponibilidade que faz eco ao link protegido por senha do arquivo egípcio. Ao ser questionado no Twitter, Cadegiani justificou a negativa pela “não equidade de tratamento a diferentes estudos”, sugerindo que o fato de eu não ter solicitado dados de outros trabalhos colocava a minha imparcialidade em questão.

Por incrível que pareça, a recusa em disponibilizar dados originais de um estudo é uma realidade comum na ciência acadêmica. Na impossibilidade de acesso a eles, a crença nas afirmativas de um artigo quase sempre se baseia na palavra dos autores. As palavras podem parecer de ninguém, mas como dizia um comercial viral de algumas décadas atrás, “la garantía soy yo”. O que faz com que a reputação de quem fala conte, e muito, pra decidir no que acreditar.

Com isso, o debate acaba migrando para o jornalismo investigativo –ou para as redes sociais, onde virulentos argumentos “ad hominem” de ambos os lados tentam resolver uma questão insolúvel atacando as reputações de autores e críticos. E como em qualquer tema, cada grupo acabará encontrando a verdade que lhe convém, levando à polarização entre médicos e leigos.

O primeiro passo para a solução do problema é óbvio –os dados anonimizados de um estudo devem estar ao alcance de qualquer um que queira analisá-los. Ainda que estes dados sejam normalmente requisitados por agências reguladoras, e que boa parte dos artigos alegue que eles podem ser obtidos, eles raramente estão disponíveis de fato.

Mesmo com dados abertos, porém, fraudes mais bem feitas do que o tosco copy-paste do artigo egípcio podem ser difíceis de detectar. Com isso, é preciso evoluir para sistemas de auditoria que permitam checar se o que está escrito em um artigo reflete a realidade. Num mundo em que milhões de votos secretos são contados em horas, não deveria ser difícil verificar se pessoas que tomaram um medicamento num estudo estão vivas ou mortas. Estranhamente, porém, essa não parece ser uma prioridade na academia, que se satisfaz com um sistema baseado na confiança que acaba por semear a discórdia.

Eventualmente saberemos se as afirmações de Cadegiani e seus colegas são verdadeiras –a proxalutamida foi aprovada pela Anvisa para novos testes, e o governo paraguaio concedeu uma autorização de emergência para o uso do medicamento. Até lá, porém, passaremos vários meses prejudicando milhares de pessoas, seja por privá-las de um tratamento efetivo, seja por vender as falsas esperanças e os efeitos colaterais de um fármaco ineficaz e seus análogos comerciais, que já vêm sendo prescritos de modo “off-label” no Brasil.

Ambas as alternativas são inadmissíveis e atestam o fracasso da ciência acadêmica em exercer o grau mais básico de controle de qualidade –o de saber se um dado publicado é verdadeiro. Algo que deveria ser um direito de qualquer um, sem a necessidade de senhas, investigações ou súplicas aos autores.

*

Olavo Amaral é professor do Instituto de Bioquímica Médica Leopoldo de Meis da UFRJ e coordenador da Iniciativa Brasileira de Reprodutibilidade.

Inscreva-se na newsletter do Serrapilheira para acompanhar mais novidades do instituto e do blog Ciência Fundamental.