Primeiros resultados da Iniciativa Brasileira de Reprodutibilidade são divulgados em preprint
- Rede Brasileira de Reprodutibilidade
- 9 de abr.
- 5 min de leitura
Atualizado: há 23 horas
A Iniciativa Brasileira de Reprodutibilidade, projeto que ajudou a dar origem à Rede, acaba de publicar seus primeiros resultados em formato de preprint. O estudo, que contou com a participação de 56 laboratórios e 213 pesquisadores ao redor do país, conseguiu replicar com sucesso entre 15% e 45% de uma amostra de experimentos publicados por grupos brasileiros, dependendo do critério utilizado. Financiado pelo Instituto Serrapilheira, o projeto levou sete anos para ser concluído e é a primeira estimativa de replicabilidade de experimentos a nível nacional feita no mundo.
A Iniciativa se propôs a replicar 60 experimentos aleatoriamente selecionados em artigos publicados por grupos brasileiros usando três métodos tradicionais de laboratório da pesquisa biomédica: o ensaio de redução de MTT, que mede a viabilidade de células em cultivo; a reação em cadeia da polimerase com transcrição reversa (RT-PCR), usada para analisar a expressão de genes específicos; e o labirinto em cruz elevado, usado para avaliar o comportamento de ansiedade em roedores. Cada um dos experimentos foi enviado para replicação por 3 laboratórios diferentes do consórcio.
Das 180 replicações planejadas, 143 foram realizadas (com 37 canceladas por dificuldade na aquisição de insumos ou laboratórios não concluindo os experimentos). Destas, porém, apenas 97 foram consideradas replicações válidas do experimento original por um comitê de validação criado pelo projeto. As demais foram excluídas da análise principal por questões como desvios de protocolo, tamanho de amostra insuficiente, variabilidade biológica insuficiente entre unidades experimentais ou documentação inadequada.
Com isso, os resultados principais da Iniciativa incluem 97 replicações de 47 experimentos, com cada experimento replicado entre 1 e 3 vezes. A taxa de sucesso das replicações foi medida através de 5 critérios pré-estabelecidos, com os seguintes resultados:
a) 45% das estimativas de efeito originais estavam contidos no intervalo de predição de 95% de uma meta-análise das replicações (quando mais de uma foi realizada).
b) 26% das estimativas de efeito das replicações estavam contidos no intervalo de confiança de 95% (i.e. a “margem de erro”) do efeito original.
c) 19% das estimativas de efeito das replicações apresentaram um efeito agregado estatisticamente significativo (p < 0.05) no mesmo sentido do efeito original.
d) 15% dos experimentos tiveram pelo menos metade das replicações com um resultado estatisticamente significativo na mesma direção do original.
e) 40% das replicações tiveram pelo menos metade das replicações consideradas exitosas pelo laboratório que as realizou.
Uma limitação importante é o fato de que as replicações apresentaram uma variabilidade muito maior entre unidades experimentais do que os experimentos originais, fazendo com que várias delas tivessem um poder estatístico insuficiente para detectar a diferença entre grupos observada no experimento original. Para contornar a questão, o estudo realizou diversas análises alternativas utilizando diferentes filtros para selecionar os experimentos. Ao considerar somente os 27 experimentos com poder estatístico adequado mesmo ao considerar-se a variabilidade obtida na replicação, por exemplo, a taxa de significância estatística obtida nas replicações sobe para 30%.
Os tamanhos de efeito relativos (e.g. razões entre as medidas no grupo tratado e no grupo controle) foram, em mediana, quase 40% menores nas replicações do que nos artigos originais. Em contrapartida, os coeficientes de variação (que medem a variabilidade observada dentro de cada grupo) foram 2,5 vezes maiores, em particular nos experimentos in vitro com as técnicas de MTT e RT-PCR. As diferenças entre o experimento original e as replicações foram cerca de 34% maiores do que aquelas entre as replicações individuais, sugerindo que parte das razões para a baixa replicabilidade são específicas a experimentos publicados na literatura científica. Possíveis razões para isso incluem questões como o viés de publicação e a preferência de pesquisadores por resultados positivos.
Ainda assim, uma heterogeneidade considerável entre os resultados foi observada entre as replicações, mesmo que os laboratórios responsáveis fossem cegos em relação ao artigo original e não tivessem nenhum estímulo para buscar resultados específicos. Essa heterogeneidade, somada às dificuldades de inúmeros laboratórios em seguir seus próprios protocolos, fez com que a Iniciativa realizasse um processo de auto-avaliação para tentar levantar razões para desvios de protocolo e oportunidades para a melhora da reprodutibilidade dos experimentos.
Os resultados indicam que, em alguns casos, seguir à risca protocolos pré-estabelecidos é impossível, seja porque o modelo biológico funciona de forma diferente do previsto, seja porque condições externas - como limitações de infraestrutura, problemas com fornecedores de insumos ou fatores imponderáveis como a pandemia de COVID-19 forçam mudanças de planos. Em outros casos, porém, a não adesão aos protocolos se deveu a falhas de comunicação ou erros de interpretação, alguns dos quais são frutos da ausência de terminologias compartilhadas entre os laboratórios para descrever aspectos do desenho experimental, como a unidade experimental utilizada em estudos com culturas de células.
Para Olavo Amaral, coordenador da Iniciativa, esse é um dos fatores que indica que laboratórios acadêmicos estão pouco capacitados para trabalhar em conjunto - em grande parte porque a cultura de pesquisa na academia está mais voltada para pequenos grupos realizando abordagens exploratórias do que para grandes projetos confirmatórios como a Iniciativa. “Tínhamos a ideia de que juntar muitos laboratórios seria suficiente para estabelecer protocolos reprodutíveis, mas retrospectivamente, é como esperar que juntar muitas bandas de garagem fosse formar uma orquestra”.
Para Amaral, é importante que o meio acadêmico se estruture para desenvolver projetos confirmatórios, seja através de grandes consórcios como a Iniciativa ou de centros especializados em projetos do gênero que sejam capazes de utilizar um grau de rigor metodológico maior. “Não dá pra esperar que qualquer projeto científico utilize todas as práticas de reprodutibilidade possíveis, já que algumas são bastante custosas, e isso poderia engessar um lado exploratório que também é necessário na ciência. Mas é importante que possamos aumentar o rigor em casos selecionados, e nossa força de trabalho científica não está bem organizada ou capacitada para isso.”
Amaral destaca ainda que cientistas na área biomédica não costumam ser treinados em gerenciar grandes projetos nem estão acostumados a receber supervisão externa, e que ambas as coisas são importantes para que projetos de grande escala possam florescer. Para além da capacitação dos pesquisadores, medidas simples como a adoção de terminologias de consenso entre laboratórios para descrever unidades experimentais, grupos controle e outras questões de desenho experimental também constituem janelas de oportunidade para a melhora da reprodutibilidade.
Com isso, os resultados da Iniciativa acabam por validar uma das principais premissas por trás da Rede Brasileira de Reprodutibilidade - a de que melhorar a confiabilidade da ciência depende de ações coordenadas entre pesquisadores, instituições e outros atores, de forma a promover mudanças sistêmicas que incentivem e recompensem uma ciência mais rigorosa. Não por acaso, a Rede é talvez o principal legado da Iniciativa, e deve ajudar o projeto a ter continuidade, com artigos futuros dedicados a análises mais aprofundadas de seus resultados.