Reproducibilidade e questões éticas
Crise de reproducibilidade em Ciencias
psicologia: tentaram reproduzir 100 artigos publicados em 2015 nas 3 melhores revistas
medicina: do artigo da wikipedia
A survey on cancer researchers found that half of them had been
unable to reproduce a published result.[63]
A similar survey by Nature
on 1,576 researchers who took a brief online questionnaire on
reproducibility showed that more than 70% of researchers have tried
and failed to reproduce another scientist's experiments, and more than
half have failed to reproduce their own experiments. [64]Muitos sabem que nao da para reproduzir “tudo” mas quanto é “tudo”?
Há uma diminuição do tamanho do efeito nas replicações (sem fonte)
John Ioannidis é um dos pesquisadores mais conhecidos ligado a essa area
um livro da National Academy of Science (USA) sobre reprodutibilidade nas ciencias. pdf gratuito
p-valor = 0.05 significa que 1 em 20 resultados são nao reproduzível
vies de seleção em revistas. Se o resultado da nulo, muito provavelmente o artigo não sera publicado.
suponha que o tamanho de efeito é muito pequeno, e varias pessoas estao fazendo esse experimento em paralelo. Apenas a que por sorte tiver um p-valorM<0.05 sera publicado. Os outros não.
escolhas (malicia ou incompetencia) para baixar o p-value: remoção de dados, multiplas comparações, subset analysis
validade externa: escolha das amostras/sujeitos
falsificação/falsidade: modificação ou criação de dados falsos. Manipulação de imagens. Uso de técnicas não apropriadas de analise
um paper pode ser “retirado” de uma revista por varias razões https://retractionwatch.com/retraction-watch-database-user-guide/retraction-watch-database-user-guide-appendix-b-reasons/
falha em tornar os dados disponíveis (quando apropriado), copyright violations, falta de aprovação (de autores, de comissão de ética, etc).
plagio de texto (mas não necessariamente de dados)
auto retirado (notaram erros, contaminação, etc)
alguns são falsificação
Minha opinião, baseado nos níveis propostos em Guidelines for Transparency and Openness Promotion (TOP) https://ropensci.github.io/reproducibility-guide/sections/introduction/ e neste artigo
3a. Em computação, código e dados disponíveis (metodo bem explicado)
do artigo da wikipedia
A 2019 study reporting a systematic analysis of recent
publications applying deep learning or neural methods to recommender
systems, published in top conferences (SIGIR, KDD, WWW, RecSys), has
shown that on average less than 40% of articles are reproducible, with
as high as 75% and as little as 14% depending on the
conferences.
Moreover, all but one of the analysed articles proposed
algorithms that were not competitive against much older and simpler
properly tuned baselines. The article also highlights a number of
potential problems in today's research scholarship and calls for
improved scientific practices in that area.[75] These results follow
previous similar findings dating back to 2011.[76][77]sei de relatos do tipo, “todos sabem que não da para acreditar 100% nos resultados desta área”
isso pode ser a razão da segunda parte do texto acima (nao usar os melhores baselines)
Este artigo é importante no assunto (mas um pouco antigo)
Outro artigo mais moderno - 2018
Victoria Stodden parece ser a pesquisadora mais importante nessa area
este site contem algumas sugestões sobre reprodutibilidade
uma lista bibliografica sobre reprodutibilidade me computacoa
programas
dependencias e bibliotecas
ambiente computacional: Docker, VM, etc
ambiente de hardware(?)
existe o termo Repeatability que é mais forte que reprobucibility
e também:
dados
descrição e script para a manipulação dos dados (remoção, transformação, etc)
meta-dados
A FAPESP agora exige um plano de disponibilidade de dados para todos os projetos de pesquisa (acho que inclusive bolsa de mestrado e doutorado). https://fapesp.br/gestaodedados
vem da area de medicina.
princípios que regem o comportamento em relação a sujeitos de experimentos, e os direitos desses sujeitos.
existe uma combinação de questões éticas com proteção legal que confunde as coisas.
Principios:
sujeito pode escolher participar ou nao (mas nao pode escolher se é experimental ou controle)
sujeito tem direito de saber os riscos de participar do experimento
nao há punições em não participar (medicina)
sujeito pode sair do experimento quando quiser e sem punições (questão legal?)
sujeito pode ter acesso aos resultados finais do experimento(?)
sujeito de ser compensado por custos de participar do experimento (mas nao sei sobre pagamento)
sujeito deve receber cuidados apropriados apos o experimento (consequencias do experimento)
sujeito deve permanecer anonimo ou suficientemente anonimo
Termo de consentimento livre e esclarecido - TCLE.
Ainda mais complicado para pessoas e populações que não podem consentir (crianças, pessoas com debilidade cognitiva, populações indigenas)
Declaração de Helsinki de 2013
reduzir sofrimento dos animais
biopirataria
conhecimento das populações indigenas sobre remédios
Declaração de Taipei 2016 sobre bancos de dados em saúde (para pesquisa)
consentimento para ser incluido e consentimento para uso futuro
“That in case the data and material are made non-identifiable the individual may not be able to know what is done with their data/material and that they will not have the option of withdrawing their consent;”
anonimidade
Comite de etica em pesquisa (CEP) de cada universidade
Comite nacional de etica em pesquisa (CONEP)
Plataforma Brasil http://conselho.saude.gov.br/plataforma-brasil-conep?view=default e https://plataformabrasil.saude.gov.br/login.jsf
Submete um projeto ao CEP e registra ele na Plataforma Brasil (acho)
O projeto é aprovado, ou modificações são pedidas.
A aprovação de um CEP é necessaria na hora de submeter o artigo para publicação
(ACHO) Na UNICAMP, aprovação do CEP ou uma declaração que ela não é relevante é necessária para defender mestrado ou doutorado
- nao sei se TCC esta incluso
- não sei se ela é necessaria para computaçãoMINHA OPINIAO.
Intervenções médicas
causam prejuízo, sofrimento, risco dai a necessidade de consentimento, direito de sair do experimento, cuidados apos o experimento, etc
algumas informações médica causam prejuízo (doenças estigmatizadas: psiquiátricas, AIDs, epilepsia, etc) dai a necessidade de anonimidade/privacidade
Intervenções/experimentos em computação :
nao causam prejuízo direto
nao causam estigmatização
EU ACHO que em principio nao precisariam de TCLE. Mas não sei quanto a regras de revistas e da UNICAMP sobre a aprovação da CEP
Distinguir entre etica em pesquisa de computação e ética na prática profissional da computação por exemplo ACM
Se voce vai criar um conjunto de dados relativo a pessoas (imagens, videos, medidas do batimento cardiaco, respostas a perguntas, gravação da voz, etc) acho prudente pedir que as pessoas assinem uma autorização de divulgação dos dados (nao sei o termo oficial para isso).
Nao sei os termos desta autorização.
Acho
todos os autores merecem serem autores
todos os autores concordam com a submissão
não ha plagio de texto e figuras
não há submissões paralelas (?)
não há publicações prévias sobre o mesmo experimento (?)
declarar conflitos de interesse
etc
Outros principios não consensuais de publicação:
resultados nulos são resultados científicos e deveriam ser publicados (isso realmente nao é seguido) - impede que pesquisadores sigam linhas não frutíferas e da uma precisão maior na avaliação de um tratamento (meta-análise)
conhecimento cientifico deve ter acesso aberto livre e gratuito - publicações open access
pesquisa com financiamento público deve ter acesso aberto - política de dados da FAPESP mas ainda não há uma politica para publicação open access
…