Aula 6: Dados, Viés e Discriminação Algorítmica — Da Coleta à LGPD
Computação e Sociedade
1 Revisão e Introdução: O Proxy Voltou
1.1 Revisão: o que a Aula 5 deixou plantado
A Aula 5 apresentou o kit de ferramentas com que uma equipe de produto decide o que construir e como saber se uma mudança “funcionou”. Três resultados dela são o ponto de partida de hoje, e vale relembrar cada um com o seu porquê.
Primeiro: o método é neutro, a métrica não. Um teste A/B sorteia quem vê cada versão e compara um número entre os grupos; o procedimento estatístico não tem preferência sobre qual número é comparado — tempo de leitura, cancelamentos, tarefas concluídas. A escolha da métrica, porém, já decide a favor de quem o produto será otimizado, antes de qualquer teste rodar.
Segundo: toda métrica é um substituto (proxy) do que realmente se quer medir, e um proxy pode medir coisas diferentes para grupos diferentes. O caso que a Aula 5 usou para mostrar isso vem de Varshney (2022, cap. 10, pp. 133–134): uma seguradora de saúde precisa decidir quais pacientes recebem acompanhamento clínico extra (care management), um recurso limitado. A escolha aparentemente óbvia de proxy para “quem precisa de mais cuidado” é o histórico de custo ou de utilização do sistema de saúde — quem usa mais, presumivelmente está mais doente. O problema é que pacientes negros tendem a estar mais doentes do que pacientes brancos para o mesmo nível de utilização, por razões estruturais do próprio sistema de saúde. Um algoritmo que usa custo como sinônimo de necessidade subestima, então, a necessidade dos pacientes negros — sem que a raça apareça como variável em lugar nenhum do cálculo.
Terceiro: consentimento genérico não é consentimento específico. No caso Kramer, Guillory & Hancock (2014), a Política de Uso de Dados do Facebook foi tratada como consentimento informado para um experimento emocional em quase 700 mil pessoas. A lacuna entre aceitar termos de uso e concordar, de forma específica, em participar de um estudo é uma questão de poder: quem coleta escolhe as condições; quem é coletado, na prática, só pode aceitar ou ficar de fora.
1.2 Ideia central: o dado é o resultado de uma cadeia de decisões
Até aqui tratamos o proxy como um exemplo. Hoje ele vira a regra geral: nenhum dado é um fato bruto da natureza. Alguém decidiu o que medir (o custo do tratamento, não a gravidade da doença), de quem (só os membros daquela seguradora), quando (naquela estação, naquele ano) e como limpar (descartar as linhas incompletas). Cada uma dessas decisões pode carregar viés, e o viés já está no dado antes de qualquer algoritmo tocá-lo. A primeira metade da aula dá nome a cada elo dessa cadeia. A segunda metade pergunta o que o direito brasileiro — a Lei Geral de Proteção de Dados (LGPD, Lei nº 13.709/2018) — exige de quem coleta e usa esse dado, e o que ela deixa de fora.
- Por que a ideia de que “o dado fala por si” é falsa — e o que um dado realmente registra?
- Em que ponto da cadeia do dado o viés entra, e como reconhecê-lo antes de treinar qualquer modelo?
- O que a LGPD exige de quem coleta e usa dados pessoais, o que ela garante ao titular e o que ela deixa de fora?
- Quando um viés é encontrado: corrigir o modelo ou corrigir a coleta?
1.3 Problema motivador: onde o viés entrou?
Dois casos abrem a aula. O primeiro é a seguradora da Aula 5. Ninguém digitou “raça” em nenhuma linha do modelo — e ainda assim o algoritmo trata pacientes negros de forma sistematicamente desfavorável. Onde, exatamente, o viés entrou? Hoje respondemos com precisão, elo por elo.
O segundo caso é um sistema de recrutamento da Amazon, relatado pela Reuters em 2018 (Dastin, 2018). A equipe começou a construir, em 2014, um programa para pontuar currículos de candidatos; por volta de 2015 percebeu que a ferramenta não avaliava vagas técnicas de forma neutra em relação ao gênero, e o projeto foi encerrado por volta de 2017. O modelo tinha sido treinado com currículos enviados à empresa ao longo de dez anos — em uma indústria dominada por homens — e aprendeu a penalizar currículos que continham a palavra “women’s” (como em “capitã do clube de xadrez feminino”). Ninguém programou o modelo para ser sexista; ele aprendeu, corretamente do ponto de vista estatístico, o padrão histórico das contratações passadas. (Este caso vem de reportagem, não das duas fontes centrais da aula; ele é citado aqui apenas como narrativa de abertura.)
Antes de seguir, uma pergunta de sondagem para pensar em voz alta: se o algoritmo não errou na matemática, de quem foi o erro?
2 De Onde Vem o Dado?
Para localizar o viés, precisamos primeiro saber o que é o dado que entra no modelo. Varshney (2022, cap. 4) organiza essa pergunta em duas dimensões: a modalidade do dado (que forma ele tem) e a fonte do dado (de onde e para que ele veio). Ele acompanha, ao longo do capítulo, um caso-fio: a organização (fictícia) Unconditionally, que distribui transferências de renda a famílias muito pobres na África Oriental e quer construir um modelo para identificar as famílias mais pobres — a partir de imagens de satélite, registros do censo nacional, pesquisas domiciliares, registros de chamadas de celular, transações de dinheiro móvel e redes sociais.
2.1 Modalidades: a forma do dado
Uma modalidade é “uma categoria de dado definida por como ele é recebido, representado e entendido” (Varshney, 2022, cap. 4, p. 42, tradução livre). A taxonomia do livro divide o dado em estruturado (tabelas estáticas, séries temporais, fluxos de eventos, grafos) e semiestruturado (sinais como imagem, áudio e vídeo; sequências como linguagem natural, sequências biológicas e código-fonte). No caso da Unconditionally, a pesquisa domiciliar é uma tabela estática; as transações de dinheiro móvel são um fluxo de eventos (cada cliente gera um evento no seu próprio ritmo, sem relógio comum); as imagens de satélite são sinais; as postagens de redes sociais são texto.
A diferença entre as duas grandes famílias importa para onde auditar:
“Quaisquer vieses presentes nos conjuntos de dados de fundo, muito grandes, são herdados por modelos ajustados a um conjunto de dados específico do problema, por causa do aprendizado de representações originalmente opaco e incontrolável que leva ao modelo de fundação. Assim, com dados semiestruturados, é importante avaliar não apenas o conjunto de dados específico do problema, mas também o conjunto de dados de fundo. Com conjuntos de dados estruturados, é mais crítico analisar a preparação dos dados e a engenharia de atributos.” (tradução livre, p. 43)
Em português direto: numa tabela, o risco está principalmente no que a equipe fez com os dados (limpou, agregou, transformou). Numa imagem ou num texto tratados por um modelo pré-treinado, parte do viés vem embutida de fora — do enorme conjunto de dados em que o modelo-base foi treinado, que a equipe nunca viu. E há um aviso que vale para os dois casos: uma tabela pode parecer “oficial, imaculada e sem falhas à primeira vista, por causa de sua estrutura organizada”, mas “pode esconder todo tipo de suposições falsas, erros, omissões e vieses” (Varshney, 2022, cap. 4, p. 42, tradução livre).
2.2 Fontes: para que este dado foi criado?
A segunda dimensão é a proveniência. Varshney (2022, cap. 4, §4.2) distingue cinco categorias, cada uma com o seu risco típico:
| Fonte | O que é | Exemplo na Unconditionally | Risco típico |
|---|---|---|---|
| Coletado com propósito | Pesquisas, censos, experimentos desenhados para a pergunta | Censo nacional do Quênia | Não resposta e manipulação de dados; aparência de dado “limpo” |
| Administrativo | Registro das operações rotineiras de uma organização, criado por razões não estatísticas | Registros de chamadas; transações de dinheiro móvel | O rótulo desejado não existe: só há um proxy dele; resquícios de preconceito histórico |
| Social | Dado sobre pessoas ou criado por pessoas (postagens, redes de amizade, buscas) | Postagens em redes sociais | Participação desigual entre populações; gírias, dialetos e vieses no texto |
| Crowdsourcing | Trabalhadores contratados por plataforma para rotular dados | Rotulagem de tipos de telhado em imagens de satélite | Rotuladores sem contexto; salários baixos; tentativas de burlar o sistema |
| Aumento de dados | Transformações ou geração sintética para ampliar o conjunto | (não aplicável ao caso) | Subjetividade do desenvolvedor; colapso de modo em geradores |
2.2.1 Os riscos de cada fonte, em detalhe
A coluna “risco típico” da tabela é curta de propósito. Cada célula resume um mecanismo específico, descrito por Varshney (2022, cap. 4, §4.2, pp. 44–46). Vale abri-los um a um.
Coletado com propósito: o risco de baixar a guarda. Censos, pesquisas e experimentos são desenhados para responder à pergunta estatística, e por isso têm “o verniz de serem bem desenhados e com viés mínimo” (Varshney, 2022, p. 44, tradução livre). Mas o livro aponta dois problemas concretos. O primeiro é a não resposta e a manipulação: se a Unconditionally usar o censo nacional do Quênia como fonte de atributos ou de rótulos, pode sofrer com pessoas que não responderam (e quem deixa de responder raramente é um sorteio aleatório da população) e com manipulação maliciosa dos números. O segundo, nos dados vindos de experimentos científicos, é a falta de confiança na própria prática científica: o uso da análise de dados para encontrar padrões que são apresentados seletivamente como estatisticamente significativos (p-hacking e o “problema da gaveta”, em que resultados que não deram certo nunca são publicados), a falta de reprodutibilidade e a fraude declarada. O risco típico, portanto, é duplo: os problemas existem, e a aparência de dado “limpo” faz a equipe deixar de procurá-los.
Administrativo: o rótulo que não existe. Como é o registro das operações de uma organização, sujeito a auditoria, o dado administrativo costuma estar “bastante correto” (p. 44). O risco está em outro lugar, e são quatro. (i) Só há proxy do rótulo: a especificação do problema pede um rótulo (a necessidade de cuidado), e a base só tem colunas que são proxies dele (o custo do atendimento); o livro insiste que esse descompasso pode ser “devastador para certos indivíduos e grupos, mesmo que seja um proxy decente em média”. (ii) Granularidade diferente: o registro pode estar em uma unidade diferente da que o problema exige (números de telefone individuais em registros de chamadas, quando o problema é sobre a atividade de todo um domicílio). (iii) Silos: dados administrativos de equipes diferentes da mesma organização são difíceis de integrar. (iv) Traços de preconceito histórico: o dado registra decisões passadas e, com elas, o que havia de injusto nelas.
Social: dado feito para outra coisa, e nem todos participam. Postagens, redes de amizade e buscas são criadas “para comunicar, buscar emprego e manter amizades” (p. 45, tradução livre), não para responder a um problema de predição; por isso a qualidade, a precisão e a confiabilidade tendem a ser menores do que as do dado administrativo. O texto pode conter gírias, dialetos não padronizados, erros de escrita e os vieses de quem escreve, e o conteúdo informativo de cada ponto individual pode ser baixo. Há ainda um viés de amostragem estrutural: “nem toda população participa das plataformas sociais na mesma medida”, de modo que populações marginalizadas podem ser invisíveis. Uma organização que procura as famílias mais pobres a partir de redes sociais corre o risco de só enxergar quem tem acesso à rede.
Crowdsourcing: quem rotula, e com que incentivo e contexto. O aprendizado supervisionado precisa de rótulos, e dado sem rótulo é muito mais fácil de obter; o crowdsourcing preenche a lacuna contratando pessoas para rotular. O livro lista quatro riscos: (i) o incentivo é frequentemente monetário, e os trabalhadores às vezes se comunicam fora da plataforma para burlar o sistema, o que também enviesa os rótulos; (ii) os salários podem ser baixos, o que levanta uma preocupação ética à parte da qualidade do dado; (iii) os trabalhadores podem não conhecer a tarefa nem o contexto social (o caso dos telhados, na próxima seção, é o exemplo); (iv) uma tarefa mal desenhada produz dado ruim, mesmo com mecanismos de controle de qualidade da plataforma. Em projetos de impacto social, os trabalhadores podem ser mais qualificados e intrinsecamente motivados, mas ainda podem desconhecer o contexto ou ter vieses próprios.
Aumento de dados: a subjetividade de quem aumenta. Quando faltam dados, é comum ampliá-los sem coletar mais: girar, espelhar ou deformar imagens, trocar palavras por sinônimos. Essas transformações são heurísticas, e “introduzem algum nível de subjetividade [do desenvolvedor], o que pode gerar certos vieses” (p. 45, tradução livre). A outra via é treinar um gerador de dados a partir do conjunto original. O risco específico é o colapso de modo (mode collapse): o gerador produz amostras de uma só parte da distribuição dos dados, e o conjunto resultante fica com vieses graves, porque deixou de ser tão diverso quanto o original (p. 46).
A tese mais importante dessa seção é a seguinte:
“Você pode pensar que a maior parte do dado usado para criar sistemas de aprendizado de máquina é coletada de forma expressa e cuidadosa para o propósito do problema, mas estaria enganado. Na verdade, a maior parte do dado usada em sistemas de aprendizado de máquina é reaproveitada.” (tradução livre, p. 44)
Se o dado é reaproveitado, ele foi feito para outra pergunta — e o descompasso entre a pergunta original e a pergunta do modelo é onde o viés costuma morar. Varshney descreve esse descompasso para o dado administrativo:
“O mais importante a ter em mente sobre dado administrativo é que ele pode não corresponder exatamente ao problema preditivo que você quer resolver. A especificação do problema de aprendizado de máquina pode pedir um certo rótulo, mas o dado administrativo pode conter colunas que só podem ser proxies desse rótulo desejado. Esse descompasso pode ser devastador para certos indivíduos e grupos, mesmo que seja um proxy decente em média.” (tradução livre, p. 44)
Aqui está, portanto, a resposta geral ao caso da seguradora: o registro de sinistros é dado administrativo — foi criado para a seguradora reembolsar prestadores de serviço, não para medir a gravidade de uma doença. O modelo pediu um rótulo (“quem precisa de cuidado”) que o dado só oferece por meio de um proxy (“quanto foi gasto”). E o proxy é “decente em média” — o que esconde que, para um grupo específico, ele é sistematicamente pior.
Os dados sociais e os de crowdsourcing têm seus próprios pontos cegos. Nos dados sociais, “não é toda população que participa das plataformas sociais na mesma medida. Em particular, populações marginalizadas podem ser invisíveis em alguns tipos de dado social” (Varshney, 2022, cap. 4, p. 45, tradução livre). No crowdsourcing, quem rotula pode não ter o contexto da tarefa; o livro dá um exemplo que voltaremos a usar no Bloco 1.
Uma equipe de ciência de dados de um banco quer prever o risco de inadimplência de clientes que nunca tiveram crédito. Ela tem à mão um enorme volume de dados de uso de um aplicativo de entregas do mesmo grupo empresarial: horários de pedido, endereços, valor médio, cancelamentos. Antes de olhar para qualquer algoritmo, que perguntas a equipe deveria fazer sobre esse conjunto de dados — e por que “temos muito dado” não responde nenhuma delas?
Dica: pense em para que esse dado foi criado e em quem aparece (e quem não aparece) nele.
- □ Se o aplicativo de entregas fosse usado em proporção igual por todas as faixas de renda, o descompasso entre “dado de uso do aplicativo” e “capacidade de pagar um crédito” deixaria de ser um problema de proxy.
- □ No limite em que o banco tivesse dados de bilhões de pedidos de entrega, o risco de o conjunto não representar bem clientes que nunca usam o aplicativo desapareceria, porque o volume compensa a falta de cobertura.
- □ O mesmo raciocínio se aplicaria a um modelo de triagem de currículos treinado sobre o histórico de contratações de uma empresa: o histórico foi criado para registrar quem foi contratado, não para medir quem seria bom no cargo.
- □ Como a maior parte do dado usado em aprendizado de máquina é reaproveitada, conclui-se que todo modelo treinado com dado reaproveitado é necessariamente enviesado a ponto de ser inutilizável.
3 Anatomia do Viés: Quatro Espaços, Três Validades, Cinco Vieses
A pergunta “onde o viés entrou?” só tem resposta útil se o dado tiver um mapa. O modelo de Varshney (2022, cap. 4, §4.3) é esse mapa: em vez de uma lista solta de “tipos de viés”, ele descreve o caminho que o dado percorre — do que se quer medir até o que entra no algoritmo — e mostra qual viés aparece em cada trecho do caminho, e qual tipo de validade ele ameaça.
3.1 O mapa: quatro espaços e três passagens
O livro imagina quatro “espaços” em que uma versão do dado existe (Varshney, 2022, cap. 4, pp. 46–47):
- Espaço do construto: “um espaço abstrato, não observado e teórico, no qual não há vieses” (tradução livre, p. 47). É o que queríamos medir, no mundo ideal: a necessidade real de cuidado de cada paciente, a real situação de pobreza de cada família.
- Espaço observado: o que de fato conseguimos medir — os atributos e rótulos concretos (o custo do tratamento, o tipo de telhado visto no satélite). A passagem do construto para o observado é a medição.
- Espaço bruto: a amostra concreta que coletamos de uma população específica no espaço observado. A passagem é a amostragem.
- Espaço preparado: o dado final, depois de limpeza, agregação e transformações, que treina e testa o modelo. A passagem é a preparação.
A legenda da Figura 4.3 do livro resume a associação entre passagens, vieses e validades:
“O processo de medição contém viés social, que ameaça a validade de construto. O processo de amostragem contém viés de representação e viés temporal, que ameaçam a validade externa. O processo de preparação de dados contém viés de preparação de dados e envenenamento de dados, que ameaçam a validade interna.” (tradução livre, p. 46)
3.2 As três validades
Antes dos vieses, os critérios que eles ameaçam. O livro define três (Varshney, 2022, cap. 4, p. 47):
“Há três tipos principais de validade: (1) validade de construto, (2) validade externa e (3) validade interna. Validade de construto é se o dado realmente mede o que deveria medir. Validade externa é se analisar dados de uma dada população generaliza para outras populações. Validade interna é se há algum erro no processamento dos dados.” (tradução livre, p. 47)
A utilidade do modelo é separar tipos de falha que, na conversa cotidiana, são todos chamados de “dado enviesado”. Um dado com validade de construto ruim mede a coisa errada (custo em vez de necessidade). Um dado com validade externa ruim mede a coisa certa na população errada (dados de um país usados em outro). Um dado com validade interna ruim mede a coisa certa na população certa, mas foi estragado no caminho (linhas descartadas, unidades misturadas). Cada uma pede uma correção diferente.
3.3 Os cinco vieses, um por um
Varshney (2022, cap. 4, §4.3) observa que há muitas categorizações de viés e, “por simplicidade”, foca em cinco. Cada subseção abaixo apresenta um, com o caso do próprio livro.
3.3.2 Viés de representação (ameaça a validade externa)
O segundo viés entra na amostragem: a amostra que temos não representa a população sobre a qual queremos decidir.
“Um exemplo específico de viés de seleção é grupos não privilegiados serem sub-representados ou sobre-representados no conjunto de dados, o que leva os modelos de aprendizado de máquina a ignorar as características especiais deles para satisfazer uma métrica de desempenho média, ou a focar demais neles, levando a desvantagem sistemática. Ao avaliar um dos conjuntos de dados de telefonia móvel da Unconditionally, os engenheiros de dados descobriram que os idosos estavam sub-representados porque a posse de celular era menor nessa subpopulação.” (tradução livre, p. 48)
“Representatividade não é apenas uma questão de presença e ausência de pontos de dados, mas um conceito mais amplo que inclui, entre outros, diferenças sistemáticas na qualidade dos dados.” (tradução livre, p. 48)
Duas ideias importantes na citação. A primeira: o modelo otimiza uma métrica média, e um grupo pequeno no conjunto de dados pesa pouco nessa média — o modelo “ignora suas características especiais” porque isso quase não custa em desempenho global. A segunda: representatividade não é só quantos pontos há de cada grupo, mas também quão bons são esses pontos. O livro cita ainda que o censo nacional pode ter contado menos pessoas em alguns condados porque a autoridade estatística não alocou recenseadores suficientes — o que é uma falta de cobertura e uma diferença de qualidade.
3.3.3 Viés temporal (ameaça a validade externa)
O terceiro viés também entra na amostragem, mas na dimensão do tempo: o mundo muda depois que o dado é coletado.
“Deslocamento de covariáveis (covariate shift) refere-se à distribuição dos atributos, deslocamento da probabilidade a priori (prior probability shift) refere-se à distribuição dos rótulos, e deriva de conceito (concept drift) refere-se à distribuição condicional dos rótulos dado os atributos.” (tradução livre, p. 48)
O exemplo do livro é simples: algumas localidades foram fotografadas por satélite na estação chuvosa e outras na estação seca — as imagens dos mesmos telhados têm aparência diferente, e um modelo treinado com uma mistura de estações pode confundir a estação com a pobreza. O mesmo vale para um modelo de crédito treinado antes de uma crise econômica e aplicado depois: a distribuição dos clientes (covariáveis), a proporção de inadimplentes (probabilidade a priori) e a relação entre renda e inadimplência (conceito) podem ter mudado, cada uma separadamente.
3.3.4 Viés de preparação (ameaça a validade interna)
O quarto viés entra depois que o dado já foi coletado: na preparação, escolhas aparentemente técnicas de limpeza podem introduzir viés novo.
“Por exemplo, os engenheiros de dados da sua equipe precisam fazer algo com linhas que contêm valores ausentes. Se seguirem a prática comum de descartar essas linhas e a ausência estiver correlacionada com um atributo sensível, como um atributo de dívida ausente com mais frequência para certos grupos religiosos, eles introduziram um novo viés.” (tradução livre, p. 48)
“Um viés às vezes negligenciado é o uso de proxies nos rótulos. Por exemplo, prisões são um proxy problemático para cometer crimes. Pessoas inocentes às vezes são presas e mais prisões acontecem onde há mais presença policial (e a polícia é distribuída de forma desigual). A utilização de serviços de saúde é um proxy problemático para o estado de saúde de um indivíduo porque os grupos utilizam os sistemas de saúde de forma desigual.” (tradução livre, p. 48)
O exemplo de descartar linhas mostra por que o viés de preparação é traiçoeiro: descartar linhas incompletas é uma prática padrão, considerada “higiene de dados”, e ninguém a associa a discriminação. Mas se a ausência do dado não for aleatória — se depender do grupo —, o descarte remove desproporcionalmente esse grupo do conjunto de treino. E o segundo parágrafo da citação mostra que o proxy da Aula 5 (utilização de saúde) é, no vocabulário deste modelo, um problema de preparação de rótulos (quando a equipe define o rótulo de treino) além de um problema de medição.
3.3.5 Envenenamento de dados (ameaça a validade interna)
O quinto é diferente dos outros: é intencional.
“Por exemplo, alguém tentando fraudar a Unconditionally pode introduzir imagens de satélite de residências ao lado de rios sempre rotuladas como pobreza severa, para enganar o seu modelo e levá-lo a dar mais transferências de renda a comunidades ribeirinhas.” (tradução livre, p. 49)
Um agente mal-intencionado injeta ou altera pontos de dados para degradar o modelo ou plantar uma “porta dos fundos”. Os quatro vieses anteriores nascem de decisões legítimas (ou descuidadas); este nasce de um adversário. O livro observa que a maior parte dos outros vieses pode ser implementada de propósito para degradar um sistema (Varshney, 2022, cap. 4, p. 49).
3.4 Resumo: os cinco vieses num quadro
| Viés | Passagem | Validade ameaçada | Exemplo do livro |
|---|---|---|---|
| Social | Medição (construto → observado) | Construto | Telhados de cozinhas e alojamentos contados como casas |
| Representação | Amostragem (observado → bruto) | Externa | Idosos sub-representados por menor posse de celular |
| Temporal | Amostragem (observado → bruto) | Externa | Satélite na estação chuvosa × seca |
| Preparação | Preparação (bruto → preparado) | Interna | Descartar linhas quando a ausência correlaciona com religião; prisões como proxy de crime |
| Envenenamento | Preparação (bruto → preparado) | Interna | Imagens ribeirinhas sempre rotuladas “pobreza severa” |
3.5 A seguradora dissecada
Estamos agora em condições de responder à pergunta da abertura: onde, exatamente, o viés entrou no caso da seguradora? Varshney (2022, cap. 10, §10.2, pp. 132–134) percorre o caso usando o mesmo mapa. O ponto de partida do livro é que “o que os dados de treino são é a sociedade”: a epígrafe de M. C. Hammer que abre a seção diz que, “se os humanos não se comportassem como nos comportamos, não haveria dado de comportamento para corrigir. O dado de treino é a sociedade” (tradução livre, p. 132).
“Embora seja direcionalmente verdadeiro que maior utilização do sistema de saúde implica um paciente mais doente, isso não é verdade ao comparar pacientes entre populações como brancos e negros. Negros tendem a estar mais doentes para um mesmo nível de utilização, devido a questões estruturais do sistema de saúde. O mesmo vale ao olhar custo de saúde em vez de utilização.” (tradução livre, p. 133)
“O viés de representação entra nos dados de sinistros porque eles vêm apenas dos próprios membros da Sospital. Essa população pode, por exemplo, sub-representar negros se a Sospital oferece seus planos comerciais principalmente em condados com maior população branca.” (tradução livre, p. 133)
Em cada passagem do mapa, o caso tem um elo:
- Medição (viés social). O construto é a necessidade real de cuidado; o observado é utilização e custo. Como pessoas negras estão mais doentes para o mesmo nível de utilização, o observado mede coisas diferentes para grupos diferentes. O livro acrescenta que os próprios códigos de diagnóstico e tratamento carregam viés — pessoas negras são tratadas com menos frequência por dor nos Estados Unidos, por falsas crenças de profissionais de saúde — e que o rótulo humano de seleção passada para o programa está sujeito a preconceito de quem decidiu (Varshney, 2022, cap. 10, p. 133).
- Amostragem (viés de representação). Os dados vêm só de membros da própria seguradora, que pode ter planos concentrados em regiões de população majoritariamente branca.
- Preparação (viés de preparação). Se não há rótulos humanos passados, a equipe pode definir o rótulo por um limite de custo ou utilização — e o livro adverte que isso faria com que pessoas negras fossem selecionadas menos vezes para o mesmo grau de doença (Varshney, 2022, cap. 10, p. 133). Também a engenharia de atributos importa: combinar todos os tipos de utilização em um único atributo produz viés racial indesejado, enquanto manter separadas as noites de internação hospitalar e as visitas frequentes à emergência mantém o viés baixo (Varshney, 2022, cap. 10, p. 134, citando Singh, 2021).
O que o mapa mostra é que não há um único “erro do algoritmo”: há pelo menos três passagens, cada uma com um viés diferente, cada uma corrigível em um ponto diferente da cadeia — e nenhuma delas envolve digitar “raça” em uma coluna.
3.6 Extensão nossa: o laço de retroalimentação
Uma consequência que o livro não desenha, mas que decorre do seu argumento sobre prisões como proxy de crime, é o laço de retroalimentação. Se o rótulo de treino é “onde houve prisões”, e “mais prisões acontecem onde há mais presença policial” (Varshney, 2022, cap. 4, p. 48), então um modelo que prevê “onde haverá crime” está, na prática, prevendo onde a polícia costuma estar. Se a polícia é enviada para onde o modelo aponta, gera-se mais prisões ali, que viram novos dados que “confirmam” o modelo.
O livro afirma o problema do proxy (prisões ≠ crimes). O laço abaixo — modelo → patrulha → prisões → novos dados → modelo — é uma extensão nossa desse argumento, não uma descrição feita por Varshney.
O laço faz o proxy se autoconfirmar: o modelo não prevê crime, prevê onde as prisões serão registradas — e, ao agir sobre essa previsão, produz os dados que “provam” que ele estava certo. Isso explica por que o viés de um rótulo-proxy, uma vez posto em produção, tende a crescer em vez de se diluir.
3.7 Voltando ao modelo dos quatro espaços
A epígrafe de Hammer que Varshney usa é, nesse sentido, o resumo do bloco: o dado de treino é a sociedade. Isso não quer dizer que nada se pode fazer — quer dizer que a tarefa de quem constrói o sistema é localizar em qual passagem o viés entrou, porque a correção depende da passagem: um viés de representação pede coleta melhor; um viés de preparação pede refazer a limpeza; um viés social pede repensar o rótulo ou o construto. A última seção da aula volta a esse ponto.
Um banco remove as colunas “raça” e “gênero” do conjunto de dados de crédito e treina o modelo com o restante (renda, CEP, ocupação, histórico de pagamentos). A equipe declara que o modelo está “livre de viés”. Usando o mapa dos quatro espaços, o que essa afirmação deixa de examinar?
Dica: pense em quais passagens (medição, amostragem, preparação) a remoção de colunas afeta — e em quais ela não toca.
- □ Se, além de remover as colunas, o banco garantisse rótulos de adimplência baseados apenas no comportamento real de pagamento (sem nenhuma decisão humana prévia de concessão), ainda restaria risco de viés de representação caso clientes de certas regiões estivessem sub-representados na base.
- □ No limite em que a base contivesse toda a população, sem nenhuma ausência, o modelo estaria protegido contra viés social nos rótulos, porque a completude da base elimina a influência de julgamentos humanos passados.
- □ Numa rede neural de classificação de imagens médicas, pré-treinada num grande banco de fotos coletadas da internet, remover os metadados de raça do conjunto de ajuste fino garante que os vieses do conjunto de fundo não sejam herdados pelo modelo.
- □ Como remover colunas é uma etapa de preparação de dados, ela só pode reduzir o viés de preparação; nunca pode introduzir um.
4 Poder, Consentimento e Privacidade
Até aqui a pergunta foi: o dado que temos é bom? Varshney (2022, cap. 5) abre uma pergunta anterior: é certo usar este dado? A primeira metade da aula tratou de vieses que enfraquecem a validade do modelo. Esta parte trata de algo diferente: mesmo um dado perfeitamente válido pode ser usado de modo ilegítimo, se foi obtido sem o consentimento de quem ele descreve.
4.1 O caso TraceBridge
O livro discute um aplicativo fictício, o TraceBridge, criado para apoiar o retorno ao escritório depois de uma pandemia. Ele reúne rastros de localização, medições de saúde, dados sociais (redes sociais internas, convites de calendário) e dados administrativos (organogramas, planejamento de espaço) para fazer rastreamento digital de contatos: descobrir quais interações entre uma pessoa infectada e as demais podem ter espalhado a doença. As decisões de desenho dos autores são o material de crítica:
- o app não informa os funcionários de que acessa redes sociais internas, convites de calendário e dados administrativos;
- a liderança da organização tem controle total sobre os dados;
- todos os dados pessoais identificáveis ficam centralizados, sem criptografia ou outras salvaguardas;
- quando uma infecção é detectada, a identidade da pessoa infectada é transmitida à gestão e a todos os contatos inferidos.
4.2 Consentimento, poder e privacidade são três problemas diferentes
Varshney separa três eixos que costumam ser confundidos:
“O empregador detém todo o poder na implantação do aplicativo, porque pode exigir seu uso como condição de emprego, sem nenhuma oportunidade de o funcionário dar consentimento. Os funcionários também não têm oportunidade de dar consentimento informado ao uso de partes específicas de seus dados.” (tradução livre, p. 52)
- Consentimento: houve concordância informada, específica, para este uso? No TraceBridge, não: o app não avisa e o uso é obrigatório. (Note a relação com a Aula 5: o caso Kramer tratava aceitar os Termos de Uso como consentimento; aqui é pior, porque a “aceitação” é uma condição do emprego.)
- Poder: quem decide o que acontece com o dado depois? O empregador poderia usá-lo para rastrear pausas e reuniões, e até vender os dados; os funcionários não têm poder algum sobre o dado.
- Privacidade: a capacidade de uma pessoa reter informação sobre si mesma. O livro a descreve como “considerada um direito humano essencial em muitos sistemas de valores e arcabouços legais” (tradução livre, p. 52); o TraceBridge a sacrifica ao expor nome e situação de saúde.
E há uma passagem sobre a natureza do dado em si:
“Em um sentido amplo, o dado é uma commodity valiosa. Ele revela muito sobre o comportamento humano em nível bruto, mas também sobre o comportamento de pessoas individuais. Assim como outros recursos naturais, pode ser extraído dos vulneráveis sem seu consentimento e, além disso, ser explorado para sua subjugação. […] Em suma, dado é poder.” (tradução livre, pp. 52–53)
Por que isso acontece com tanta frequência? Varshney (2022, cap. 5, p. 53) responde que o dado usado em aprendizado de máquina costuma estar “cheio de questões de poder e consentimento” porque é reaproveitado de outros usos ou é o chamado data exhaust: os subprodutos das atividades digitais das pessoas. Um exemplo do livro: muitos conjuntos de imagens em larga escala usados para treinar modelos de visão computacional são raspados da internet sem consentimento explícito de quem postou as imagens. A causa, segundo o livro, é quase sempre “projetistas de sistemas tomando atalhos para reunir grandes conjuntos de dados e mostrar valor rapidamente, sem dar atenção a poder e consentimento”. A conclusão é categórica:
“Em resumo, proprietários de problemas e cientistas de dados não deveriam ter nenhum cálculo para ponderar questões de poder, consentimento e privacidade contra conveniências na coleta de dados. Para o quarto atributo de confiança (propósito alinhado), sistemas de aprendizado de máquina confiáveis exigem que o dado seja usado de forma consensual, especialmente daqueles que possam estar sujeitos a exploração. Sem meio-termo!” (tradução livre, p. 53)
Compare a firmeza dessa frase com a lógica de custo-benefício típica de um projeto de produto (“o modelo melhora 2% com o dado extra”): Varshney recusa a troca — a coleta sem consentimento não entra na balança.
4.3 Remover o nome não protege a privacidade
Mesmo com consentimento, resta o cuidado com o que se faz com o dado. Varshney (2022, cap. 5, p. 54) lembra que remover identificadores (nome, CPF, matrícula) “não é a solução inteira”: variáveis como gênero, data de nascimento e código postal, os quase-identificadores, que não identificam ninguém sozinhos mas permitem reidentificar uma pessoa quando ligados entre si. Anonimizar de verdade é mais difícil do que apagar uma coluna, e proteger o dado também pode ser feito controlando quem o acessa e para quê. O livro é enfático sobre o ponto que importa aqui: todas as formas de proteger a privacidade devem ser avaliadas “em conjunto com como o dado vai ser usado” (p. 58, tradução livre). Na LGPD, o art. 12 traz o critério legal para o que conta como dado anonimizado (seção seguinte).
Uma empresa lança um aplicativo de bem-estar que coleta localização e batimentos cardíacos dos funcionários. O uso é obrigatório para quem quiser participar do plano de saúde corporativo, e a empresa se reserva o direito de usar os dados “para fins de gestão”. Esse consentimento é legítimo? Que perguntas a equipe deveria fazer antes de coletar?
Dica: separe três eixos — o consentimento (foi informado e específico?), o poder (quem decide o destino do dado?) e a privacidade (o que é exposto, e a quem?).
- □ Se o uso do aplicativo fosse voluntário, sem nenhuma consequência para quem recusa, e a finalidade fosse limitada e informada, os principais problemas de consentimento e de poder apontados no caso do TraceBridge seriam atenuados.
- □ No limite em que o empregador tenha o poder de desligar quem recusar o aplicativo, o “consentimento” dos funcionários passa a ser indistinguível de uma exigência: eles só podem aceitar.
- □ Um conjunto de imagens raspado de páginas públicas da internet e usado para treinar um modelo de visão computacional dispensa preocupação com consentimento, porque as imagens já estavam publicamente acessíveis.
- □ Como dado é poder, o problema de poder só existe quando a empresa vende os dados a terceiros; se os dados ficarem dentro da empresa, não há assimetria relevante entre empregador e funcionário.
5 A Moldura Legal: LGPD Artigo por Artigo
Os blocos anteriores descreveram o que pode dar errado com o dado e com o seu uso. Este bloco lê o que o direito brasileiro diz sobre isso, no texto da Lei nº 13.709/2018, a Lei Geral de Proteção de Dados Pessoais (LGPD), na versão compilada do Planalto (consultada em 21/09/2026). O texto compilado mostra lado a lado as redações originais e as alterações posteriores, o que importa quando chegarmos ao art. 20. Primeiro, o alcance da lei; depois, os princípios, que são o núcleo do bloco; por fim, os cinco pontos que mais pesam para quem constrói sistemas de decisão.
Esta aula lê o texto da lei. Como ela é aplicada (jurisprudência, regulamentos e orientações da ANPD, a autoridade nacional) está fora do escopo e das fontes. Onde a leitura é nossa e não o que a letra diz, o texto avisa.
5.1 Alcance da lei (arts. 1º a 5º)
A lei protege “os direitos fundamentais de liberdade e de privacidade e o livre desenvolvimento da personalidade da pessoa natural” (art. 1º), e seus fundamentos incluem a autodeterminação informativa, os direitos humanos e a dignidade, mas também o desenvolvimento econômico e a inovação (art. 2º): é um equilíbrio, não uma proibição. Seu objeto é o tratamento de dados pessoais, definido de forma amplíssima como “toda operação realizada com dados pessoais”, da coleta à eliminação, passando por “classificação”, “processamento” e “avaliação” (art. 5º, X). Treinar um modelo com dados pessoais é tratamento; pontuar um cliente com ele também.
Três definições do art. 5º sustentam o resto. Dado pessoal é a informação relacionada a pessoa natural “identificada ou identificável” (I); “identificável” é o conceito de quase-identificador (gênero, data de nascimento, CEP) em linguagem jurídica: o dado não precisa trazer o nome, basta permitir chegar à pessoa. Dado pessoal sensível é o dado sobre origem racial ou étnica, convicção religiosa, opinião política, filiação sindical ou a organização religiosa, filosófica ou política, saúde, vida sexual, dado genético ou biométrico (II); a lista não inclui gênero, idade, deficiência nem classe social, embora sejam protegidos em outras leis, de modo que a lista de dados sensíveis não coincide com a de atributos protegidos por outras leis. Consentimento é “manifestação livre, informada e inequívoca pela qual o titular concorda com o tratamento de seus dados pessoais para uma finalidade determinada” (XII).
O que fica fora:
“Art. 4º Esta Lei não se aplica ao tratamento de dados pessoais: […] III - realizado para fins exclusivos de: a) segurança pública; b) defesa nacional; c) segurança do Estado; ou d) atividades de investigação e repressão de infrações penais; […]
§ 1º O tratamento de dados pessoais previsto no inciso III será regido por legislação específica, que deverá prever medidas proporcionais e estritamente necessárias ao atendimento do interesse público, observados o devido processo legal, os princípios gerais de proteção e os direitos do titular previstos nesta Lei.”
Policiamento preditivo e reconhecimento facial para segurança pública ficam fora da LGPD: o laço de retroalimentação do policiamento preditivo vive nesse território, que a lei remete a “legislação específica”, com os princípios gerais e os direitos do titular como piso. O art. 4º, II, b, exclui também o tratamento para fins exclusivamente acadêmicos, mas mantém os arts. 7º e 11.
5.2 Os princípios (art. 6º)
O art. 6º é o coração da lei: toda atividade de tratamento “deverá observar a boa-fé e os seguintes princípios”.
“I - finalidade: realização do tratamento para propósitos legítimos, específicos, explícitos e informados ao titular, sem possibilidade de tratamento posterior de forma incompatível com essas finalidades;
II - adequação: compatibilidade do tratamento com as finalidades informadas ao titular, de acordo com o contexto do tratamento;
III - necessidade: limitação do tratamento ao mínimo necessário para a realização de suas finalidades, com abrangência dos dados pertinentes, proporcionais e não excessivos em relação às finalidades do tratamento de dados;
IV - livre acesso: garantia, aos titulares, de consulta facilitada e gratuita sobre a forma e a duração do tratamento, bem como sobre a integralidade de seus dados pessoais;
V - qualidade dos dados: garantia, aos titulares, de exatidão, clareza, relevância e atualização dos dados, de acordo com a necessidade e para o cumprimento da finalidade de seu tratamento;
VI - transparência: garantia, aos titulares, de informações claras, precisas e facilmente acessíveis sobre a realização do tratamento e os respectivos agentes de tratamento, observados os segredos comercial e industrial;
VII - segurança: utilização de medidas técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou difusão;
VIII - prevenção: adoção de medidas para prevenir a ocorrência de danos em virtude do tratamento de dados pessoais;
IX - não discriminação: impossibilidade de realização do tratamento para fins discriminatórios ilícitos ou abusivos;
X - responsabilização e prestação de contas: demonstração, pelo agente, da adoção de medidas eficazes e capazes de comprovar a observância e o cumprimento das normas de proteção de dados pessoais e, inclusive, da eficácia dessas medidas.”
Aqui as duas metades da aula se encontram: cada princípio confronta um dos problemas que o modelo dos quatro espaços apontou. A tabela é nossa síntese, não uma interpretação oficial (a lei não fala em “viés”):
| Princípio | O que exige, em termos de dado e de modelo | Problema do Bloco 1 que ele confronta |
|---|---|---|
| I. Finalidade | Usar o dado só para o propósito informado; sem reaproveitamento incompatível | Dado reaproveitado: descompasso entre a pergunta original do dado e a do modelo |
| II. Adequação | O uso concreto deve fazer sentido no contexto informado | Validade de construto: usar um dado (entregas, sinistros) para medir outra coisa (crédito, gravidade) |
| III. Necessidade | Coletar o mínimo pertinente e proporcional | Proxies: menos atributos, menos proxies e quase-identificadores |
| IV. Livre acesso | O titular consulta, de graça, como e por quanto tempo seus dados são tratados | Auditabilidade pelo próprio titular: ponto de partida para achar dado errado |
| V. Qualidade dos dados | Exatidão, relevância e atualização | Viés social (exatidão), representação (relevância) e temporal (atualização) |
| VI. Transparência | Informação clara sobre o tratamento, ressalvados os segredos comercial e industrial | Auditabilidade: sem saber dados e critérios não há como detectar viés, mas o segredo é ressalvado |
| VII. Segurança | Proteger contra acesso e alteração indevidos | Envenenamento: alteração maliciosa do dado |
| VIII. Prevenção | Adotar medidas para prevenir danos | Auditoria antes do treino: o roteiro de Varshney (seção final) |
| IX. Não discriminação | Vedado tratar “para fins discriminatórios ilícitos ou abusivos” | O resultado final, com a ressalva abaixo |
| X. Responsabilização | Demonstrar as medidas e a sua eficácia | Documentar a auditoria: provar que o roteiro foi seguido |
O princípio veda o tratamento “para fins discriminatórios ilícitos ou abusivos”. A palavra “fins” aponta para a finalidade. A discriminação indireta (o proxy que reconstrói o grupo, como no caso da seguradora) costuma acontecer sem que ninguém tenha o fim de discriminar; se cabe no inciso IX é questão de interpretação (o adjetivo “abusivos” pode ajudar), não algo que a letra resolve sozinha. (Leitura nossa; a extensão do inciso é debatida na doutrina, que não está nas fontes desta aula.)
5.3 O que mais pesa depois dos princípios
Consentimento e bases legais (arts. 7º a 9º). O consentimento é só a primeira das dez bases legais do art. 7º; há também obrigação legal, contrato, legítimo interesse e “a proteção do crédito” (X), relevante para análise de crédito. Mas a dispensa do consentimento não dispensa os princípios: “não desobriga os agentes de tratamento das demais obrigações previstas nesta Lei, especialmente da observância dos princípios gerais e da garantia dos direitos do titular” (art. 7º, § 6º). Quando o consentimento é a base, a lei o cerca de exigências que respondem às falhas do TraceBridge e do caso Kramer: o ônus de provar que foi válido é do controlador (art. 8º, § 2º); “as autorizações genéricas … serão nulas” (§ 4º), que é a diferença entre aceitar Termos de Uso e concordar com uma finalidade determinada; e é nulo o consentimento obtido com informações de “conteúdo enganoso ou abusivo” (art. 9º, § 1º), que retoma os dark patterns da Aula 4.
Dados sensíveis (art. 11). A regra é o consentimento “de forma específica e destacada, para finalidades específicas” (I). Dois parágrafos interessam: o § 1º estende o regime a “qualquer tratamento de dados pessoais que revele dados pessoais sensíveis e que possa causar dano ao titular”, plausível gancho legal para os proxies (leitura nossa: a lei não menciona inferência estatística); e o § 5º veda às operadoras de planos de saúde o uso de dados de saúde “para a prática de seleção de riscos na contratação … assim como na contratação e exclusão de beneficiários”. Este último não é o caso da Sospital, que aloca cuidado entre membros atuais, mas mostra que o legislador viu o risco central do caso: usar dado de saúde para selecionar pessoas de modo desvantajoso.
Anonimização (art. 12). Dado anonimizado não é dado pessoal, “salvo quando o processo de anonimização … for revertido … ou quando, com esforços razoáveis, puder ser revertido”. Uma base sem nome, mas com CEP, data de nascimento e sexo que permitem reidentificar, continua sendo dado pessoal. O § 1º faz o “razoável” depender de custo e tempo com as tecnologias disponíveis, então uma anonimização segura hoje pode deixar de sê-lo. O § 2º inclui os dados usados para formar o perfil comportamental de uma pessoa identificada.
Decisão automatizada (arts. 19, II, e 20). É o dispositivo mais próximo do nosso tema, e o texto compilado permite ver como foi reescrito:
“Art. 20. O titular dos dados tem direito a solicitar revisão, por pessoa natural, de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, inclusive de decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.”
“Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.
§ 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.
§ 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.
§ 3º (VETADO).”
A Medida Provisória nº 869/2018 já retirou “por pessoa natural”, e a Lei nº 13.853/2019 manteve a redação sem a expressão. O conteúdo do § 3º vetado não consta do PDF. (Pelo que se conhece da mensagem de veto, que não consultamos, ele previa revisão por pessoa natural; confirme antes de citar.) Pela letra vigente, o titular tem direito à revisão, mas o texto não diz que ela deve ser humana. Além disso, o art. 19, II, dá direito a uma declaração que indique a origem dos dados e os critérios utilizados, em até 15 dias, o que ajuda a investigar de onde veio o viés. O art. 20 tem quatro limites:
- “Unicamente”. Uma decisão em que um analista pondera o modelo junto com outros elementos não se enquadra literalmente, o que cria incentivo a pôr um humano “no circuito” mesmo quando o peso real é do modelo.
- A revisão não precisa ser humana.
- O segredo comercial e industrial é ressalvado (§ 1º).
- A lei não define “discriminatório”. O § 2º dá à ANPD o poder de auditar “aspectos discriminatórios”, mas não diz o que conta como tal, questão que uma aula seguinte retoma.
O contrapeso é o § 2º: se o segredo é invocado, a ANPD “poderá realizar auditoria”, e o titular pode peticionar à autoridade (art. 18, § 1º); o segredo não é um muro final. (Explicabilidade técnica: Aula 8.)
Responsabilização (arts. 38, 42, 52 e 55-J). A ANPD pode determinar um relatório de impacto (art. 38), documento que descreve os processos de tratamento que “podem gerar riscos às liberdades civis e aos direitos fundamentais” e as medidas de mitigação, onde caberia o roteiro de auditoria da seção final. Quem causa dano “patrimonial, moral, individual ou coletivo” deve repará-lo (art. 42), e o juiz pode inverter o ônus da prova a favor do titular quando a alegação for verossímil, houver hipossuficiência ou a prova for excessivamente onerosa (§ 2º), decisivo quando só o controlador conhece os critérios. As sanções incluem multa de até 2% do faturamento no Brasil, limitada a R$ 50 milhões por infração (art. 52), aplicadas pela ANPD com contraditório e ampla defesa (art. 55-J, IV); a adoção de política de boas práticas e governança é critério na dosimetria (art. 52, § 1º, IX).
5.4 O que a LGPD não cobre
- Segurança pública e investigação criminal ficam fora (art. 4º, III).
- Não define discriminação nem escolhe um padrão de justiça.
- A decisão precisa ser “unicamente” automatizada para o art. 20 incidir, e a revisão não precisa ser humana.
- O segredo comercial é ressalvado em vários dispositivos, com o contrapeso da auditoria do art. 20, § 2º.
- Dado anonimizado sai da lei (art. 12), e um conjunto anonimizado ainda pode treinar um modelo que discrimina grupos, porque isso não depende de identificar indivíduos. (Leitura nossa.)
O ponto 5 mostra por que privacidade e discriminação são problemas distintos. A LGPD é, antes de tudo, uma lei de proteção de dados pessoais: usá-la contra a discriminação algorítmica é possível (finalidade, qualidade, não discriminação, art. 20), mas parcial.
Um banco nega um empréstimo a um cliente com base unicamente em um modelo automatizado de risco de crédito. O cliente escreve ao banco pedindo uma explicação. (a) O que o art. 20 exige que o banco forneça? (b) A resposta “o modelo de aprendizado profundo decidiu que você é um risco” é suficiente? (c) Se o banco alegar segredo comercial, o cliente fica sem recurso? (d) O que a lei não garante ao cliente?
Dica: releia o § 1º e o § 2º do art. 20 separadamente — um trata do que o controlador deve dar; o outro, do que acontece se ele não der.
- □ Pela letra do art. 20, o direito de revisão se refere a decisões tomadas “unicamente” com base em tratamento automatizado; uma decisão em que um analista humano pondera o score do modelo junto com outros elementos não se enquadra literalmente nessa hipótese.
- □ No limite em que o banco invoque segredo comercial para se recusar a fornecer qualquer informação sobre os critérios do modelo, a lei deixa o titular sem nenhum recurso, pois o segredo é ressalvado no próprio texto do art. 20, § 1º.
- □ Uma empresa que recusa automaticamente candidaturas com base em um classificador de currículos toma uma decisão automatizada que se enquadra na hipótese do art. 20, porque o texto menciona expressamente decisões destinadas a definir o “perfil profissional” da pessoa.
- □ Como o art. 20, § 1º, exige informações sobre “critérios e procedimentos”, o banco cumpre a lei ao entregar o código-fonte e os pesos do modelo, mesmo que o cliente não consiga compreendê-los, pois a informação foi disponibilizada.
6 Corrigir o Modelo ou Corrigir a Coleta?
Com o mapa dos vieses e o texto da lei em mãos, resta a pergunta prática: quando uma equipe encontra um viés, onde ela age? Para Varshney (2022, cap. 4), a ordem importa e a primeira ação é anterior ao modelo.
6.1 Auditar antes de treinar
“Avaliar conjuntos de dados quanto a vieses é crítico para a confiabilidade e é o foco principal do capítulo. Quanto melhor o trabalho feito nesta etapa, menos correção e mitigação de danos precisa ser feita em etapas posteriores do ciclo de vida. A avaliação de vieses deve incluir a contribuição de indivíduos afetados pelo sistema de aprendizado de máquina planejado. Se todo o dado relevante possível for considerado enviesado demais, uma conversa com o proprietário do problema e outras partes interessadas sobre se o projeto deve sequer prosseguir é indispensável.” (tradução livre, p. 41)
Três ideias: a ordem (corrigir cedo custa menos do que mitigar tarde); quem participa (os afetados, não só a equipe técnica); e o ponto de parada (a resposta pode ser não construir, o que conecta com o Ciclo Ético da Aula 2). O livro acrescenta que “não existe um conjunto de dados completamente sem viés” (p. 50): o objetivo da auditoria não é a pureza, é conhecer os vieses que restam e decidir se, com eles, o uso é aceitável.
6.2 O que se corrige onde
O livro afirma o princípio geral: “alguns vieses podem ser superados coletando dados melhores ou refazendo melhor as etapas de preparação”; outros “vão passar e contribuir para a incerteza epistêmica na fase de modelagem” (Varshney, 2022, p. 49, tradução livre). Usando o modelo dos quatro espaços, a tabela abaixo organiza onde cada viés costuma ser atacado (síntese nossa):
| Viés | Onde agir | Que ação |
|---|---|---|
| Social | Medição | Repensar o rótulo e o atributo; incluir um painel diverso de informantes |
| Representação | Amostragem | Coletar dados melhores da subpopulação ausente; avaliar qualidade, não só quantidade |
| Temporal | Amostragem | Atualizar os dados; monitorar os três tipos de deslocamento depois da implantação |
| Preparação | Preparação | Refazer a limpeza; revisar rótulo-proxy e engenharia de atributos |
| Envenenamento | Preparação | Controlar quem acessa e altera o dado |
O que vaza dessas correções vira incerteza que o modelo tem de tratar, assunto que o livro deixa para partes posteriores. Por isso a resposta à quarta pergunta do roteiro é: a coleta primeiro; o modelo trata o resto. Como medir a disparidade que sobra, e como atuar sobre ela no modelo, é tema de uma das aulas seguintes.
6.3 O roteiro de auditoria
Juntando as duas metades da aula, um roteiro para levar a qualquer projeto que use dados. Os itens 2 a 6 seguem o checklist de Varshney (2022, p. 49); os demais vêm da LGPD e do cap. 5.
| # | Pergunta | Origem |
|---|---|---|
| 1 | Para que este dado foi criado, e o novo uso é compatível com o propósito informado? | Varshney p. 44; LGPD art. 6º, I e II |
| 2 | Mede o que deveria? Há julgamento humano nos rótulos ou atributos? | Viés social; art. 6º, V |
| 3 | Representa quem será afetado? | Viés de representação |
| 4 | Ainda vale? O mundo mudou desde a coleta? | Viés temporal; art. 6º, V |
| 5 | A preparação introduziu viés? Linhas descartadas, rótulos-proxy, atributos agregados? | Viés de preparação |
| 6 | Alguém alterou o dado? | Envenenamento; art. 6º, VII |
| 7 | Há base legal válida e o dado é o mínimo necessário? | LGPD arts. 6º, III, e 7º–9º; Varshney cap. 5 |
| 8 | O dado é sensível ou revela dado sensível? | LGPD art. 11, incl. § 1º |
| 9 | Se um titular pedir origem e critérios, sei responder? | LGPD arts. 19, II, e 20 |
| 10 | Se todo o dado relevante é enviesado demais, devemos prosseguir? | Varshney p. 41 |
Uma equipe descobre que o seu modelo de triagem de crédito tem desempenho muito pior para clientes de uma região, porque a base de treino quase não tem clientes dali. Ela propõe “ajustar o modelo” para compensar. Por que vale perguntar primeiro sobre a coleta? E o que fazer se, mesmo depois de melhorar a coleta, o dado continuar enviesado demais para o uso pretendido?
Dica: relacione o problema a uma passagem do modelo dos quatro espaços e pergunte onde essa passagem pode ser refeita.
- □ Se o problema for de viés de representação, coletar dados adicionais da região sub-representada ataca a causa na passagem de amostragem, enquanto um ajuste feito só no modelo trata o sintoma sem alterar o que os dados registram.
- □ No limite em que nenhum dado disponível seja considerado válido para o problema (todo dado relevante é enviesado demais), a recomendação de Varshney é ajustar o modelo até compensar, porque sempre é possível corrigir o viés depois da implantação.
- □ Num sistema de recomendação em que o rótulo de treino é o clique do usuário, mas o usuário só vê o que o sistema já recomendou, corrigir apenas o modelo não altera o fato de que o rótulo é afetado pelo próprio sistema.
- □ Se os dados foram obtidos sem consentimento, a decisão sobre prosseguir com o projeto depende apenas de o modelo treinado com eles apresentar bom desempenho.
7 Fechamento e Ponte para a Aula 7
Uma frase de resposta para cada pergunta do roteiro:
- Por que “o dado fala por si” é falso? Porque o dado é o resultado de uma cadeia de decisões (o que medir, de quem, quando, como limpar), e cada uma pode carregar viés. “O dado de treino é a sociedade” (Varshney, 2022, cap. 10, p. 132).
- Onde o viés entra? Em três passagens: medição (social, validade de construto), amostragem (representação e temporal, validade externa) e preparação (preparação e envenenamento, validade interna). A “cegueira de atributo” não resolve, porque o proxy traz a informação de volta.
- O que a LGPD exige, garante e deixa de fora? Exige princípios e base legal; garante ao titular acesso, correção, informação sobre critérios e revisão de decisões unicamente automatizadas; deixa de fora a segurança pública, não define “discriminatório” e ressalva o segredo, com o contrapeso da auditoria da ANPD.
- Corrigir o modelo ou a coleta? A coleta primeiro; o modelo trata o resto; e, se todo o dado relevante é enviesado demais, a pergunta é se o projeto deve prosseguir.
Em aberto: a lacuna da segurança pública, que a LGPD não resolve.
Ponte para a Aula 7. Hoje vimos de onde vem o viés — mas saber que o dado é enviesado não diz o quanto, nem o que fazer a respeito. A Aula 7 dá nome e número a essa distância: como definir matematicamente se uma decisão automatizada é injusta, e como projetar um modelo que já nasce perseguindo justiça, não só acurácia.