Aula 6: Dados, Viés e Discriminação Algorítmica — Da Coleta à LGPD

Computação e Sociedade

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-21

Revisão e Introdução: O Proxy Voltou

O Proxy Voltou

Aula 5, três resultados:

1. O teste A/B é neutro; a métrica não — ela decide, antes do teste, a favor de quem o produto é otimizado.

2. Toda métrica é um proxy — e pode medir coisas diferentes para grupos diferentes.

3. Consentimento genérico ≠ consentimento específico — é uma questão de poder (caso Kramer).

A Seguradora, de Novo

Problema: um recurso limitado (care management) — quem deve recebê-lo? (Varshney, 2022, cap. 10)

Proxy óbvio: custo ou utilização do sistema de saúde — quem usa mais, presumivelmente está mais doente.

Aviso

Pacientes negros tendem a estar mais doentes para o mesmo nível de utilização, por razões estruturais do sistema de saúde. O algoritmo subestima a necessidade deles — sem a raça aparecer em nenhuma variável.

Hoje: onde, exatamente, o viés entrou?

Ideia Central

Nenhum dado é fato bruto. Alguém decidiu:

• o que medir (custo do tratamento, não gravidade da doença);
• de quem (só os membros daquela seguradora);
• quando (naquela estação, naquele ano);
• como limpar (descartar as linhas incompletas).

Dica

Cada decisão pode carregar viés — e o viés já está no dado antes de qualquer algoritmo tocá-lo.

O Roteiro de Hoje

1. Por que “o dado fala por si” é falso — o que um dado realmente registra?

2. Em que ponto da cadeia do dado o viés entra, e como reconhecê-lo antes de treinar?

3. O que a LGPD exige, garante ao titular — e deixa de fora?

4. Viés encontrado: corrigir o modelo ou corrigir a coleta?

O Segundo Caso: Recrutador da Amazon

Reuters, 2018 (Dastin): projeto iniciado em 2014; viés percebido por volta de 2015; encerrado por volta de 2017.

Treino: currículos enviados à empresa ao longo de dez anos — numa indústria dominada por homens.

Aviso

O modelo passou a penalizar currículos com a palavra “women’s” (ex.: “capitã do clube de xadrez feminino”). Ninguém o programou para ser sexista — ele aprendeu o padrão histórico das contratações passadas.

Caso de reportagem (não das fontes centrais da aula), usado só como abertura. Se a matemática não errou, de quem foi o erro?

De Onde Vem o Dado?

Modalidades: a Forma do Dado

Modalidade = “categoria de dado definida por como ele é recebido, representado e entendido” (Varshney, 2022, p. 42).

• Estruturado: tabelas estáticas, séries temporais, fluxos de eventos, grafos.
• Semiestruturado: sinais (imagem, áudio, vídeo) e sequências (texto, biológicas, código).

Caso-fio do livro — Unconditionally (fictícia): distribui transferências de renda na África Oriental e quer achar as famílias mais pobres. Fontes candidatas: satélite, censo, pesquisa domiciliar, registros de celular, dinheiro móvel, redes sociais.

Onde Auditar

Dado estruturado (tabela): o risco está no que a equipe fez — limpeza, agregação, engenharia de atributos.

Dado semiestruturado (imagem, texto): parte do viés vem embutida do conjunto de fundo do modelo pré-treinado, que a equipe nunca viu. Avaliar os dois conjuntos.

Aviso

Uma tabela pode parecer “oficial e imaculada”, mas “pode esconder todo tipo de suposições falsas, erros, omissões e vieses” (Varshney, 2022, p. 42).

Fontes: Para Que Este Dado Foi Criado?

Fonte	Risco típico
Coletado com propósito (censo, pesquisa)	Não resposta, manipulação; aparência de “limpo”
Administrativo (registros operacionais)	Só existe proxy do rótulo; preconceito histórico
Social (postagens, redes)	Participação desigual; dialetos e gírias
Crowdsourcing (rotuladores contratados)	Falta de contexto; incentivo monetário
Aumento de dados	Subjetividade; colapso de modo

Riscos das Fontes em Detalhe (1/2)

Coletado com propósito: parece “bem desenhado e com viés mínimo” — e por isso a equipe baixa a guarda. Riscos reais: não resposta (quem não responde não é sorteio aleatório) e manipulação (ex.: censo do Quênia); nos experimentos científicos, p-hacking, o “problema da gaveta” (resultados que falham não são publicados), falta de reprodutibilidade e fraude.

Administrativo: em geral “bastante correto” (sujeito a auditoria) — o risco está em outro lugar: (i) só existe proxy do rótulo desejado (custo ≠ necessidade de cuidado), “devastador para certos grupos, mesmo que decente em média”; (ii) granularidade diferente (telefone individual × domicílio); (iii) silos entre equipes; (iv) preconceito histórico registrado nas decisões passadas.

Social: criado “para comunicar, buscar emprego e manter amizades” — qualidade e confiabilidade menores. Gírias, dialetos, erros de escrita; pouco conteúdo informativo por ponto; e nem toda população participa das plataformas na mesma medida: marginalizados podem ficar invisíveis.

Riscos das Fontes em Detalhe (2/2)

Crowdsourcing: (i) incentivo monetário — trabalhadores se comunicam fora da plataforma e tentam burlar o sistema; (ii) salários baixos — problema ético à parte; (iii) falta de contexto da tarefa (o caso dos telhados); (iv) tarefa mal desenhada gera dado ruim, mesmo com controle de qualidade. Mesmo quem é intrinsecamente motivado pode desconhecer o contexto ou ter vieses próprios.

Aumento de dados: girar, espelhar, deformar imagens ou trocar palavras por sinônimos são heurísticas — “introduzem algum nível de subjetividade, o que pode gerar certos vieses”. Com geradores de dados: o colapso de modo (mode collapse) produz amostras de só uma parte da distribuição e deixa o conjunto com vieses graves.

Dica

Em todas as fontes o risco é a distância entre o que o dado registra e o que o modelo precisa — só muda onde ela nasce: na resposta, no propósito, na participação, no rotulador ou na transformação.

A Maior Parte do Dado é Reaproveitada

Importante

“A maior parte do dado usada em sistemas de aprendizado de máquina é reaproveitada.” (Varshney, 2022, p. 44, tradução livre)

Dado reaproveitado foi feito para outra pergunta — e o descompasso entre a pergunta original e a do modelo é onde o viés mora.

Dado administrativo: “pode conter colunas que só podem ser proxies desse rótulo desejado. Esse descompasso pode ser devastador para certos indivíduos e grupos, mesmo que seja um proxy decente em média.”

Dica

A seguradora: o registro de sinistros foi criado para reembolsar prestadores — não para medir gravidade de doença.

Pergunta

Para que este dado foi criado?

Uma equipe de ciência de dados de um banco quer prever o risco de inadimplência de clientes que nunca tiveram crédito. Ela tem à mão um enorme volume de dados de uso de um aplicativo de entregas do mesmo grupo empresarial: horários de pedido, endereços, valor médio, cancelamentos. Antes de olhar para qualquer algoritmo, que perguntas a equipe deveria fazer sobre esse conjunto de dados — e por que “temos muito dado” não responde nenhuma delas?

Dica: pense em para que esse dado foi criado e em quem aparece (e quem não aparece) nele.

• □ Se o aplicativo de entregas fosse usado em proporção igual por todas as faixas de renda, o descompasso entre “dado de uso do aplicativo” e “capacidade de pagar um crédito” deixaria de ser um problema de proxy.
• □ No limite em que o banco tivesse dados de bilhões de pedidos de entrega, o risco de o conjunto não representar bem clientes que nunca usam o aplicativo desapareceria, porque o volume compensa a falta de cobertura.
• □ O mesmo raciocínio se aplicaria a um modelo de triagem de currículos treinado sobre o histórico de contratações de uma empresa: o histórico foi criado para registrar quem foi contratado, não para medir quem seria bom no cargo.
• □ Como a maior parte do dado usado em aprendizado de máquina é reaproveitada, conclui-se que todo modelo treinado com dado reaproveitado é necessariamente enviesado a ponto de ser inutilizável.

V/F — Para Que Este Dado Foi Criado? Resposta

Dica

• ✗ Falso — mesmo com uso igual entre faixas de renda, o dado de entregas continuaria sendo proxy de capacidade de pagamento; o descompasso é de propósito, não só de cobertura.
• ✗ Falso — volume não corrige cobertura: bilhões de pedidos ainda deixam de fora quem nunca usa o aplicativo. Mais dados do mesmo viés reforçam o viés.
• ✔ Verdadeiro — mesmo mecanismo: o histórico de contratações é dado administrativo, criado para outro fim (registrar decisões), usado como proxy de “qualidade do candidato”.
• ✗ Falso — o livro não conclui que o dado reaproveitado seja inutilizável, e sim que é preciso avaliar o propósito original e os vieses típicos antes de usá-lo.

Retomando: a pergunta “para que este dado foi criado?” é o primeiro item de qualquer auditoria — a próxima seção a torna sistemática.

Anatomia do Viés: Quatro Espaços, Três Validades, Cinco Vieses

Os Quatro Espaços

O viés não “entra” num ponto único — o dado percorre um caminho, e cada trecho tem o seu viés (Varshney, 2022, §4.3).

Espaço do construto: o que queríamos medir, no mundo ideal — “um espaço abstrato, não observado e teórico, no qual não há vieses”.

Três passagens, cada uma com o seu viés: medição → social; amostragem → representação e temporal; preparação → preparação e envenenamento.

Três Validades

Validade de construto: o dado mede o que deveria medir?

Validade externa: a análise de uma população generaliza para outras?

Validade interna: houve erro no processamento dos dados?

Dica

Um viés não é “uma coisa ruim qualquer”: ele é uma ameaça a uma validade específica — e isso diz onde procurar e como corrigir.

Os Cinco Vieses num Quadro

Viés	Passagem	Validade	Exemplo do livro
Social	Medição	Construto	Cozinhas e alojamentos contados como casas
Representação	Amostragem	Externa	Idosos sub-representados (menos celular)
Temporal	Amostragem	Externa	Satélite na estação chuvosa × seca
Preparação	Preparação	Interna	Descartar linhas; prisões como proxy
Envenenamento	Preparação	Interna	Ribeirinhos sempre “pobreza severa”

Viés Social e de Representação

Social (medição): o julgamento humano ao passar do construto para o observado — rótulos de especialistas ou de crowdworkers, e também os atributos (teste de aptidão que exige conhecimento cultural tácito, “que favorece grupos privilegiados”).

Aviso

Telhados: rotuladores contaram cozinha e alojamentos como casas — não sabiam como as casas são organizadas ali. O erro estava no construto (“o que é uma casa”), não no satélite. Sem detecção, levaria a inferir pobreza errada.

Representação (amostragem): idosos sub-representados por menor posse de celular; censo com menos recenseadores em alguns condados. O modelo otimiza uma média — um grupo pequeno pesa pouco nela. Representatividade inclui qualidade dos dados, não só quantidade.

Viés Temporal e de Preparação

Temporal: o mundo muda depois da coleta — covariate shift (distribuição dos atributos), prior probability shift (dos rótulos) e concept drift (rótulos dados os atributos). Ex.: satélite na chuva × seca; crédito treinado antes de uma crise.

Preparação: descartar linhas com valor ausente é “higiene” — mas se a ausência correlaciona com o grupo, remove o grupo do treino (ex.: dívida ausente com mais frequência para certos grupos religiosos).

Aviso

Proxy no rótulo: “prisões são um proxy problemático para cometer crimes… mais prisões acontecem onde há mais presença policial (e a polícia é distribuída de forma desigual)”. Idem utilização de saúde.

Envenenamento: o único intencional — imagens ribeirinhas sempre rotuladas “pobreza severa” para desviar transferências. Os outros nascem de decisões legítimas ou descuidadas.

A Seguradora, Dissecada

1. Medição (social): construto = necessidade real de cuidado; observado = utilização e custo. Pessoas negras estão mais doentes para o mesmo nível de utilização — o proxy mede coisas diferentes para grupos diferentes. Códigos de tratamento e rótulos humanos passados também carregam viés.

2. Amostragem (representação): dados só de membros da própria seguradora — planos talvez concentrados em regiões de população majoritariamente branca.

3. Preparação: rótulo por limite de custo → seleciona pessoas negras menos vezes para o mesmo grau de doença. Engenharia de atributos: agregar todos os tipos de utilização piora o viés; separar noites de internação e emergência mantém o viés baixo (Singh, 2021, via Varshney, p. 134).

Dica

Não há “um erro do algoritmo”: são três passagens, três vieses, três pontos de correção — e nenhuma envolve digitar “raça”.

O Laço de Retroalimentação (Extensão Nossa)

Se o rótulo é “onde houve prisões” e “mais prisões acontecem onde há mais presença policial” (Varshney, p. 48), um modelo que prevê “onde haverá crime” prevê, na prática, onde a polícia costuma estar.

O laço faz o proxy se autoconfirmar: o modelo prevê onde as prisões serão registradas e, ao agir sobre isso, produz os dados que “provam” que estava certo. O viés de um rótulo-proxy tende a crescer em produção, não a se diluir.

Dica

“O dado de treino é a sociedade” (M. C. Hammer, epígrafe de Varshney, cap. 10). Tarefa de quem constrói: localizar em qual passagem o viés entrou — a correção depende disso.

Pergunta

Sem raça e sem gênero: livre de viés?

Um banco remove as colunas “raça” e “gênero” do conjunto de dados de crédito e treina o modelo com o restante (renda, CEP, ocupação, histórico de pagamentos). A equipe declara que o modelo está “livre de viés”. Usando o mapa dos quatro espaços, o que essa afirmação deixa de examinar?

Dica: pense em quais passagens (medição, amostragem, preparação) a remoção de colunas afeta — e em quais ela não toca.

• □ Se, além de remover as colunas, o banco garantisse rótulos de adimplência baseados apenas no comportamento real de pagamento (sem nenhuma decisão humana prévia de concessão), ainda restaria risco de viés de representação caso clientes de certas regiões estivessem sub-representados na base.
• □ No limite em que a base contivesse toda a população, sem nenhuma ausência, o modelo estaria protegido contra viés social nos rótulos, porque a completude da base elimina a influência de julgamentos humanos passados.
• □ Numa rede neural de classificação de imagens médicas, pré-treinada num grande banco de fotos coletadas da internet, remover os metadados de raça do conjunto de ajuste fino garante que os vieses do conjunto de fundo não sejam herdados pelo modelo.
• □ Como remover colunas é uma etapa de preparação de dados, ela só pode reduzir o viés de preparação; nunca pode introduzir um.

V/F — Sem Raça e Sem Gênero: Resposta

Dica

• ✔ Verdadeiro — remover colunas não toca na amostragem: quem está sub-representado na base continua sub-representado.
• ✗ Falso — completude de cobertura não elimina viés social nos rótulos: decisões humanas passadas de concessão continuam refletindo preconceito, mesmo numa base completa.
• ✗ Falso — o viés vem do conjunto de fundo do modelo pré-treinado (Varshney, p. 43); mexer no conjunto de ajuste fino não o alcança.
• ✗ Falso — descartar linhas ou colunas pode introduzir viés de preparação (ex.: descartar linhas com dado ausente correlacionado ao grupo) — e remover o atributo ainda impede de medir se há disparidade.

Retomando: “cegueira de atributo” atua, no máximo, sobre uma passagem — e o proxy, a amostra e o rótulo continuam lá. Remover o atributo é, no máximo, uma peça da correção.

Poder, Consentimento e Privacidade

Consentimento, Poder e Privacidade

Até aqui: o dado que temos é bom? Agora (Varshney, cap. 5): é certo usar este dado?

Caso TraceBridge (fictício): app de rastreamento de contatos no retorno ao escritório — localização, saúde, redes sociais internas, calendário, organograma.

Aviso

O app não avisa o que acessa; a liderança tem controle total; dados centralizados e sem criptografia; a identidade do infectado vai à gestão e a todos os contatos.

Três Eixos Diferentes

Consentimento: houve concordância informada e específica para este uso? No caso: não — o uso é condição de emprego.

Poder: quem decide o destino do dado? O empregador pode rastrear pausas e até vender — “sem oportunidade de o funcionário dar consentimento” (Varshney, p. 52).

Privacidade: capacidade de reter informação sobre si — “considerada um direito humano essencial em muitos sistemas de valores e arcabouços legais”.

Importante

“Em suma, dado é poder.” Pode ser “extraído dos vulneráveis sem seu consentimento e … explorado para sua subjugação” (p. 53).

Sem Consentimento, Não Prosseguir

Data exhaust: subproduto das atividades digitais das pessoas — reaproveitado sem pedir. Ex.: imagens raspadas da internet, sem consentimento explícito, para treinar visão computacional.

Causa: “projetistas tomando atalhos para reunir grandes conjuntos de dados e mostrar valor rapidamente”.

Importante

“Proprietários de problemas e cientistas de dados não deveriam ter nenhum cálculo para ponderar poder, consentimento e privacidade contra conveniências na coleta de dados… Sem meio-termo!” (p. 53)

Note: Varshney recusa a troca (“o modelo melhora 2% com o dado extra”) — a coleta sem consentimento não entra na balança.

Remover o Nome Não Protege

Remover identificadores (nome, CPF, matrícula) “não é a solução inteira” (Varshney, p. 54): quase-identificadores — gênero, data de nascimento, código postal — permitem reidentificar quando ligados entre si.

Proteger a privacidade também é controlar quem acessa o dado e para quê — sempre “em conjunto com como o dado vai ser usado” (p. 58). A LGPD dá o critério legal de dado anonimizado no art. 12 (seção seguinte).

Pergunta

Consentimento e poder no local de trabalho

Uma empresa lança um aplicativo de bem-estar que coleta localização e batimentos cardíacos dos funcionários. O uso é obrigatório para quem quiser participar do plano de saúde corporativo, e a empresa se reserva o direito de usar os dados “para fins de gestão”. Esse consentimento é legítimo? Que perguntas a equipe deveria fazer antes de coletar?

Dica: separe três eixos — o consentimento (foi informado e específico?), o poder (quem decide o destino do dado?) e a privacidade (o que é exposto, e a quem?).

• □ Se o uso do aplicativo fosse voluntário, sem nenhuma consequência para quem recusa, e a finalidade fosse limitada e informada, os principais problemas de consentimento e de poder apontados no caso do TraceBridge seriam atenuados.
• □ No limite em que o empregador tenha o poder de desligar quem recusar o aplicativo, o “consentimento” dos funcionários passa a ser indistinguível de uma exigência: eles só podem aceitar.
• □ Um conjunto de imagens raspado de páginas públicas da internet e usado para treinar um modelo de visão computacional dispensa preocupação com consentimento, porque as imagens já estavam publicamente acessíveis.
• □ Como dado é poder, o problema de poder só existe quando a empresa vende os dados a terceiros; se os dados ficarem dentro da empresa, não há assimetria relevante entre empregador e funcionário.

V/F — Consentimento e Poder no Trabalho: Resposta

Dica

• ✔ Verdadeiro — sem coerção e com finalidade informada e limitada, cai a assimetria que tornava o consentimento vazio no TraceBridge.
• ✔ Verdadeiro — sob ameaça de desligamento não há escolha: o consentimento vira exigência (Varshney, p. 52).
• ✗ Falso — estar acessível não é consentimento explícito; o livro trata a raspagem sem consentimento como problemática (p. 53).
• ✗ Falso — o poder já está no uso interno: o empregador pode rastrear pausas e reuniões sem vender nada (p. 52).

Retomando: privacidade é técnica e política — quem consente e quem tem poder. A LGPD, a seguir, trata as duas.

A Moldura Legal: LGPD Artigo por Artigo

LGPD: Alcance

Lei nº 13.709/2018 (texto compilado). Objeto: o tratamento de dados pessoais — “toda operação” (coleta, classificação, processamento, avaliação…). Treinar e aplicar um modelo com dados pessoais é tratamento.

Fundamentos: privacidade, autodeterminação informativa, dignidade — e inovação. Equilíbrio, não proibição.

Dado pessoal: pessoa “identificada ou identificável” (quase-identificador). Dado sensível: raça/etnia, religião, opinião política, filiação sindical, saúde, vida sexual, genético, biométrico — não inclui gênero, idade, deficiência. Consentimento: “livre, informado e inequívoco … para uma finalidade determinada”.

Aviso

Fora da lei (art. 4º, III): segurança pública, defesa, investigação criminal — “legislação específica”. O laço do policiamento preditivo vive aí. Leitura do texto; a aplicação está fora das fontes da aula.

Os Princípios (art. 6º) — I a V

I. Finalidade — propósitos legítimos, específicos, explícitos e informados; sem uso posterior incompatível.

II. Adequação — compatível com as finalidades informadas, no contexto.

III. Necessidade — o mínimo necessário; dados pertinentes, proporcionais, não excessivos.

IV. Livre acesso — consulta facilitada e gratuita sobre forma, duração e integralidade dos dados.

V. Qualidade — exatidão, clareza, relevância e atualização.

Os Princípios (art. 6º) — VI a X

VI. Transparência — informação clara, “observados os segredos comercial e industrial”.

VII. Segurança — proteção contra acesso não autorizado e contra “alteração”, perda ou destruição.

VIII. Prevenção — medidas para prevenir danos.

IX. Não discriminação — vedado tratar “para fins discriminatórios ilícitos ou abusivos”.

X. Responsabilização — demonstrar medidas eficazes e sua eficácia.

Princípios × Vieses (Síntese Nossa)

Princípio	Problema do Bloco 1
I. Finalidade	Dado reaproveitado — descompasso de propósito
II. Adequação	Validade de construto — dado usado para medir outra coisa
III. Necessidade	Menos atributos → menos proxies
IV. Livre acesso	Auditabilidade pelo próprio titular
V. Qualidade	Social (exatidão), representação (relevância), temporal (atualização)
VI. Transparência	Auditabilidade — mas o segredo é ressalvado
VII. Segurança	Envenenamento — alteração maliciosa
VIII. Prevenção	Auditoria antes do treino
IX. Não discriminação	O resultado final — ver nota
X. Responsabilização	Documentar a auditoria

Aviso

Leitura crítica do IX: veda tratar “para fins discriminatórios”. A discriminação indireta (proxy) costuma acontecer sem esse fim — se cabe no IX é questão de interpretação. (Leitura nossa.)

Consentimento e Dados Sensíveis

Consentimento é 1 de 10 bases legais (art. 7º; inclui “proteção do crédito”). Mas a dispensa não dispensa os princípios (§ 6º).

Quando é a base: ônus da prova do controlador (art. 8º, § 2º); “autorizações genéricas … nulas” (§ 4º) — Kramer; nulo se a informação é “enganosa ou abusiva” (art. 9º, § 1º) — dark patterns.

Art. 11, § 1º: o regime dos sensíveis vale para tratamento que “revele” dado sensível e possa causar dano — gancho plausível para proxies (leitura nossa). § 5º: planos de saúde não podem usar dado de saúde para seleção de riscos na contratação e exclusão — não é o caso da Sospital (aloca cuidado entre atuais), mas mostra que o legislador viu o risco.

Art. 12: anonimizado ≠ pessoal, salvo se reversível “com esforços razoáveis” — base só sem nome, mas com CEP, nascimento e sexo, continua dado pessoal. Razoável depende de custo e tempo, com as tecnologias disponíveis. § 2º: perfil comportamental pode ser dado pessoal.

Art. 20: Decisão Automatizada

Importante

Original (2018): revisão “por pessoa natural” de decisões “unicamente” automatizadas que afetem interesses, “inclusive … perfil pessoal, profissional, de consumo e de crédito”.

Importante

Vigente (Lei 13.853/2019): direito de “solicitar a revisão” — sem “por pessoa natural”. § 1º: informações “claras e adequadas” sobre “critérios e procedimentos”, ressalvado o segredo. § 2º: se o segredo é invocado, a ANPD “poderá realizar auditoria” de “aspectos discriminatórios”. § 3º: (VETADO).

A MP 869/2018 já tirou “por pessoa natural”. O conteúdo do § 3º vetado não consta do PDF (pelo que se conhece do veto, previa revisão por pessoa natural; confirmar antes de citar). Art. 19, II: declaração com origem dos dados e critérios em até 15 dias.

Art. 20: Quatro Limites

1. “Unicamente”: analista que pondera o modelo com outros elementos fica fora — incentivo a pôr um humano “no circuito”.

2. A revisão não precisa ser humana (redação vigente).

3. O segredo comercial e industrial é ressalvado (§ 1º).

4. “Discriminatório” não é definido — a lei dá o poder de auditar, não o padrão de igualdade.

Dica

Contrapeso: o segredo não é muro final — o titular pode peticionar à ANPD (art. 18, § 1º) e a ANPD pode auditar (§ 2º). (Explicabilidade técnica: Aula 8.)

Responsabilização e Limites da Lei

Relatório de impacto (art. 38): processos que “podem gerar riscos às liberdades civis” e mitigações — onde caberia o roteiro de auditoria. Art. 42: dano “patrimonial, moral, individual ou coletivo” ⇒ reparação; o juiz pode inverter o ônus da prova (§ 2º). Art. 52: multa de até 2% do faturamento (limite R$ 50 mi por infração); ANPD fiscaliza e sanciona (art. 55-J).

O que a lei não cobre: segurança pública e investigação criminal; a definição de discriminação; decisões só em parte automatizadas; o segredo é ressalvado (contrapeso: auditoria); e dado anonimizado sai da lei, mas ainda pode treinar modelo que discrimina grupos (leitura nossa).

Dica

A LGPD é lei de proteção de dados pessoais: usá-la contra a discriminação algorítmica é possível, mas parcial.

Pergunta

O empréstimo negado

Um banco nega um empréstimo a um cliente com base unicamente em um modelo automatizado de risco de crédito. O cliente escreve ao banco pedindo uma explicação. (a) O que o art. 20 exige que o banco forneça? (b) A resposta “o modelo de aprendizado profundo decidiu que você é um risco” é suficiente? (c) Se o banco alegar segredo comercial, o cliente fica sem recurso? (d) O que a lei não garante ao cliente?

Dica: releia o § 1º e o § 2º do art. 20 separadamente — um trata do que o controlador deve dar; o outro, do que acontece se ele não der.

• □ Pela letra do art. 20, o direito de revisão se refere a decisões tomadas “unicamente” com base em tratamento automatizado; uma decisão em que um analista humano pondera o score do modelo junto com outros elementos não se enquadra literalmente nessa hipótese.
• □ No limite em que o banco invoque segredo comercial para se recusar a fornecer qualquer informação sobre os critérios do modelo, a lei deixa o titular sem nenhum recurso, pois o segredo é ressalvado no próprio texto do art. 20, § 1º.
• □ Uma empresa que recusa automaticamente candidaturas com base em um classificador de currículos toma uma decisão automatizada que se enquadra na hipótese do art. 20, porque o texto menciona expressamente decisões destinadas a definir o “perfil profissional” da pessoa.
• □ Como o art. 20, § 1º, exige informações sobre “critérios e procedimentos”, o banco cumpre a lei ao entregar o código-fonte e os pesos do modelo, mesmo que o cliente não consiga compreendê-los, pois a informação foi disponibilizada.

V/F — O Empréstimo Negado: Resposta

Dica

• ✔ Verdadeiro — a letra fala em decisão “unicamente” automatizada; o humano que pondera o score com outros elementos fica fora da hipótese literal.
• ✗ Falso — o segredo é ressalvado, mas o § 2º dá à ANPD o poder de auditar aspectos discriminatórios quando o segredo é invocado, e o titular pode peticionar à autoridade (art. 18, § 1º).
• ✔ Verdadeiro — o art. 20 cita expressamente decisões “destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito”.
• ✗ Falso — o § 1º pede informações “claras e adequadas”; entregar código e pesos incompreensíveis descreve a ferramenta, não o critério.

Retomando: o banco deve informar critérios e procedimentos de forma clara (§ 1º), pode ressalvar o segredo, mas a ANPD pode auditar (§ 2º). A lei não garante revisão humana, definição de “discriminatório”, nem cobertura de decisões só em parte automatizadas.

Corrigir o Modelo ou Corrigir a Coleta?

Auditar Antes de Treinar

Importante

“Quanto melhor o trabalho feito nesta etapa, menos correção e mitigação de danos depois. A avaliação deve incluir indivíduos afetados. Se todo o dado relevante for enviesado demais, a conversa é se o projeto deve sequer prosseguir.” (Varshney, 2022, p. 41)

Ordem: corrigir cedo custa menos. Quem participa: os afetados. Ponto de parada: a resposta pode ser não construir (Ciclo Ético, Aula 2). E “não existe conjunto de dados completamente sem viés” (p. 50): o objetivo é conhecer os vieses que restam.

O Que se Corrige Onde (Síntese Nossa)

Viés	Onde agir	Ação
Social	Medição	Repensar rótulo e atributo; painel diverso de informantes
Representação	Amostragem	Coletar dados melhores; qualidade, não só quantidade
Temporal	Amostragem	Atualizar; monitorar os shifts
Preparação	Preparação	Refazer a limpeza; revisar rótulo-proxy
Envenenamento	Preparação	Controlar acesso e alteração

Dica

A coleta primeiro; o modelo trata o resto — “alguns vieses vão passar” (p. 49). Como medir e atuar sobre o que sobra: aula seguinte.

O Roteiro de Auditoria

1. Para que o dado foi criado; o novo uso é compatível? (art. 6º, I–II) 2. Mede o que deveria? (social; art. 6º, V) 3. Representa quem será afetado?

4. Ainda vale? (temporal) 5. A preparação introduziu viés? 6. Alguém alterou o dado? (art. 6º, VII)

7. Base legal válida e dado mínimo necessário? (arts. 6º, III; 7º–9º) 8. É sensível ou revela sensível? (art. 11, § 1º) 9. Sei responder origem e critérios? (arts. 19, II; 20)

Dica

10. Se todo o dado relevante é enviesado demais, devemos prosseguir? (Varshney, p. 41)

Pergunta

Corrigir o modelo ou corrigir a coleta?

Uma equipe descobre que o seu modelo de triagem de crédito tem desempenho muito pior para clientes de uma região, porque a base de treino quase não tem clientes dali. Ela propõe “ajustar o modelo” para compensar. Por que vale perguntar primeiro sobre a coleta? E o que fazer se, mesmo depois de melhorar a coleta, o dado continuar enviesado demais para o uso pretendido?

Dica: relacione o problema a uma passagem do modelo dos quatro espaços e pergunte onde essa passagem pode ser refeita.

• □ Se o problema for de viés de representação, coletar dados adicionais da região sub-representada ataca a causa na passagem de amostragem, enquanto um ajuste feito só no modelo trata o sintoma sem alterar o que os dados registram.
• □ No limite em que nenhum dado disponível seja considerado válido para o problema (todo dado relevante é enviesado demais), a recomendação de Varshney é ajustar o modelo até compensar, porque sempre é possível corrigir o viés depois da implantação.
• □ Num sistema de recomendação em que o rótulo de treino é o clique do usuário, mas o usuário só vê o que o sistema já recomendou, corrigir apenas o modelo não altera o fato de que o rótulo é afetado pelo próprio sistema.
• □ Se os dados foram obtidos sem consentimento, a decisão sobre prosseguir com o projeto depende apenas de o modelo treinado com eles apresentar bom desempenho.

V/F — Corrigir o Modelo ou a Coleta? Resposta

Dica

• ✔ Verdadeiro — representação é um problema da amostragem: mais dados da região corrigem a origem; ajustar o modelo compensa o sintoma.
• ✗ Falso — Varshney diz o contrário: se todo dado relevante é enviesado demais, a conversa é se o projeto deve prosseguir.
• ✔ Verdadeiro — é o laço do policiamento preditivo (extensão nossa): o rótulo depende do que o sistema já mostrou.
• ✗ Falso — “sem consentimento, não prosseguir” (Varshney, p. 53); a LGPD exige base legal válida (arts. 7º–9º). Bom desempenho não legitima a obtenção do dado.

Fechamento e Ponte para a Aula 7

Retomando o Roteiro

1. “O dado fala por si”? Falso: é o resultado de uma cadeia de decisões, cada uma podendo carregar viés.

2. Onde o viés entra? Medição (social), amostragem (representação, temporal), preparação (preparação, envenenamento). Tirar a coluna não basta: o proxy traz a informação de volta.

3. LGPD? Exige princípios e base legal; garante acesso, correção, critérios e revisão; deixa de fora segurança pública e a definição de “discriminatório” (contrapeso: auditoria da ANPD).

4. Modelo ou coleta? Coleta primeiro; o modelo trata o resto; às vezes a resposta é não prosseguir.

Dica

Em aberto: a lacuna da segurança pública, que a LGPD não resolve.

Ponte para a Aula 7

Saber que o dado é enviesado não diz o quanto, nem o que fazer a respeito.

Dica

Aula 7: como definir matematicamente se uma decisão automatizada é injusta — e como projetar um modelo que já nasce perseguindo justiça, não só acurácia.

Exercícios Soluções