Aula Soluções
Questões discursivas
Uma prefeitura quer treinar um modelo para priorizar quais bairros receberão visitas de agentes de saúde para busca ativa de dengue. O rótulo de treino é o número de casos notificados de dengue por bairro nos últimos cinco anos, obtidos dos registros das unidades de saúde. Considere o seguinte modelo: o dado percorre quatro espaços (construto: o que se quer medir no mundo ideal; observado: atributos e rótulos efetivamente medidos; bruto: a amostra coletada de uma população; preparado: o dado final depois de limpeza), com três passagens (medição, amostragem, preparação), e cinco vieses (social, de representação, temporal, de preparação e envenenamento), que ameaçam, respectivamente, as validades de construto, externa e interna. Identifique pelo menos três problemas plausíveis com esse dado, diga em qual passagem cada um entra, qual validade ameaça e que ação de correção você proporia antes de treinar o modelo.
Uma plataforma de empréstimos usa um modelo de aprendizado de máquina para aprovar ou negar pedidos de crédito sem intervenção humana. Um cliente teve o pedido negado e escreve à empresa pedindo a explicação da decisão. A Lei Geral de Proteção de Dados brasileira (LGPD, Lei nº 13.709/2018), no art. 20, garante ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses (incluídas as destinadas a definir o perfil pessoal, profissional, de consumo e de crédito); o § 1º exige que o controlador forneça, quando solicitado, informações claras e adequadas sobre os critérios e os procedimentos utilizados, observados os segredos comercial e industrial; o § 2º prevê que, se a informação não for oferecida com base no segredo comercial ou industrial, a autoridade nacional (ANPD) poderá realizar auditoria para verificação de aspectos discriminatórios. Descreva o que a empresa deve fornecer ao cliente, explique o que acontece se ela alegar segredo comercial e identifique pelo menos dois limites da proteção que esse artigo oferece ao cliente (por exemplo, sobre o que o texto não define ou não exige). Você acha que esses limites são graves para quem sofre discriminação algorítmica? Justifique.
Uma empresa de logística exige que todos os seus motoristas instalem um aplicativo que registra a localização durante o expediente e também fora dele, sob o argumento de “otimizar rotas”. Os motoristas não são informados de que os dados podem ser usados para outros fins, e a recusa em instalar o aplicativo implica desligamento. Varshney (2022) argumenta, em um caso análogo de rastreamento de contatos no local de trabalho, que quando o empregador pode exigir o uso do aplicativo como condição de emprego, o funcionário não tem oportunidade real de dar consentimento, e que sistemas de aprendizado de máquina confiáveis exigem que o dado seja usado de forma consensual, especialmente por parte de quem pode ser explorado. A LGPD define o consentimento como “manifestação livre, informada e inequívoca pela qual o titular concorda com o tratamento de seus dados pessoais para uma finalidade determinada” (art. 5º, XII), e estabelece, entre outros princípios, o da necessidade: o tratamento deve limitar-se ao mínimo necessário para a finalidade (art. 6º, III). Argumente se o consentimento dos motoristas pode ser considerado válido nesse cenário e o que mais a empresa precisaria demonstrar para justificar a coleta (lembrando que o consentimento não é a única base legal prevista no art. 7º).
Questões de Verdadeiro/Falso
Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).
Dado administrativo é o dado registrado por uma organização em suas operações rotineiras, por razões não estatísticas (por exemplo, os sinistros pagos por uma seguradora). Modelos de fundação são grandes modelos pré-treinados em enormes conjuntos de dados genéricos e depois ajustados (fine-tuned) a um problema específico.
- □ Se um hospital registrasse, em suas operações rotineiras, diretamente a gravidade clínica de cada paciente, e não apenas os custos do atendimento, o descompasso entre o rótulo de que um modelo de triagem precisa (“quem precisa de mais cuidado”) e o dado administrativo disponível deixaria de existir para esse rótulo.
- □ No limite em que um conjunto de dados administrativo tenha um número muito grande de registros, o descompasso entre o propósito original do dado e o problema do modelo desaparece, porque o grande volume compensa o uso de proxies.
- □ Um classificador de radiografias foi obtido ajustando (fine-tuning) um modelo pré-treinado em um enorme conjunto de fotos da internet. Para avaliar o viés do sistema, basta auditar o conjunto de radiografias usado no ajuste fino, pois o conjunto genérico serviu apenas de ponto de partida.
- □ Mesmo um conjunto de dados coletado com propósito estatístico, como um censo nacional, pode conter viés, por exemplo por não resposta de parte da população.
Um modelo descreve o caminho do dado por quatro espaços: construto (ideal, não observado), observado (atributos e rótulos medidos), bruto (amostra coletada de uma população) e preparado (dado final, depois da limpeza). As passagens são a medição, a amostragem e a preparação. Três validades: de construto (o dado mede o que deveria?), externa (a análise generaliza para outras populações?) e interna (há erros no processamento?).
- □ Se o rótulo de um modelo de triagem de saúde foi medido corretamente, mas a amostra de treino inclui apenas pacientes de uma única região, o problema resultante ameaça a validade externa, não a validade de construto.
- □ No limite em que a amostra coincida exatamente com a população-alvo, sem nenhuma ausência, todos os vieses do modelo de quatro espaços ficam eliminados.
- □ Um detector de spam treinado com e-mails de 2020 e usado em 2026, depois que o padrão das mensagens mudou, sofre principalmente de viés temporal, que ameaça a validade externa.
- □ Envenenamento de dados e viés social são o mesmo tipo de problema, pois ambos introduzem rótulos incorretos; a única diferença é se o responsável pelo rótulo é humano ou automático.
Viés social é o que entra na medição, quando julgamentos humanos (de especialistas ou de trabalhadores de crowdsourcing) traduzem o construto em rótulos e atributos. Viés de representação é o que entra na amostragem, quando a amostra não representa a população sobre a qual se quer decidir; inclui diferenças sistemáticas na qualidade dos dados, não só na quantidade.
- □ Se trabalhadores de crowdsourcing que rotulam telhados em imagens de satélite conhecessem a organização das casas na região (por exemplo, cozinhas e alojamentos separados da casa principal), o erro de rotulagem que infla a estimativa de pobreza poderia ser evitado sem alterar nenhuma imagem.
- □ No limite em que um grupo represente apenas 1% da base de treino e o modelo otimize uma métrica média de desempenho, errar sistematicamente nesse grupo tem custo quase desprezível na métrica global, o que leva o modelo a ignorar as características especiais do grupo.
- □ Um teste de proficiência, usado como atributo em um modelo de seleção, exige conhecimento cultural tácito que nem todos os candidatos têm. Esse é um problema de amostragem, resolvido coletando mais candidatos dos grupos sub-representados.
- □ A representatividade de um conjunto de dados é apenas uma questão de contar quantos pontos de cada grupo existem; se cada grupo aparece em proporção adequada, o conjunto é representativo.
Três tipos de mudança do mundo depois da coleta: deslocamento das covariáveis (muda a distribuição dos atributos), deslocamento da probabilidade a priori (muda a distribuição dos rótulos) e deriva de conceito (muda a relação entre rótulos e atributos). O viés de preparação é o que entra quando escolhas de limpeza, agregação ou definição de rótulos introduzem viés novo.
- □ Num modelo de crédito, se a distribuição de renda dos clientes muda depois de uma crise, mas a relação entre renda e inadimplência permanece a mesma, houve deslocamento das covariáveis, e não deriva de conceito.
- □ No limite em que apenas 1% das linhas de um conjunto tenha valor ausente, descartar essas linhas não pode introduzir viés relevante, mesmo que a ausência esteja concentrada em um grupo específico.
- □ Um modelo de detecção de fraude em pagamentos usa como rótulo “fraude confirmada por investigação”, mas o banco só investiga transações acima de um certo valor. Esse rótulo é um proxy que pode introduzir viés de preparação, porque fraudes de pequeno valor nunca chegam a ser rotuladas.
- □ Como o viés de preparação é introduzido por escolhas técnicas de rotina, como descartar linhas incompletas, ele é sempre neutro do ponto de vista dos grupos afetados.
Um atributo protegido é um atributo (como raça, gênero, religião, idade) que leis ou políticas de um domínio e de uma jurisdição determinam como base de proteção contra discriminação. Um proxy é uma variável aparentemente neutra que carrega informação estatística sobre outra (por exemplo, um atributo protegido). Chama-se discriminação indireta o resultado desfavorável a um grupo obtido sem usar o atributo que o define.
- □ Um banco remove as colunas “raça” e “CEP” de um modelo de crédito, mas mantém a coluna “escola de ensino médio frequentada” em uma cidade em que as escolas são segregadas por raça. O risco de discriminação indireta permanece.
- □ No limite em que uma coluna seja uma cópia codificada exata do atributo protegido, o modelo consegue reproduzir o tratamento diferenciado que teria com o atributo original mesmo depois de o atributo original ser removido.
- □ Numa regressão logística com regularização L1, que zera os coeficientes de variáveis pouco informativas, um proxy correlacionado com um atributo protegido será sempre eliminado do modelo, já que a regularização remove variáveis correlacionadas com outras.
- □ A discriminação indireta só ocorre quando a equipe que constrói o modelo tem a intenção de discriminar; sem essa intenção, o resultado desfavorável a um grupo é apenas erro estatístico.
Consentimento é a concordância informada e específica do titular com um uso determinado do seu dado; poder é a capacidade de decidir o destino do dado e de impor condições a quem o fornece; privacidade é a capacidade de uma pessoa reter informação sobre si mesma. Dado reaproveitado (data exhaust) é o subproduto das atividades digitais das pessoas, usado para um fim diferente daquele para o qual foi gerado.
- □ Se um empregador informasse claramente quais dados um aplicativo coleta e permitisse a recusa sem qualquer consequência, o problema de consentimento seria atenuado; ainda assim, se os dados fossem armazenados de forma centralizada e sem salvaguardas, restaria um problema de privacidade.
- □ No limite em que o empregador tenha o poder de desligar quem recusar o aplicativo, o consentimento dos funcionários passa a ser indistinguível de uma exigência: eles só podem aceitar.
- □ Um conjunto de imagens raspado de páginas públicas da internet e usado para treinar um modelo de visão computacional dispensa preocupação com consentimento, porque as imagens já estavam publicamente acessíveis.
- □ Como consentimento e privacidade são a mesma exigência, se houver consentimento dos titulares a privacidade está automaticamente preservada, e nenhuma salvaguarda adicional é necessária.
Segundo a LGPD (Lei nº 13.709/2018): dado pessoal é a informação relacionada a pessoa natural identificada ou identificável (art. 5º, I); dados anonimizados não são dados pessoais, salvo se o processo de anonimização puder ser revertido com esforços razoáveis (art. 12); o consentimento deve ser livre, informado e inequívoco, para finalidade determinada (art. 5º, XII), e autorizações genéricas são nulas (art. 8º, § 4º); o princípio da finalidade veda o tratamento posterior de forma incompatível com as finalidades informadas ao titular (art. 6º, I).
- □ Se um banco usar, sem informar o cliente, os dados fornecidos para abrir uma conta corrente para treinar um modelo de marketing de seguros, o princípio da finalidade (art. 6º, I) estaria em questão.
- □ Uma base é “anonimizada” apenas pela remoção do nome, mas mantém CEP, data de nascimento e sexo, que permitem reidentificar as pessoas com esforços razoáveis. Pelo art. 12, essa base deixa de ser dado pessoal, porque o nome foi removido.
- □ Um serviço de análise de crédito pode, pelo art. 7º, tratar dados com base na “proteção do crédito” sem precisar de consentimento; isso o dispensa também de observar os princípios do art. 6º, como finalidade, necessidade e não discriminação.
- □ O art. 11, § 1º, estende o regime reforçado dos dados sensíveis a qualquer tratamento que revele dado sensível e possa causar dano ao titular; assim, a lista do art. 5º, II, não é o único critério textual para acionar esse regime.
O art. 20 da LGPD garante ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses (incluídas as destinadas a definir perfil pessoal, profissional, de consumo e de crédito). O § 1º exige informações claras e adequadas sobre critérios e procedimentos, observados os segredos comercial e industrial; o § 2º prevê que, se a informação for recusada com base no segredo, a autoridade nacional (ANPD) poderá realizar auditoria para verificação de aspectos discriminatórios. O art. 4º, III, exclui da lei o tratamento para fins exclusivos de segurança pública, defesa nacional, segurança do Estado e investigação e repressão de infrações penais.
- □ Se uma empresa acrescenta uma etapa em que um analista apenas assina, sem examiná-las, todas as decisões do modelo, ela pode invocar a letra do art. 20 (“unicamente”) para alegar que a decisão não é unicamente automatizada, embora na prática o peso da decisão continue sendo do modelo.
- □ No limite em que o segredo comercial protegesse integralmente os critérios de um modelo, o § 2º do art. 20 deixaria de ter aplicação, pois a auditoria da ANPD é vedada quando há segredo.
- □ Um sistema de reconhecimento facial usado por uma polícia estadual para identificar suspeitos em investigações criminais está, pela letra do art. 4º, III, fora do âmbito da LGPD, embora a lei remeta esse tratamento a legislação específica que deve observar os princípios gerais e os direitos do titular.
- □ O art. 42, § 2º, permite ao juiz inverter o ônus da prova a favor do titular; isso significa que o titular está dispensado de qualquer alegação e basta acionar o controlador para que ele prove que não discriminou.