Exercícios — Aula 7: Fairness Algorítmica

Computação e Sociedade

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Questões discursivas

Compare, com suas próprias palavras, as definições de injustiça individual (\(P(Y{=}0\mid X, Z{=}\text{branca}) > P(Y{=}0\mid X, Z{=}\text{negra})\)) e de disparidade de utilidade (\(\Delta = |\mathbb{E}[U\mid Z{=}0] - \mathbb{E}[U\mid Z{=}1}]|\)) apresentadas na aula. Em seguida, descreva um cenário hipotético de concessão de crédito em que um modelo satisfaça a definição de disparidade de utilidade (ou seja, \(\Delta = 0\)) mas ainda viole a definição de injustiça individual para pelo menos um par de clientes com o mesmo perfil financeiro \(X\).
Explique, com suas próprias palavras, por que a estratégia de “justiça pela ignorância” (remover o atributo sensível \(Z\) do dado de treino) falha como solução para fairness algorítmica. Em seguida, proponha um exemplo — diferente dos citados na aula (CEP como proxy em concessão de crédito, histórico de utilização de saúde, instituição de ensino em triagem de currículos) — de uma variável que poderia funcionar como proxy de um atributo sensível (raça, gênero, idade ou classe social) num sistema de recomendação de conteúdo (ex.: um serviço de streaming de vídeo ou música).
A aula apresentou o objetivo Rawlsiano (\(\max_f \min_z \mathbb{E}[U\mid Z{=}z]\)) como uma alternativa a igualar métricas entre grupos, como a Paridade Demográfica. Discuta, usando o Teorema da Impossibilidade e a crítica feita à Paridade Demográfica na aula (ela pode exigir aprovar indivíduos não qualificados de um grupo só para igualar a taxa total de aprovação), por que “maximizar o pior caso” é uma escolha de valores diferente de “igualar as taxas entre grupos” — mesmo que as duas, à primeira vista, pareçam buscar o mesmo objetivo de justiça.

Questões de Verdadeiro/Falso

Teste 1 — Máxima Verossimilhança e o Exemplo do Empréstimo

Relembrando: aprendizado de máquina é o processo de achar o modelo \(f\) que maximiza \(P_f(Y\mid X)\) — a probabilidade condicional de um resultado \(Y\) dada uma evidência \(X\). No exemplo do empréstimo, \(X\) é o perfil financeiro de um cliente (salário, dívida, posse de imóvel) e \(Y\) indica se ele será bom ou mau pagador.

□ Como o objetivo de treino é \(\max_f P_f(Y\mid X)\), um modelo que atinge esse máximo garante que a previsão \(\hat{Y}\) estará sempre correta para qualquer cliente individual, não apenas mais provável.
□ O mesmo princípio de máxima verossimilhança do exemplo do empréstimo também descreve o objetivo de treino de um classificador de reincidência criminal como o COMPAS: maximizar \(P_f(\text{reincidência} \mid \text{histórico})\).
□ Se o banco tivesse, para cada perfil financeiro \(X\), um número praticamente ilimitado de casos passados observados, o modelo aprenderia a reproduzir com precisão a frequência histórica de pagamento daquele perfil — o que, por si só, não eliminaria nenhum viés já presente nessa frequência histórica.
□ Se o banco trocasse salário e dívida por apenas a data de nascimento do cliente como evidência \(X\), o objetivo \(\max_f P_f(Y\mid X)\) deixaria de fazer sentido matemático, porque o modelo não teria mais nenhuma variável para associar a \(Y\).

Teste 2 — O Atributo Sensível \(Z\) e a Falha da Cegueira Deliberada

Relembrando: \(Z\) é um atributo sensível (raça, gênero, idade) que, por princípio ético e/ou legal, não deveria determinar uma decisão. A estratégia de “justiça pela ignorância” — remover \(Z\) do dado de treino — falha porque o modelo pode reconstruir \(Z\) a partir de variáveis correlacionadas (proxies).

□ Remover a coluna \(Z\) do dado de treino garante que o modelo \(f\) não consiga mais associar nenhum padrão estatístico ao atributo sensível, mesmo que outras colunas do dado estejam fortemente correlacionadas com \(Z\).
□ Um modelo de concessão de crédito que usa “tempo de permanência no endereço atual” e “bairro de residência” como variáveis pode reconstruir informação equivalente a \(Z\) mesmo sem \(Z\) estar explicitamente no dado, pelo mesmo mecanismo de proxy discutido na aula para o CEP.
□ Se duas variáveis do dado, cada uma isoladamente com correlação fraca com \(Z\), forem combinadas pelo modelo, essa combinação pode ainda assim funcionar como um proxy informativo de \(Z\), mesmo que nenhuma das duas sozinha pareça arriscada numa auditoria variável-por-variável.
□ A falha de “justiça pela ignorância” implica que a única forma de garantir que um modelo nunca discrimine por \(Z\) é impedir que ele receba qualquer variável correlacionada, mesmo que fracamente, com qualquer atributo sensível conhecido.

Teste 3 — Injustiça Individual

Relembrando: a aula definiu injustiça individual como \(P(Y{=}0\mid X, Z{=}\text{branca}) > P(Y{=}0\mid X, Z{=}\text{negra})\) — a probabilidade de ser considerado “bom pagador” é maior para um grupo do que para outro, com exatamente o mesmo perfil financeiro \(X\).

□ A definição de injustiça individual exige comparar dois indivíduos com o mesmo atributo sensível \(Z\), mas perfis financeiros \(X\) diferentes.
□ Se, para um mesmo perfil financeiro \(X\), a probabilidade de ser considerado bom pagador for idêntica entre \(Z{=}\text{branca}\) e \(Z{=}\text{negra}\), essa desigualdade específica de injustiça individual não se verifica para esse perfil.
□ A injustiça individual, tal como definida na aula, pode ser calculada sem nunca observar o resultado real \(Y\) de nenhum cliente — basta comparar as probabilidades previstas pelo modelo para perfis idênticos em \(X\).
□ Encontrar um único par de clientes com o mesmo \(X\) e resultados previstos diferentes por \(Z\) já basta, sozinho, para caracterizar a definição de injustiça individual apresentada na aula, mesmo sem calcular nenhuma probabilidade condicional.

Teste 4 — Disparidade de Utilidade (Group Fairness)

Relembrando: a aula definiu a disparidade de utilidade entre grupos como \(\Delta = |\mathbb{E}[U(Y_t, A_t) \mid Z{=}0] - \mathbb{E}[U(Y_t, A_t) \mid Z{=}1]|\) — a diferença entre o benefício médio que cada grupo recebe das decisões do modelo.

□ \(\Delta{=}0\) implica necessariamente que todo indivíduo do grupo \(Z{=}0\) recebe exatamente a mesma utilidade que todo indivíduo do grupo \(Z{=}1\).
□ \(\Delta\) é uma medida populacional: ela pode ser igual a zero mesmo que existam casos individuais de injustiça, definidos como no Teste 3, dentro de cada grupo.
□ Se a utilidade \(U\) para o grupo \(Z{=}0\) tiver alta variância interna (alguns indivíduos muito bem servidos, outros muito mal servidos), enquanto a média permanecer igual à do grupo \(Z{=}1\), \(\Delta\) continuaria igual a zero.
□ \(\Delta\), definido como diferença absoluta de utilidade esperada, é, por construção matemática, sempre um número entre 0 e 1.

Teste 5 — Paridade Demográfica vs. Igualdade de Oportunidade

Relembrando: Paridade Demográfica exige \(P(\hat{Y}{=}1 \mid Z{=}\text{branca}) = P(\hat{Y}{=}1 \mid Z{=}\text{negra})\) (taxas de aprovação iguais). Igualdade de Oportunidade exige \(P(\hat{Y}{=}1 \mid Y{=}1, Z{=}\text{branca}) = P(\hat{Y}{=}1 \mid Y{=}1, Z{=}\text{negra})\) (entre os qualificados, chance de aprovação igual).

□ Um modelo que satisfaz Paridade Demográfica aprova, necessariamente, a mesma proporção de candidatos qualificados (\(Y{=}1\)) em cada grupo.
□ É possível que um modelo satisfaça Igualdade de Oportunidade e, ainda assim, tenha taxas de falso positivo (aprovar quem não é qualificado) bem diferentes entre os grupos.
□ Num cenário hipotético em que a fração de candidatos qualificados já é idêntica entre os dois grupos, Paridade Demográfica e Igualdade de Oportunidade produzem exatamente a mesma restrição sobre o modelo.
□ Um sistema pode satisfazer simultaneamente Paridade Demográfica e Igualdade de Oportunidade em qualquer conjunto de dados, bastando ajustar cuidadosamente o limiar de decisão de cada grupo.

Teste 6 — O Teorema da Impossibilidade

Relembrando: o Teorema da Impossibilidade afirma que, exceto em casos muito restritos, é matematicamente impossível satisfazer todas as métricas de fairness relevantes ao mesmo tempo.

□ O Teorema da Impossibilidade afirma que nenhum modelo de decisão automatizada pode, em qualquer circunstância, satisfazer mais de uma métrica de fairness ao mesmo tempo.
□ Segundo o teorema discutido na aula, escolher qual métrica de fairness perseguir num projeto real é, em geral, uma decisão que envolve julgamento de valores, e não apenas uma escolha técnica neutra.
□ Se, num domínio específico, a taxa real de qualificação (\(Y{=}1\)) já for idêntica entre todos os grupos definidos por \(Z\), esse seria exatamente o tipo de caso restrito em que múltiplas métricas de fairness poderiam coincidir.
□ A existência do Teorema da Impossibilidade implica que toda tentativa de tornar um modelo mais justo é inútil, já que nenhuma configuração de métricas pode ser plenamente satisfeita.

Teste 7 — Fairness Rawlsiana

Relembrando: o objetivo Rawlsiano, inspirado no Princípio da Diferença de John Rawls, é \(\max_f \left( \min_z \mathbb{E}[U \mid Z{=}z] \right)\) — maximizar a utilidade esperada do grupo em pior situação. O framework M²FGB (Pereira, Valdrighi & Raimundo, 2025) implementa esse objetivo dentro de gradient boosting.

□ O objetivo Rawlsiano \(\max_f \min_z \mathbb{E}[U\mid Z{=}z]\) busca, entre todos os modelos possíveis, aquele que iguala a utilidade esperada entre todos os grupos \(z\).
□ É matematicamente possível que o modelo escolhido pelo objetivo Rawlsiano tenha uma utilidade média geral (somando todos os grupos) menor do que a de um modelo treinado só para maximizar acurácia, se isso significar melhorar a utilidade do grupo pior servido.
□ O framework M²FGB aplica um termo de fairness durante o treino de modelos de gradient boosting, em vez de aplicá-lo como um ajuste feito depois do modelo já treinado.
□ Se, num problema específico, um único grupo \(z^*\) já for sempre o pior servido, não importa qual modelo \(f\) seja escolhido, então o objetivo Rawlsiano se reduziria, nesse caso, a simplesmente maximizar a utilidade esperada desse grupo \(z^*\) sozinho.

Teste 8 — Fairness de Longo Prazo e Rótulos Seletivos

Relembrando: decisões de hoje (\(t\)) moldam o dado de amanhã (\(t{+}1\)). O problema dos rótulos seletivos: só observamos o resultado real (ex.: pagamento de um empréstimo) para quem recebeu uma decisão positiva.

□ O problema dos rótulos seletivos ocorre porque o valor real de \(Y\) (por exemplo, se o cliente pagaria o empréstimo) só é observado para os indivíduos que receberam uma decisão positiva.
□ Medir a fairness de um modelo de crédito usando apenas os clientes que já receberam empréstimo produz, necessariamente, uma estimativa não enviesada da fairness real do sistema, incluindo quem foi recusado.
□ O mecanismo de retroalimentação descrito para o crédito (decisão de hoje molda o dado de amanhã) é estruturalmente análogo ao laço de policiamento preditivo já discutido na Aula 6, em que mais patrulha gera mais prisões registradas no mesmo bairro.
□ Um sistema de triagem de currículos que usa o histórico de contratações passadas para treinar o próximo ciclo de contratações está sujeito ao mesmo tipo de retroalimentação de longo prazo discutido para o crédito, mesmo sendo um domínio de decisão diferente.