Exercícios — Aula 1: Dados, Distribuições e Detecção de Anomalias

Fundamentos Estatísticos do Aprendizado Supervisionado

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Aula Soluções

Convenções usadas nesta lista

Duas classes \(\mathcal{C}_A\) (mais frequente, “normal”) e \(\mathcal{C}_B\) (mais rara, “anômala”), com densidades condicionais de classe \(p(x\mid\mathcal{C}_A)\), \(p(x\mid\mathcal{C}_B)\) e prioris \(\pi_A = p(\mathcal{C}_A) = 0{,}95\), \(\pi_B = p(\mathcal{C}_B) = 0{,}05\).
\(T_{COND}\) é o ponto de cruzamento das densidades condicionais, \(p(x\mid\mathcal{C}_A) = p(x\mid\mathcal{C}_B)\) (ignorando as prioris). \(T_{CONJ}\) é o ponto de cruzamento das densidades conjuntas, \(\pi_A\,p(x\mid\mathcal{C}_A) = \pi_B\,p(x\mid\mathcal{C}_B)\) (incorporando as prioris) — sob perda 0-1 (todo erro pesa o mesmo), \(T_{CONJ}\) é o corte que minimiza o erro esperado.
Teorema de Bayes: \(p(\mathcal{C}_k\mid x) = \dfrac{p(x\mid\mathcal{C}_k)\,\pi_k}{p(x)}\), com evidência \(p(x)=\sum_j p(x\mid\mathcal{C}_j)\,\pi_j\).
Fixando \(\mathcal{C}_A\) como hipótese nula: erro Tipo I (alarme falso) é declarar \(\mathcal{C}_B\) quando a verdade é \(\mathcal{C}_A\); erro Tipo II (escape) é declarar \(\mathcal{C}_A\) quando a verdade é \(\mathcal{C}_B\).
Distribuição Beta: \(\operatorname{Beta}(x\mid a,b) = \dfrac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\,x^{a-1}(1-x)^{b-1}\), \(x\in[0,1]\), \(a,b>0\) — usada para modelar escores/proporções em \([0,1]\). Pode ser ajustada pelo método de momentos (fórmula fechada a partir da média e variância amostrais) ou por máxima verossimilhança (MLE).

Questões discursivas

Um colega afirma: “se as duas classes têm o mesmo número de exemplos, o corte no cruzamento das densidades condicionais (\(T_{COND}\)) e o corte no cruzamento das densidades conjuntas (\(T_{CONJ}\)) coincidem.” Essa afirmação é verdadeira? Justifique usando a relação \(p(x,\mathcal{C}_k) = p(x\mid\mathcal{C}_k)\,\pi_k\) entre densidade conjunta, densidade condicional de classe e priori.
Um detector de fraude é treinado apenas com transações legítimas (classe \(\mathcal{C}_A\)) — não há exemplos rotulados de fraude (classe \(\mathcal{C}_B\)) disponíveis. Explique, em termos de \(p(x \mid \mathcal{C}_A)\) e \(p(x \mid \mathcal{C}_B)\), por que a taxa de detecção (erro Tipo II: a fração de fraudes reais que escapam) desse sistema não pode ser calculada — apenas estimada sob uma suposição adicional. Que suposição seria essa?
(De PRML, Exercício 1.24, adaptado.) Considere um problema de decisão de duas classes em que a perda de classificar incorretamente um exemplo da classe \(\mathcal{C}_A\) como \(\mathcal{C}_B\) é \(\lambda\) vezes maior que o erro oposto. Reformule a regra de decisão que corta em \(T_{CONJ}\) (ver Convenções acima) para incorporar esse custo assimétrico. Em seguida, aplique sua reformulação ao seguinte teste diagnóstico: prevalência da doença \(p(D)=0{,}01\), sensibilidade \(p(+\mid D)=0{,}90\), taxa de falso positivo \(p(+\mid \bar D)=0{,}03\) (o que dá, pelo Teorema de Bayes e sob perda 0-1, \(p(D\mid+)\approx 0{,}233\)). O que muda na decisão se um falso negativo (deixar de detectar a doença) custar 10 vezes mais que um falso positivo?

Questões de Verdadeiro/Falso

Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).

Teste 1 — Distribuições, priori e fronteira de decisão

□ Se as duas classes fossem igualmente frequentes (\(\pi_A=\pi_B=0{,}5\)) em vez de \(\pi_A=0{,}95\), o cruzamento das conjuntas passaria a coincidir exatamente com o cruzamento das condicionais \(T_{COND}\).
□ No limite em que \(\pi_A \to 1\) (quase toda a população pertence à classe A), o cruzamento das conjuntas \(T_{CONJ}\) tende a se afastar cada vez mais do cruzamento das condicionais \(T_{COND}\), na direção do território de B.
□ Considere uma triagem de segurança em aeroportos em que \(99\%\) dos passageiros não representam ameaça. Mesmo com condicionais simétricas e bem separadas, cortar sempre no cruzamento das CONDICIONAIS (ignorando essa priori \(99\%/1\%\)) não é a regra de decisão ótima sob perda 0-1.
□ Como o cruzamento das condicionais não depende das prioris, conclui-se que a taxa de erro total (Tipo I + Tipo II, ponderados pelas prioris) também não depende de onde as prioris colocam o peso relativo entre os dois tipos de erro.

Teste 2 — Teorema de Bayes e um teste diagnóstico

Considere um teste diagnóstico para uma doença \(D\) com prevalência (priori) \(p(D)=0{,}01\), sensibilidade \(p(+\mid D)=0{,}90\) (probabilidade de teste positivo dado que a pessoa está doente) e taxa de falso positivo \(p(+\mid \bar D)=0{,}03\) (probabilidade de teste positivo dado que a pessoa está saudável). Pelo Teorema de Bayes, isso dá \(p(D\mid+)\approx 0{,}233\) (\({\approx}23{,}3\%\)).

□ No limite em que a prevalência da doença tende a zero, mantendo sensibilidade e falso positivo fixos em \(0{,}90\) e \(0{,}03\), a posteriori \(p(D\mid+)\) também tende a zero.
□ Se a prevalência da doença fosse \(50\%\) em vez de \(1\%\) (mantendo sensibilidade \(0{,}90\) e falso positivo \(0{,}03\)), a posteriori \(p(D\mid+)\) passaria a ser maior que \(90\%\).
□ Num teste de triagem usado em campanhas de vacinação em massa, com prevalência ainda menor (1 em 10.000) e sensibilidade e especificidade excelentes (99% cada), a proporção de positivos que são realmente doentes seria ainda menor do que no valor de referência acima (\({\approx}23{,}3\%\)).
□ Como a evidência \(p(+)\) é definida como \(\sum_k p(+\mid\mathcal{C}_k)p(\mathcal{C}_k)\), ela representa a probabilidade de um resultado positivo vindo especificamente da classe doente.

Teste 3 — A distribuição Beta e detecção de anomalias

Considere escores de anomalia normalizados em \([0,1]\) — por exemplo, escores de um sistema de recomendação — modelados por uma densidade \(\operatorname{Beta}(x\mid a,b)\) ajustada apenas aos dados considerados normais (classe \(\mathcal{C}_A\)), sem nenhum exemplo rotulado da classe anômala \(\mathcal{C}_B\).

□ No limite em que \(a\to\infty\) e \(b\to\infty\) mantendo \(a/(a+b)\) constante, a distribuição Beta se concentra cada vez mais estreitamente em torno de sua média, tendendo a uma distribuição degenerada (variância \(\to 0\)).
□ Se o limiar de decisão for definido como o percentil \(99\) da densidade \(\operatorname{Beta}(x\mid a,b)\) ajustada aos escores normais (classificando como anômalo qualquer escore acima desse limiar), trocar esse limiar pelo percentil \(95\) aumentaria a taxa de detecção de anomalias verdadeiras, mas também aumentaria a taxa de falsos positivos entre os escores normais.
□ Num sistema de recomendação que modela a taxa de cliques (CTR) de cada anúncio (um valor em \([0,1]\)), a Beta seria uma escolha tão razoável quanto para modelar os escores de anomalia descritos acima, e sofreria da mesma armadilha se algum anúncio tivesse CTR observada de exatamente \(0\%\) ou \(100\%\).
□ Como treinar apenas com dados “normais” permite estimar bem a densidade \(p(x\mid\mathcal{C}_A)\), conclui-se que a taxa de detecção (Tipo II) também pode ser calculada diretamente dos dados de treino, sem qualquer suposição adicional sobre as anomalias.

Teste 4 — Tipos de erro e o limiar de decisão

Considere duas classes A e B cujas densidades condicionais se sobrepõem, e uma regra de decisão por limiar \(t\): \(x\le t \Rightarrow\) classe A, \(x> t\Rightarrow\) classe B (A como hipótese nula: Tipo I é declarar B quando a verdade é A; Tipo II é declarar A quando a verdade é B).

□ Se, em vez de duas classes unimodais com uma única região de sobreposição, a classe B fosse bimodal (uma “bolha” de densidade de cada lado de A), deslocar o limiar \(t\) para a direita poderia, em algum trecho, reduzir simultaneamente as duas taxas de erro.
□ No limite em que o limiar captura toda a reta como pertencente a uma única classe, a taxa de erro associada a essa classe vai a zero e a do outro tipo vai a \(100\%\), independentemente da forma das densidades.
□ Num sistema de triagem de spam em que classificar um e-mail legítimo como spam (falso positivo) é considerado bem mais custoso do que deixar passar um spam verdadeiro (falso negativo), a decisão correta é mover o limiar \(t\) de forma a exigir mais evidência antes de classificar um e-mail como spam — mesmo que isso aumente a taxa de spam que passa despercebido.
□ Como aumentar o limiar \(t\) tipicamente reduz a taxa de erro Tipo I e aumenta a Tipo II, conclui-se que a soma Tipo I + Tipo II é sempre constante, não importa onde \(t\) esteja.

Teste 5 — Priori, verossimilhança, evidência e posteriori

□ Se, em vez de duas classes, tivéssemos \(K=10\) classes, a evidência \(p(x)\) ainda seria calculada somando a conjunta \(p(x,\mathcal{C}_j)\) sobre todas as classes, agora com 10 termos.
□ No limite em que \(\pi_A\to 1\), a posteriori \(p(\mathcal{C}_A\mid x)\) tende a \(1\) para qualquer valor observado de \(x\), mesmo que \(x\) seja um valor típico da classe B.
□ Num tribunal, se o “prior” for a crença de culpa antes de ver evidência e a “verossimilhança” for o quão bem a evidência se encaixa com a culpa, um prior muito baixo de culpa (presunção de inocência) exige evidência proporcionalmente mais forte para produzir uma posteriori de culpa convincente.
□ Como a posteriori é proporcional ao produto entre verossimilhança e priori, duas classes com a mesma verossimilhança \(p(x\mid\mathcal{C}_k)\) num ponto \(x\) sempre têm posteriores iguais nesse ponto, independentemente das prioris.

Teste 6 — Densidade vs. probabilidade

□ No limite em que um intervalo \([a,b]\) encolhe para um único ponto, a probabilidade \(P(a\le X\le b)\) tende a zero, mesmo que a densidade \(p(a)\) seja um número grande (por exemplo, \(1000\)).
□ Se \(X\) fosse uma variável aleatória discreta em vez de contínua, a afirmação “\(P(X=x)=0\) para qualquer ponto isolado” deixaria de valer em geral.
□ Numa distribuição Uniforme\([0,\,10^{-6}]\), a densidade dentro do intervalo vale \(10^6\), e isso não viola nenhum axioma de probabilidade, pois a integral sobre todo o domínio continua valendo exatamente \(1\).
□ Como a densidade \(p(x)\) pode ultrapassar \(1\) sem problema algum, conclui-se que ela também pode ser negativa em algum ponto, desde que a integral total sobre o domínio ainda valha \(1\).

Teste 7 — Momentos de uma distribuição

Para uma variável aleatória \(X\) com média \(\mu=\mathbb{E}[X]\) e variância \(\sigma^2=\mathbb{E}[(X-\mu)^2]\), a assimetria (skewness) é \(\gamma_1=\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^3\right]\) e a curtose em excesso é \(\gamma_2=\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^4\right]-3\) (a Gaussiana tem \(\gamma_2=0\)).

□ No limite em que uma distribuição se torna cada vez mais concentrada (variância \(\to 0\)), sua curtose em excesso não necessariamente tende a zero — pode permanecer positiva, negativa ou indefinida, dependendo de como a forma se concentra.
□ Como distribuições simétricas em torno da média têm skewness zero, conclui-se que skewness zero implica necessariamente que a distribuição é simétrica.
□ Numa distribuição de renda familiar (cauda longa à direita, poucas famílias muito ricas), espera-se skewness positiva, e a média tende a ficar acima da mediana, não abaixo.
□ Como curtose em excesso zero indica uma cauda comparável à Gaussiana, conclui-se que toda distribuição com curtose em excesso zero deve ser, ela mesma, uma Gaussiana.

Teste 8 — Caudas leves vs. pesadas

Uma distribuição tem cauda leve quando \(p(x)\) decai como \(\exp(-x^2)\) ou \(\exp(-|x|)\) quando \(|x|\to\infty\) (ex.: Gaussiana), e cauda pesada quando decai como uma potência \(x^{-\nu}\) (ex.: \(t\) de Student com \(\nu\) graus de liberdade) — decaimento bem mais lento, atribuindo probabilidade não desprezível a eventos extremos.

□ No limite em que os graus de liberdade \(\nu\) da distribuição \(t\) de Student tendem a infinito, sua cauda deixa de ser mais pesada que a Gaussiana e a distribuição converge para a própria Gaussiana.
□ Se uma distribuição de cauda pesada fosse usada para modelar erros de medição de um instrumento, eventos a \(5\sigma\) de distância da média deixariam de ser “praticamente impossíveis”.
□ Em mercados financeiros, retornos diários de ações costumam ter caudas mais pesadas que a Gaussiana, consistente com o uso de distribuições como a \(t\) de Student em vez da Gaussiana para modelar retornos.
□ Como a distribuição \(t\) de Student com poucos graus de liberdade tem cauda mais pesada que a Gaussiana, ela necessariamente não tem variância finita, para qualquer valor de \(\nu\).

Teste 9 — Armadilha de zeros e uns exatos

Quando \(a<1\) ou \(b<1\) na densidade \(\operatorname{Beta}(x\mid a,b)\), a densidade diverge nas extremidades \(x=0\) e \(x=1\); como a verossimilhança da Beta envolve \(\ln x\) e \(\ln(1-x)\), uma observação exatamente igual a \(0\) ou a \(1\) torna a verossimilhança infinita ou indefinida.

□ Mesmo que \(a>1\) (caso em que a densidade da Beta vai a zero, não diverge, perto de \(x=0\)), uma observação exatamente igual a \(0\) ainda tornaria a log-verossimilhança \(-\infty\) — pelo mesmo termo \((a-1)\ln x\) que aparece nela.
□ Se todos os dados de treino, por coincidência, estivessem estritamente dentro do intervalo aberto \((0,1)\) — sem nenhum zero ou um exato —, a armadilha discutida acima deixaria de ser uma preocupação para aquele conjunto específico, mesmo que \(a<1\) ou \(b<1\).
□ Num conjunto de avaliações de produtos normalizadas para \([0,1]\) (nota de 0 a 5 estrelas dividida por 5), é comum observar exatamente os valores extremos \(0\) e \(1\), tornando essa armadilha uma preocupação prática real, não só teórica.
□ O clipping para \([\varepsilon,1-\varepsilon]\) resolve o problema de \(\ln(0)\) sem alterar em nada os valores observados originalmente iguais a \(0\) ou a \(1\) — apenas evita que esses valores entrem na fórmula da verossimilhança.

Teste 10 — Erro de Bayes e detecção com uma única densidade

O erro de Bayes é a taxa de erro mínima possível de qualquer classificador entre duas classes, determinada pela sobreposição real entre suas densidades condicionais verdadeiras — nenhum classificador consegue ficar abaixo dele. Já um detector de anomalias treinado apenas com dados normais (uma única densidade \(p(x\mid\mathcal{C}_A)\), sem nenhum exemplo da classe anômala \(\mathcal{C}_B\)) só consegue calibrar a taxa de alarme falso (Tipo I); a taxa de detecção (Tipo II) exigiria conhecer \(p(x\mid\mathcal{C}_B)\), que não está disponível.

□ No limite em que \(p(x\mid\mathcal{C}_A)\) e \(p(x\mid\mathcal{C}_B)\) se tornam idênticas em todo o domínio, o erro de Bayes tende ao valor máximo possível para um problema de duas classes.
□ Um classificador arbitrariamente complexo (bilhões de parâmetros), treinado com dados infinitos, poderia reduzir o erro de Bayes a zero, mesmo havendo sobreposição real entre as densidades das classes.
□ Num sistema de reconhecimento facial em que duas pessoas têm rostos extremamente parecidos (gêmeos idênticos), mesmo o melhor classificador teoricamente possível terá uma taxa de erro irredutível maior que zero para distinguir essas identidades, refletindo a sobreposição real das características faciais.
□ Como todo número de “taxa de detecção” de um detector treinado só com dados normais depende de alguma suposição sobre as anomalias, conclui-se que esses detectores nunca são úteis na prática, já que a suposição pode estar errada.