Soluções — Aula 1: Dados, Distribuições e Detecção de Anomalias

Fundamentos Estatísticos do Aprendizado Supervisionado

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Questões discursivas

Questão 1

Um colega afirma: “se as duas classes têm o mesmo número de exemplos, o corte no cruzamento das densidades condicionais (\(T_{COND}\)) e o corte no cruzamento das densidades conjuntas (\(T_{CONJ}\)) coincidem.” Essa afirmação é verdadeira? Justifique usando a relação \(p(x,\mathcal{C}_k) = p(x\mid\mathcal{C}_k)\,\pi_k\) entre densidade conjunta, densidade condicional de classe e priori.

(Resposta) Questão 1

Falsa em geral, verdadeira só sob prioris iguais. \(p(x,\mathcal{C}_A)=p(x\mid\mathcal{C}_A)\,\pi_A\) e \(p(x,\mathcal{C}_B)=p(x\mid\mathcal{C}_B)\,\pi_B\). Se \(\pi_A=\pi_B\), as duas condicionais são escaladas pela MESMA constante, e o ponto onde as conjuntas se cruzam é exatamente onde \(p(x\mid\mathcal{C}_A)=p(x\mid\mathcal{C}_B)\), ou seja, \(T_{COND}\). Com prioris diferentes (o caso do exemplo de referência, \(\pi_A=0{,}95\ne\pi_B=0{,}05\)), a assimetria das prioris desloca \(T_{CONJ}\) para longe de \(T_{COND}\) — a afirmação do colega só vale no caso particular de prioris iguais, não em geral.

Questão 2

Um detector de fraude é treinado apenas com transações legítimas (classe \(\mathcal{C}_A\)) — não há exemplos rotulados de fraude (classe \(\mathcal{C}_B\)) disponíveis. Explique, em termos de \(p(x \mid \mathcal{C}_A)\) e \(p(x \mid \mathcal{C}_B)\), por que a taxa de detecção (erro Tipo II: a fração de fraudes reais que escapam) desse sistema não pode ser calculada — apenas estimada sob uma suposição adicional. Que suposição seria essa?

(Resposta) Questão 2

Estimar bem \(p(x\mid\mathcal{C}_A)\) a partir de transações legítimas não dá nenhuma informação sobre \(p(x\mid\mathcal{C}_B)\) (a densidade das fraudes), que é justamente o que se precisa para calcular a taxa de detecção (Tipo II): \(P(x\le t\mid\mathcal{C}_B)\) não pode ser calculada sem um modelo (ainda que implícito) de \(\mathcal{C}_B\). As saídas honestas são: (i) assumir um modelo para \(\mathcal{C}_B\) (por exemplo, uniforme — o que equivale a cortar num conjunto de nível \(\{p(x\mid\mathcal{C}_A)<\lambda\}\)); (ii) estimar empiricamente com uma amostra rotulada de fraudes, ainda que pequena e enviesada; ou (iii) aceitar e declarar apenas a taxa de alarme falso (Tipo I), deixando explícito que a taxa de detecção é desconhecida.

Questão 3

(De PRML, Exercício 1.24, adaptado.) Considere um problema de decisão de duas classes em que a perda de classificar incorretamente um exemplo da classe \(\mathcal{C}_A\) como \(\mathcal{C}_B\) é \(\lambda\) vezes maior que o erro oposto. Reformule a regra de decisão que corta em \(T_{CONJ}\) (ver Convenções acima) para incorporar esse custo assimétrico. Em seguida, aplique sua reformulação ao seguinte teste diagnóstico: prevalência da doença \(p(D)=0{,}01\), sensibilidade \(p(+\mid D)=0{,}90\), taxa de falso positivo \(p(+\mid \bar D)=0{,}03\) (o que dá, pelo Teorema de Bayes e sob perda 0-1, \(p(D\mid+)\approx 0{,}233\)). O que muda na decisão se um falso negativo (deixar de detectar a doença) custar 10 vezes mais que um falso positivo?

(Resposta) Questão 3

Sob perda 0-1, o corte ótimo é \(T_{CONJ}\): \(\pi_A p(x\mid\mathcal{C}_A)=\pi_B p(x\mid\mathcal{C}_B)\). Introduzindo custos \(C_I\) (custo de declarar \(\mathcal{C}_B\) quando a verdade é \(\mathcal{C}_A\)) e \(C_{II}=\lambda\,C_I\) (custo de declarar \(\mathcal{C}_A\) quando a verdade é \(\mathcal{C}_B\), \(\lambda\) vezes maior), a perda esperada total é \(R(t)=C_I\int_t^\infty \pi_A p(x\mid\mathcal{C}_A)\,dx + \lambda C_I\int_{-\infty}^t \pi_B p(x\mid\mathcal{C}_B)\,dx\), minimizada no corte que satisfaz \(\pi_A p(t\mid\mathcal{C}_A) = \lambda\,\pi_B p(t\mid\mathcal{C}_B)\) — a mesma equação de \(T_{CONJ}\), agora com a conjunta de \(\mathcal{C}_B\) multiplicada por \(\lambda\). Aplicando ao teste diagnóstico (\(p(D)=0{,}01\), \(p(+\mid D)=0{,}90\), \(p(+\mid\bar D)=0{,}03\)) com \(\lambda=10\) (falso negativo custa 10× mais que falso positivo): a decisão de declarar “doente” passa a favorecer mais fortemente o positivo — em vez de comparar \(p(+\mid D)p(D)\) com \(p(+\mid\bar D)p(\bar D)\) diretamente, compara-se \(p(+\mid D)p(D)\) com \(p(+\mid\bar D)p(\bar D)/\lambda\) (equivalentemente, pondera-se o custo de deixar passar a doença 10× mais); isso desloca o limiar de decisão na direção de detectar mais casos, aceitando mais falsos positivos em troca de menos falsos negativos — o mesmo mecanismo geométrico do Bloco de custo assimétrico, agora no caso discreto.

Questões de Verdadeiro/Falso

Teste 1 — Distribuições, priori e fronteira de decisão

□ Se as duas classes fossem igualmente frequentes (\(\pi_A=\pi_B=0{,}5\)) em vez de \(\pi_A=0{,}95\), o cruzamento das conjuntas passaria a coincidir exatamente com o cruzamento das condicionais \(T_{COND}\).
□ No limite em que \(\pi_A \to 1\) (quase toda a população pertence à classe A), o cruzamento das conjuntas \(T_{CONJ}\) tende a se afastar cada vez mais do cruzamento das condicionais \(T_{COND}\), na direção do território de B.
□ Considere uma triagem de segurança em aeroportos em que \(99\%\) dos passageiros não representam ameaça. Mesmo com condicionais simétricas e bem separadas, cortar sempre no cruzamento das CONDICIONAIS (ignorando essa priori \(99\%/1\%\)) não é a regra de decisão ótima sob perda 0-1.
□ Como o cruzamento das condicionais não depende das prioris, conclui-se que a taxa de erro total (Tipo I + Tipo II, ponderados pelas prioris) também não depende de onde as prioris colocam o peso relativo entre os dois tipos de erro.

(Resposta) Teste 1 — Distribuições, priori e fronteira de decisão

✔ Verdadeiro — Com prioris iguais, \(p(x,\mathcal{C}_A)=0{,}5\,p(x\mid\mathcal{C}_A)\) e \(p(x,\mathcal{C}_B)=0{,}5\,p(x\mid\mathcal{C}_B)\) são as condicionais escaladas pela MESMA constante; o ponto onde as conjuntas se cruzam é exatamente onde \(p(x\mid\mathcal{C}_A)=p(x\mid\mathcal{C}_B)\), ou seja, \(T_{COND}\). É a assimetria das prioris (\(0{,}95\) vs. \(0{,}05\)) que empurra \(T_{CONJ}\) para longe de \(T_{COND}\) no cenário de referência.
✔ Verdadeiro — Quanto mais próxima de \(1\) a priori de A, mais a conjunta de A domina em relação à de B em qualquer ponto, exigindo que \(x\) esteja cada vez mais “no território natural de B” antes que a conjunta de B ainda vença. O efeito já visto no cenário de referência (\(\pi_A=0{,}95 \Rightarrow T_{CONJ}\approx0{,}72\), bem à direita de \(T_{COND}\approx0{,}47\)) só se intensifica conforme \(\pi_A\to1\).
✔ Verdadeiro — É a mesma lição transferida para um domínio novo: sob perda 0-1, a regra ótima corta no cruzamento das CONJUNTAS, que incorpora a priori; ignorar uma priori tão assimétrica (\(99\%/1\%\)) e cortar nas condicionais é exatamente o erro “igualmente plausíveis \(\ne\) igualmente prováveis”.
✗ Falso — Duas coisas diferentes: o PONTO onde as condicionais se cruzam de fato não depende das prioris (é só \(p(x\mid\mathcal{C}_A)=p(x\mid\mathcal{C}_B)\)). Mas o erro total esperado, \(\pi_A\cdot\text{TipoI}(t)+\pi_B\cdot\text{TipoII}(t)\), pondera cada tipo de erro pela respectiva priori — mudar essa ponderação muda qual \(t\) minimiza o erro total, mesmo que o ponto de cruzamento das condicionais em si permaneça fixo.

Teste 2 — Teorema de Bayes e um teste diagnóstico

Considere um teste diagnóstico para uma doença \(D\) com prevalência (priori) \(p(D)=0{,}01\), sensibilidade \(p(+\mid D)=0{,}90\) (probabilidade de teste positivo dado que a pessoa está doente) e taxa de falso positivo \(p(+\mid \bar D)=0{,}03\) (probabilidade de teste positivo dado que a pessoa está saudável). Pelo Teorema de Bayes, isso dá \(p(D\mid+)\approx 0{,}233\) (\({\approx}23{,}3\%\)).

□ No limite em que a prevalência da doença tende a zero, mantendo sensibilidade e falso positivo fixos em \(0{,}90\) e \(0{,}03\), a posteriori \(p(D\mid+)\) também tende a zero.
□ Se a prevalência da doença fosse \(50\%\) em vez de \(1\%\) (mantendo sensibilidade \(0{,}90\) e falso positivo \(0{,}03\)), a posteriori \(p(D\mid+)\) passaria a ser maior que \(90\%\).
□ Num teste de triagem usado em campanhas de vacinação em massa, com prevalência ainda menor (1 em 10.000) e sensibilidade e especificidade excelentes (99% cada), a proporção de positivos que são realmente doentes seria ainda menor do que no valor de referência acima (\({\approx}23{,}3\%\)).
□ Como a evidência \(p(+)\) é definida como \(\sum_k p(+\mid\mathcal{C}_k)p(\mathcal{C}_k)\), ela representa a probabilidade de um resultado positivo vindo especificamente da classe doente.

(Resposta) Teste 2 — Teorema de Bayes e um teste diagnóstico

✔ Verdadeiro — \(p(D\mid+)=\dfrac{\pi\cdot0{,}90}{\pi\cdot0{,}90+(1-\pi)\cdot0{,}03}\); conforme \(\pi\to0\), o numerador vai a zero mais rápido que o denominador (que tende a \(0{,}03>0\)), então a razão toda vai a zero. É a versão extrema do efeito de base rate já visto no cenário de referência (\(\pi=0{,}01\Rightarrow p(D\mid+)\approx23\%\)).
✔ Verdadeiro — Com \(\pi=0{,}5\): \(p(D\mid+)=\dfrac{0{,}5\times0{,}90}{0{,}5\times0{,}90+0{,}5\times0{,}03}=\dfrac{0{,}45}{0{,}465}\approx96{,}8\%\), de fato acima de \(90\%\) — o oposto do efeito de base rate baixa: com prevalência alta, um resultado positivo é uma evidência forte e confiável.
✔ Verdadeiro — Com \(\pi=0{,}0001\), sensibilidade \(0{,}99\), falso positivo \(0{,}01\): \(p(D\mid+)=\dfrac{0{,}0001\times0{,}99}{0{,}0001\times0{,}99+0{,}9999\times0{,}01}\approx0{,}98\%\) — bem menor que os \(\approx23\%\) do valor de referência, apesar da sensibilidade e especificidade melhores. Prevalência baixa domina até testes excelentes.
✗ Falso — A evidência é a probabilidade MARGINAL de um positivo, somada sobre TODAS as classes (doente e saudável) — é o mesmo denominador para qualquer classe do numerador, não uma quantidade específica de uma classe. Confundir a evidência (marginal) com uma conjunta específica é o erro clássico neste ponto da fórmula de Bayes.

Teste 3 — A distribuição Beta e detecção de anomalias

Considere escores de anomalia normalizados em \([0,1]\) — por exemplo, escores de um sistema de recomendação — modelados por uma densidade \(\operatorname{Beta}(x\mid a,b)\) ajustada apenas aos dados considerados normais (classe \(\mathcal{C}_A\)), sem nenhum exemplo rotulado da classe anômala \(\mathcal{C}_B\).

□ No limite em que \(a\to\infty\) e \(b\to\infty\) mantendo \(a/(a+b)\) constante, a distribuição Beta se concentra cada vez mais estreitamente em torno de sua média, tendendo a uma distribuição degenerada (variância \(\to 0\)).
□ Se o limiar de decisão for definido como o percentil \(99\) da densidade \(\operatorname{Beta}(x\mid a,b)\) ajustada aos escores normais (classificando como anômalo qualquer escore acima desse limiar), trocar esse limiar pelo percentil \(95\) aumentaria a taxa de detecção de anomalias verdadeiras, mas também aumentaria a taxa de falsos positivos entre os escores normais.
□ Num sistema de recomendação que modela a taxa de cliques (CTR) de cada anúncio (um valor em \([0,1]\)), a Beta seria uma escolha tão razoável quanto para modelar os escores de anomalia descritos acima, e sofreria da mesma armadilha se algum anúncio tivesse CTR observada de exatamente \(0\%\) ou \(100\%\).
□ Como treinar apenas com dados “normais” permite estimar bem a densidade \(p(x\mid\mathcal{C}_A)\), conclui-se que a taxa de detecção (Tipo II) também pode ser calculada diretamente dos dados de treino, sem qualquer suposição adicional sobre as anomalias.

(Resposta) Teste 3 — A distribuição Beta e detecção de anomalias

✔ Verdadeiro — \(\text{Var}=\dfrac{ab}{(a+b)^2(a+b+1)}\); escrevendo \(a=kp\), \(b=k(1-p)\) com \(p\) fixo e \(k\to\infty\), a variância se reduz a \(\dfrac{p(1-p)}{k+1}\to0\). Mais “pseudo-observações” concentram a distribuição — a mesma lógica por trás de um prior Beta ficando mais “confiante” à medida que mais dados são incorporados.
✔ Verdadeiro — Baixar o limiar do percentil \(99\) para o \(95\) alarga a região de rejeição (de \(1\%\) para \(5\%\) da massa da Beta ajustada aos dados normais): mais escores — normais e anômalos — passam a cair acima do novo limiar. É exatamente o trade-off Tipo I/Tipo II: mais detecções verdadeiras, ao custo de mais falsos positivos.
✔ Verdadeiro — CTR é uma aplicação real e padrão de modelos Beta (inclusive combinada com Binomial em modelos Beta-Binomial de ad tech); a mesma patologia de zeros/uns exatos quebrando \(\ln(0)\) na verossimilhança se aplica sem qualquer diferença estrutural.
✗ Falso — Estimar bem \(p(x\mid\mathcal{C}_A)\) não dá nenhuma informação sobre \(p(x\mid\mathcal{C}_B)\) (a densidade das anomalias), que é justamente o que se precisa para calcular a taxa de detecção. Sem dados rotulados de anomalia, esse número exige alguma suposição extra (por exemplo, sobre a forma ou localização de \(\mathcal{C}_B\)).

Teste 4 — Tipos de erro e o limiar de decisão

Considere duas classes A e B cujas densidades condicionais se sobrepõem, e uma regra de decisão por limiar \(t\): \(x\le t \Rightarrow\) classe A, \(x> t\Rightarrow\) classe B (A como hipótese nula: Tipo I é declarar B quando a verdade é A; Tipo II é declarar A quando a verdade é B).

□ Se, em vez de duas classes unimodais com uma única região de sobreposição, a classe B fosse bimodal (uma “bolha” de densidade de cada lado de A), deslocar o limiar \(t\) para a direita poderia, em algum trecho, reduzir simultaneamente as duas taxas de erro.
□ No limite em que o limiar captura toda a reta como pertencente a uma única classe, a taxa de erro associada a essa classe vai a zero e a do outro tipo vai a \(100\%\), independentemente da forma das densidades.
□ Num sistema de triagem de spam em que classificar um e-mail legítimo como spam (falso positivo) é considerado bem mais custoso do que deixar passar um spam verdadeiro (falso negativo), a decisão correta é mover o limiar \(t\) de forma a exigir mais evidência antes de classificar um e-mail como spam — mesmo que isso aumente a taxa de spam que passa despercebido.
□ Como aumentar o limiar \(t\) tipicamente reduz a taxa de erro Tipo I e aumenta a Tipo II, conclui-se que a soma Tipo I + Tipo II é sempre constante, não importa onde \(t\) esteja.

(Resposta) Teste 4 — Tipos de erro e o limiar de decisão

✔ Verdadeiro — No caso unimodal com um único cruzamento, mover \(t\) para a direita tem uma troca monotônica clara: menos Tipo I, mais Tipo II. Com B bimodal envolvendo A, existe a possibilidade de, ao mover \(t\), sair de uma bolha de B (reduzindo Tipo II ali) e ainda se afastar da cauda de A (reduzindo Tipo I também) — a troca monotônica é uma consequência da geometria específica do caso unimodal-com-um-cruzamento, não uma lei geral.
✔ Verdadeiro — Se toda a reta é classificada como uma única classe, nenhum ponto dessa classe é classificado errado (erro \(0\%\) para ela) e todo ponto da outra classe é classificado errado (erro \(100\%\) para ela) — uma consequência puramente da definição de erro, válida para qualquer forma de densidade.
✔ Verdadeiro — Quando um tipo de erro custa mais que o outro, a regra ótima desloca o limiar para reduzir a taxa do erro mais caro, mesmo à custa de aumentar a taxa do erro mais barato — a mesma lógica do limiar assimétrico \(T_{CONJ}\) ponderado por custo (Convenções, questão discursiva 3): exigir mais evidência antes de classificar como spam reduz falsos positivos (o erro caro aqui), ao preço de deixar passar mais spam (o erro barato).
✗ Falso — As duas taxas se movem em direções opostas, mas não necessariamente na mesma “quantidade” — a soma Tipo I + Tipo II tem sua própria forma em função de \(t\), com um mínimo em algum ponto específico (relacionado a \(T_{CONJ}\), dependendo dos pesos). Se a soma fosse sempre constante, minimizar o erro total não faria sentido como problema.

Teste 5 — Priori, verossimilhança, evidência e posteriori

□ Se, em vez de duas classes, tivéssemos \(K=10\) classes, a evidência \(p(x)\) ainda seria calculada somando a conjunta \(p(x,\mathcal{C}_j)\) sobre todas as classes, agora com 10 termos.
□ No limite em que \(\pi_A\to 1\), a posteriori \(p(\mathcal{C}_A\mid x)\) tende a \(1\) para qualquer valor observado de \(x\), mesmo que \(x\) seja um valor típico da classe B.
□ Num tribunal, se o “prior” for a crença de culpa antes de ver evidência e a “verossimilhança” for o quão bem a evidência se encaixa com a culpa, um prior muito baixo de culpa (presunção de inocência) exige evidência proporcionalmente mais forte para produzir uma posteriori de culpa convincente.
□ Como a posteriori é proporcional ao produto entre verossimilhança e priori, duas classes com a mesma verossimilhança \(p(x\mid\mathcal{C}_k)\) num ponto \(x\) sempre têm posteriores iguais nesse ponto, independentemente das prioris.

(Resposta) Teste 5 — Priori, verossimilhança, evidência e posteriori

✔ Verdadeiro — A Regra da Soma não é uma peculiaridade do caso \(K=2\) — a evidência é sempre \(\sum_{j=1}^K p(x,\mathcal{C}_j)\), com quantos termos forem necessários para cobrir todas as classes possíveis.
✔ Verdadeiro — Com \(\pi_B\to 0\), o termo \(\pi_B\,p(x\mid\mathcal{C}_B)\) no denominador de Bayes desaparece independentemente do quão bem \(x\) se encaixe em B, deixando a posteriori de A dominante — um prior suficientemente extremo pode, no limite, sobrepor-se a qualquer evidência finita.
✔ Verdadeiro — É a mesma mecânica de Bayes vista no teste diagnóstico (prior baixo exige razão de verossimilhança grande para deslocar a posteriori de forma substancial), transferida para um domínio de raciocínio jurídico — uma analogia comum e correta na literatura de raciocínio bayesiano.
✗ Falso — Igualar as verossimilhanças não iguala as posteriores se as prioris forem diferentes — a posteriori é proporcional ao PRODUTO dos dois termos, então diferenças na priori se propagam diretamente para diferenças na posteriori, mesmo com verossimilhanças idênticas.

Teste 6 — Densidade vs. probabilidade

□ No limite em que um intervalo \([a,b]\) encolhe para um único ponto, a probabilidade \(P(a\le X\le b)\) tende a zero, mesmo que a densidade \(p(a)\) seja um número grande (por exemplo, \(1000\)).
□ Se \(X\) fosse uma variável aleatória discreta em vez de contínua, a afirmação “\(P(X=x)=0\) para qualquer ponto isolado” deixaria de valer em geral.
□ Numa distribuição Uniforme\([0,\,10^{-6}]\), a densidade dentro do intervalo vale \(10^6\), e isso não viola nenhum axioma de probabilidade, pois a integral sobre todo o domínio continua valendo exatamente \(1\).
□ Como a densidade \(p(x)\) pode ultrapassar \(1\) sem problema algum, conclui-se que ela também pode ser negativa em algum ponto, desde que a integral total sobre o domínio ainda valha \(1\).

(Resposta) Teste 6 — Densidade vs. probabilidade

✔ Verdadeiro — \(P(a\le X\le b)=\int_a^b p(x)dx \approx p(a)\cdot(b-a)\) para um intervalo estreito; não importa quão grande seja \(p(a)\), multiplicar por \((b-a)\to0\) leva o produto a zero. É exatamente a distinção entre densidade (pode ser grande) e probabilidade de um ponto (sempre zero no limite contínuo).
✔ Verdadeiro — Para variáveis discretas, a função de massa de probabilidade atribui, tipicamente, massa positiva a pontos individuais — é exatamente o que a distingue de uma densidade contínua. \(P(X=x)=0\) é uma propriedade das variáveis CONTÍNUAS, não uma lei universal de toda variável aleatória.
✔ Verdadeiro — Densidade \(=1/(10^{-6})=10^6\); integral \(=10^6\times10^{-6}=1\) — consistente. É a mesma lógica do exemplo Uniforme\([0,0{,}01]\) (densidade \(100\)), levada a um extremo ainda mais acentuado.
✗ Falso — Não há restrição de que \(p(x)\le1\) (não é um axioma real), mas \(p(x)\ge0\) EM TODO PONTO é, sim, um axioma genuíno de qualquer densidade de probabilidade. Confundir uma restrição inexistente (“\(\le1\)”) com a que de fato existe (“\(\ge0\)”) é o erro deste item.

Teste 7 — Momentos de uma distribuição

Para uma variável aleatória \(X\) com média \(\mu=\mathbb{E}[X]\) e variância \(\sigma^2=\mathbb{E}[(X-\mu)^2]\), a assimetria (skewness) é \(\gamma_1=\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^3\right]\) e a curtose em excesso é \(\gamma_2=\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^4\right]-3\) (a Gaussiana tem \(\gamma_2=0\)).

□ No limite em que uma distribuição se torna cada vez mais concentrada (variância \(\to 0\)), sua curtose em excesso não necessariamente tende a zero — pode permanecer positiva, negativa ou indefinida, dependendo de como a forma se concentra.
□ Como distribuições simétricas em torno da média têm skewness zero, conclui-se que skewness zero implica necessariamente que a distribuição é simétrica.
□ Numa distribuição de renda familiar (cauda longa à direita, poucas famílias muito ricas), espera-se skewness positiva, e a média tende a ficar acima da mediana, não abaixo.
□ Como curtose em excesso zero indica uma cauda comparável à Gaussiana, conclui-se que toda distribuição com curtose em excesso zero deve ser, ela mesma, uma Gaussiana.

(Resposta) Teste 7 — Momentos de uma distribuição

✔ Verdadeiro — Curtose é um momento PADRONIZADO (a quarta potência dividida pelo quadrado da variância) — depende da FORMA da distribuição, não da sua escala. Uma Uniforme cada vez mais estreita mantém curtose em excesso \(-1{,}2\) para sempre, não importa quão pequena fique a variância; concentração não implica “ficar mais parecido com uma Gaussiana”.
✗ Falso — É um erro de conversa: simetria \(\Rightarrow\) skewness zero é verdadeiro, mas a implicação inversa não é — existem distribuições assimétricas cujo terceiro momento padronizado se anula por cancelamento entre desvios positivos e negativos, sem que a distribuição seja simétrica.
✔ Verdadeiro — É um fato bem estabelecido sobre distribuições de renda: a cauda longa à direita (poucas famílias muito ricas) puxa a média para cima, acima da mediana — a assinatura clássica de skewness positiva num caso real e comum.
✗ Falso — Compartilhar um único momento (o quarto, padronizado) não implica ser a mesma distribuição — existem distribuições não-Gaussianas com curtose em excesso exatamente zero. Um momento é um ponto de comparação, não uma impressão digital completa da distribuição.

Teste 8 — Caudas leves vs. pesadas

Uma distribuição tem cauda leve quando \(p(x)\) decai como \(\exp(-x^2)\) ou \(\exp(-|x|)\) quando \(|x|\to\infty\) (ex.: Gaussiana), e cauda pesada quando decai como uma potência \(x^{-\nu}\) (ex.: \(t\) de Student com \(\nu\) graus de liberdade) — decaimento bem mais lento, atribuindo probabilidade não desprezível a eventos extremos.

□ No limite em que os graus de liberdade \(\nu\) da distribuição \(t\) de Student tendem a infinito, sua cauda deixa de ser mais pesada que a Gaussiana e a distribuição converge para a própria Gaussiana.
□ Se uma distribuição de cauda pesada fosse usada para modelar erros de medição de um instrumento, eventos a \(5\sigma\) de distância da média deixariam de ser “praticamente impossíveis”.
□ Em mercados financeiros, retornos diários de ações costumam ter caudas mais pesadas que a Gaussiana, consistente com o uso de distribuições como a \(t\) de Student em vez da Gaussiana para modelar retornos.
□ Como a distribuição \(t\) de Student com poucos graus de liberdade tem cauda mais pesada que a Gaussiana, ela necessariamente não tem variância finita, para qualquer valor de \(\nu\).

(Resposta) Teste 8 — Caudas leves vs. pesadas

✔ Verdadeiro — É um resultado clássico: \(t_\nu \to \mathcal{N}(0,1)\) conforme \(\nu\to\infty\) (a incerteza extra sobre a variância, que gera a cauda pesada, desaparece quando há graus de liberdade suficientes para estimá-la com precisão).
✔ Verdadeiro — É exatamente a definição operacional de cauda pesada: decaimento mais lento (polinomial, não exponencial-quadrático) atribui probabilidade não-desprezível a desvios extremos que uma Gaussiana consideraria virtualmente impossíveis.
✔ Verdadeiro — É um fato amplamente documentado em finanças quantitativas (eventos extremos — “crashes” e “rallies” — muito mais frequentes do que um modelo Gaussiano preveria), e é exatamente por isso que distribuições de cauda mais pesada são usadas nesse domínio.
✗ Falso — “Cauda mais pesada que a Gaussiana” e “variância infinita” são coisas diferentes: a \(t\) de Student com \(\nu>2\) tem variância finita (\(\nu/(\nu-2)\)), apesar de ainda ter cauda mais pesada que a Gaussiana. Só para \(\nu\le2\) a variância deixa de ser finita — a afirmação “para qualquer \(\nu\)” é o exagero que a torna falsa.

Teste 9 — Armadilha de zeros e uns exatos

Quando \(a<1\) ou \(b<1\) na densidade \(\operatorname{Beta}(x\mid a,b)\), a densidade diverge nas extremidades \(x=0\) e \(x=1\); como a verossimilhança da Beta envolve \(\ln x\) e \(\ln(1-x)\), uma observação exatamente igual a \(0\) ou a \(1\) torna a verossimilhança infinita ou indefinida.

□ Mesmo que \(a>1\) (caso em que a densidade da Beta vai a zero, não diverge, perto de \(x=0\)), uma observação exatamente igual a \(0\) ainda tornaria a log-verossimilhança \(-\infty\) — pelo mesmo termo \((a-1)\ln x\) que aparece nela.
□ Se todos os dados de treino, por coincidência, estivessem estritamente dentro do intervalo aberto \((0,1)\) — sem nenhum zero ou um exato —, a armadilha discutida acima deixaria de ser uma preocupação para aquele conjunto específico, mesmo que \(a<1\) ou \(b<1\).
□ Num conjunto de avaliações de produtos normalizadas para \([0,1]\) (nota de 0 a 5 estrelas dividida por 5), é comum observar exatamente os valores extremos \(0\) e \(1\), tornando essa armadilha uma preocupação prática real, não só teórica.
□ O clipping para \([\varepsilon,1-\varepsilon]\) resolve o problema de \(\ln(0)\) sem alterar em nada os valores observados originalmente iguais a \(0\) ou a \(1\) — apenas evita que esses valores entrem na fórmula da verossimilhança.

(Resposta) Teste 9 — Armadilha de zeros e uns exatos

✔ Verdadeiro — O termo \((a-1)\ln x\) da log-verossimilhança é \(-\infty\) sempre que \(x=0\) e \(a\ne1\), não importa o sinal de \((a-1)\): com \(a>1\) a densidade vai suavemente a zero perto de \(x=0\), mas \(\ln(0)=-\infty\) multiplicado por qualquer constante não nula continua \(-\infty\). A armadilha de \(x=0\) não vem de a densidade divergir — vem do próprio logaritmo, presente na verossimilhança para qualquer \(a\ne1\).
✔ Verdadeiro — A patologia é sobre observações EXATAMENTE em \(0\) ou \(1\) quebrando o termo logarítmico da verossimilhança — se nenhum ponto observado está exatamente nas bordas, a verossimilhança permanece finita e bem definida em cada ponto, não importa quão pequenos sejam \(a\) ou \(b\).
✔ Verdadeiro — Notas mínimas e máximas (1 estrela ou 5 estrelas, por exemplo) são comuns em dados de avaliação real — um contraexemplo concreto à ideia de que essa armadilha é “só teórica”, desta vez num domínio diferente do exemplo de escores de anomalia.
✗ Falso — O clipping SUBSTITUI o valor observado (\(0\) ou \(1\)) pelo valor \(\varepsilon\) (ou \(1-\varepsilon\)) antes de calcular a verossimilhança — ele altera os dados de entrada, não apenas evita que o valor original entre na fórmula. É justamente essa substituição que precisa ser declarada com transparência, porque o ajuste resultante reflete os dados modificados, não os originais.

Teste 10 — Erro de Bayes e detecção com uma única densidade

O erro de Bayes é a taxa de erro mínima possível de qualquer classificador entre duas classes, determinada pela sobreposição real entre suas densidades condicionais verdadeiras — nenhum classificador consegue ficar abaixo dele. Já um detector de anomalias treinado apenas com dados normais (uma única densidade \(p(x\mid\mathcal{C}_A)\), sem nenhum exemplo da classe anômala \(\mathcal{C}_B\)) só consegue calibrar a taxa de alarme falso (Tipo I); a taxa de detecção (Tipo II) exigiria conhecer \(p(x\mid\mathcal{C}_B)\), que não está disponível.

□ No limite em que \(p(x\mid\mathcal{C}_A)\) e \(p(x\mid\mathcal{C}_B)\) se tornam idênticas em todo o domínio, o erro de Bayes tende ao valor máximo possível para um problema de duas classes.
□ Um classificador arbitrariamente complexo (bilhões de parâmetros), treinado com dados infinitos, poderia reduzir o erro de Bayes a zero, mesmo havendo sobreposição real entre as densidades das classes.
□ Num sistema de reconhecimento facial em que duas pessoas têm rostos extremamente parecidos (gêmeos idênticos), mesmo o melhor classificador teoricamente possível terá uma taxa de erro irredutível maior que zero para distinguir essas identidades, refletindo a sobreposição real das características faciais.
□ Como todo número de “taxa de detecção” de um detector treinado só com dados normais depende de alguma suposição sobre as anomalias, conclui-se que esses detectores nunca são úteis na prática, já que a suposição pode estar errada.

(Resposta) Teste 10 — Erro de Bayes e detecção com uma única densidade

✔ Verdadeiro — Se as condicionais são idênticas, \(x\) não carrega nenhuma informação distintiva entre as classes; o melhor que qualquer classificador pode fazer é sempre prever a classe majoritária, com erro \(\min(\pi_A,\pi_B)\) — precisamente o teto do erro de Bayes possível para prioris fixas, atingido exatamente neste caso extremo.
✗ Falso — O erro de Bayes é um piso irredutível determinado pela sobreposição real das densidades verdadeiras — nenhuma quantidade de capacidade do modelo ou de dados pode superá-lo; mais parâmetros e mais dados aproximam o classificador do limite de Bayes, nunca o ultrapassam.
✔ Verdadeiro — É uma instância real e bem conhecida do mesmo princípio: quando a sobreposição entre distribuições de características é genuína (gêmeos idênticos), nenhum classificador — por melhor que seja — escapa do erro de Bayes correspondente a essa sobreposição.
✗ Falso — Depender de uma suposição não é o mesmo que ser inútil — significa que o número reportado deve ser interpretado com essa suposição em mente. Detectores de anomalia treinados só com dados normais são amplamente usados com sucesso na prática (fraude, monitoramento industrial); a conclusão “nunca são úteis” é um exagero que a evidência não sustenta.