Dados, Distribuições e Detecção de Anomalias

Aula 1 — Fundamentos Estatísticos do Aprendizado Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-08-26

Proposta do Curso

A tese central do curso

Todo algoritmo supervisionado é a composição de três peças: uma suposição distributiva, uma verossimilhança e uma regra de decisão.

• Objetivo: Não é aprender algoritmos novos, mas entender o que os que você já usa realmente fazem.
• Diagnóstico de falha: Quando um modelo falha, a pergunta correta não é “qual hiperparâmetro eu ajusto?”, mas “qual das três peças está errada?” (quase sempre é a suposição distributiva).

A formulação estatística do aprendizado

• Par \((x, y)\) com distribuição conjunta desconhecida \(p(x, y)\) e amostra \(\mathcal{D} = \{(x_n, y_n)\}_{n=1}^N\).
• Classificação (\(Y \in \mathbb{N}\) adaptado) vs. Regressão (\(Y \subseteq \mathbb{R}\)): A diferença estrutural está quase inteiramente na escolha da distribuição do resíduo \(Y - f(X)\).

Prática do dia a dia	Formalismo estatístico underlying
Mínimos Quadrados	Máxima Verossimilhança sob erro Gaussiano
Regularização (L1 / L2)	Inferência Bayesiana com Priori (Laplace / Gaussiana)
Resíduo de previsão	Gradiente da log-verossimilhança

Fundamentação e pergunta de partida

Bibliografia de referência

• PRML — Bishop, C. M. (2006), Pattern Recognition and Machine Learning
• DLFC — Bishop, C. M. & Bishop, H. (2024), Deep Learning: Foundations and Concepts

Usados em paralelo. Divergências de notação ou ênfase são discutidas explicitamente.

A provocação conceitual

O que exatamente significa “aprender a distribuição dos dados”?

• A tentação algorítmica: ajustar um hiperplano, otimizar uma perda, minimizar uma distância.
• A perspectiva desta aula: entender como a geometria das densidades e a frequência das classes ditam a fronteira ótima antes de qualquer algoritmo rodar.

Distribuições, classificação e erros

O que é uma distribuição

Uma distribuição é o formato que os dados assumem no espaço.

• Duas populações, uma variável \(x \in [0,1]\)
• Histograma + curva suave que acompanha o histograma
• Sem fórmula, sem nome, sem família — ainda

O que é uma Distribuição (2D)

O mesmo objeto, em mais dimensões

• Histograma \(\to\) nuvem de pontos
• Curva \(\to\) curvas de nível
• Em 2D ainda dá para desenhar. Em 20D, não — Aula 4

Classificação e o problema da discretização/corte

Regra mais simples possível: um limiar \(t\).

\[ x \le t \;\Rightarrow\; \text{classe A} \qquad x > t \;\Rightarrow\; \text{classe B} \]

A resposta usual: no cruzamento das curvas.

Anote. Ela está errada.

Tipos de erros

Intuitivo	Técnico	Também chamado
alarme falso	Tipo I	falso positivo
escape	Tipo II	falso negativo

Atenção: “Tipo I/II” só existe depois de declarar a hipótese nula. Aqui: A = normal (nula), B = anômala.

O compromisso quantitativo

Mover o corte troca uma área pela outra. Nenhum corte zera as duas.

\(\Rightarrow\) erro de Bayes: irredutível, é propriedade dos dados.

A conta que desmente a intuição

O que estava escondido: as classes não são igualmente frequentes.

\[ 950 \text{ pontos da classe A} \qquad 50 \text{ pontos da classe B} \]

Vamos contar os erros de verdade — no cruzamento e num corte deslocado.

O corte deslocado erra menos

O corte deslocado erra muito menos.

E ele não veio de tentativa e erro — vem de um princípio.

Onde a justificativa verbal falhou:

“igualmente plausíveis” \(\ne\) “igualmente prováveis”

Por que o corte “no cruzamento das curvas” está errado, e o que falta entrar na conta?

Escreva, com suas palavras, e compare a sua frase com a de um colega antes de avançar (2 min).

Cruzamento de condicionais vs. conjuntas

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. Se \(\pi_A\) e \(\pi_B\) forem quase iguais mas não exatamente iguais (por exemplo, \(0{,}501\) e \(0{,}499\)), o cruzamento das condicionais e o cruzamento das conjuntas ainda coincidirão exatamente, por serem “praticamente” iguais.
2. A área de alarme falso e a área de escape podem, ambas, ser reduzidas a zero pela escolha certa do limiar \(t\).
3. Aumentar a frequência relativa da classe B desloca a fronteira ótima para a esquerda.
4. Ignorar a frequência das classes é o mesmo que assumir \(\pi_A = \pi_B\).

Cruzamento de condicionais vs. conjuntas — Resposta

Dica

1. Falso — só coincidem exatamente quando as prioris são exatamente iguais; uma diferença pequena desloca o cruzamento das conjuntas por uma quantidade pequena, mas não nula.
2. Falso — enquanto houver sobreposição das densidades, existe erro irredutível (erro de Bayes); nenhum \(t\) zera as duas áreas.
3. Verdadeiro — se B fica mais frequente, é preciso menos evidência relativa a favor de B para declará-la (o limiar de razão de verossimilhanças \(\pi_A/\pi_B\) cai), então a região de B cresce e a fronteira se desloca para a esquerda, tomando território de A.
4. Verdadeiro — cortar no cruzamento das condicionais é exatamente agir como se as duas classes fossem igualmente prováveis.

Por que o corte “no cruzamento das curvas” está errado, e o que falta entrar na conta?

Dica

(Escreva uma frase. Compare com um colega antes de avançar — 2 min.)

Regra do Produto, Marginais e Teorema de Bayes

A linguagem formal: As regras do jogo

Todas as escolhas da aula derivam de duas regras básicas:

1. Regra da Soma (Marginalização): \(p(x) = \sum_{j} p(x, \mathcal{C}_j)\)
2. Regra do Produto: \(p(x, \mathcal{C}_k) = p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)\)

Os 4 objetos fundamentais

• Conjunta \(p(x, \mathcal{C}_k)\): Probabilidade de observar \(x\) e pertencer à classe \(\mathcal{C}_k\).
• Verossimilhança \(p(x \mid \mathcal{C}_k)\): Formato dos dados \(x\) dentro da classe \(\mathcal{C}_k\).
• Priori \(p(\mathcal{C}_k)\): Prevalência da classe na população geral.
• Evidência \(p(x)\): Densidade total de \(x\) ao longo de todas as classes (\(p(x) = \sum_j p(x \mid \mathcal{C}_j) p(\mathcal{C}_j)\)).

O Teorema de Bayes

Invertendo a regra do produto (\(p(x, \mathcal{C}_k) = p(\mathcal{C}_k \mid x)\,p(x)\)):

\[ \boxed{p(\mathcal{C}_k \mid x) = \frac{p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)}{p(x)}} \]

\[\text{Posteriori} \;\propto\; \text{Verossimilhança} \;\times\; \text{Priori}\]

• O denominador \(p(x)\) não depende de \(k\): Para comparar classes em um ponto \(x\) fixo, basta comparar as conjuntas \(p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)\).

• priori: \(\pi_k = p(\mathcal{C}_k)\)
• condicional de classe: \(p(x \mid \mathcal{C}_k)\)
• conjunta: \(p(x,\mathcal{C}_k) = p(x\mid\mathcal{C}_k)\,\pi_k\)
• decidir pela conjunta maior \(=\) decidir pela posteriori maior

O cruzamento das conjuntas funciona

Exemplo: triagem médica

Prevalência \(p(D) = 0{,}01\). Sensibilidade \(p(+\mid D) = 0{,}90\). Falso positivo \(p(+\mid\bar D) = 0{,}03\).

Teste positivo. Probabilidade de estar doente?

\[ p(D\mid+) = \frac{0{,}90 \times 0{,}01}{0{,}90\times0{,}01 + 0{,}03\times0{,}99} \approx \mathbf{0{,}233} \]

Em 10.000 pessoas: 90 verdadeiros positivos contra 297 falsos positivos.

Mesma lição do Passo 4, no caso discreto: a priori decide.

No exemplo da triagem médica, qual número é a priori? Qual é a verossimilhança? Qual é a evidência?

Escreva os três nomes ao lado dos três números do enunciado, e confira com um colega (2 min).

Teorema de Bayes: priori, verossimilhança e evidência

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. No limite em que a prevalência da doença tende a \(100\%\), a posteriori \(p(D\mid+)\) tende a \(1\), mesmo com uma taxa de falso positivo alta.
2. Se a evidência \(p(x)\) fosse calculada usando só a verossimilhança da classe do numerador (\(p(x\mid\mathcal{C}_k)\pi_k\)), sem somar as demais classes, a posteriori resultante ainda somaria \(1\) entre todas as classes.
3. Numa fábrica que testa peças com um sensor de defeitos, saber apenas a sensibilidade e a taxa de falso positivo do sensor é suficiente para calcular \(p(\text{defeito}\mid\text{alerta})\), mesmo sem saber a proporção real de peças defeituosas na linha.
4. Como a posteriori é proporcional ao produto entre verossimilhança e priori, dobrar a priori de uma classe sempre dobra sua posteriori final.

Teorema de Bayes: priori, verossimilhança e evidência — Resposta

Dica

1. Verdadeiro — com prevalência quase total, o numerador (verdadeiros positivos) domina o denominador, não importa quão ruim seja o falso positivo.
2. Falso — sem somar sobre todas as classes, o denominador se torna igual ao próprio numerador para aquela classe, e a “posteriori” viraria trivialmente \(1\) só para ela — quebrando a soma-\(1\) entre classes.
3. Falso — sem a proporção real de defeituosas (a priori), o Teorema de Bayes não pode ser aplicado; sensibilidade e falso-positivo sozinhos não bastam.
4. Falso — dobrar a priori de uma classe muda também o denominador (a evidência), que soma sobre todas as classes; a posteriori final geralmente aumenta por um fator menor que \(2\).

No exemplo da triagem médica, qual número é a priori? Qual é a verossimilhança? Qual é a evidência?

Dica

(Escreva os três nomes ao lado dos três números. Confira com um colega.)

Propriedades de Distribuições Contínuas

Densidade vs. Probabilidade

• \(P(X = x) = 0\) para qualquer ponto isolado.
• Probabilidade é a área sob a curva: \(P(a \le X \le b) = \int_a^b p(x)\,\mathrm{d}x\).
• Densidade \(p(x)\) pode passar de \(1\) (ex: Uniforme em \([0, 0{,}01] \implies p(x) = 100\)).
• Mudança de variável exige Jacobiano: \(p_Y(y) = p_X(x) \left|\frac{\mathrm{d}x}{\mathrm{d}y}\right|\).
  • Consequência: a moda da densidade depende da parametrização!

Os Momentos da Distribuição

• Média (\(\mu\)): Primeiro momento \(\mathbb{E}[X]\) — centro de massa.
• Variância (\(\sigma^2\)): Segundo momento central \(\mathbb{E}[(X-\mu)^2]\) — dispersão.
• Assimetria (Skewness): Terceiro momento padronizado \(\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^3\right]\) — inclinação das caudas.
• Curtose (Kurtosis): Quarto momento padronizado \(\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^4\right] - 3\) — peso relativo das caudas.

O Comportamento de Cauda

O comportamento de \(p(x)\) quando \(|x| \to \infty\) define a sensibilidade a eventos extremos.

• Caudas Leves (Decaimento Exponencial/Quadrático):
  • \(p(x) \sim \exp(-x^2)\) (Gaussiana) ou \(\exp(-|x|)\) (Laplace).
  • Valores a \(5\sigma\) são virtualmente impossíveis.
• Caudas Pesadas (Decaimento Polinomial):
  • \(p(x) \sim x^{-\nu}\) (\(t\) de Student com \(\nu\) graus de liberdade).
  • Outliers têm probabilidade não desprezível.

Por que ajustar uma Gaussiana a escores de crédito normalizados em \([0,1]\) é, no mínimo, arriscado?

Escreva um argumento em uma frase, sem usar a palavra “feio” (2 min).

Por que ajustar uma Gaussiana a escores de crédito normalizados em \([0,1]\) é, no mínimo, arriscado?

Dica

(Uma frase, sem usar a palavra “feio”. Compare com um colega.)

Detecção de Outliers

Qual distribuição para dados em \([0,1]\)?

Dados em \([0,1]\): escores normalizados, taxas, proporções, probabilidades calibradas.

• Gaussiana ajustada aí coloca massa fora do suporte
• Limiar como quantil pode cair fora do domínio — e o código não reclama

O suporte do modelo é uma decisão de modelagem, não uma tecnicalidade.

\[ \operatorname{Beta}(x\mid a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\,x^{a-1}(1-x)^{b-1} \]

Ajustar a Beta

Momentos — forma fechada. Com média \(m\) e variância \(v\) amostrais, se \(v < m(1-m)\). Máxima verossimilhança — não tem forma fechada. Resolvida numericamente via scipy.stats.beta.fit. Não prometa uma fórmula que não existe.

Armadilha: zeros e uns exatos

• Se \(a<1\) ou \(b<1\), a densidade diverge nas bordas
• \(\ln 0 = -\infty\) quebra a verossimilhança
• Dados reais em \([0,1]\) têm zeros exatos o tempo todo

Correções: clipping declarado, Smithson–Verkuilen, modelos zero/one-inflated.

A distribuição Beta

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. Quando \(a=b=1\) (a Beta se reduz à Uniforme\([0,1]\)), a moda da distribuição deixa de existir como um único ponto, já que a densidade é constante em todo o suporte.
2. Se, em vez do método de momentos, usássemos só a média amostral (sem a variância) para estimar \(a\) e \(b\), haveria informação suficiente para determinar os dois parâmetros de forma única.
3. Ao estimar a taxa de conversão de anúncios de uma campanha de marketing (um valor em \([0,1]\)), se todos os anúncios observados tiverem taxas estritamente entre \(1\%\) e \(99\%\), a armadilha de zeros/uns exatos não afeta esse ajuste, mesmo que \(a\) ou \(b\) estimados sejam menores que \(1\).
4. Como uma amostra maior deixa a estimativa de variância mais precisa, ela elimina completamente a chance de o estimador de momentos produzir uma estimativa de \(a\) ou \(b\) sem sentido (negativa).

A distribuição Beta — Resposta

Dica

1. Verdadeiro — toda a Uniforme tem densidade constante; não há um único ponto de máximo, a moda não é bem definida.
2. Falso — uma única equação (a média) não basta para dois parâmetros desconhecidos; o método precisa de pelo menos dois momentos (média e variância).
3. Verdadeiro — a armadilha é sobre observações exatamente iguais a \(0\) ou \(1\), não sobre o valor de \(a\) ou \(b\) em si; sem zeros/uns exatos nos dados, a verossimilhança continua bem definida e finita.
4. Falso — mais dados reduzem a probabilidade de uma estimativa degenerada (é um argumento assintótico), mas não eliminam completamente o risco em nenhuma amostra finita.

Detecção de anomalias e o limiar

Sem anomalias rotuladas: ajustar \(p(x)\) só nos dados normais.

Região de exclusão: cauda \(\{x>t\}\) ou conjunto de nível \(\{x : p(x)<\lambda\}\).

\[ \text{Tipo I} = P(x>t) = 1 - I_t(a,b) \qquad\Longrightarrow\qquad t_\alpha = I^{-1}_{1-\alpha}(a,b) \]

O limiar é um quantil do modelo; \(\alpha\) vale por construção.

Com uma única densidade ajustada, o erro Tipo II não está definido.

• Bloco 1: duas curvas \(\Rightarrow\) dois erros, duas áreas
• Aqui: uma curva \(\Rightarrow\) só uma área existe
• Não há modelo de anomalia \(\Rightarrow\) não há \(P(\text{escape})\)

Três saídas honestas

1. Assumir um modelo de anomalia. Se uniforme: \[ \frac{q(x)}{p(x)} = \frac{1}{p(x)} \] \(\Rightarrow\) cortar na cauda já supõe anomalias uniformes. A suposição sempre esteve lá.
2. Estimar com amostra contaminada rotulada — herda o viés de seleção
3. Aceitar e declarar: reportar só o Tipo I, dizendo que é só o Tipo I

Teoria da Decisão: Custo, Avaliação e Rejeição

Voltamos às populações A e B dos Blocos 1–4. Até aqui, todo erro pesou o mesmo (perda 0-1).

Três perguntas que faltam:

1. E se um erro custar mais que o outro?
2. “95% de acurácia” é sempre uma boa notícia?
3. Por que decidir sempre, mesmo quando os dados não dão certeza nenhuma?

Custo assimétrico: nem todo erro pesa o mesmo

Função de perda \(L(\text{decisão}, \text{verdade})\) — resume o prejuízo de cada erro.

\[ C_I \pi_A f_A(t) = C_{II}\, \pi_B f_B(t) \quad\Leftarrow\quad \text{corte ótimo} \]

\(C_I = C_{II}\) \(\Rightarrow\) recupera \(T_{CONJ}\) do Bloco 4. Perda 0-1 é o caso particular, não o caso geral.

Exemplo: escapar uma anomalia custa 10× mais que um alarme falso.

Além da acurácia: matriz de confusão, precisão e recall

Matriz de confusão — positivo = classe B (a rara):

	previsto A	previsto B
real A	VN	FP (alarme falso)
real B	FN (escape)	VP

\[ \text{precisão}=\frac{VP}{VP+FP} \qquad \text{recall}=\frac{VP}{VP+FN} \]

Paradoxo: com \(\pi_A=95\%\), um classificador que sempre diz “A” já acerta \(95\%\) — e nunca encontra uma anomalia.

Se a acurácia de 95,6% mal supera o classificador ingênuo, a fronteira ótima do Bloco 4 está errada?

Escreva sua resposta e compare com um colega antes de avançar (2 min).

Acurácia, desbalanceamento e o paradoxo da acurácia

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. Uma acurácia de \(95\%\) garante que o classificador é útil para detectar a classe rara.
2. No limite em que a prevalência da classe rara B tende a zero, a acurácia do classificador ingênuo “sempre A” tende a \(100\%\), mesmo que ele nunca detecte uma única instância de B.
3. Se o corte \(T_{CONJ}\) minimiza o erro esperado sob perda 0-1 e prioris corretas, ele necessariamente maximiza o recall também.
4. Precisão e recall podem, ambos, cair ao mesmo tempo que a acurácia sobe, quando as classes são muito desbalanceadas.

Acurácia, desbalanceamento e o paradoxo da acurácia — Resposta

Dica

1. Falso — um classificador que sempre prevê a classe majoritária também tem acurácia alta e recall zero.
2. Verdadeiro — com \(\pi_B\to 0\), o classificador “sempre A” erra cada vez menos em proporção, apesar de ter recall sempre igual a zero — o mesmo mecanismo do exemplo de \(99{,}9\%\) do DLFC.
3. Falso — \(T_{CONJ}\) minimiza o erro ponderado pela frequência das classes, não o recall; com \(\pi_B\) pequeno, isso tolera um recall baixo em troca de poucos alarmes falsos sobre a classe majoritária.
4. Verdadeiro — é exatamente o mecanismo do paradoxo: a classe majoritária domina a contagem de acertos.

A curva ROC: o mesmo sweep do Bloco 1, replotado

ROC = mesmo sweep de \(t\) do Bloco 1, replotado: FPR (eixo \(x\)) vs. recall (eixo \(y\)).

Diagonal = acaso (AUC \(=0{,}5\)). Separação perfeita = AUC \(=1{,}0\).

Propriedade: a curva ROC não depende da priori — só das condicionais \(f_A,f_B\). A priori move o ponto de operação, não a curva.

Opção de rejeição: quando não decidir é a decisão certa

Toda regra até aqui decide sempre — mesmo onde a posteriori está quase empatada.

Regra de Chow: rejeite quando \(\max_k p(\mathcal{C}_k\mid x) < \theta\).

Define uma faixa de indecisão, não mais um ponto de corte.

Só compensa se o custo da revisão humana for menor que o custo esperado do erro evitado.

O que aprendemos sobre teoria da decisão

1. Custo assimétrico desloca onde cortar
2. Matriz de confusão / precisão / recall avaliam um corte além da acurácia
3. ROC compara todos os cortes de uma vez, sem se comprometer com um custo
4. Rejeição — uma terceira ação, para quando nenhum corte é confiável

Conclusão

O que aprendemos

1. Distribuição é o formato dos dados no espaço
2. Classificar é comparar formatos ponderados pela frequência das classes
3. O limiar é uma decisão, com custo explícito

E o ponto negativo: com uma densidade, só o Tipo I é calculável.

Proxima Aula: Tudo isto usou uma variável. Com \(d\) variáveis:

\[ p(x\mid\mathcal{C}_k) \in \mathbb{R}^d \;\longrightarrow\; M^d \text{ células} \]

Naive Bayes — a primeira suposição estrutural do curso:

\[ p(x\mid\mathcal{C}_k) = \prod_{i=1}^d p(x_i\mid\mathcal{C}_k) \]

O preço dessa suposição é o assunto da próxima aula.