Dados, Distribuições e Detecção de Anomalias

Aula 1 — Fundamentos Estatísticos do Aprendizado Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-08-10

Proposta do Curso

A tese central do curso

Todo algoritmo supervisionado é a composição de três peças: uma suposição distributiva, uma verossimilhança e uma regra de decisão.

• Objetivo: Não é aprender algoritmos novos, mas entender o que os que você já usa realmente fazem.
• Diagnóstico de falha: Quando um modelo falha, a pergunta correta não é “qual hiperparâmetro eu ajusto?”, mas “qual das três peças está errada?” (quase sempre é a suposição distributiva).

A formulação estatística do aprendizado

• Par \((x, y)\) com distribuição conjunta desconhecida \(p(x, y)\) e amostra \(\mathcal{D} = \{(x_n, y_n)\}_{n=1}^N\).
• Classificação (\(Y \in \mathbb{N}\) adaptado) vs. Regressão (\(Y \subseteq \mathbb{R}\)): A diferença estrutural está quase inteiramente na escolha da distribuição do resíduo \(Y - f(X)\).

Prática do dia a dia	Formalismo estatístico underlying
Mínimos Quadrados	Máxima Verossimilhança sob erro Gaussiano
Regularização (L1 / L2)	Inferência Bayesiana com Priori (Laplace / Gaussiana)
Resíduo de previsão	Gradiente da log-verossimilhança

Fundamentação e pergunta de partida

Bibliografia de referência

• PRML — Bishop, C. M. (2006), Pattern Recognition and Machine Learning
• DLFC — Bishop, C. M. & Bishop, H. (2024), Deep Learning: Foundations and Concepts

Usados em paralelo. Divergências de notação ou ênfase são discutidas explicitamente.

A provocação conceitual

O que exatamente significa “aprender a distribuição dos dados”?

• A tentação algorítmica: ajustar um hiperplano, otimizar uma perda, minimizar uma distância.
• A perspectiva desta aula: entender como a geometria das densidades e a frequência das classes ditam a fronteira ótima antes de qualquer algoritmo rodar.

Distribuições, classificação e erros

O que é uma distribuição

Uma distribuição é o formato que os dados assumem no espaço.

• Duas populações, uma variável \(x \in [0,1]\)
• Histograma + curva suave que acompanha o histograma
• Sem fórmula, sem nome, sem família — ainda

O mesmo objeto, em mais dimensões

• Histograma \(\to\) nuvem de pontos
• Curva \(\to\) curvas de nível
• Em 2D ainda dá para desenhar. Em 20D, não — Aula 4

Classificação e o problema da discretização/corte

Regra mais simples possível: um limiar \(t\).

\[ x \le t \;\Rightarrow\; \text{classe A} \qquad x > t \;\Rightarrow\; \text{classe B} \]

A resposta usual: no cruzamento das curvas.

Anote. Ela está errada.

Tipos de erros

Intuitivo	Técnico	Também chamado
alarme falso	Tipo I	falso positivo
escape	Tipo II	falso negativo

Atenção: “Tipo I/II” só existe depois de declarar a hipótese nula. Aqui: A = normal (nula), B = anômala.

Mover o corte troca uma área pela outra. Nenhum corte zera as duas.

\(\Rightarrow\) erro de Bayes: irredutível, é propriedade dos dados.

A conta que desmente a intuição

O que estava escondido: as classes não são igualmente frequentes.

\[ 950 \text{ pontos da classe A} \qquad 50 \text{ pontos da classe B} \]

Vamos contar os erros de verdade — no cruzamento e num corte deslocado.

O corte deslocado erra muito menos.

E ele não veio de tentativa e erro — vem de um princípio.

Onde a justificativa verbal falhou:

“igualmente plausíveis” \(\ne\) “igualmente prováveis”

Regra do Produto, Marginais e Teorema de Bayes

A linguagem formal: As regras do jogo

Todas as escolhas da aula derivam de duas regras básicas:

1. Regra da Soma (Marginalização): \(p(x) = \sum_{j} p(x, \mathcal{C}_j)\)
2. Regra do Produto: \(p(x, \mathcal{C}_k) = p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)\)

Os 4 objetos fundamentais

• Conjunta \(p(x, \mathcal{C}_k)\): Probabilidade de observar \(x\) e pertencer à classe \(\mathcal{C}_k\).
• Verossimilhança \(p(x \mid \mathcal{C}_k)\): Formato dos dados \(x\) dentro da classe \(\mathcal{C}_k\).
• Priori \(p(\mathcal{C}_k)\): Prevalência da classe na população geral.
• Evidência \(p(x)\): Densidade total de \(x\) ao longo de todas as classes (\(p(x) = \sum_j p(x \mid \mathcal{C}_j) p(\mathcal{C}_j)\)).

O Teorema de Bayes

Invertendo a regra do produto (\(p(x, \mathcal{C}_k) = p(\mathcal{C}_k \mid x)\,p(x)\)):

\[ \boxed{p(\mathcal{C}_k \mid x) = \frac{p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)}{p(x)}} \]

\[\text{Posteriori} \;\propto\; \text{Verossimilhança} \;\times\; \text{Priori}\]

• O denominador \(p(x)\) não depende de \(k\): Para comparar classes em um ponto \(x\) fixo, basta comparar as conjuntas \(p(x \mid \mathcal{C}_k)\,p(\mathcal{C}_k)\).

• priori: \(\pi_k = p(\mathcal{C}_k)\)
• condicional de classe: \(p(x \mid \mathcal{C}_k)\)
• conjunta: \(p(x,\mathcal{C}_k) = p(x\mid\mathcal{C}_k)\,\pi_k\)
• decidir pela conjunta maior \(=\) decidir pela posteriori maior

Exemplo: triagem médica

Prevalência \(p(D) = 0{,}01\). Sensibilidade \(p(+\mid D) = 0{,}90\). Falso positivo \(p(+\mid\bar D) = 0{,}03\).

Teste positivo. Probabilidade de estar doente?

\[ p(D\mid+) = \frac{0{,}90 \times 0{,}01}{0{,}90\times0{,}01 + 0{,}03\times0{,}99} \approx \mathbf{0{,}233} \]

Em 10.000 pessoas: 90 verdadeiros positivos contra 297 falsos positivos.

Mesma lição do Passo 4, no caso discreto: a priori decide.

Propriedades de Distribuições Contínuas

Densidade vs. Probabilidade

• \(P(X = x) = 0\) para qualquer ponto isolado.
• Probabilidade é a área sob a curva: \(P(a \le X \le b) = \int_a^b p(x)\,\mathrm{d}x\).
• Densidade \(p(x)\) pode passar de \(1\) (ex: Uniforme em \([0, 0{,}01] \implies p(x) = 100\)).
• Mudança de variável exige Jacobiano: \(p_Y(y) = p_X(x) \left|\frac{\mathrm{d}x}{\mathrm{d}y}\right|\).
  • Consequência: a moda da densidade depende da parametrização!

Os Momentos da Distribuição

• Média (\(\mu\)): Primeiro momento \(\mathbb{E}[X]\) — centro de massa.
• Variância (\(\sigma^2\)): Segundo momento central \(\mathbb{E}[(X-\mu)^2]\) — dispersão.
• Assimetria (Skewness): Terceiro momento padronizado \(\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^3\right]\) — inclinação das caudas.
• Curtose (Kurtosis): Quarto momento padronizado \(\mathbb{E}\!\left[\left(\frac{X-\mu}{\sigma}\right)^4\right] - 3\) — peso relativo das caudas.

O Comportamento de Cauda

O comportamento de \(p(x)\) quando \(|x| \to \infty\) define a sensibilidade a eventos extremos.

• Caudas Leves (Decaimento Exponencial/Quadrático):
  • \(p(x) \sim \exp(-x^2)\) (Gaussiana) ou \(\exp(-|x|)\) (Laplace).
  • Valores a \(5\sigma\) são virtualmente impossíveis.
• Caudas Pesadas (Decaimento Polinomial):
  • \(p(x) \sim x^{-\nu}\) (\(t\) de Student com \(\nu\) graus de liberdade).
  • Outliers têm probabilidade não desprezível.

Detecção de Outliers

Qual distribuição para dados em \([0,1]\)?

Dados em \([0,1]\): escores normalizados, taxas, proporções, probabilidades calibradas.

• Gaussiana ajustada aí coloca massa fora do suporte
• Limiar como quantil pode cair fora do domínio — e o código não reclama

O suporte do modelo é uma decisão de modelagem, não uma tecnicalidade.

\[ \operatorname{Beta}(x\mid a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\,x^{a-1}(1-x)^{b-1} \]

Ajustar a Beta

Momentos — forma fechada. Com média \(m\) e variância \(v\) amostrais, se \(v < m(1-m)\). Máxima verossimilhança — não tem forma fechada. Resolvida numericamente via scipy.stats.beta.fit. Não prometa uma fórmula que não existe.

Armadilha: zeros e uns exatos

• Se \(a<1\) ou \(b<1\), a densidade diverge nas bordas
• \(\ln 0 = -\infty\) quebra a verossimilhança
• Dados reais em \([0,1]\) têm zeros exatos o tempo todo

Correções: clipping declarado, Smithson–Verkuilen, modelos zero/one-inflated.

Detecção de anomalias e o limiar

Sem anomalias rotuladas: ajustar \(p(x)\) só nos dados normais.

Região de exclusão: cauda \(\{x>t\}\) ou conjunto de nível \(\{x : p(x)<\lambda\}\).

\[ \text{Tipo I} = P(x>t) = 1 - I_t(a,b) \qquad\Longrightarrow\qquad t_\alpha = I^{-1}_{1-\alpha}(a,b) \]

O limiar é um quantil do modelo; \(\alpha\) vale por construção.

Com uma única densidade ajustada, o erro Tipo II não está definido.

• Bloco 1: duas curvas \(\Rightarrow\) dois erros, duas áreas
• Aqui: uma curva \(\Rightarrow\) só uma área existe
• Não há modelo de anomalia \(\Rightarrow\) não há \(P(\text{escape})\)

Três saídas honestas

1. Assumir um modelo de anomalia. Se uniforme: \[ \frac{q(x)}{p(x)} = \frac{1}{p(x)} \] \(\Rightarrow\) cortar na cauda já supõe anomalias uniformes. A suposição sempre esteve lá.
2. Estimar com amostra contaminada rotulada — herda o viés de seleção
3. Aceitar e declarar: reportar só o Tipo I, dizendo que é só o Tipo I

Conclusão

O que aprendemos

1. Distribuição é o formato dos dados no espaço
2. Classificar é comparar formatos ponderados pela frequência das classes
3. O limiar é uma decisão, com custo explícito

E o ponto negativo: com uma densidade, só o Tipo I é calculável.

Proxima Aula: Tudo isto usou uma variável. Com \(d\) variáveis:

\[ p(x\mid\mathcal{C}_k) \in \mathbb{R}^d \;\longrightarrow\; M^d \text{ células} \]

Naive Bayes — a primeira suposição estrutural do curso:

\[ p(x\mid\mathcal{C}_k) = \prod_{i=1}^d p(x_i\mid\mathcal{C}_k) \]

O preço dessa suposição é o assunto da próxima aula.