Dados, Distribuições e Detecção de Anomalias
Aula 1 — Fundamentos Estatísticos do Aprendizado Supervisionado
2026-08-30
O que é uma Distribuição (2D)
O mesmo objeto, em mais dimensões
- Histograma \(\to\) nuvem de pontos
- Curva \(\to\) curvas de nível
- Em 2D ainda dá para desenhar. Em 20D, não — Aula 4
Classificação e o problema da discretização/corte
Regra mais simples possível: um limiar \(t\).
\[ x \le t \;\Rightarrow\; \text{classe A} \qquad x > t \;\Rightarrow\; \text{classe B} \]
A resposta usual: no cruzamento das curvas.
Anote. Ela está errada.
Tipos de erros
| Intuitivo | Técnico | Também chamado |
|---|---|---|
| alarme falso | Tipo I | falso positivo |
| escape | Tipo II | falso negativo |
Atenção: “Tipo I/II” só existe depois de declarar a hipótese nula. Aqui: A = normal (nula), B = anômala.
O compromisso quantitativo
Mover o corte troca uma área pela outra. Nenhum corte zera as duas.
\(\Rightarrow\) erro de Bayes: irredutível, é propriedade dos dados.
A conta que desmente a intuição
O que estava escondido: as classes não são igualmente frequentes.
\[ 950 \text{ pontos da classe A} \qquad 50 \text{ pontos da classe B} \]
Vamos contar os erros de verdade — no cruzamento e num corte deslocado.
O cruzamento das conjuntas funciona
Exemplo: triagem médica
Prevalência \(p(D) = 0{,}01\). Sensibilidade \(p(+\mid D) = 0{,}90\). Falso positivo \(p(+\mid\bar D) = 0{,}03\).
Teste positivo. Probabilidade de estar doente?
\[ p(D\mid+) = \frac{0{,}90 \times 0{,}01}{0{,}90\times0{,}01 + 0{,}03\times0{,}99} \approx \mathbf{0{,}233} \]
Em 10.000 pessoas: 90 verdadeiros positivos contra 297 falsos positivos.
Mesma lição do Passo 4, no caso discreto: a priori decide.
No exemplo da triagem médica, qual número é a priori? Qual é a verossimilhança? Qual é a evidência?
Escreva os três nomes ao lado dos três números do enunciado, e confira com um colega (2 min).
Qual distribuição para dados em \([0,1]\)?
Dados em \([0,1]\): escores normalizados, taxas, proporções, probabilidades calibradas.
- Gaussiana ajustada aí coloca massa fora do suporte
- Limiar como quantil pode cair fora do domínio — e o código não reclama
O suporte do modelo é uma decisão de modelagem, não uma tecnicalidade.
\[ \operatorname{Beta}(x\mid a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\,x^{a-1}(1-x)^{b-1} \]
Ajustar a Beta
Momentos — forma fechada. Com média \(m\) e variância \(v\) amostrais, se \(v < m(1-m)\). Máxima verossimilhança — não tem forma fechada. Resolvida numericamente via scipy.stats.beta.fit. Não prometa uma fórmula que não existe.
Estatísticas suficientes da Beta são \(\sum_n\ln x_n\) e \(\sum_n\ln(1-x_n)\) — médias logarítmicas, não a média aritmética. É por isso que momentos e MLE dão respostas diferentes.
Forma fechada e otimalidade são propriedades diferentes: momentos tem fórmula e não é eficiente; MLE é assintoticamente eficiente e não tem fórmula (mesma distinção volta nas Aulas 5 e 7).
Armadilha: zeros e uns exatos
- Se \(a<1\) ou \(b<1\), a densidade diverge nas bordas
- \(\ln 0 = -\infty\) quebra a verossimilhança
- Dados reais em \([0,1]\) têm zeros exatos o tempo todo
Correções: clipping declarado, Smithson–Verkuilen (\(x' = (x(N-1)+1/2)/N\)), modelos zero/one-inflated.
Família também importa para robustez, não só suporte: o gradiente da log-verossimilhança da Gaussiana cresce linearmente com a distância e nunca satura; o da \(t\) de Student satura e vai a zero longe do centro — por isso \(t\) é o ajuste padrão quando se espera outliers no próprio ajuste (não confundir com detectar anomalias em pontos novos, tema do próximo bloco).
Três saídas honestas
- Assumir um modelo de anomalia. Se uniforme: \[ \frac{q(x)}{p(x)} = \frac{1}{p(x)} \] \(\Rightarrow\) cortar na cauda já supõe anomalias uniformes. A suposição sempre esteve lá.
- Estimar com amostra contaminada rotulada — herda o viés de seleção
- Aceitar e declarar: reportar só o Tipo I, dizendo que é só o Tipo I
Custo assimétrico: nem todo erro pesa o mesmo
Função de perda \(L(\text{decisão}, \text{verdade})\) — resume o prejuízo de cada erro.
\[ C_I \pi_A f_A(t) = C_{II}\, \pi_B f_B(t) \quad\Leftarrow\quad \text{corte ótimo} \]
\(C_I = C_{II}\) \(\Rightarrow\) recupera \(T_{CONJ}\) do Bloco 4. Perda 0-1 é o caso particular, não o caso geral.
Exemplo: escapar uma anomalia custa 10× mais que um alarme falso.
Além da acurácia: matriz de confusão, precisão e recall
Matriz de confusão — positivo = classe B (a rara):
| previsto A | previsto B | |
|---|---|---|
| real A | VN | FP (alarme falso) |
| real B | FN (escape) | VP |
\[ \text{precisão}=\frac{VP}{VP+FP} \qquad \text{recall}=\frac{VP}{VP+FN} \]
Paradoxo: com \(\pi_A=95\%\), um classificador que sempre diz “A” já acerta \(95\%\) — e nunca encontra uma anomalia.
Se a acurácia de 95,6% mal supera o classificador ingênuo, a fronteira ótima do Bloco 4 está errada?
Escreva sua resposta e compare com um colega antes de avançar (2 min).
A curva ROC: o mesmo sweep do Bloco 1, replotado
ROC = mesmo sweep de \(t\) do Bloco 1, replotado: FPR (eixo \(x\)) vs. recall (eixo \(y\)).
Diagonal = acaso (AUC \(=0{,}5\)). Separação perfeita = AUC \(=1{,}0\).
Propriedade: a curva ROC não depende da priori — só das condicionais \(f_A,f_B\). A priori move o ponto de operação, não a curva.
Opção de rejeição: quando não decidir é a decisão certa
Toda regra até aqui decide sempre — mesmo onde a posteriori está quase empatada.
Regra de Chow: rejeite quando \(\max_k p(\mathcal{C}_k\mid x) < \theta\).
Define uma faixa de indecisão, não mais um ponto de corte.
Só compensa se o custo da revisão humana for menor que o custo esperado do erro evitado.
