N após limpeza: 752 (diabéticos: 264, não-diabéticos: 488, prevalência: 35.1%)
Aula 5 — Distribuição, Verossimilhança e Risco: o que as Quatro Primeiras Aulas Tinham em Comum
2026-08-31
A Aula 4 prometeu: a próxima aula seria regressão linear, mínimos quadrados como MLE gaussiana.
Antes disso — uma pausa. Beta+limiar, Naive Bayes, árvores, CV/Bootstrap parecem quatro assuntos distintos.
Não são. Todos usam a mesma estrutura de três peças, anunciada desde o slide 1 do curso: distribuição → verossimilhança → decisão fundamentada em risco.
1. O que as quatro aulas tinham em comum, por trás da fachada de “algoritmos diferentes”?
2. Como “qual é o formato dos dados?” aparece disfarçada em Beta, Naive Bayes e árvore?
3. Por que “maximizar verossimilhança” \(=\) “minimizar impureza/erro”?
4. Por que nunca observamos o risco de verdade, só o estimamos?
5. Que peça falta, e é isso que a Aula 6 resolve?
Hoje: o mesmo par (Glicose, IMC) atravessa as quatro lentes, uma de cada vez — para deixar visível o que muda entre elas, e o que não muda.
N após limpeza: 752 (diabéticos: 264, não-diabéticos: 488, prevalência: 35.1%)
Glucose==0, BMI==0).Aula 1, em síntese: duas populações sintéticas, \(\text{Beta}(2,5)\) vs. \(\text{Beta}(6,3)\), prioris \(95\%/5\%\).
Resposta intuitiva da turma — corte no cruzamento das condicionais — estava errada.
Corte correto: cruzamento das conjuntas \(p(x\mid\mathcal{C}_k)\pi_k\). Mesma lição na triagem médica: sensibilidade \(90\%\) + prevalência \(1\%\) \(\Rightarrow\) só \(23\%\) de chance de doença.
Hoje: mesma máquina, dado real — Glicose do Pima, por diabético/não-diabético.
Beta ajustada | não-diabético: a=3.49, b=4.50 | diabético: a=3.18, b=1.78
priori real: pi(não-diabético)=0.649, pi(diabético)=0.351
scipy.stats.beta.fit — mesmo MLE da Aula 1 (sem forma fechada; estatísticas suficientes \(\sum\ln x_n,\ \sum\ln(1-x_n)\), não a média).Priori real: \(\pi(\text{não-diab.})\approx 0{,}649\), \(\pi(\text{diab.})\approx 0{,}351\) — assimétrica, mas bem menos extrema que os \(95\%/5\%\) sintéticos da Aula 1.
t_cond = 134.2 mg/dL -> 81 alarmes falsos + 116 escapes = 197 erros
t_conj = 148.3 mg/dL -> 37 alarmes falsos + 157 escapes = 194 erros
\(t_{\text{cond}} = 134{,}2\) mg/dL \(\to\) \(81\) alarmes falsos \(+\) \(116\) escapes \(=\) 197 erros.
\(t_{\text{conj}} = 148{,}3\) mg/dL \(\to\) \(37\) alarmes falsos \(+\) \(157\) escapes \(=\) 194 erros.
Mesmo princípio da Aula 1 (\(x\in\mathcal{R}_A \iff p(x,\mathcal{C}_A)>p(x,\mathcal{C}_B)\)) — mas com prioris \(65/35\) (não \(95/5\)), o ganho é modesto, não uma virada dramática. Diferença de magnitude, não de mecanismo.
Se a prevalência de diabetes nesta população fosse exatamente \(50\%\), o que aconteceria com a distância entre o cruzamento das condicionais e o cruzamento das conjuntas?
Dica: pense no papel exato que \(\pi_k\) desempenha na equação \(p(x,\mathcal{C}_k) = p(x\mid\mathcal{C}_k)\,\pi_k\) quando \(\pi_A=\pi_B\).
Prioris, Cruzamentos e o Caso Real
Dica
Voltando à pergunta: com prioris iguais, os dois cruzamentos colapsam num só — é a assimetria de classes, e só ela, que os separa.
Dica
(Agora responda: o que sobra da distinção condicional/conjunta quando as duas classes são igualmente frequentes?)
Aula 2, em síntese: de \(1\) variável para \(d\); de um limiar para teoria da decisão completa (\(\rho(a\mid x) = \sum_k L(k,a)\,p(\mathcal{C}_k\mid x)\)).
Ponte: Naive Bayes \(\Rightarrow\) \(p(\mathbf{x}\mid\mathcal{C}_k) = \prod_i p(x_i\mid\mathcal{C}_k)\) — independência condicional assumida.
No Breast Cancer Wisconsin: correlação intra-classe \(0{,}64\)/\(0{,}22\) \(\Rightarrow\) preço de \(2\) pontos percentuais (\(85\%\) vs. \(87\%\)).
Hoje: acrescentar IMC à Glicose no Pima, repetir a mesma comparação.
correlação Glicose x IMC | não-diabético: 0.123 | diabético: 0.057
acurácia cov. plena: 0.7646 | acurácia Naive Bayes (diagonal): 0.7646
Correlação Glicose \(\times\) IMC: \(0{,}123\) (não-diab.) e \(0{,}057\) (diab.) — bem mais baixa que os \(0{,}64/0{,}22\) do Breast Cancer Wisconsin.
Acurácias: covariância plena \(=\) diagonal (Naive Bayes) \(=\) \(76{,}46\%\), idênticas até a 4ª casa decimal.
“Classifica bem, estima mal” (Domingos & Pazzani, 1997) — no Breast Cancer o preço foi \(2\) pontos; aqui foi zero. O preço da independência é do dado, não do método.
Teoria da decisão (Aula 2): custo de escape \(>\) custo de alarme falso em triagem \(\Rightarrow\) limiar ótimo \(\ne 0{,}5\), via \(\rho(a\mid x)=\sum_k L(k,a)\,p(\mathcal{C}_k\mid x)\).
Se Glicose e IMC fossem perfeitamente correlacionados dentro de cada classe (\(\rho=1\)), a Gaussiana de covariância plena e o Naive Bayes ainda coincidiriam?
Dica: pense no que a covariância diagonal literalmente descarta, e no que sobra quando ela descarta tudo que existe para descartar.
Naive Bayes: Quando a Independência Custa Caro
Dica
Voltando à pergunta: com \(\rho=1\), a covariância diagonal jogaria fora exatamente a informação que faz a diferença — as duas abordagens deixariam de coincidir.
Dica
(Agora responda: com \(\rho=1\), o que exatamente a covariância diagonal descarta?)
Aula 3, em síntese: sem família paramétrica — o dado escolhe a partição, greedy, split por split.
Tese central: reduzir impureza \(=\) maximizar verossimilhança. Para folha categórica, \(\hat p_{\tau k} = n_{\tau k}/N_\tau\) maximiza \(\ell_\tau(\hat p_\tau) = -N_\tau H(\hat p_\tau)\).
Árvore do California Housing (regressão, \(5\) folhas) tornou isso concreto.
Hoje: árvore pequena de classificação (não regressão) sobre Glicose+IMC — conexão entropia/Gini/MLE ainda mais direta.
|--- Glicose <= 123.50
| |--- class: 0
|--- Glicose > 123.50
| |--- Glicose <= 154.50
| | |--- IMC <= 41.65
| | | |--- class: 0
| | |--- IMC > 41.65
| | | |--- class: 1
| |--- Glicose > 154.50
| | |--- class: 1
N treino=526, N teste=226
acurácia treino=0.7738, acurácia teste=0.7522
Raiz: H=0.648 nats, Gini=0.456, erro bruto=0.352
Após split: H=0.551 nats (IG=0.097), Gini=0.369 (ganho=0.087), erro bruto=0.272
\(H\): \(0{,}648 \to 0{,}551\) nats (\(IG=0{,}097 = I(S;\mathcal{C})\), notação da Aula 3).
Gini: \(0{,}456 \to 0{,}369\) (ganho \(0{,}087\)). Erro bruto: \(35{,}2\% \to 27{,}2\%\).
Aqui as três métricas concordam — diferente do contraexemplo da Aula 3 (\(IG=0{,}216\) vs. \(0{,}131\) nats com erro bruto empatado em \(0{,}25\)).
Contraste geométrico com o Bloco 2: árvore \(=\) fronteira axis-aligned; elipses Gaussianas podem inclinar livremente — a limitação estrutural que a Aula 3 nomeou ao final.
Um médico usa a regra manual “Glicose acima de 140 mg/dL \(\Rightarrow\) suspeita de diabetes” — isso é, estruturalmente, uma árvore de decisão? Se for, por que a árvore do algoritmo é “melhor” (ou não é)?
Dica: pense no que faz algo ser uma árvore de decisão — é o algoritmo de ajuste, ou a forma da regra final?
Árvore, Impureza e a Regra do Médico
Dica
Voltando à pergunta: sim, é uma árvore degenerada — mas sem o processo de ajuste por impureza que dá à árvore do algoritmo a chance de encontrar um corte melhor do que um número “redondo” escolhido a olho.
Dica
(Agora responda: o que a árvore do algoritmo tem que a regra manual do médico não tem?)
Aula 4, em síntese: \(\hat R(\theta)\) enviesado para baixo; Breast Cancer: treino \(100\%\) na profundidade \(6\), teste no pico em \(92{,}98\%\) (profundidade \(5\)).
CV \(=\) simulação de amostragem repetida de \(P(X,Y)\). Honestidade: LOOCV (\(89{,}4\%\)) abaixo de \(5\)-/\(10\)-fold (\(\sim92\)–\(93\%\)) nessa amostra específica.
CV escolheu árvore de \(4\) folhas empatando com \(19\) folhas em \(91{,}8\%\); regra de \(1\) desvio-padrão \(\to\) \(2\) folhas, custo real de \(1{,}7\) p.p. (\(90{,}1\%\)).
Bootstrap \(\ne\) CV: pergunta diferente. IC\(_{95\%}\): \([87{,}7\%,95{,}9\%]\) (teste) e \([88{,}9\%,93{,}6\%]\) (treino reajustado).
Hoje: o mesmo arsenal, sobre a árvore de \(4\) folhas do Bloco 3.
CV 5-fold: [0.755 0.714 0.695 0.695 0.705] média=0.7128 dp=0.0221
split único (teste): 0.7522
Bootstrap (reamostra teste): média=0.7522 IC95=[0.6903,0.8097]
Bootstrap (reamostra+reajusta treino): média=0.7433 IC95=[0.6924,0.7788]
CV \(5\)-fold: \(71{,}3\%\pm2{,}2\%\) (formato obrigatório da Aula 4: média \(\pm\) desvio).
Split único de teste: \(75{,}2\%\) — perto do topo da faixa dos \(5\) folds (\(69{,}5\%\)–\(75{,}5\%\)). Não é “CV errada”: é um sorteio favorável de uma distribuição.
Bootstrap teste (modelo fixo): incerteza de medição — IC\(_{95\%}=[69{,}0\%,81{,}0\%]\).
Bootstrap treino+reajuste: incerteza do procedimento — IC\(_{95\%}=[69{,}2\%,77{,}9\%]\). Perguntas relacionadas, não idênticas.
A média de CV (\(71{,}3\%\)) ficou abaixo da acurácia do nosso split único de teste (\(75{,}2\%\)). Isso significa que o split de teste foi “escolhido a dedo” ou está errado de algum jeito?
Dica: pense na CV como cinco sorteios de uma distribuição, e o split de teste como um sexto sorteio independente da mesma distribuição.
CV, Split Único e o que “Discrepância” Significa
Dica
Voltando à pergunta: não, a discrepância é o comportamento esperado de dois sorteios independentes da mesma distribuição de acurácias — nenhum dos dois precisa estar “errado”.
Dica
(Agora responda: o split de teste foi “escolhido a dedo”, ou é só ruído de amostragem?)
| Distribuição | Verossimilhança | Decisão/Risco | |
|---|---|---|---|
| Aula 1 | Beta por classe | log-momentos (sem forma fechada) | cruzamento das conjuntas |
| Aula 2 | Gaussiana (\(\Sigma\) diag./plena) | \(\prod_i p(x_i\mid\mathcal{C}_k)\) | risco posterior \(\rho(a\mid x)\) |
| Aula 3 | categórica por folha | MLE \(=-N_\tau H(\hat p_\tau)\) | partição greedy por IG |
| Aula 4 | amostra i.i.d. de \(P(X,Y)\) | \(\hat R(\theta)\) por fold/réplica | \(R(\theta)\) estimado, não observado |
A coluna do meio se disfarça: “minimizar entropia” e “minimizar soma de quadrados” são maximizar verossimilhança.
Cuidado de notação: \(k\) \(=\) índice de classe (Aulas 1–3) \(\ne\) \(k\) \(=\) número de folds (Aula 4). \(\lambda\)/custo \(=\) multiplicador de custo assimétrico (Aula 2) \(\ne\) penalidade de custo-complexidade (Aulas 3–4). Colisão de símbolos, não erro — mas vale nomear.
A Aula 6 vai construir regressão linear com sua própria distribuição, verossimilhança e decisão. Isso significa que regressão linear “é a mesma coisa” que uma árvore de decisão, só escrita com notação diferente?
Dica: pense na diferença entre “usar os mesmos ingredientes” e “fazer o mesmo prato”.
Mesma Estrutura, Técnicas Diferentes
Dica
Voltando à pergunta: mesmos ingredientes (distribuição, verossimilhança, decisão), pratos diferentes — reconhecer a receita não elimina a diferença entre os pratos.
Dica
(Agora responda: compartilhar a estrutura torna as quatro técnicas intercambiáveis?)
Próxima aula: Regressão Linear — mínimos quadrados como máxima verossimilhança sob ruído gaussiano, o mesmo princípio agora sobre um modelo paramétrico contínuo.
UNICAMP — Instituto de Computação