Aula 5: Modelos Variacionais, GMM Bayesiano e Seleção de Modelos

Aprendizado Não Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-17

Revisão e Introdução

Da Aula 4: O Que Já Temos

GMM: \(z_n\) latente (1-de-\(K\), nunca observado), prior \(\pi_k=p(z_{nk}=1)\); \(\mathbf{x}_n\mid z_{nk}=1\sim\mathcal N(\mu_k,\Sigma_k)\).

EM: Passo E — responsabilidade \(\gamma(z_{nk})=p(z_{nk}=1\mid \mathbf{x}_n,\theta)\) (Bayes, parâmetros correntes). Passo M — MLE ponderada por \(\gamma\). Itera até convergir, sem nunca piorar \(\ln p(\mathbf{X}\mid\theta)\).

Importante

\(\theta\) é ponto fixo otimizado, sem priori — pode colapsar \(\Sigma_k\to\mathbf{0}\) sobre um único ponto: densidade explode, log-verossimilhança \(\to+\infty\). Singularidade, não ajuste.

Ideia Central

E se \(\theta\) inteiro — não só \(z_n\) — também tivesse uma priori? Passagem de máxima verossimilhança (ponto ótimo) para Bayesiana Variacional completa (distribuição de incerteza sobre tudo).

Nota

Ganho concreto: priori sobre \(\mu_k,\Sigma_k\) proíbe o colapso de covariância; priori sobre \(\pi\) poda componentes supérfluos — os dois problemas do EM clássico, resolvidos pelo mesmo mecanismo.

Roteiro da Aula

1. Seleção Bayesiana de modelos, em geral — de onde vem a Navalha de Occam.

2. GMM Bayesiano por dentro — as prioris e sua defesa estrutural.

3. O ELBO resultante — decomposição e padrão numérico.

4. Além do ELBO de treino — validação preditiva e geométrica.

5. PPC quantitativo — a prova definitiva de forma.

Problema Motivador

Repetindo o teste da Aula 4: GMM clássico (EM puro), \(K=1,\dots,10\), todos os pontos do Breast Cancer Wisconsin — o que acontece com a log-verossimilhança de treino?

O Resultado: Monótona, Sem Exceção

\(-1339{,}45\) nats (\(K=1\)) a \(-1169{,}66\) nats (\(K=10\)) — nunca cai. Cada componente extra pode sempre “imitar” a solução anterior (\(\pi_k\approx0\) para si mesmo) e, na prática, sempre melhora um pouco mais.

Importante

No limite \(K=N\): um componente por ponto, log-verossimilhança \(\to+\infty\) (singularidade já revisada).

A pergunta central: como definir a estrutura do modelo — aqui \(K\), mas o mesmo problema aparece em qualquer hiperparâmetro estrutural — punindo complexidade de forma fundamentada, não ad hoc?

Pergunta

Se a log-verossimilhança de treino nunca pune a complexidade, isso significa que ela é uma quantidade inútil — ou ela ainda tem algum papel legítimo dentro de um critério maior?

Pense em quais dos ingredientes de uma verossimilhança continuam fazendo sentido, e o que exatamente falta a ela para virar um critério de seleção de modelos completo.

• □ A log-verossimilhança de treino mede corretamente o quão bem os parâmetros ajustados explicam os dados que os ajustaram — o problema não é essa medida em si, é usá-la sozinha para comparar estruturas de complexidade diferente.
• □ Qualquer critério de seleção de modelos construído a partir da log-verossimilhança precisa necessariamente abandonar por completo a ideia de log-verossimilhança e usar outra quantidade, sem nenhuma relação matemática com ela.
• □ Um critério de seleção de modelos bem fundamentado poderia, em princípio, ser construído somando à log-verossimilhança algum termo adicional que cresça com a complexidade do modelo, penalizando-a.
• □ O mesmo problema estrutural (mais parâmetros sempre explicam melhor os dados observados usados no ajuste) aparece em qualquer modelo paramétrico ajustado por máxima verossimilhança, não é exclusivo de misturas gaussianas.

Resposta

Resposta — o papel legítimo da log-verossimilhança

• ✔ A log-verossimilhança de treino é exatamente o termo de ajuste — mede bem o que se propõe a medir; o erro é usá-la isolada como critério de comparação entre complexidades diferentes.
• ✗ Falso — como o item seguinte antecipa, um critério bem fundamentado tipicamente reaproveita a log-verossimilhança como um dos seus termos, somado a uma penalidade — não a descarta.
• ✔ Sim — é exatamente a lógica que o ELBO desta aula vai seguir: termo de ajuste (relacionado à verossimilhança) menos um termo de penalidade (KL).
• ✔ Sim — é o mesmo fenômeno de sobreajuste por máxima verossimilhança que aparece em regressão polinomial, redes neurais, ou qualquer modelo suficientemente flexível.

Voltando à pergunta: a log-verossimilhança de treino não é descartada — ela continua sendo o termo de ajuste dentro de um critério maior. O que falta é exatamente o termo de penalidade, e os Blocos 1-3 mostram de onde ele vem quando se leva a estrutura inteira do modelo a sério, de forma Bayesiana.

Bloco 1: Seleção Bayesiana de Modelos

O Princípio Formal: Estrutura Também É Variável

Trate cada estrutura candidata \(\mathcal{M}_m\) (ex.: “GMM com \(K=m\)”) como evento, com priori \(p(\mathcal{M}_m)\). Bayes: \[ p(\mathcal{M}_m\mid\mathbf{X}) = \frac{p(\mathbf{X}\mid\mathcal{M}_m)\,p(\mathcal{M}_m)}{p(\mathbf{X})} \;\propto\; p(\mathcal{M}_m)\,p(\mathbf{X}\mid\mathcal{M}_m) . \]

\(p(\mathbf{X})=\sum_m p(\mathbf{X}\mid\mathcal{M}_m)p(\mathcal{M}_m)\) não depende de \(m\) — irrelevante para comparar estruturas. Sem favoritismo a priori, \(p(\mathcal{M}_m)\) uniforme \(\Rightarrow\) comparação vira só sobre \(p(\mathbf{X}\mid\mathcal{M}_m)\), a evidência.

A Evidência Já Embute Occam

\[ p(\mathbf{X}\mid\mathcal{M}_m) = \int p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H} \] (Bishop, PRML, §3.4) — sem nenhuma penalidade adicionada à mão.

Intuição: \(p(\mathbf{X}\mid\mathbf{H},\mathcal{M}_m)\) integra a \(1\) sobre o espaço de todos os datasets possíveis. Modelo complexo: espaço de \(\mathbf{H}\) maior, massa se espalha por mais combinações — inclusive muitas que não parecem dados reais.

Importante

Modelo simples: menos onde espalhar, mais massa concentrada em qualquer \(\mathbf{H}\) específico. Ao integrar, o complexo só ganha se os dados realmente precisarem da flexibilidade extra — mesmo que, para algum \(\mathbf{H}\) pontual, ele ajuste tão bem ou melhor (o problema do Motivador, agora superado pela integração).

KL: Definição e Não-Negatividade

Definição: \(\mathrm{KL}(q\|p)=-\int q(\mathbf{H})\ln\{p(\mathbf{H}) /q(\mathbf{H})\}\,\mathrm{d}\mathbf{H} = \mathbb{E}_q[\ln\{q(\mathbf{H}) /p(\mathbf{H})\}]\) — não simétrica.

Nota

Teorema (Gibbs): \(\mathrm{KL}(q\|p)\ge0\), igualdade sse \(q=p\).

Prova. \(-\ln(\cdot)\) convexa \(\Rightarrow\) Jensen: \(-\ln\mathbb{E}_q[X]\le\mathbb{E}_q[-\ln X]\), com \(X=p(\mathbf{H})/q(\mathbf{H})\): \(\mathrm{KL}(q\|p)\ge-\ln\int p(\mathbf{H})\,\mathrm{d}\mathbf{H}=0\).

Decomposição da Evidência: Passo a Passo

\(\mathcal{L}_m(q):=\int q(\mathbf{H})\ln\{p(\mathbf{X},\mathbf{H}\mid \mathcal{M}_m)/q(\mathbf{H})\}\,\mathrm{d}\mathbf{H}\). Passo 1: regra do produto, \(p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)= p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\,p(\mathbf{X}\mid \mathcal{M}_m)\).

Passo 2: separa o log em soma — \(\ln\{\dots\} = \ln p(\mathbf{X}\mid\mathcal{M}_m) - \ln\{q(\mathbf{H}) /p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\}\).

Passo 3: volta à integral, separa em dois termos: \[ \mathcal{L}_m(q) = \int q(\mathbf{H})\ln p(\mathbf{X}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H} - \int q(\mathbf{H})\ln\frac{q(\mathbf{H})}{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)}\,\mathrm{d}\mathbf{H}. \]

Passo 4: \(\ln p(\mathbf{X}\mid\mathcal{M}_m)\) não depende de \(\mathbf{H}\), \(\int q(\mathbf{H})\,\mathrm{d}\mathbf{H}=1\) \(\Rightarrow\) primeiro termo = \(\ln p(\mathbf{X}\mid\mathcal{M}_m)\).

Passo 5: segundo termo = \(\mathrm{KL}(q\|p(\mathbf{H}\mid \mathbf{X},\mathcal{M}_m))\). Logo:

Nota

\[ \ln p(\mathbf{X}\mid\mathcal{M}_m) = \mathcal{L}_m(q) + \mathrm{KL}\big(q\,\|\,p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\big) \;\Rightarrow\; \mathcal{L}_m(q)\le\ln p(\mathbf{X}\mid\mathcal{M}_m) . \]

O ELBO Como Proxy de Ranqueamento

\(\mathcal{L}_m(q)\): cota inferior tratável para a evidência intratável. Igualdade sse \(q=p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\) (posterior verdadeira, inatingível).

Importante

Usamos \(\mathcal{L}_m\) para ranquear estruturas, no lugar da evidência direta — aproximação cuja qualidade depende de quão apertada é a cota (Bloco 4 questiona isso com cuidado).

Pergunta

Se a evidência \(p(\mathbf{X}\mid\mathcal{M}_m)\) já embute a Navalha de Occam por si só, por que ainda precisamos do ELBO — ele adiciona alguma penalidade de complexidade nova, ou serve para outra coisa?

Releia a definição da evidência como integral e o motivo de ela ser intratável para o GMM. Pense no que exatamente o ELBO resolve: um problema matemático (calculabilidade) ou um problema conceitual (ausência de penalidade)?

• □ O ELBO não adiciona nenhuma penalidade de complexidade que a evidência já não tivesse — sua função é tornar uma quantidade intratável em algo calculável, aproximando-a por baixo.
• □ Se, por algum motivo, a evidência de um modelo específico fosse calculável em forma fechada (sem precisar de \(q\) nenhum), o ELBO ainda assim seria estritamente necessário para obter a penalidade de Occam.
• □ Quanto mais apertada a cota \(\mathrm{KL}(q\|p(\mathbf{H}\mid \mathbf{X},\mathcal{M}_m))\) (ou seja, quanto mais \(q\) se aproxima da posterior verdadeira), mais o ranqueamento por \(\mathcal{L}_m\) se aproxima do ranqueamento pela evidência verdadeira.
• □ Comparar \(\mathcal{L}_1\) e \(\mathcal{L}_2\) de dois modelos é equivalente a comparar suas evidências verdadeiras sempre que os dois modelos usam a mesma família variacional \(q\), não importa quão longe \(q\) esteja da posterior real em cada caso.

Resposta

Resposta — o que o ELBO resolve, de fato

• ✔ O ELBO resolve calculabilidade, não a ausência de penalidade — essa penalidade (a Navalha de Occam) já está na integral da evidência, antes de qualquer aproximação.
• ✗ Falso — se a evidência já fosse calculável exatamente, não haveria motivo nenhum para aproximá-la; a Navalha de Occam já estaria presente nela, sem precisar de \(q\).
• ✔ Sim — é exatamente a relação da decomposição: \(\mathrm{KL}\) pequena \(\Rightarrow\) \(\mathcal{L}_m\) próximo de \(\ln p(\mathbf{X}\mid \mathcal{M}_m)\).
• ✗ Falso — mesma família \(q\) não garante gaps iguais: a distância entre \(q\) e a posterior verdadeira de cada modelo pode ser bem diferente, mesmo usando a mesma forma funcional de \(q\) (o Bloco 4 chama isso de “folga variacional”).

Voltando à pergunta: o ELBO não inventa nenhuma penalidade nova — a Navalha de Occam já mora na integral da evidência. O ELBO é a forma prática de trabalhar com essa integral quando ela é intratável, ao custo de uma aproximação cuja qualidade (o gap de KL) precisa ser levada a sério, não assumida como desprezível.

Bloco 2: GMM Bayesiano — A Mecânica das Prioris

Completando o Modelo

\(\mathbf{H}=(\mathbf{Z},\pi,\mu,\Sigma)\) — tudo dentro do tratamento variacional (não só \(\mathbf{Z}\), como o EM clássico). Posterior exata intratável \(\Rightarrow\) campo médio (PRML §10.1): \[ q(\mathbf{Z},\pi,\mu,\Sigma) \approx q(\mathbf{Z})\,q(\pi)\prod_{k=1}^K q(\mu_k,\Sigma_k) . \]

Nota

Resultado geral (CAVI, PRML §10.1.1, citado — não rederivado): \(\ln q_j^\star(\mathbf{H}_j)=\mathbb{E}_{i\ne j}[\ln p(\mathbf{X}, \mathbf{H})]+\text{const}\) — otimiza um bloco de cada vez, alternando entre distribuições, não pontos.

Priori 1: Dirichlet Sobre \(\pi\) — Derivando a Poda

\(p(\pi)=\mathrm{Dir}(\pi\mid\alpha_0,\dots,\alpha_0)\). Termos com \(\pi\): \(\ln p(\mathbf{Z}\mid\pi)=\sum_n\ln\pi_{z_n}\) e \(\ln p(\pi)\). CAVI: \[ \ln q^\star(\pi) = \sum_k N_k\ln\pi_k + \sum_k(\alpha_0-1)\ln\pi_k + \text{const}, \quad N_k:=\sum_n\gamma(z_{nk}) . \]

Importante

\[ q^\star(\pi) = \mathrm{Dir}(\pi\mid\alpha_0+N_1,\dots,\alpha_0+N_K) . \] \(N_k\) pequeno \(\Rightarrow\) concentração \(\approx\alpha_0\) \(\Rightarrow\) \(\pi_k\) empurrado a zero. Aqui \(\alpha_0=1\) fixo e neutro — quem decide \(K\) é a comparação de ELBO (Bloco 3), não a variação de \(\alpha_0\) (diferente da Aula 5 original).

Priori 2: Normal-Wishart — Por Que o Colapso Não Acontece

\(p(\mu_k,\Lambda_k)=\mathcal{N}(\mu_k\mid m_0,(\beta_0\Lambda_k)^{-1})\, \mathcal{W}(\Lambda_k\mid W_0,\nu_0)\), \(\Lambda_k=\Sigma_k^{-1}\). \(W_0\) = inversa da covariância global dos dados (Empirical Bayes, default do BayesianGaussianMixture).

Atualização variacional citada de PRML §10.2.1 (não rederivada aqui): \[ W_k^{-1} = W_0^{-1} + N_k S_k + \frac{\beta_0 N_k}{\beta_0+N_k}(\bar{\mathbf{x}}_k-m_0)(\bar{\mathbf{x}}_k-m_0)^T . \]

Importante

Soma de três termos positivos semidefinidos — \(W_0^{-1}\) nunca desaparece. Se \(S_k\to\mathbf{0}\) (colapso sobre um ponto), \(W_k^{-1}\) fica no mínimo \(W_0^{-1}\succ0\): a Wishart nunca concentra massa em matrizes singulares com escala positiva definida \(\Rightarrow\) \(\Sigma_k\) nunca colapsa. Impedido analiticamente, não só desencorajado.

Pergunta

Se \(\alpha_0\) agora fica fixo e neutro (em vez de variar, como na Aula 5 original), a priori de Dirichlet perdeu a capacidade de podar componentes supérfluos?

Releia a fórmula de \(q^\star(\pi)\): o que exatamente muda entre um componente com \(N_k\) grande e um com \(N_k\approx0\), mesmo mantendo \(\alpha_0\) fixo? A poda depende de comparar \(\alpha_0\) entre valores diferentes, ou de comparar \(\alpha_0\) contra \(N_k\)?

• □ Não perdeu — para qualquer \(\alpha_0\) fixo, um componente com \(N_k\approx0\) ainda tem concentração posterior \(\approx\alpha_0\), bem menor que a de um componente com \(N_k\) grande — o contraste vem de comparar \(\alpha_0\) contra \(N_k\), não de variar \(\alpha_0\) entre rodadas.
• □ Um componente cuja covariância \(\Sigma_k\) colapsaria no EM clássico da Aula 4 também teria, necessariamente, \(N_k\approx0\) sob a responsabilidade \(\gamma(z_{nk})\) do GMM Bayesiano.
• □ Se \(\alpha_0\) fosse levado a um valor extremamente alto (priori fortemente concentrada em pesos iguais), a poda automática de componentes com pouco suporte nos dados ficaria mais difícil de acontecer, não mais fácil.
• □ O mesmo tipo de argumento — um termo vindo só da priori que nunca desaparece da atualização posterior, mesmo quando os dados “puxam” para o extremo oposto — também aparece na atualização de \(W_k^{-1}\) na priori Normal-Wishart.

Resposta

Resposta — poda com \(\alpha_0\) fixo

• ✔ Não perdeu — a poda vem do contraste entre \(\alpha_0\) (fixo) e \(N_k\) (varia por componente): \(N_k\approx0\) já basta para a concentração posterior ficar perto de \(\alpha_0\), pequena o suficiente para empurrar \(\pi_k\) a zero.
• ✗ Falso — colapso de \(\Sigma_k\) (EM clássico) e \(N_k\approx0\) (GMM Bayesiano) são fenômenos relacionados mas distintos: um componente pode ter \(N_k\) moderado e ainda assim, no EM clássico, colapsar sobre um subconjunto pequeno mas não vazio de pontos muito próximos entre si.
• ✔ Sim — \(\alpha_0\) alto deixa a priori mais “rígida” em torno de pesos iguais, exigindo mais evidência dos dados para afastar qualquer \(\pi_k\) de \(1/K\) — dificulta, não facilita, a poda.
• ✔ Sim — exatamente o mesmo padrão: \(W_0^{-1}\) na Normal-Wishart e \(\alpha_0\) na Dirichlet são ambos “pesos” da priori que persistem na atualização posterior independente do que os dados sugiram, cada um impedindo um extremo diferente (colapso de covariância vs. excesso de componentes).

Voltando à pergunta: a Dirichlet com \(\alpha_0\) fixo continua podando — o mecanismo depende do contraste \(\alpha_0\) vs. \(N_k\) por componente, não de variar \(\alpha_0\) entre rodadas. O que muda é como usamos essa poda para decidir \(K\): antes, comparando \(\alpha_0\)’s; agora, comparando o ELBO resultante entre diferentes \(K\)’s — o Bloco 3 mostra esse resultado.

Bloco 3: Dissecando o ELBO Variacional

Especializando a Decomposição Geral

Bloco 1 já deu \(\ln p(\mathbf{X}\mid\mathcal{M}_m)=\mathcal{L}_m(q)+ \mathrm{KL}(q\|p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m))\) para qualquer \(\mathbf{H}\). Aqui, \(\mathbf{H}=(\mathbf{Z},\pi,\mu,\Sigma)\) — vale isolar \(\pi\) de dentro de \(\mathcal{L}_m(q)\).

Dado \(\mathbf{Z},\mu,\Sigma\): \(\mathbf{X}\) não depende de \(\pi\) (\(\pi\) só decide qual componente). Regra do produto: \[ p(\mathbf{X},\mathbf{Z},\pi,\mu,\Sigma\mid\mathcal{M}_m) = p(\mathbf{X}\mid\mathbf{Z},\mu,\Sigma,\mathcal{M}_m)\,p(\mathbf{Z},\pi,\mu,\Sigma\mid\mathcal{M}_m) . \]

Mesmos Passos 2-3 do Bloco 1 (log em soma, integral em dois termos); primeiro termo não depende de \(\pi\) \(\Rightarrow\int q(\pi)\, \mathrm{d}\pi=1\) elimina \(\pi\), sobrando esperança só sobre \((\mathbf{Z},\mu,\Sigma)\).

Nota

\[ \mathcal{L}_m(q) = \underbrace{\mathbb{E}_{q(\mathbf{Z})q(\mu,\Sigma)}\big[\ln p(\mathbf{X}\mid\mathbf{Z},\mu,\Sigma,\mathcal{M}_m)\big]}_{\text{Ajuste}} \;-\; \underbrace{\mathrm{KL}\big(q(\mathbf{Z},\pi,\mu,\Sigma)\,\|\,p(\cdot\mid\mathbf{X},\mathcal{M}_m)\big)}_{\text{Navalha de Occam}} \]

KL agora carrega o custo de todo o modelo — pesos (via \(\pi\)), médias e covariâncias (via Normal-Wishart) — se afastando das prioris. É essa soma que impede \(K\) arbitrariamente grande, ao contrário da log-verossimilhança crua.

O Resultado Numérico

BayesianGaussianMixture: Normal-Wishart (\(W_0\) via Empirical Bayes, default) + Dirichlet (\(\alpha_0=1\) fixo), \(K=1,\dots,10\), todos os dados. ELBO (lower_bound_) vs. log-verossimilhança clássica:

O Contraste, em Números

Log-verossimilhança clássica: \(-1339{,}45\) (\(K=1\)) a \(-1169{,}66\) (\(K=10\)), monotônica.

ELBO Bayesiano: \(-174\,522{,}02\) (\(K=1\)) \(\to\) máximo \(-105\,559{,}38\) em \(K=2\) \(\to\) \(-123\,818{,}91\) (\(K=10\)). Sobe e cai.

Importante

Escalas absolutas não são comparáveis entre os dois painéis (o ELBO soma termos de entropia/KL de escala própria) — o que importa é a forma: o custo de KL cobra o preço de complexidade além de \(K=2\).

\(K^\star=2\) pelo ELBO coincide com a estrutura conhecida do dataset — primeira vez nesta disciplina que um critério só de treino acerta \(K\), sem validação nenhuma.

Pergunta

Se o ELBO já acertou K=2 usando só os dados de treino, ainda faz sentido gastar tempo com validação em dados nunca vistos?

Pense no que exatamente o ELBO mede (uma cota inferior da evidência, sob a família variacional \(q\) escolhida) versus o que esta aula ainda não questionou sobre essa cota. Um resultado bater com a intuição uma vez é garantia de que o método sempre vai acertar?

• □ O ELBO de treino é uma cota inferior da evidência sob a família variacional \(q\) escolhida — nada nessa definição garante que a cota seja igualmente apertada para qualquer estrutura de dados, então um acerto neste dataset específico não é garantia geral.
• □ Como o ELBO já incorpora uma penalidade de complexidade genuína (diferente da log-verossimilhança crua), ele está imune, por construção, ao mesmo tipo de viés de otimismo que qualquer critério avaliado inteiramente nos dados de treino pode sofrer.
• □ Um dataset onde os “verdadeiros” grupos geradores não são bem aproximados por gaussianas elípticas (a forma que o GMM assume) é um cenário em que o ELBO poderia favorecer um \(K\) que não reflete a estrutura real, mesmo penalizando complexidade corretamente dentro da família gaussiana.
• □ K-Means e DBSCAN, que não têm log-verossimilhança nem ELBO, ficam necessariamente fora de qualquer comparação sistemática com GMMs em termos de qual estrutura captura melhor os dados.

Resposta

Resposta — o ELBO acertar uma vez não encerra a questão

• ✔ Correto — a cota é sob a família \(q\) escolhida; sua “folga” (o gap de KL) pode variar entre estruturas e entre datasets, sem garantia nenhuma de ser sempre pequena.
• ✗ Falso — o ELBO penaliza complexidade dentro da família variacional, mas isso não o isenta do viés de otimismo geral de qualquer quantidade avaliada só no treino (o Bloco 4 mostra exatamente essa lacuna).
• ✔ Sim — má especificação de forma é um problema diferente de excesso de parâmetros; um GMM bem penalizado ainda pode “escolher” mal se a forma verdadeira dos dados não é gaussiana (o Bloco 5 constrói esse contraexemplo).
• ✗ Falso — é exatamente o problema que o Bloco 4 resolve: métricas geométricas (Silhueta, Dunn) numa validação comum permitem comparar GMM, K-Means e DBSCAN na mesma escala, apesar de nem todos terem probabilidade.

Voltando à pergunta: sim, ainda faz sentido — e muito. O ELBO acertar \(K=2\) aqui não prova que a cota é sempre apertada, nem que a forma gaussiana sempre captura a estrutura real. O Bloco 4 formaliza por que a validação em dados nunca vistos continua sendo necessária, mesmo com um critério analítico que já parece funcionar.

Bloco 4: A Teoria Preditiva e a Validação Empírica

O Verdadeiro Objetivo: ELPD

Não importa explicar o treino — importa generalizar. Com \(p_{\text{true}}(\mathbf{x})\) = densidade real (desconhecida): \[ \mathrm{ELPD} := \mathbb{E}_{\mathbf{x}\sim p_{\text{true}}}\big[\ln p(\mathbf{x}\mid\mathbf{X}_{\text{train}})\big] \] (Vehtari & Ojanen, 2012) — média sobre a população, não sobre o treino.

Importante

Viés de treino (double-dipping): usar \(\mathbf{X}_{\text{train}}\) para estimar o ELPD julga o modelo por decorar ruído, não por generalizar — mesmo mecanismo do Problema Motivador.

O Estimador de Monte Carlo

\(\mathbf{X}_{\text{val}}\) i.i.d., nunca exposto ao ajuste: \[ \widehat{\mathrm{ELPD}} := \frac{1}{N_{\text{val}}}\sum_{n\in\text{val}}\ln p(\mathbf{x}_n\mid\mathbf{X}_{\text{train}}) \]

Nota

Lei dos Grandes Números: média amostral de v.a. i.i.d. converge para a esperança populacional \(\Rightarrow\) \(\widehat{\mathrm{ELPD}}\) é não-viesado, sem double-dipping (nenhum ponto usado participou do ajuste).

O Resultado Numérico

\(569\) pacientes: treino (\(N=398\)), validação (\(N=171\), \(30\%\)). GMM clássico e GMM Bayesiano (\(\alpha_0=1\)), \(K=1,\dots,10\), ajustados só no treino, avaliados na validação:

Treino vs. Validação, em Números

GMM clássico: treino \(-938{,}05\to-808{,}51\) (monotônico); validação máxima em \(K=2\) (\(-361{,}95\)), oscila e piora depois (\(-376{,}42\) em \(K=10\)).

GMM Bayesiano (predito na validação): máximo também em \(K=2\) (\(-364{,}43\)), cai suavemente até \(-369{,}67\) (\(K=10\)) — mais estável.

Importante

Três critérios independentes convergem para \(K=2\): ELBO de treino, log-verossimilhança preditiva clássica, log-verossimilhança preditiva Bayesiana.

Por Que, Mesmo Assim, o ELBO de Treino Não Basta

1. Folga variacional: \(\mathcal{L}_m(q)=\ln p(\mathbf{X}\mid \mathcal{M}_m)-\mathrm{KL}(q\|p)\) — nada garante que essa folga seja igual entre \(K\)’s diferentes. Validação ignora a folga, mede generalização crua.

2. Má especificação: se a forma real não é gaussiana, o ELBO ainda penaliza complexidade dentro da família gaussiana — mas pode inflar \(K\) tentando ladrilhar uma forma que desconhece.

3. Comparação universal: K-Means/DBSCAN não têm ELBO nem AIC — comparar partições numa validação comum, via métricas geométricas, resolve isso.

Índice de Dunn: Geométrico e Livre de Distribuição

\[ \mathrm{Dunn} := \frac{\min_{i\ne j}\min_{\mathbf{x}\in C_i,\mathbf{y}\in C_j}\|\mathbf{x}-\mathbf{y}\|}{\max_k\max_{\mathbf{x},\mathbf{y}\in C_k}\|\mathbf{x}-\mathbf{y}\|} \] (Dunn, 1974) — separação mínima / diâmetro máximo, maior é melhor.

Nota

Diferente do Davies-Bouldin (centroide + dispersão média, assume clusters ~esféricos), o Dunn usa só distâncias ponto-a-ponto — serve tanto para K-Means (convexo) quanto DBSCAN (forma arbitrária).

DBSCAN Precisa de um Passo Extra

DBSCAN não tem predict para pontos novos — rotula só quem foi ajustado. Adaptação: DBSCAN no treino (\(\epsilon=0{,}35\), min_samples=5), descarta ruído, treina \(k\)-NN (\(k=5\)) nos pontos restantes.

Cada ponto de validação \(\to\) cluster da maioria entre seus \(5\) vizinhos mais próximos do treino. Extensão permite Silhueta/Dunn na validação, igual a qualquer outro método.

Comparando K-Means e DBSCAN na Validação

DBSCAN (\(\epsilon=0{,}35\)): \(2\) clusters no treino, \(17\) de \(398\) pontos como ruído.

O Que as Duas Métricas Dizem — e Quando Discordam

Silhueta: máxima em \(K=2\) (\(0{,}593\)), cai depois. DBSCAN adaptado (\(0{,}4591\)) fica entre \(K=2\) e \(K=3\) do K-Means.

Importante

Dunn discorda: máximo em \(K=5\) (\(0{,}0463\)), não \(K=2\) (\(0{,}0333\)); DBSCAN adaptado (\(0{,}0618\)) supera os dois.

Dunn é sensível a extremos — usa só o par mais próximo entre clusters e o par mais distante dentro de um cluster, não médias. Ruidoso em amostras moderadas.

Lição: nenhuma métrica geométrica isolada é definitiva — métricas que discordam são um sinal a investigar, não a ignorar.

Pergunta

Se a Silhueta e o Dunn discordam sobre qual K é melhor, isso significa que pelo menos uma das duas métricas está simplesmente errada?

Pense no que cada métrica realmente resume: a Silhueta usa médias de distância (coesão/separação por ponto, depois agregadas); o Dunn usa extremos (o par mais próximo entre clusters, o par mais distante dentro de um). Será que “discordar” é a mesma coisa que “uma delas estar computando errado”?

• □ Não necessariamente — as duas métricas formalizam noções diferentes de “boa partição” (uma via médias, outra via piores casos), e podem legitimamente discordar sobre um mesmo conjunto de clusters sem que nenhuma das duas tenha um erro de implementação.
• □ Uma métrica que usa só um par de pontos extremos (o mínimo inter-cluster, o máximo intra-cluster) é, por construção, mais sensível a um único ponto atípico do que uma métrica que agrega médias sobre todos os pares.
• □ Como o Dunn não assume forma esférica dos clusters (diferente do Davies-Bouldin), ele é sempre a escolha estatisticamente mais correta entre os dois, mesmo quando os dois discordam.
• □ Se o mesmo tipo de discordância entre um critério baseado em médias e um critério baseado em piores casos aparecesse na escolha de hiperparâmetros de um classificador supervisionado (ex.: acurácia média vs. pior recall entre classes), o problema de fundo seria análogo.

Resposta

Resposta — discordância não é erro

• ✔ Correto — médias e extremos capturam noções diferentes de qualidade; discordância é esperada em amostras moderadas, não indício de bug.
• ✔ Sim — exatamente o mecanismo por trás do “ruído” do Dunn: um só ponto isolado dita o numerador ou o denominador inteiro.
• ✗ Falso — não assumir forma esférica é uma vantagem conceitual, mas não torna o Dunn imune a ruído estatístico; “mais geral” não é sinônimo de “sempre mais confiável” em amostra finita.
• ✔ Sim — é exatamente o mesmo tipo de tensão: um critério agregado (média) suaviza casos extremos; um critério de pior-caso os amplifica. Nenhum dos dois é “o errado” — medem coisas diferentes.

Voltando à pergunta: discordar não é estar errado — Silhueta e Dunn respondem perguntas ligeiramente diferentes sobre a mesma partição. Usar as duas, em vez de confiar cegamente numa só, é a prática mais honesta quando não há rótulo para arbitrar.

Bloco 5: Posterior Predictive Checks Quantitativos

O Ponto Cego dos Escalares

ELBO, ELPD, Silhueta, Dunn — todos concordaram em \(K=2\). Mas todos são números únicos: um erro médio agregado pequeno pode esconder um problema de forma que a média não vê.

Nota

Aula 5 original: PPC (Gelman & Rubin, 1996) qualitativo — inspeção visual de \(\mathbf{X}_{\text{sim}}\) vs. \(\mathbf{X}_{\text{real}}\). Aqui: mesma ideia, com números.

Ferramenta 1: Projeções Aleatórias + KS

Testar igualdade de distribuições multivariadas é difícil; testar em 1D é clássico e resolvido — teste de Kolmogorov-Smirnov (Massey, 1951) sobre \(\mathbf{X}_{\text{real}}\cdot\mathbf{v}\) vs. \(\mathbf{X}_{\text{sim}}\cdot\mathbf{v}\), \(\|\mathbf{v}\|=1\).

Importante

Uma única direção (mesmo a de maior variância) pode não capturar a diferença — por isso múltiplas direções aleatórias, não uma só (“teste sliced”).

Ferramenta 2: Maximum Mean Discrepancy

Compara as distribuições direto no espaço original, via kernel RBF \(k(\mathbf{x},\mathbf{y})=\exp(-\gamma\|\mathbf{x}-\mathbf{y}\|^2)\) (Gretton et al., 2012): \[ \widehat{\mathrm{MMD}}^2 = \tfrac{1}{n(n-1)}\sum_{i\ne i'}k(\mathbf{x}_i,\mathbf{x}_{i'}) + \tfrac{1}{m(m-1)}\sum_{j\ne j'}k(\mathbf{y}_j,\mathbf{y}_{j'}) - \tfrac{2}{nm}\sum_{i,j}k(\mathbf{x}_i,\mathbf{y}_j) \] Zero (em expectativa) sse mesma distribuição — significância via teste de permutação.

Importante

Largura de banda \(\gamma\) importa: heurística da mediana opera na escala global, pode não perceber um vazio local de densidade. Bandwidth menor (mais estreita) é mais sensível a estrutura fina.

Controle: Problema-Fio (Bem Especificado)

GMM \(K=2\) ajustado a todo o Breast Cancer Wisconsin (\(N=569\)), \(\mathbf{X}_{\text{sim}}\) amostrado, \(40\) direções aleatórias + MMD (\(\gamma\approx1{,}0662\)):

Contraste: Bem Especificado vs. Mal Especificado

Problema-fio: KS máximo \(0{,}0738\), \(0\%\) das direções significativas; \(\mathrm{MMD}^2\approx-0{,}0005\), \(p\approx0{,}565\) — sem evidência de diferença.

Importante

Duas luas: visualmente, o GMM gera pontos no vazio entre os crescentes. KS máximo \(0{,}1025\), \(55\%\) das direções significativas — mas PC1 sozinha só \(p\approx0{,}099\) (por isso múltiplas direções importam).

MMD com largura de banda default (mediana): não rejeita (\(p\approx0{,}94\)) — escala grande demais para o vazio local. Largura \(4\times\) mais estreita: rejeita claramente (\(\mathrm{MMD}^2=0{,}0032\), \(p=0{,}005\)).

Nota

A escolha do kernel não é neutra — decide que tipo de discrepância o teste consegue enxergar.

Conclusão da Aula

Três camadas de validação não competem — se complementam, cada uma pegando um tipo diferente de falha.

Analítica (ELBO) + empírica preditiva (ELPD): blindam contra sobreajuste paramétrico (excesso de \(K\), covariâncias colapsadas).

Importante

Nenhuma das duas garante a forma certa — só o PPC quantitativo testa isso diretamente, com números.

Pergunta

Se o MMD com largura de banda padrão (heurística da mediana) não rejeitou a hipótese de “mesma distribuição” para as duas luas, isso significa que o teste falhou como ferramenta de PPC?

Pense na diferença entre “o teste, com essa configuração específica, não detectou o problema” e “o problema não existe” — e no que a comparação entre \(\gamma\) e \(4\gamma\) revelou sobre qual escala de estrutura cada largura de banda consegue enxergar.

• □ Não — o teste com largura de banda padrão simplesmente não é sensível à escala fina do vazio local entre os crescentes; trocar a largura de banda (sem trocar o teste) já revelou a diferença.
• □ O resultado mostra que o teste de Kolmogorov-Smirnov via projeções aleatórias e o MMD são redundantes — bastaria usar sempre um dos dois, nunca os dois juntos, já que ambos testam exatamente a mesma coisa.
• □ Se um pesquisador reportasse só o resultado do MMD com largura de banda padrão para este exato problema das duas luas, e nada mais, concluiria (de forma enganosa) que o GMM capturou bem a forma dos dados.
• □ O mesmo tipo de problema — uma ferramenta de diagnóstico que só enxerga discrepâncias numa certa escala, cega a outras — apareceria igualmente ao escolher a largura de banda \(h\) de um KDE (Aula 2) para detectar uma estrutura de densidade multimodal fina.

Resposta

Resposta — o teste não falhou, a configuração é que importa

• ✔ Correto — não é falha do MMD como família de teste, é a largura de banda específica que estava insensível àquela escala; \(4\gamma\) revelou a mesma diferença sem trocar de teste.
• ✗ Falso — KS via projeções e MMD capturam discrepâncias por caminhos diferentes (marginais 1D projetadas vs. estrutura conjunta via kernel); a Aula usou os dois exatamente porque um pode pegar algo que o outro não pega.
• ✔ Sim — e é exatamente por isso que um PPC quantitativo honesto não deveria reportar um único teste com uma única configuração sem justificar a escolha, sobretudo de largura de banda.
• ✔ Sim — a largura de banda \(h\) do KDE tem o mesmo papel: pequena demais captura ruído como se fosse estrutura, grande demais borra modos reais — a mesma tensão de escala revisitada aqui.

Voltando à pergunta: o teste não falhou — a configuração específica (largura de banda global) não era sensível àquela escala de estrutura. Um PPC quantitativo cuidadoso testa em mais de uma escala antes de concluir “sem evidência de diferença”, exatamente como esta aula fez.

Fechamento

Retomando as Cinco Perguntas

1. Evidência \(\propto p(\mathcal{M}_m)p(\mathbf{X}\mid \mathcal{M}_m)\), já com Occam embutido; ELBO = proxy tratável.

2. \(\mathbf{H}=(\mathbf{Z},\pi,\mu,\Sigma)\) inteiro; Dirichlet poda \(\pi\), Normal-Wishart impede colapso de \(\Sigma\) — analiticamente.

3. ELBO = ajuste \(-\) KL; sobe até \(K=2\), cai depois (ao contrário da verossimilhança crua).

4. ELPD é o alvo real; folga variacional + má especificação + comparação universal justificam validar sempre.

5. PPC quantitativo (KS + MMD) revela, com números, falhas de forma que escalares únicos escondem.

O Que Fica em Aberto

Toda a aula assumiu \(\mathbf{X}\) observado diretamente. E se os próprios atributos fossem projeção de uma estrutura latente de dimensão muito menor?

Ponte para a Aula 6

O ELBO desta aula — ajuste menos KL, aproximação variacional de uma posterior intratável — reaparece quase palavra por palavra na PPCA (Aula 6) e, mais adiante, no Autoencoder Variacional (Aula 7): o mesmo ferramental, com variável latente contínua em vez de categórica.

Exercícios Soluções