Aula 5: Modelos Variacionais, GMM Bayesiano e Seleção de Modelos
Aprendizado Não Supervisionado
1 Revisão e Introdução
1.1 Revisão Cuidadosa: O Que a Aula 4 Deixou Pronto
A Aula 4 construiu o Modelo de Mistura Gaussiana (GMM): cada ponto \(\mathbf{x}_n\) nasce de uma população escondida, indicada por uma variável latente categórica \(z_n\) (1-de-\(K\), nunca observada), com prior de mistura \(\pi_k=p(z_{nk}=1)\); condicionado a \(z_{nk}=1\), o ponto segue \(\mathbf{x}_n\sim\mathcal{N}(\mu_k,\Sigma_k)\). Como \(z_n\) nunca é visto, o Algoritmo EM foi a solução: o Passo E calcula a responsabilidade \(\gamma(z_{nk})=p(z_{nk}=1\mid\mathbf{x}_n,\theta)\) via Bayes, usando os parâmetros correntes; o Passo M reajusta \(\theta=\{\pi_k,\mu_k,\Sigma_k\}\) por máxima verossimilhança ponderada pelas responsabilidades; os dois passos alternam até convergir, cada rodada garantidamente não piorando a log-verossimilhança \(\ln p(\mathbf{X}\mid\theta)\).
Um ponto crítico, também da Aula 4: o EM maximiza \(\theta\) sem nenhuma priori sobre ele — \(\theta\) é tratado como um ponto fixo a ser otimizado, nunca como uma variável aleatória com incerteza própria. Isso tem uma consequência concreta e perigosa: um componente pode “encolher” sua covariância sobre um único ponto de treino (\(\Sigma_k\to\mathbf{0}\)), fazendo a densidade ali explodir e a log-verossimilhança tender a \(+\infty\) — uma singularidade, não um ajuste de verdade. Esta aula retoma exatamente esse ponto: se o EM clássico não tem como penalizar complexidade por construção, o que muda quando colocamos uma priori de verdade em cima de tudo, e como isso se sustenta na prática, com dados que nunca foram usados no ajuste?
1.2 Ideia Central
Se o problema é tratar \(\theta\) como um ponto fixo sem incerteza, a ideia central desta aula é radical na sua simplicidade: e se \(\theta\) inteiro — não só uma parte dele — também tivesse uma priori, exatamente como \(z_n\) sempre teve? Essa é a passagem da inferência por máxima verossimilhança (um ponto ótimo) para a inferência Bayesiana Variacional completa (uma distribuição de incerteza sobre tudo o que não é observado). O ganho não é só filosófico: uma priori de verdade sobre \(\mu_k,\Sigma_k\) proíbe analiticamente o colapso da covariância, e uma priori sobre \(\pi\) poda componentes supérfluos — os dois problemas estruturais do EM clássico, resolvidos pelo mesmo mecanismo.
1.3 Roteiro da Aula
Cinco perguntas guiam os cinco blocos desta aula:
- Seleção de modelos, em geral: como comparar estruturas (ex.: GMM com \(K=2\) vs. \(K=3\)) de forma Bayesiana, e por que essa comparação já embute uma Navalha de Occam, mesmo antes de qualquer aproximação?
- O GMM Bayesiano, por dentro: que priori se coloca em cada parâmetro, e por que ela impede analiticamente os dois problemas do EM clássico (colapso de covariância, número de componentes sem limite)?
- O ELBO resultante: como ele se decompõe, e o que o padrão numérico “sobe, depois desce” revela que a verossimilhança crua nunca revelou?
- Além do ELBO de treino: por que mesmo um ELBO calculado corretamente, se avaliado só no treino, não é o alvo estatístico certo — e o que fazer a respeito, inclusive para métodos sem probabilidade nenhuma (K-Means, DBSCAN)?
- A prova definitiva de forma: como testar, com números e não só visualmente, se o modelo realmente capturou a topologia dos dados?
1.4 Problema Motivador
Antes de qualquer teoria nova, vale repetir o teste que já apareceu na Aula 4: ajustar um GMM clássico (EM, sem priori nenhuma) com \(K=1,\dots,10\) componentes em todos os pontos do Breast Cancer Wisconsin (mesmos atributos radius_worst e concave points_worst, padronizados) e observar a log-verossimilhança de treino em função de \(K\):
A curva é monótona não-decrescente: de \(-1339{,}45\) nats (\(K=1\)) a \(-1169{,}66\) nats (\(K=10\)) — cada componente extra, na pior das hipóteses, “imita” a solução anterior (atribuindo peso \(\pi_k\approx0\) a si mesmo) e, na prática, sempre encontra algum jeito de melhorar o ajuste aos próprios dados de treino. Levado ao limite, \(K=N\) (um componente por ponto) manda a log-verossimilhança a \(+\infty\) via a singularidade já revisada. A pergunta central desta aula: como definir a estrutura do modelo — aqui, \(K\), mas o mesmo problema aparece em qualquer hiperparâmetro estrutural — punindo a complexidade de forma matematicamente fundamentada, não ad hoc?
1.5 Pergunta
DicaSe a log-verossimilhança de treino nunca pune a complexidade, isso significa que ela é uma quantidade inútil — ou ela ainda tem algum papel legítimo dentro de um critério maior?
Pense em quais dos ingredientes de uma verossimilhança continuam fazendo sentido, e o que exatamente falta a ela para virar um critério de seleção de modelos completo.
- □ A log-verossimilhança de treino mede corretamente o quão bem os parâmetros ajustados explicam os dados que os ajustaram — o problema não é essa medida em si, é usá-la sozinha para comparar estruturas de complexidade diferente.
- □ Qualquer critério de seleção de modelos construído a partir da log-verossimilhança precisa necessariamente abandonar por completo a ideia de log-verossimilhança e usar outra quantidade, sem nenhuma relação matemática com ela.
- □ Um critério de seleção de modelos bem fundamentado poderia, em princípio, ser construído somando à log-verossimilhança algum termo adicional que cresça com a complexidade do modelo, penalizando-a.
- □ O mesmo problema estrutural (mais parâmetros sempre explicam melhor os dados observados usados no ajuste) aparece em qualquer modelo paramétrico ajustado por máxima verossimilhança, não é exclusivo de misturas gaussianas.
2 Bloco 1: Seleção Bayesiana de Modelos
O princípio formal. Na inferência Bayesiana, não só os parâmetros de um modelo são incertos — a própria estrutura do modelo é. Trate cada estrutura candidata (ex.: “GMM com \(K=1\)”, “GMM com \(K=2\)”, …) como um evento \(\mathcal{M}_m\), com uma priori \(p(\mathcal{M}_m)\) sobre qual estrutura é a certa. Pela regra de Bayes, \[ p(\mathcal{M}_m\mid\mathbf{X}) = \frac{p(\mathbf{X}\mid\mathcal{M}_m)\,p(\mathcal{M}_m)}{p(\mathbf{X})} \;\propto\; p(\mathcal{M}_m)\,p(\mathbf{X}\mid\mathcal{M}_m), \] já que \(p(\mathbf{X})=\sum_m p(\mathbf{X}\mid\mathcal{M}_m)p(\mathcal{M}_m)\) não depende de qual \(m\) se está avaliando — é a mesma constante para todos os candidatos, então pode ser ignorada ao comparar estruturas (só importa para normalizar a posterior de verdade). Sem motivo para favorecer uma estrutura a priori, tome \(p(\mathcal{M}_m)\) uniforme sobre os candidatos — e a comparação vira inteiramente sobre o termo \(p(\mathbf{X}\mid\mathcal{M}_m)\).
A evidência. Esse termo, \(p(\mathbf{X}\mid\mathcal{M}_m)\), chama-se evidência (ou verossimilhança marginal) do modelo \(\mathcal{M}_m\). Para qualquer variável não observada \(\mathbf{H}\) daquele modelo (latentes, parâmetros, ou os dois — a mesma generalidade de \(\mathbf{H}\) de antes), a regra da soma dá \[ p(\mathbf{X}\mid\mathcal{M}_m) = \int p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H} . \] Diferente da log-verossimilhança de treino do Problema Motivador, essa integral já embute uma Navalha de Occam orgânica, sem precisar de nenhum termo de penalidade adicionado à mão (Bishop, PRML, §3.4). A intuição: pense em \(p(\mathbf{X}\mid\mathbf{H},\mathcal{M}_m)\), para \(\mathbf{H}\) fixo, como uma distribuição sobre o espaço de todos os datasets possíveis daquele tamanho — ela precisa somar/integrar a \(1\) sobre esse espaço. Um modelo complexo (muitos parâmetros livres) tem um espaço de \(\mathbf{H}\) muito maior para “explorar”, e sua massa de probabilidade \(p(\mathbf{X}\mid\mathbf{H},\mathcal{M}_m)\) se espalha por muito mais combinações de dataset possíveis — inclusive muitas que não se parecem em nada com dados reais. Um modelo simples (poucos parâmetros) tem menos onde “espalhar” e por isso concentra mais massa em qualquer combinação específica de \(\mathbf{H}\). Quando se integra sobre \(\mathbf{H}\), o modelo complexo só ganha se os dados realmente precisarem daquela flexibilidade extra — caso contrário, sua massa diluída perde para a massa concentrada do modelo simples, mesmo que o modelo complexo consiga, para algum \(\mathbf{H}\) específico, ajustar os dados tão bem ou melhor que o simples (exatamente o problema que o Problema Motivador expôs para a log-verossimilhança de treino sozinha).
2.1 O Surgimento do ELBO
Para GMMs (e quase todo modelo latente de interesse prático), a integral da evidência é intratável: não existe forma fechada para \(\int p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H}\) quando \(\mathbf{H}\) mistura variáveis discretas (\(\mathbf{Z}\)) e contínuas de dimensão alta (\(\pi,\mu,\Sigma\)). Precisamos de um substituto tratável — e para construí-lo, precisamos de uma peça nova: a divergência de Kullback-Leibler.
Para qualquer função \(f(\mathbf{H})\), a integral \(\int q(\mathbf{H}) f(\mathbf{H})\,\mathrm{d}\mathbf{H}\) é, por definição, a esperança de \(f\) sob \(q\), \(\mathbb{E}_q[f(\mathbf{H})]\). A definição acima é exatamente uma integral desse tipo, com \(f(\mathbf{H})=\ln\{q(\mathbf{H})/p(\mathbf{H})\}\): \[ \mathrm{KL}(q\|p) = \mathbb{E}_q\!\left[\ln\frac{q(\mathbf{H})}{p(\mathbf{H})}\right]. \] Essa forma — esperança, não integral solta — é a que os passos abaixo reaproveitam diretamente.
Demonstração (via Jensen). \(-\ln(\cdot)\) é convexa, então para \(X=p(\mathbf{H})/q(\mathbf{H})\) sob \(q\), \(-\ln\mathbb{E}_q[X]\le\mathbb{E}_q[-\ln X]\). Logo \[ \mathrm{KL}(q\|p) = \mathbb{E}_q\!\left[-\ln\frac{p(\mathbf{H})}{q(\mathbf{H})}\right] \ge -\ln\mathbb{E}_q\!\left[\frac{p(\mathbf{H})}{q(\mathbf{H})}\right] = -\ln\int p(\mathbf{H})\,\mathrm{d}\mathbf{H} = -\ln1 = 0 . \] A igualdade em Jensen ocorre quando \(p(\mathbf{H})/q(\mathbf{H})\) é constante sob \(q\), o que, como ambas integram a \(1\), força \(p(\mathbf{H})=q(\mathbf{H})\). \(\blacksquare\)
A decomposição, já condicionada em \(\mathcal{M}_m\). Para qualquer \(q(\mathbf{H})\) normalizada, defina \[ \mathcal{L}_m(q) := \int q(\mathbf{H})\ln\left\{\frac{p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)}{q(\mathbf{H})}\right\}\mathrm{d}\mathbf{H} . \]
Passo 1 — regra do produto. \(p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)=p(\mathbf{H}\mid\mathbf{X}, \mathcal{M}_m)\,p(\mathbf{X}\mid\mathcal{M}_m)\). Substituindo, \[ \mathcal{L}_m(q) = \int q(\mathbf{H})\ln\left\{\frac{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\,p(\mathbf{X}\mid\mathcal{M}_m)}{q(\mathbf{H})}\right\}\mathrm{d}\mathbf{H} . \]
Passo 2 — separar o logaritmo em soma. \[ \ln\left\{\frac{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\,p(\mathbf{X}\mid\mathcal{M}_m)}{q(\mathbf{H})}\right\} = \ln p(\mathbf{X}\mid\mathcal{M}_m) - \ln\frac{q(\mathbf{H})}{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)} . \]
Passo 3 — voltar à integral, separar em dois termos. \[ \mathcal{L}_m(q) = \int q(\mathbf{H})\ln p(\mathbf{X}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H} \;-\; \int q(\mathbf{H})\ln\frac{q(\mathbf{H})}{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)}\,\mathrm{d}\mathbf{H} . \]
Passo 4 — simplificar o primeiro termo. \(\ln p(\mathbf{X}\mid\mathcal{M}_m)\) não depende de \(\mathbf{H}\), e \(\int q(\mathbf{H})\,\mathrm{d}\mathbf{H}=1\): \[ \int q(\mathbf{H})\ln p(\mathbf{X}\mid\mathcal{M}_m)\,\mathrm{d}\mathbf{H} = \ln p(\mathbf{X}\mid\mathcal{M}_m) . \]
Passo 5 — reconhecer o segundo termo como KL. Pela mesma forma de esperança de antes, \[ \int q(\mathbf{H})\ln\frac{q(\mathbf{H})}{p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)}\,\mathrm{d}\mathbf{H} = \mathrm{KL}\big(q(\mathbf{H})\,\|\,p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\big) . \]
Juntando os Passos 4 e 5, e rearranjando:
\(\mathcal{L}_m(q)\) é o ELBO (Evidence Lower Bound) da estrutura \(\mathcal{M}_m\): uma cota inferior tratável (basta escolher \(q\) numa família conveniente — ver Bloco 2) para a evidência intratável. A igualdade ocorre exatamente quando \(q(\mathbf{H})= p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\), a posterior verdadeira — inatingível na prática, mas o alvo que a otimização de \(q\) persegue. Usamos \(\mathcal{L}_m\) como proxy matemático para ranquear estruturas: comparar \(\mathcal{L}_1,\mathcal{L}_2,\dots\) no lugar de comparar \(\ln p(\mathbf{X}\mid\mathcal{M}_1),\ln p(\mathbf{X}\mid \mathcal{M}_2),\dots\) diretamente — uma aproximação cuja qualidade depende de quão apertada é a cota, algo que o Bloco 4 questiona com cuidado.
2.2 Pergunta
DicaSe a evidência \(p(\mathbf{X}\mid\mathcal{M}_m)\) já embute a Navalha de Occam por si só, por que ainda precisamos do ELBO — ele adiciona alguma penalidade de complexidade nova, ou serve para outra coisa?
Releia a definição da evidência como integral e o motivo de ela ser intratável para o GMM. Pense no que exatamente o ELBO resolve: um problema matemático (calculabilidade) ou um problema conceitual (ausência de penalidade)?
- □ O ELBO não adiciona nenhuma penalidade de complexidade que a evidência já não tivesse — sua função é tornar uma quantidade intratável em algo calculável, aproximando-a por baixo.
- □ Se, por algum motivo, a evidência de um modelo específico fosse calculável em forma fechada (sem precisar de \(q\) nenhum), o ELBO ainda assim seria estritamente necessário para obter a penalidade de Occam.
- □ Quanto mais apertada a cota \(\mathrm{KL}(q\|p(\mathbf{H}\mid \mathbf{X},\mathcal{M}_m))\) (ou seja, quanto mais \(q\) se aproxima da posterior verdadeira), mais o ranqueamento por \(\mathcal{L}_m\) se aproxima do ranqueamento pela evidência verdadeira.
- □ Comparar \(\mathcal{L}_1\) e \(\mathcal{L}_2\) de dois modelos é equivalente a comparar suas evidências verdadeiras sempre que os dois modelos usam a mesma família variacional \(q\), não importa quão longe \(q\) esteja da posterior real em cada caso.
3 Bloco 2: GMM Bayesiano — A Mecânica das Prioris
Completando o modelo. Para o ELBO do Bloco 1 funcionar de verdade no GMM — para a evidência realmente embutir a Navalha de Occam sobre toda a complexidade do modelo —, a variável não observada \(\mathbf{H}\) precisa conter as latentes \(\mathbf{Z}\) e todos os parâmetros: \(\mathbf{H}=(\mathbf{Z},\pi,\mu,\Sigma)\), sem exceção (diferente de tratar só \(\mathbf{Z}\), como o EM clássico da Aula 4, ou só \(\pi\), uma simplificação possível mas incompleta). Como a posterior exata \(p(\mathbf{H}\mid\mathbf{X})\) é intratável para esse \(\mathbf{H}\) tão grande, aproximamos por campo médio (PRML §10.1): \[ q(\mathbf{Z},\pi,\mu,\Sigma) \approx q(\mathbf{Z})\,q(\pi,\mu,\Sigma) = q(\mathbf{Z})\,q(\pi)\prod_{k=1}^K q(\mu_k,\Sigma_k) , \] uma fatoração em blocos que não assume independência entre \(\mu_k\) e \(\Sigma_k\) dentro do mesmo componente (eles continuam acoplados), só entre blocos diferentes. O resultado geral que permite otimizar cada fator dessa fatoração, um de cada vez, mantendo os outros fixos — análogo em espírito ao EM, mas alternando entre distribuições completas, não entre um ponto e uma distribuição — é conhecido como Coordinate Ascent Variational Inference (CAVI): para cada bloco \(j\), \(\ln q_j^\star(\mathbf{H}_j) = \mathbb{E}_{i\ne j}[\ln p(\mathbf{X},\mathbf{H})] + \text{const}\), onde a esperança é tomada sobre todos os outros blocos (PRML §10.1.1, eq. 10.9) — um resultado geral de cálculo variacional que não é rederivado aqui; usamos-no diretamente para obter as duas prioris a seguir.
Aplicando o resultado do CAVI ao bloco \(\pi\): os únicos termos de \(\ln p(\mathbf{X},\mathbf{H})\) que envolvem \(\pi\) são \(\ln p(\mathbf{Z}\mid\pi)=\sum_n\ln\pi_{z_n}\) (a atribuição categórica) e \(\ln p(\pi)\) (a priori). Logo \[ \ln q^\star(\pi) = \mathbb{E}_{q(\mathbf{Z})}\!\left[\sum_n\ln\pi_{z_n}\right] + \ln p(\pi) + \text{const} = \sum_{k=1}^K N_k\ln\pi_k + \sum_{k=1}^K(\alpha_0-1)\ln\pi_k + \text{const} , \] onde \(N_k:=\sum_n\mathbb{E}_{q(\mathbf{Z})}[z_{nk}]=\sum_n\gamma(z_{nk})\) é a contagem esperada de pontos no componente \(k\) sob \(q(\mathbf{Z})\) (a mesma responsabilidade da Aula 4, agora vinda de um fator variacional, não de um ponto fixo). Agrupando os expoentes de \(\ln\pi_k\), \[ \ln q^\star(\pi) = \sum_{k=1}^K(\alpha_0+N_k-1)\ln\pi_k + \text{const} \;\Longrightarrow\; q^\star(\pi) = \mathrm{Dir}\big(\pi\mid\alpha_0+N_1,\dots,\alpha_0+N_K\big) , \] reconhecendo a forma funcional de uma Dirichlet. O mecanismo de poda sai direto daqui: a concentração posterior do componente \(k\) é \(\alpha_0+N_k\) — se os dados realmente sustentam esse componente (\(N_k\) grande), a concentração é dominada pelos dados; se não (\(N_k\approx0\)), a concentração fica perto de \(\alpha_0\), e a massa de \(\pi_k\) sob \(q^\star(\pi)\) fica pequena, arrastando esse componente para perto de zero. Ao contrário da Aula 5 original — que variava \(\alpha_0\) para forçar diferentes graus de poda —, aqui \(\alpha_0\) fica fixo e neutro (usamos \(\alpha_0=1\), a Dirichlet uniforme sobre o simplex); é a comparação do ELBO entre diferentes \(K\) que decide o tamanho estrutural do modelo (Bloco 3), não a escolha manual de \(\alpha_0\).
A forma exata da atualização variacional de \((\mu_k,\Lambda_k)\) é um resultado de cálculo variacional que citamos de PRML §10.2.1 (eqs. 10.60–10.63), sem reproduzir a álgebra completa aqui — mas o resultado tem uma consequência que podemos verificar diretamente na fórmula, sem precisar da derivação inteira. A escala posterior da Wishart de \(q^\star(\Lambda_k)\) é \[ W_k^{-1} = W_0^{-1} + N_k S_k + \frac{\beta_0 N_k}{\beta_0+N_k}(\bar{\mathbf{x}}_k-m_0)(\bar{\mathbf{x}}_k-m_0)^T , \] onde \(S_k\) é a covariância amostral (ponderada por responsabilidade) do componente \(k\). Repare: essa é uma soma de três termos positivos semidefinidos, e o primeiro, \(W_0^{-1}\), vem só da priori — nunca desaparece, não importa o que os dados façam. Se um componente tentar colapsar sobre um único ponto (\(S_k\to\mathbf{0}\), a singularidade da Aula 4), \(W_k^{-1}\) não vai a zero — fica no mínimo \(W_0^{-1}\), positiva definida por construção. Como \(\Lambda_k\) é amostrada (em expectativa) de \(\mathcal{W}(W_k,\nu_k)\), e a Wishart nunca concentra massa sobre matrizes singulares quando sua escala \(W_k\) é positiva definida, \(\Sigma_k=\Lambda_k^{-1}\) nunca colapsa para a matriz nula. O colapso — que no EM clássico da Aula 4 era possível e até vantajoso (log-verossimilhança \(\to+\infty\)) — fica analiticamente impedido, não só numericamente desencorajado.
3.1 Pergunta
DicaSe \(\alpha_0\) agora fica fixo e neutro (em vez de variar, como na Aula 5 original), a priori de Dirichlet perdeu a capacidade de podar componentes supérfluos?
Releia a fórmula de \(q^\star(\pi)\): o que exatamente muda entre um componente com \(N_k\) grande e um com \(N_k\approx0\), mesmo mantendo \(\alpha_0\) fixo? A poda depende de comparar \(\alpha_0\) entre valores diferentes, ou de comparar \(\alpha_0\) contra \(N_k\)?
- □ Não perdeu — para qualquer \(\alpha_0\) fixo, um componente com \(N_k\approx0\) ainda tem concentração posterior \(\approx\alpha_0\), bem menor que a de um componente com \(N_k\) grande — o contraste vem de comparar \(\alpha_0\) contra \(N_k\), não de variar \(\alpha_0\) entre rodadas.
- □ Um componente cuja covariância \(\Sigma_k\) colapsaria no EM clássico da Aula 4 também teria, necessariamente, \(N_k\approx0\) sob a responsabilidade \(\gamma(z_{nk})\) do GMM Bayesiano.
- □ Se \(\alpha_0\) fosse levado a um valor extremamente alto (priori fortemente concentrada em pesos iguais), a poda automática de componentes com pouco suporte nos dados ficaria mais difícil de acontecer, não mais fácil.
- □ O mesmo tipo de argumento — um termo vindo só da priori que nunca desaparece da atualização posterior, mesmo quando os dados “puxam” para o extremo oposto — também aparece na atualização de \(W_k^{-1}\) na priori Normal-Wishart.
4 Bloco 3: Dissecando o ELBO Variacional
Especializando a decomposição geral. O Bloco 1 já derivou, para qualquer \(\mathbf{H}\) normalizado, \(\ln p(\mathbf{X}\mid \mathcal{M}_m)=\mathcal{L}_m(q)+\mathrm{KL}(q\|p(\mathbf{H}\mid \mathbf{X},\mathcal{M}_m))\). Para \(\mathbf{H}=(\mathbf{Z},\pi,\mu, \Sigma)\) do GMM, vale a pena separar mais um pouco o termo \(\mathcal{L}_m(q)\), isolando \(\pi\) dele — o mesmo tipo de manobra já visto na Aula 5 original, agora com \(\mu,\Sigma\) também dentro de \(q\). Dado \(\mathbf{Z}\) e \((\mu,\Sigma)\), a densidade de \(\mathbf{X}\) não depende de \(\pi\) — os pesos de mistura só decidem qual componente gera cada ponto, não a forma de cada componente: \(p(\mathbf{X}\mid\mathbf{Z},\pi,\mu,\Sigma,\mathcal{M}_m)=p(\mathbf{X} \mid\mathbf{Z},\mu,\Sigma,\mathcal{M}_m)\). Pela regra do produto, \[ p(\mathbf{X},\mathbf{Z},\pi,\mu,\Sigma\mid\mathcal{M}_m) = p(\mathbf{X}\mid\mathbf{Z},\mu,\Sigma,\mathcal{M}_m)\,p(\mathbf{Z},\pi,\mu,\Sigma\mid\mathcal{M}_m) . \] Substituindo essa igualdade dentro de \(\mathcal{L}_m(q)\), separando o log em soma e voltando à integral (mesmos Passos 2-3 do Bloco 1), o primeiro termo fica \[ \iiiint q(\mathbf{Z})q(\pi)q(\mu,\Sigma)\ln p(\mathbf{X}\mid\mathbf{Z},\mu,\Sigma,\mathcal{M}_m)\,\mathrm{d}\mathbf{Z}\,\mathrm{d}\pi\,\mathrm{d}\mu\,\mathrm{d}\Sigma . \] O integrando não depende de \(\pi\): integrando primeiro em \(\pi\), \(\int q(\pi)\,\mathrm{d}\pi=1\) elimina essa variável, sobrando \(\mathbb{E}_{q(\mathbf{Z})q(\mu,\Sigma)}[\ln p(\mathbf{X}\mid \mathbf{Z},\mu,\Sigma,\mathcal{M}_m)]\) — uma esperança só sobre \((\mathbf{Z},\mu,\Sigma)\), sem precisar de esperança sobre \(\pi\) também. O segundo termo, pela mesma definição de esperança de KL usada desde o Bloco 1, é \(\mathrm{KL}(q(\mathbf{Z},\pi,\mu,\Sigma)\,\|\, p(\mathbf{Z},\pi,\mu,\Sigma\mid\mathbf{X},\mathcal{M}_m))\) — a KL inteira, sobre todo \(\mathbf{H}\), não uma parte dela. Juntando:
O termo de ajuste tenta “decorar” os dados — quanto melhor \((\mathbf{Z}, \mu,\Sigma)\) explicam \(\mathbf{X}\), maior ele fica, exatamente como a log-verossimilhança do Problema Motivador. O termo de KL agora carrega o custo de todo o modelo (pesos, médias, covariâncias) se afastar das prioris — inclusive o custo de manter componentes que os dados não sustentam (via \(\pi\), Bloco 2) e o custo de covariâncias que se afastam demais da priori Normal-Wishart (via \(\mu,\Sigma\), também Bloco 2). É essa soma de custos que faz o ELBO, ao contrário da log-verossimilhança crua, não favorecer \(K\) arbitrariamente grande.
O resultado numérico. Ajustamos BayesianGaussianMixture do scikit-learn — Normal-Wishart em \((\mu_k,\Sigma_k)\) com \(W_0\) via Empirical Bayes (o default da biblioteca) e Dirichlet em \(\pi\) com \(\alpha_0=1\) fixo — para \(K=1,\dots,10\), em todos os dados, e comparamos o ELBO resultante (lower_bound_ do scikit-learn, a quantidade \(\mathcal{L}_m\) de fato maximizada pelo CAVI) com a log-verossimilhança clássica do Problema Motivador:
O contraste é nítido. A log-verossimilhança clássica sobe monotonicamente de \(-1339{,}45\) (\(K=1\)) a \(-1169{,}66\) (\(K=10\)), exatamente como no Problema Motivador. O ELBO do GMM Bayesiano, em contraste, sobe e depois cai: de \(-174\,522{,}02\) (\(K=1\)) para o máximo em \(-105\,559{,}38\) em \(K=2\), e a partir daí cai monotonicamente até \(-123\,818{,}91\) em \(K=10\). (A escala absoluta do ELBO não é diretamente comparável à da log-verossimilhança — o ELBO inclui termos de entropia e KL das prioris, com magnitude própria; o que importa aqui é a forma da curva, não o valor absoluto.) O custo do KL cobra o preço de complexidade inútil: componentes extras além de \(K=2\) pioram o ELBO, porque o ganho no termo de ajuste não compensa o aumento no custo de KL (mais parâmetros se afastando das prioris, sem melhorar genuinamente a explicação dos dados). \(K^\star=2\) pelo ELBO coincide com a estrutura já conhecida deste dataset (dois grupos de diagnóstico) — a primeira vez, nesta disciplina, que um critério inteiramente baseado em dados de treino aponta para o \(K\) certo, sem precisar de nenhum dado de validação.
4.1 Pergunta
DicaSe o ELBO já acertou K=2 usando só os dados de treino, ainda faz sentido gastar tempo com validação em dados nunca vistos?
Pense no que exatamente o ELBO mede (uma cota inferior da evidência, sob a família variacional \(q\) escolhida) versus o que esta aula ainda não questionou sobre essa cota. Um resultado bater com a intuição uma vez é garantia de que o método sempre vai acertar?
- □ O ELBO de treino é uma cota inferior da evidência sob a família variacional \(q\) escolhida — nada nessa definição garante que a cota seja igualmente apertada para qualquer estrutura de dados, então um acerto neste dataset específico não é garantia geral.
- □ Como o ELBO já incorpora uma penalidade de complexidade genuína (diferente da log-verossimilhança crua), ele está imune, por construção, ao mesmo tipo de viés de otimismo que qualquer critério avaliado inteiramente nos dados de treino pode sofrer.
- □ Um dataset onde os “verdadeiros” grupos geradores não são bem aproximados por gaussianas elípticas (a forma que o GMM assume) é um cenário em que o ELBO poderia favorecer um \(K\) que não reflete a estrutura real, mesmo penalizando complexidade corretamente dentro da família gaussiana.
- □ K-Means e DBSCAN, que não têm log-verossimilhança nem ELBO, ficam necessariamente fora de qualquer comparação sistemática com GMMs em termos de qual estrutura captura melhor os dados.
5 Bloco 4: A Teoria Preditiva e a Validação Empírica
O verdadeiro objetivo. Estatisticamente, o que realmente importa não é explicar os dados de treino — é generalizar para a população real de onde eles vieram. Formalizando isso: seja \(p_{\text{true}}(\mathbf{x})\) a densidade real (desconhecida) que gera os dados, e \(p(\mathbf{x}\mid\mathbf{X}_{\text{train}})\) a densidade prevista por um modelo ajustado só no treino. O alvo estatístico certo é a Esperança da Log-Densidade Preditiva (Expected Log Predictive Density, ELPD; Vehtari & Ojanen, 2012): \[ \mathrm{ELPD} := \int p_{\text{true}}(\mathbf{x})\,\ln p(\mathbf{x}\mid\mathbf{X}_{\text{train}})\,\mathrm{d}\mathbf{x} = \mathbb{E}_{\mathbf{x}\sim p_{\text{true}}}\big[\ln p(\mathbf{x}\mid\mathbf{X}_{\text{train}})\big] . \] Note a diferença estrutural em relação a tudo que veio antes: o ELPD não é calculado nos pontos de treino — é uma média sobre a população inteira, ponderada pela densidade real dela, de quão bem o modelo prevê um ponto novo qualquer.
O viés de treino. Estimar essa integral usando os próprios \(\mathbf{X}_{\text{train}}\) — isto é, calcular \(\frac{1}{N}\sum_{n\in\text{train}}\ln p(\mathbf{x}_n\mid \mathbf{X}_{\text{train}})\) — produz um viés sistemático de otimismo, conhecido como double-dipping: os mesmos pontos que ajustaram o modelo são usados para avaliá-lo, então o modelo é julgado, em parte, pela sua capacidade de “decorar” o ruído específico daquela amostra, não pela sua capacidade de generalizar (Vehtari & Ojanen, 2012, §2). É exatamente o mecanismo por trás da monotonicidade do Problema Motivador.
O estimador de Monte Carlo. Se, em vez disso, reservamos um conjunto \(\mathbf{X}_{\text{val}}\) i.i.d. da mesma população — nunca exposto ao ajuste —, a média empírica \[ \widehat{\mathrm{ELPD}} := \frac{1}{N_{\text{val}}}\sum_{n\in\text{val}}\ln p(\mathbf{x}_n\mid\mathbf{X}_{\text{train}}) \] é um estimador de Monte Carlo não-viesado do ELPD: como cada \(\mathbf{x}_n\in\mathbf{X}_{\text{val}}\) é amostrado independentemente de \(p_{\text{true}}\), e \(\ln p(\mathbf{x}_n\mid \mathbf{X}_{\text{train}})\) é uma função fixa desses pontos (o modelo já foi ajustado, sem depender de \(\mathbf{X}_{\text{val}}\)), a Lei dos Grandes Números garante que essa média amostral converge para \(\mathbb{E}_{\mathbf{x}\sim p_{\text{true}}}[\ln p(\mathbf{x}\mid \mathbf{X}_{\text{train}})]=\mathrm{ELPD}\) — sem o viés do double-dipping, porque nenhum ponto usado na média participou do ajuste.
O resultado numérico. Dividimos os \(569\) pacientes em treino (\(N=398\)) e validação (\(N=171\), \(30\%\)), a mesma partição das Aulas anteriores. Ajustamos o GMM clássico e o GMM Bayesiano (mesmo \(\alpha_0=1\) fixo) só no treino, para \(K=1,\dots,10\), e avaliamos a log-verossimilhança preditiva na validação:
À esquerda, o GMM clássico: a curva de treino sobe monotonicamente, de \(-938{,}05\) (\(K=1\)) a \(-808{,}51\) (\(K=10\)) — o mesmo padrão de sempre, restrito aos \(398\) pontos de treino. A curva de validação, calculada nos \(171\) pontos nunca ajustados, atinge o máximo em \(\boldsymbol{K=2}\) (\(-361{,}95\)) e a partir daí oscila e piora (chegando a \(-376{,}42\) em \(K=10\)) — o descolamento entre as duas curvas é o sintoma de sobreajuste, visto empiricamente. À direita, o GMM Bayesiano (ajustado só no treino) avaliado na mesma validação: o máximo também está em \(\boldsymbol{K=2}\) (\(-364{,}43\)), e a partir daí a curva cai suavemente até \(-369{,}67\) em \(K=10\) — mais estável que a versão clássica, mas ainda concorda com o mesmo \(K^\star=2\). Três critérios independentes agora convergem para \(K=2\): o ELBO de treino (Bloco 3), a log-verossimilhança preditiva clássica, e a log-verossimilhança preditiva Bayesiana.
Por que, mesmo assim, o ELBO de treino não basta. Apesar dessa concordância neste dataset específico, há três razões estruturais para não confiar só no ELBO de treino:
- Folga (gap) variacional. A decomposição do Bloco 1 diz \(\mathcal{L}_m(q) = \ln p(\mathbf{X}\mid\mathcal{M}_m) - \mathrm{KL}(q\|p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m))\) — o ELBO subestima a evidência verdadeira por exatamente essa KL residual, e nada garante que essa folga seja a mesma para diferentes \(K\). Se a folga crescer mais rápido para um \(K\) do que para outro, o ranqueamento por \(\mathcal{L}_m\) pode discordar do ranqueamento pela evidência real, mesmo que cada \(\mathcal{L}_m\) individualmente seja uma cota válida. Avaliar a log-verossimilhança preditiva em validação ignora essa folga por completo — mede generalização crua, sem depender de quão apertada é a aproximação variacional.
- Má especificação (model misspecification). Tudo neste bloco assume, implicitamente, que a forma gaussiana (elipses) é adequada. Se os dados verdadeiros não forem gaussianos, o ELBO continuará penalizando complexidade dentro da família gaussiana — mas isso não o impede de “ladrilhar” formas que ele desconhece com múltiplas elipses, inflando \(K\) para compensar uma forma errada (o Bloco 5 constrói esse contraexemplo, com números).
- Comparação universal. K-Means e DBSCAN não têm probabilidade, ELBO, nem AIC — comparar sua escolha de estrutura com a de um GMM pela log-verossimilhança é simplesmente impossível. Avaliar partições (não densidades) num conjunto de validação comum, via métricas puramente geométricas, unifica a linguagem de comparação.
Comparação universal, em prática. Reaproveitamos as duas métricas intrínsecas já conhecidas — Coeficiente de Silhueta (Rousseeuw, 1987) e uma nova, o Índice de Dunn (Dunn, 1974) — e as calculamos na mesma validação, para K-Means (ajustado no treino, \(K=2,\dots,8\)) e para DBSCAN. O Índice de Dunn é a razão entre a menor distância entre clusters diferentes (separação) e o maior diâmetro interno de qualquer cluster (coesão): \[ \mathrm{Dunn} := \frac{\displaystyle\min_{i\ne j}\min_{\mathbf{x}\in C_i,\,\mathbf{y}\in C_j}\|\mathbf{x}-\mathbf{y}\|}{\displaystyle\max_k\max_{\mathbf{x},\mathbf{y}\in C_k}\|\mathbf{x}-\mathbf{y}\|} , \] maior é melhor. Diferente do índice de Davies-Bouldin, outro índice comum, que resume cada cluster a um centroide e uma dispersão média — assumindo implicitamente clusters aproximadamente esféricos —, o Dunn é puramente geométrico e livre de distribuição: usa só distâncias ponto-a-ponto, sem nenhum resumo estatístico do formato do cluster. Isso o torna adequado tanto para K-Means (que produz clusters convexos) quanto para DBSCAN (que produz clusters de forma arbitrária).
DBSCAN precisa de um passo extra. Diferente do K-Means, o DBSCAN não tem um método predict nativo para pontos novos — ele rotula diretamente os pontos usados no ajuste, sem aprender uma regra reaplicável. A adaptação padrão: ajustar DBSCAN só no treino (\(\epsilon=0{,}35\), min_samples=5), descartar os pontos marcados como ruído, e treinar um classificador de \(k\)-ésimo vizinho mais próximo (\(k\)-NN, \(k=5\)) nos pontos restantes — cada ponto de validação é então atribuído ao cluster da maioria entre seus \(5\) vizinhos mais próximos do treino. Essa extensão permite calcular Silhueta e Dunn na validação para o DBSCAN exatamente como para qualquer outro método.
Com \(\epsilon=0{,}35\), o DBSCAN encontra \(2\) clusters no treino, com \(17\) de \(398\) pontos marcados como ruído. Comparando Silhueta e Dunn na validação, para K-Means (\(K=2,\dots,8\)) e para o DBSCAN estendido:
A Silhueta concorda com tudo o que já vimos: máxima em \(K=2\) (\(0{,}593\)), caindo para \(0{,}4585\) em \(K=3\) e continuando a piorar depois — o DBSCAN adaptado fica no meio do caminho (\(0{,}4591\)), melhor que qualquer K-Means com \(K\ge3\), mas atrás do K-Means com \(K=2\). O Dunn discorda: seu máximo está em \(K=5\) (\(0{,}0463\)), não \(K=2\) (\(0{,}0333\)) — e o DBSCAN adaptado supera os dois (\(0{,}0618\)). Essa discordância não é um erro de cálculo: o Dunn é conhecido por ser sensível a extremos, porque usa só o par de pontos mais próximo entre clusters (não uma média) e só o par mais distante dentro de um cluster — um único ponto atípico pode dominar tanto o numerador quanto o denominador, tornando o índice ruidoso em amostras moderadas como esta (\(N_{\text{val}}=171\)). A lição não é “Dunn é pior que Silhueta” — é que nenhuma métrica geométrica isolada é definitiva; métricas que discordam entre si são, elas mesmas, um sinal a ser investigado, não ignorado.
5.1 Pergunta
DicaSe a Silhueta e o Dunn discordam sobre qual K é melhor, isso significa que pelo menos uma das duas métricas está simplesmente errada?
Pense no que cada métrica realmente resume: a Silhueta usa médias de distância (coesão/separação por ponto, depois agregadas); o Dunn usa extremos (o par mais próximo entre clusters, o par mais distante dentro de um). Será que “discordar” é a mesma coisa que “uma delas estar computando errado”?
- □ Não necessariamente — as duas métricas formalizam noções diferentes de “boa partição” (uma via médias, outra via piores casos), e podem legitimamente discordar sobre um mesmo conjunto de clusters sem que nenhuma das duas tenha um erro de implementação.
- □ Uma métrica que usa só um par de pontos extremos (o mínimo inter-cluster, o máximo intra-cluster) é, por construção, mais sensível a um único ponto atípico do que uma métrica que agrega médias sobre todos os pares.
- □ Como o Dunn não assume forma esférica dos clusters (diferente do Davies-Bouldin), ele é sempre a escolha estatisticamente mais correta entre os dois, mesmo quando os dois discordam.
- □ Se o mesmo tipo de discordância entre um critério baseado em médias e um critério baseado em piores casos aparecesse na escolha de hiperparâmetros de um classificador supervisionado (ex.: acurácia média vs. pior recall entre classes), o problema de fundo seria análogo.
6 Bloco 5: Posterior Predictive Checks Quantitativos
O ponto cego dos escalares. Todos os critérios até aqui — ELBO, log-verossimilhança preditiva, Silhueta, Dunn — concordaram em \(K=2\) para o Breast Cancer Wisconsin. Mas todos eles têm algo em comum: são números únicos, agregados de distâncias ou densidades inteiras num só escalar. Um escalar pode esconder um problema de forma: um modelo pode obter um bom ELPD e uma boa Silhueta mesmo gerando dados sintéticos que não se parecem nada com os reais em detalhe fino, desde que o erro médio agregado não seja grande demais. A Aula 5 original já introduziu a checagem preditiva a posteriori (Posterior Predictive Check, PPC; Gelman & Rubin, 1996) como teste qualitativo de forma — inspecionar visualmente se \(\mathbf{X}_{ \text{sim}}\), amostrado do modelo ajustado, parece com \(\mathbf{X}_{\text{real}}\). Aqui, formalizamos esse teste com números.
Mecânica do PPC quantitativo. Depois de amostrar \(\mathbf{X}_{\text{sim}}\) do modelo ajustado (mesmo tamanho de \(\mathbf{X}_{\text{real}}\)), duas ferramentas complementares comparam as duas nuvens de pontos:
1. Projeções aleatórias e teste de Kolmogorov-Smirnov. Testar diretamente se duas distribuições multivariadas (\(d>1\)) são iguais é difícil; testar se duas amostras unidimensionais têm a mesma distribuição é um problema clássico e bem resolvido — o teste de Kolmogorov-Smirnov de duas amostras (Massey, 1951) compara as funções de distribuição acumulada (CDFs) empíricas de \(\mathbf{X}_{\text{real}}\) e \(\mathbf{X}_{\text{sim}}\) projetadas sobre uma direção \(\mathbf{v}\in\mathbb{R}^d\), \(\|\mathbf{v}\|=1\), e retorna a maior distância vertical entre as duas CDFs, junto com um \(p\)-valor. A ideia de “fatiar” o problema em 1D via projeções — a técnica por trás dos chamados testes sliced — resolve o problema de dimensão alta projetando repetidamente sobre múltiplas direções aleatórias, não uma só: uma única direção (mesmo a de maior variância, a primeira componente principal) pode, por acaso, não capturar a diferença entre as duas distribuições, mesmo que ela exista claramente em outras direções ou na estrutura conjunta.
2. Maximum Mean Discrepancy (MMD). Em vez de projetar, o MMD (Gretton et al., 2012) compara as duas distribuições diretamente no espaço original, via um kernel — usamos o kernel gaussiano (RBF) \(k(\mathbf{x},\mathbf{y})=\exp(-\gamma\|\mathbf{x}-\mathbf{y}\|^2)\). O estimador não-viesado de \(\mathrm{MMD}^2\) entre amostras \(\{\mathbf{x}_i\}_{i=1}^n\sim\mathbf{X}_{\text{real}}\) e \(\{\mathbf{y}_j\}_{j=1}^m\sim\mathbf{X}_{\text{sim}}\) é \[ \widehat{\mathrm{MMD}}^2 = \frac{1}{n(n-1)}\sum_{i\ne i'}k(\mathbf{x}_i,\mathbf{x}_{i'}) + \frac{1}{m(m-1)}\sum_{j\ne j'}k(\mathbf{y}_j,\mathbf{y}_{j'}) - \frac{2}{nm}\sum_{i,j}k(\mathbf{x}_i,\mathbf{y}_j) , \] que vale (em expectativa) zero se, e só se, as duas distribuições forem idênticas — testamos a significância desse valor observado via teste de permutação (embaralhar os rótulos “real”/“sintético” muitas vezes e comparar o \(\mathrm{MMD}^2\) observado contra a distribuição sob a hipótese nula de “mesma distribuição”). A largura de banda \(\gamma\) do kernel importa: uma largura calibrada pela heurística da mediana das distâncias par-a-par (a escolha default mais comum) opera na escala global dos dados — sensível a diferenças de forma grosseira, mas capaz de não perceber um “vazio” local de densidade, uma lacuna fina entre duas estruturas próximas. Uma largura de banda menor (kernel mais “estreito”, \(\gamma\) maior) é mais sensível a estrutura local, ao custo de mais variância.
Aplicando ao problema-fio (controle bem especificado). Amostramos \(\mathbf{X}_{\text{sim}}\) do GMM \(K=2\) já ajustado a todo o Breast Cancer Wisconsin (\(N=569\)) e comparamos contra \(\mathbf{X}_{\text{real}}\) com \(40\) direções aleatórias e o MMD (largura de banda \(4\times\) a heurística da mediana, \(\gamma\approx1{,}0662\)):
No painel esquerdo, real e sintético se misturam bem — visualmente e numericamente: das \(40\) direções aleatórias, a estatística KS máxima é \(0{,}0738\) e nenhuma (\(0\%\)) atinge significância a \(5\%\); o \(\mathrm{MMD}^2\) observado é \(-0{,}000518\) (essencialmente zero, dentro do ruído de permutação — negativo é possível porque o estimador é não-viesado, não uma quantidade que precisa ser positiva em amostra finita), com \(p\approx0{,}565\) no teste de permutação — sem evidência de diferença. O GMM elíptico é uma boa descrição da forma real dos dados.
O contraexemplo: duas luas. No painel direito, o mesmo procedimento — GMM \(K=2\) ajustado às duas “luas” (make_moons, \(N=800\)) — mas agora visualmente o modelo gera pontos no vazio entre os crescentes, algo que nenhum ponto real ocupa. Numericamente: das \(40\) direções aleatórias, a estatística KS máxima sobe para \(0{,}1025\), e \(55\%\) das direções atingem significância a \(5\%\) — mais da metade delas capturam a diferença, mesmo que a direção de maior variância isolada (a primeira componente principal) sozinha só chegue a \(p\approx0{,}099\), insuficiente para rejeitar no nível usual — a razão exata pela qual múltiplas direções aleatórias importam, não só a “mais natural”. O MMD com a largura de banda da mediana (a escolha default) não rejeita (\(\mathrm{MMD}^2\approx-0{,}001\), \(p\approx0{,}94\)) — ela opera numa escala grande demais para perceber o vazio local entre os crescentes. Com uma largura de banda \(4\times\) mais estreita (\(\gamma\approx1{,}4901\)), sensível a estrutura fina, o mesmo teste rejeita claramente: \(\mathrm{MMD}^2=0{,}003231\), \(p=0{,}005\). A escolha do kernel não é um detalhe técnico neutro — ela decide que tipo de discrepância o teste consegue enxergar.
Conclusão da aula. As camadas de validação construídas nesta aula não competem entre si — se complementam, cada uma pegando um tipo diferente de falha. A validação analítica (o ELBO, com sua Navalha de Occam embutida) e a validação empírica preditiva (ELPD via validação) blindam contra sobreajuste paramétrico — excesso de componentes, covariâncias colapsadas. Mas nenhuma das duas, sozinha, garante que a forma assumida pelo modelo (aqui, elipses gaussianas) é a forma certa: um GMM pode ter poucos componentes, ELBO alto, generalizar bem em log-verossimilhança, e ainda assim gerar densidade onde não deveria. Só o PPC quantitativo — projeções aleatórias com KS, e MMD com a largura de banda certa — testa essa última pergunta diretamente, com números, não só à vista.
6.1 Pergunta
DicaSe o MMD com largura de banda padrão (heurística da mediana) não rejeitou a hipótese de “mesma distribuição” para as duas luas, isso significa que o teste falhou como ferramenta de PPC?
Pense na diferença entre “o teste, com essa configuração específica, não detectou o problema” e “o problema não existe” — e no que a comparação entre \(\gamma\) e \(4\gamma\) revelou sobre qual escala de estrutura cada largura de banda consegue enxergar.
- □ Não — o teste com largura de banda padrão simplesmente não é sensível à escala fina do vazio local entre os crescentes; trocar a largura de banda (sem trocar o teste) já revelou a diferença.
- □ O resultado mostra que o teste de Kolmogorov-Smirnov via projeções aleatórias e o MMD são redundantes — bastaria usar sempre um dos dois, nunca os dois juntos, já que ambos testam exatamente a mesma coisa.
- □ Se um pesquisador reportasse só o resultado do MMD com largura de banda padrão para este exato problema das duas luas, e nada mais, concluiria (de forma enganosa) que o GMM capturou bem a forma dos dados.
- □ O mesmo tipo de problema — uma ferramenta de diagnóstico que só enxerga discrepâncias numa certa escala, cega a outras — apareceria igualmente ao escolher a largura de banda \(h\) de um KDE (Aula 2) para detectar uma estrutura de densidade multimodal fina.
7 Fechamento
Retomando as cinco perguntas do Roteiro, uma síntese cada:
- Seleção de modelos, em geral. \(p(\mathcal{M}_m\mid\mathbf{X}) \propto p(\mathcal{M}_m)p(\mathbf{X}\mid\mathcal{M}_m)\) — a evidência \(p(\mathbf{X}\mid\mathcal{M}_m)=\int p(\mathbf{X},\mathbf{H}\mid \mathcal{M}_m)\,\mathrm{d}\mathbf{H}\) já embute a Navalha de Occam, por espalhar (ou concentrar) massa de probabilidade sobre o espaço de datasets possíveis; o ELBO é o proxy tratável para essa integral intratável.
- O GMM Bayesiano por dentro. \(\mathbf{H}=(\mathbf{Z},\pi,\mu, \Sigma)\) inteiro dentro do tratamento variacional; Dirichlet sobre \(\pi\) (posterior \(\alpha_0+N_k\), poda componentes sem suporte empírico) e Normal-Wishart sobre \((\mu,\Sigma)\) (a escala posterior \(W_k^{-1}\) nunca esquece a priori \(W_0^{-1}\), impedindo o colapso analiticamente) — os dois problemas do EM clássico, resolvidos.
- O ELBO resultante. Decompõe-se em ajuste menos KL; numericamente, sobe até \(K=2\) e cai depois — ao contrário da log-verossimilhança crua, que nunca cai.
- Além do ELBO de treino. O verdadeiro alvo é o ELPD, estimado sem viés por Monte Carlo na validação; mesmo com \(K=2\) confirmado por três critérios independentes, a folga variacional, a má especificação e a necessidade de comparação universal (Silhueta, Dunn, DBSCAN adaptado via \(k\)-NN) justificam validar sempre, não só confiar no ELBO.
- A prova definitiva de forma. Projeções aleatórias com teste KS e MMD (com a largura de banda certa) revelam, com números, o que a inspeção visual do PPC qualitativo só sugeria — o contraexemplo das duas luas mostrou um GMM com bom ELPD gerando densidade num vazio que nenhum ponto real ocupa.
O que fica em aberto. Toda a aula assumiu que \(\mathbf{X}\) é observado diretamente, em baixa dimensão. A Aula 6 muda essa premissa: e se os próprios atributos observados forem uma projeção de uma estrutura latente de dimensão muito menor? O ELBO que construímos aqui — ajuste menos KL, aproximação variacional de uma posterior intratável — reaparece, quase palavra por palavra, na formulação da PPCA (Probabilistic PCA) e, mais adiante nesta disciplina, no Autoencoder Variacional (VAE, Aula 7): o mesmo ferramental, aplicado a uma variável latente contínua em vez de categórica.