Exercícios — Aula 5: Seleção de Modelos, ELBO e Validação Empírica

Aprendizado Não Supervisionado

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

18 de setembro de 2026

Dica

O gabarito comentado das questões de Verdadeiro/Falso está em soluções.qmd. Encontrou um erro numa questão? Corrija diretamente neste arquivo e abra um pull request.

Contexto e notação

Um Modelo de Mistura Gaussiana (GMM) explica cada ponto observado \(\mathbf{x}_n\) como amostrado de uma entre \(K\) populações gaussianas, via uma variável latente categórica \(z_n\) (nunca observada), com prior de mistura \(\pi_k=p(z_{nk}=1)\). O Algoritmo EM ajusta os parâmetros \(\theta=\{\mu_k,\Sigma_k,\pi_k\}\) alternando um Passo E (calcular a responsabilidade \(\gamma(z_{nk})=p(z_{nk}=1\mid\mathbf{x}_n,\theta)\)) e um Passo M (reestimar \(\theta\) por máxima verossimilhança ponderada por \(\gamma\)), sem usar nenhuma priori \(p(\theta)\) — busca direto o \(\theta\) de máxima verossimilhança, \(\theta_{\mathrm{ML}}\), com \(K\) fixo. Um sintoma conhecido: a log-verossimilhança de treino de um GMM nunca piora ao aumentar \(K\) (um componente extra sempre pode replicar a solução de \(K-1\) componentes ou colapsar sua covariância sobre um único ponto, levando a densidade ali a divergir) — tornando “maximizar a verossimilhança de treino” um critério inútil para escolher \(K\).

Divergência KL e a decomposição da evidência. Para distribuições \(p(\mathbf{H})\), \(q(\mathbf{H})\) sobre a mesma variável não observada \(\mathbf{H}\) (latente, parâmetro, ou os dois), e usando que, para qualquer função \(f\), \(\int q(\mathbf{H})f(\mathbf{H})\,\mathrm{d} \mathbf{H}=\mathbb{E}_q[f(\mathbf{H})]\) é a esperança de \(f\) sob \(q\), \[ \mathrm{KL}(q\|p) := -\int q(\mathbf{H})\ln\left\{\frac{p(\mathbf{H})}{q(\mathbf{H})}\right\}\mathrm{d}\mathbf{H} = \mathbb{E}_q\!\left[\ln\frac{q(\mathbf{H})}{p(\mathbf{H})}\right] \ge 0, \] com igualdade sse \(q=p\). Para qualquer \(q\) normalizada, \(\ln p(\mathbf{X}) = \mathcal{L}(q) + \mathrm{KL}(q\| p(\mathbf{H}\mid\mathbf{X}))\), onde \(\mathcal{L}(q)\) (o ELBO) é sempre uma cota inferior de \(\ln p(\mathbf{X})\).

Onde \(\mathbf{H}\) entra decide a propriedade do ELBO. Se \(\mathbf{H}=\mathbf{Z}\) só (a escolha do EM clássico, \(\theta=\{\mu_k, \Sigma_k,\pi\}\) inteiro mantido fixo, fora do tratamento variacional, sem prior), o ELBO no ótimo colapsa a \(\ln p(\mathbf{X}\mid \theta_{\mathrm{ML}})\) — a verossimilhança no melhor ponto, sem nenhuma penalidade de complexidade. Não é preciso tornar todo \(\theta\) aleatório para consertar isso: o problema de \(K\) crescer sem limite nasce de como os pesos de mistura \(\pi=(\pi_1,\dots,\pi_K)\) se distribuem (um componente com \(\pi_k\approx0\) já é, na prática, um componente a menos). Basta colocar só \(\pi\) dentro do tratamento variacional, com uma priori de verdade \(p(\pi)\), mantendo \(\mu_k,\Sigma_k\) fixos (exatamente como no EM clássico). Com \(\mathbf{H}=(\mathbf{Z},\pi)\), campo médio \(q(\mathbf{Z},\pi)\approx q(\mathbf{Z})q(\pi)\), e \(\phi:=\{\mu_k,\Sigma_k\}\) os parâmetros que continuam fixos, o ELBO vira \[ \mathcal{L}(q,\phi) = \underbrace{\mathbb{E}_{q(\mathbf{Z})}[\ln p(\mathbf{X}\mid\mathbf{Z},\phi)]}_{\text{ajuste}} - \underbrace{\mathrm{KL}(q(\mathbf{Z},\pi)\,\|\,p(\mathbf{Z},\pi\mid\phi))}_{\text{Navalha de Occam}}, \] que penaliza pesos de mistura supérfluos pelo custo de se afastar da priori — essa via se chama Inferência Bayesiana Variacional (Variational Bayes), um procedimento diferente do EM clássico.

Priori de Dirichlet e poda automática. A priori \(p(\pi)\) acima é, na prática, uma priori de Dirichlet com parâmetro de concentração \(\alpha_0\): quanto menor \(\alpha_0\), mais a priori já favorece poucos componentes ativos, empurrando os pesos dos componentes supérfluos para perto de zero automaticamente, sem precisar comparar \(\mathcal{L}\) entre rodadas separadas de \(K\).

O dilema dos hiperparâmetros. Trocar “escolher \(K\)” por “calibrar \(\alpha_0\)” desloca a escolha de um conjunto discreto (\(K\in\{1,2,\dots\}\)) para um contínuo (\(\alpha_0>0\)), mas não a elimina. O mesmo tipo de escolha aparece, sem priori nenhuma, no K-Means (o hiperparâmetro é diretamente \(K\)) e no DBSCAN (o raio de vizinhança \(\epsilon\) e o número mínimo de pontos min_samples).

Validação empírica de clusterização “dura” (K-Means, DBSCAN). Sem verossimilhança disponível, a validação usa só a geometria. Primeiro, separam-se os dados em dois subconjuntos disjuntos, sorteados aleatoriamente: um conjunto de treino (usado só para ajustar o modelo — encontrar centroides/regras) e um conjunto de validação (nunca usado no ajuste, usado só para medir a qualidade do resultado depois) — sem essa separação, qualquer métrica favoreceria o próprio ajuste, sem dizer nada sobre generalização. Com essa separação, medem-se, só na validação, duas métricas: o Coeficiente de Silhueta (para um ponto \(i\) no cluster \(C_i\): \(a(i)\) = distância média aos demais pontos do mesmo cluster, \(b(i)\) = menor distância média a um cluster vizinho; \(s(i)=\frac{b(i)-a(i)}{\max\{a(i),b(i)\}}\in[-1,1]\), maior é melhor) e o Índice de Davies-Bouldin — para cada cluster \(C_k\), o centroide \(\mathbf{c}_k\) (ponto médio dos pontos de \(C_k\)) e a dispersão interna \(\sigma_k\) (distância média dos pontos de \(C_k\) ao próprio centroide, ou seja, quão espalhado é o cluster); com esses dois objetos, \(R_{jk}=\frac{\sigma_j+\sigma_k}{\|\mathbf{c}_j-\mathbf{c}_k\|}\) mede o quanto dois clusters são parecidos (dispersos e/ou com centros próximos), e \(\mathrm{DB}=\frac1K\sum_k\max_{j\ne k}R_{jk}\) compara cada cluster ao seu pior vizinho — menor é melhor.

Validação por verossimilhança (modelos probabilísticos). Para um GMM, ajustar \(\theta\) só no treino e avaliar \(\ln p(\mathbf{X}_{\text{val}}\mid\theta)\) — se um componente colapsou sobre poucos pontos de treino (a mesma singularidade acima), a verossimilhança de validação, medida em pontos diferentes, cai, mesmo que a de treino continue subindo; esse descolamento entre as duas curvas sinaliza sobreajuste.

Posterior Predictive Check (PPC). Amostrar parâmetros do que foi aprendido, gerar dados sintéticos \(\mathbf{X}_{\text{sim}}\) a partir do modelo generativo, e comparar suas estatísticas/forma contra os dados reais \(\mathbf{X}_{\text{real}}\). Diferente de métricas escalares (verossimilhança, Silhueta), o PPC compara forma diretamente — por exemplo, um GMM com componentes elípticos, ajustado a clusters em formato de “lua” (não convexos), pode ter log-verossimilhança razoável e ainda assim gerar dados sintéticos que preenchem a região côncava entre as luas, onde os dados reais não têm densidade nenhuma.

Questões discursivas

Questão 1

Um colega ajusta um GMM pelo Algoritmo EM clássico (sem nenhuma priori sobre \(\theta\)) para vários valores de \(K\) e diz: “o ELBO que calculei no ótimo de cada ajuste já é uma boa métrica para escolher \(K\), porque o ELBO é sempre uma cota inferior de \(\ln p(\mathbf{X})\), então quanto maior o ELBO, mais perto da evidência verdadeira estou.” Explique, em termos da decomposição \(\ln p(\mathbf{X})=\mathcal{L}(q)+\mathrm{KL}(q\| p)\), por que essa afirmação está incompleta, e o que precisaria mudar no procedimento do colega para que o ELBO servisse de fato como critério de seleção de \(K\).

Questão 2

Descreva a receita completa para escolher o número de clusters \(K\) de um K-Means num problema em que não existe rótulo de gabarito disponível, usando um conjunto de validação e pelo menos duas métricas intrínsecas. Em seguida, justifique por que calcular essas mesmas métricas apenas no conjunto de treino (sem separar validação) não seria uma validação confiável da escolha de \(K\).

Questão 3

Um GMM ajustado a um conjunto de dados obtém, simultaneamente, a melhor log-verossimilhança de validação entre vários candidatos e a melhor Silhueta de validação. Um pesquisador conclui que “o modelo capturou corretamente a forma do processo gerador dos dados”. Avalie essa conclusão: essas duas métricas favoráveis são suficientes para sustentá-la? Proponha um teste adicional (e descreva como ele funcionaria neste cenário) que poderia contradizer essa conclusão mesmo com as duas métricas indicando um bom ajuste.

Testes de Verdadeiro ou Falso

Teste 1 — Por que o EM clássico não penaliza complexidade

□ Se o Algoritmo EM clássico (sem priori sobre \(\theta\)) fosse usado para escolher \(K\) comparando o ELBO calculado em cada ótimo, o resultado seria equivalente a escolher \(K\) pela própria log-verossimilhança de treino máxima — porque, nesse caso, o ELBO no ótimo é igual a \(\ln p(\mathbf{X}\mid\theta_{\mathrm{ML}})\).
□ Como a variável latente \(z_n\) do GMM já tem uma priori \(\pi_k\) desde sua própria definição, o EM clássico já incorpora toda a penalização de complexidade necessária para evitar que \(K\) cresça sem limite.
□ Num Kernel Density Estimator (KDE) com largura de banda \(h\), levar \(h\to0\) produz um fenômeno de divergência da verossimilhança análogo ao colapso de covariância de um componente do GMM sobre um único ponto — em ambos os casos, concentrar densidade infinita sobre um único ponto de treino infla artificialmente a log-verossimilhança.
□ No caso-limite em que a priori \(p(\pi)\) usada num GMM Bayesiano é extremamente concentrada (quase um ponto único), a decomposição do ELBO com \(\pi\) dentro do tratamento variacional se aproxima da decomposição do EM clássico, já que \(q(\pi)\) tem pouca liberdade para se afastar desse ponto.

Teste 2 — ELBO com priori sobre π e a Navalha de Occam

□ Se a fatoração de campo médio \(q(\mathbf{Z},\pi)\approx q(\mathbf{Z})q(\pi)\) não corresponder exatamente à dependência real entre \(\mathbf{Z}\) e \(\pi\) na posterior verdadeira, o ELBO resultante deixa de ser uma cota inferior válida de \(\ln p(\mathbf{X}\mid\phi)\) (com \(\phi=\{\mu_k,\Sigma_k\}\) fixos).
□ Se um componente não contribui em nada para explicar melhor os dados (o termo de ajuste é indiferente a ele), maximizar o ELBO tende a levar \(q(\pi)\) para perto da própria priori \(p(\pi)\) naquela coordenada, pagando o menor custo de KL possível.
□ Como o ELBO com \(\pi\) dentro do tratamento variacional é sempre uma cota inferior de \(\ln p(\mathbf{X}\mid\phi)\), maximizar esse ELBO é equivalente a maximizar diretamente a evidência do modelo, sem diferença prática entre as duas quantidades.
□ O mesmo princípio de penalizar parâmetros supérfluos pelo custo de se afastar de uma crença prévia aparece numa regressão Ridge, cuja priori Gaussiana sobre os coeficientes corresponde ao termo de regularização \(L_2\).

Teste 3 — Priori de Dirichlet e poda automática de componentes

□ Numa priori de Dirichlet sobre os pesos de mistura com concentração \(\alpha_0\) pequena, usar um número de componentes “de sobra” (ex.: \(K=8\)) maior que o número real de grupos na população tende a produzir vários pesos \(\pi_k\) próximos de zero, sem precisar reajustar o modelo para \(K\) menor e comparar.
□ Se, em vez de uma priori de Dirichlet concentrada, usássemos uma priori extremamente ampla e difusa sobre os pesos de mistura, o modelo tenderia a manter mais componentes com peso não desprezível, já que o custo de KL por usar cada componente seria menor.
□ Como a poda automática por priori de Dirichlet não exige comparar \(\mathcal{L}\) entre rodadas separadas de \(K\), ela elimina por completo a necessidade de qualquer validação empírica posterior do número de componentes efetivamente usados.
□ O mesmo mecanismo de “encolher parâmetros supérfluos até perto de zero automaticamente, via uma priori apropriada” aparece numa regressão LASSO, cuja priori Laplaciana sobre os coeficientes empurra muitos deles exatamente a zero.

Teste 4 — O dilema dos hiperparâmetros

□ Trocar a escolha de \(K\) de um GMM pela escolha de \(\alpha_0\) de um GMM Bayesiano elimina a subjetividade da decisão, porque \(\alpha_0\) é um único número real, enquanto \(K\) é um inteiro que precisa ser testado exaustivamente.
□ O K-Means, por não ser um modelo probabilístico, não tem priori nenhuma sobre seu hiperparâmetro \(K\) — a calibração desse hiperparâmetro precisa vir inteiramente de outra via (empírica, não analítica).
□ Os hiperparâmetros \(\epsilon\) e min_samples do DBSCAN desempenham, na prática, um papel estrutural análogo ao de \(K\) no K-Means e ao de \(\alpha_0\) num GMM Bayesiano: controlam o quão “fina” ou “grossa” é a estrutura que o modelo está autorizado a enxergar nos dados.
□ Se um método de clusterização não tem hiperparâmetro nenhum de estrutura para calibrar, ele está automaticamente livre do problema de sobreajuste discutido nesta aula.

Teste 5 — Validação empírica de clusterização dura

□ Calcular a Silhueta e o Índice de Davies-Bouldin usando os próprios pontos de treino (os mesmos usados para definir os centroides) mede apenas o quão bem o algoritmo otimizou sua função objetivo ali, não se a estrutura encontrada generaliza para dados novos.
□ No caso-limite em que, na validação, um cluster recebe um único ponto atribuído a ele, o Coeficiente de Silhueta desse ponto fica matematicamente indefinido, pois \(a(i)\) (distância média aos outros pontos do mesmo cluster) não tem nenhum termo para calcular.
□ Como a Silhueta e o Davies-Bouldin são métricas puramente geométricas, que não usam verossimilhança, elas são igualmente confiáveis calculadas no conjunto de treino ou no de validação, ao contrário do que acontece com a log-verossimilhança.
□ A mesma lógica de “ajustar num conjunto de dados, validar a estabilidade da estrutura encontrada em outro conjunto nunca usado no ajuste” se aplica a escolher o número de componentes principais de uma Análise de Componentes Principais (PCA) pelo erro de reconstrução medido em dados de validação.

Teste 6 — Validação por verossimilhança em modelos probabilísticos

□ Se um GMM ajustado só no conjunto de treino tem um componente cuja covariância colapsou sobre um único ponto de treino, a log-verossimilhança medida no conjunto de validação tende a ser consideravelmente pior do que a medida no próprio treino, já que aquele ponto específico de colapso não está na validação.
□ Um descolamento crescente entre a log-verossimilhança de treino (subindo) e a de validação (caindo ou estagnada) ao aumentar \(K\) é, em si, evidência de sobreajuste, mesmo sem calcular nenhuma penalidade analítica de complexidade.
□ Como a validação usa dados nunca vistos no ajuste, o valor de \(K\) que maximiza a log-verossimilhança de validação é, por construção, o número verdadeiro de populações latentes que geraram os dados, sem incerteza residual.
□ A mesma receita (congelar o que foi aprendido no treino, avaliar numa métrica de qualidade em dados de validação) pode ser aplicada para comparar dois valores diferentes do hiperparâmetro \(\alpha_0\) de um GMM Bayesiano, não só para comparar valores de \(K\).

Teste 7 — Incerteza da validação e variância amostral

□ O valor de \(K\) que maximiza a log-verossimilhança de validação numa divisão específica treino/validação é uma estimativa sujeita à variância de amostragem daquela divisão, não uma prova definitiva do número “verdadeiro” de populações latentes na população de onde os dados vieram.
□ No caso-limite em que o conjunto de validação tem um único ponto, todos os modelos candidatos (diferentes \(K\)) produzem exatamente a mesma log-verossimilhança de validação para esse ponto, tornando a comparação impossível.
□ Como usar um conjunto de validação já protege contra sobreajuste, repetir a divisão treino/validação várias vezes (validação cruzada) e observar se o mesmo \(K\) é escolhido em todas as repetições não traz nenhuma informação adicional sobre a confiabilidade da escolha.
□ A mesma cautela epistemológica — “o critério escolhido aponta para X” não é o mesmo que “X é a estrutura verdadeira” — se aplica a escolher o grau de um polinômio de regressão pelo menor erro quadrático medido num conjunto de validação.

Teste 8 — Posterior Predictive Checks

□ Um GMM com componentes elípticos ajustado a um conjunto de dados com clusters em formato de “lua” (não convexos) pode obter uma log-verossimilhança razoável e, ainda assim, gerar dados sintéticos que preenchem uma região côncava entre as luas onde os dados reais não têm densidade nenhuma — uma falha que a log-verossimilhança, sozinha, não denuncia diretamente.
□ No caso-limite em que o modelo generativo ajustado é exatamente igual ao processo real que gerou os dados observados, dados sintéticos amostrados desse modelo devem ser estatisticamente indistinguíveis dos dados reais, no sentido de reproduzir forma, dispersão e demais estatísticas relevantes.
□ Como o Posterior Predictive Check compara estatísticas agregadas (médias, variâncias) entre dados reais e sintéticos, ele é, na prática, redundante com a Silhueta e a log-verossimilhança de validação, que já usam as mesmas estatísticas agregadas.
□ A mesma limitação de métricas escalares — um bom escore agregado escondendo uma incompatibilidade de forma — motiva, em modelos generativos de imagens, complementar métricas como o FID (Fréchet Inception Distance) com inspeção visual direta das amostras geradas.