Soluções — Aula 5: Modelos Variacionais, GMM Bayesiano e Seleção de Modelos

Aprendizado Não Supervisionado

Aula Exercícios

Dica

Gabarito comentado das questões de Verdadeiro/Falso de exercicios.qmd. As questões discursivas não têm gabarito fixo publicado — sua correção depende da qualidade do argumento apresentado.

NotaTeste 1 — Seleção Bayesiana de modelos e a evidência

• □ Ao comparar \(p(\mathcal{M}_1\mid\mathbf{X})\) e \(p(\mathcal{M}_2\mid\mathbf{X})\) via regra de Bayes, o termo \(p(\mathbf{X})\) do denominador pode ser ignorado na comparação porque ele não depende de qual estrutura \(\mathcal{M}_m\) está sendo avaliada.
• □ Um modelo com muito mais parâmetros livres do que outro sempre tem evidência \(p(\mathbf{X}\mid\mathcal{M}_m)\) maior, porque mais parâmetros dão mais liberdade para explicar qualquer dataset observado.
• □ A Navalha de Occam embutida na evidência depende de integrar \(p(\mathbf{X},\mathbf{H}\mid\mathcal{M}_m)\) sobre \(\mathbf{H}\) — se em vez disso avaliássemos \(p(\mathbf{X}\mid\hat{\mathbf{H}}_{\text{ML}}, \mathcal{M}_m)\) num único ponto ótimo \(\hat{\mathbf{H}}_{\text{ML}}\), essa penalidade de complexidade desapareceria.
• □ Se \(p(\mathcal{M}_1)=p(\mathcal{M}_2)\) (priori uniforme sobre as estruturas), a razão \(p(\mathcal{M}_1\mid\mathbf{X})/p(\mathcal{M}_2 \mid\mathbf{X})\) é exatamente a razão das evidências \(p(\mathbf{X}\mid\mathcal{M}_1)/p(\mathbf{X}\mid\mathcal{M}_2)\).

Dica(Resposta) Teste 1 — Seleção Bayesiana de modelos e a evidência

• ✔ Verdadeiro — \(p(\mathbf{X})=\sum_m p(\mathbf{X}\mid\mathcal{M}_m) p(\mathcal{M}_m)\) é a mesma constante de normalização para qualquer \(m\) avaliado, então irrelevante para a comparação entre estruturas (só importa se quisermos a posterior normalizada de verdade).
• ✗ Falso — é exatamente o oposto do que a evidência garante: um modelo complexo espalha sua massa de probabilidade por um espaço de \(\mathbf{H}\) maior, perdendo massa em qualquer dataset específico a menos que os dados realmente precisem dessa flexibilidade.
• ✔ Verdadeiro — avaliar num único ponto ótimo é exatamente o que o EM clássico faz (o Passo M busca \(\theta_{\mathrm{ML}}\)); sem integrar sobre o espaço de \(\mathbf{H}\), não há penalidade de complexidade nenhuma, só o valor de ajuste naquele ponto.
• ✔ Verdadeiro — com prioris iguais nas estruturas, a razão posterior se reduz exatamente ao fator de Bayes (razão de evidências).

NotaTeste 2 — KL, ELBO e a decomposição da evidência

• □ A divergência \(\mathrm{KL}(q\|p)\) é, por definição, simétrica: \(\mathrm{KL}(q\|p)=\mathrm{KL}(p\|q)\) para quaisquer distribuições \(p,q\).
• □ Na decomposição \(\ln p(\mathbf{X}\mid\mathcal{M}_m)= \mathcal{L}_m(q)+\mathrm{KL}(q\|p(\mathbf{H}\mid\mathbf{X}, \mathcal{M}_m))\), a igualdade \(\mathcal{L}_m(q)=\ln p(\mathbf{X}\mid \mathcal{M}_m)\) vale exatamente quando \(q(\mathbf{H})\) coincide com a posterior verdadeira \(p(\mathbf{H}\mid\mathbf{X},\mathcal{M}_m)\).
• □ Se, para dois modelos \(\mathcal{M}_1,\mathcal{M}_2\), temos \(\mathcal{L}_1(q)>\mathcal{L}_2(q)\) usando a mesma família funcional para \(q\) em ambos os casos, isso garante matematicamente que \(\ln p(\mathbf{X}\mid\mathcal{M}_1)>\ln p(\mathbf{X}\mid \mathcal{M}_2)\), sem exceção.
• □ A não-negatividade de \(\mathrm{KL}(q\|p)\) decorre da convexidade da função \(-\ln(\cdot)\) aplicada via desigualdade de Jensen — não é um postulado adicional, é uma consequência demonstrável dessa convexidade.

Dica(Resposta) Teste 2 — KL, ELBO e a decomposição da evidência

• ✗ Falso — a definição usa \(q\) dentro da esperança (\(\mathbb{E}_q[\ln\{q/p\}]\)) e \(p\) fora; trocar os papéis de \(p\) e \(q\) muda a esperança calculada, em geral produzindo um valor diferente — a KL não é uma distância no sentido formal.
• ✔ Verdadeiro — é exatamente a condição de igualdade na desigualdade de Gibbs: \(\mathrm{KL}=0\) sse as duas distribuições coincidem.
• ✗ Falso — \(\mathcal{L}_m(q)\) é uma cota inferior cuja folga (o termo de KL) pode ser diferente para \(\mathcal{M}_1\) e \(\mathcal{M}_2\), mesmo usando a mesma família funcional de \(q\); um ELBO maior não garante evidência verdadeira maior se a folga de um modelo for bem maior que a do outro (a “folga variacional” do Bloco 4).
• ✔ Verdadeiro — a demonstração é direta via Jensen, aplicada à convexidade de \(-\ln(\cdot)\); não é assumida sem prova.

NotaTeste 3 — Dirichlet sobre \(\pi\) e poda de componentes

• □ Na posterior variacional \(q^\star(\pi)=\mathrm{Dir}(\alpha_0+N_1, \dots,\alpha_0+N_K)\), um componente \(k\) com \(N_k=0\) (nenhum ponto esperado ali) tem concentração posterior igual a \(\alpha_0\), a mesma da priori.
• □ Aumentar \(\alpha_0\) (mantendo-o fixo, sem variar por rodada) torna a poda automática de componentes sem suporte nos dados mais agressiva, não menos.
• □ A contagem esperada \(N_k=\sum_n\gamma(z_{nk})\) depende da responsabilidade \(\gamma(z_{nk})\) calculada sob o fator variacional \(q(\mathbf{Z})\), e não é, em geral, um número inteiro.
• □ Se dois componentes \(k\) e \(k'\) tiverem exatamente o mesmo \(N_k=N_{k'}\), suas concentrações posteriores sob \(q^\star(\pi)\) são necessariamente idênticas, para qualquer \(\alpha_0\) fixo usado na priori.

Dica(Resposta) Teste 3 — Dirichlet sobre \(\pi\) e poda de componentes

• ✔ Verdadeiro — substituindo \(N_k=0\) na fórmula \(\alpha_0+N_k\), sobra exatamente \(\alpha_0\).
• ✗ Falso — \(\alpha_0\) maior deixa a Dirichlet mais concentrada em pesos aproximadamente iguais (\(1/K\) cada), exigindo mais evidência dos dados (\(N_k\) maior) para afastar qualquer componente do centro — dificulta a poda, não facilita.
• ✔ Verdadeiro — \(\gamma(z_{nk})\in[0,1]\) é uma probabilidade fracionária, e sua soma sobre \(n\) é, em geral, um número real, não inteiro.
• ✔ Verdadeiro — a fórmula \(\alpha_0+N_k\) é simétrica em \(k\) na priori (mesma constante \(\alpha_0\) para todo componente); dado o mesmo \(N_k\), o resultado é o mesmo número, trivialmente.

NotaTeste 4 — Normal-Wishart e o colapso da covariância

• □ Na atualização \(W_k^{-1}=W_0^{-1}+N_kS_k+\frac{\beta_0N_k} {\beta_0+N_k}(\bar{\mathbf{x}}_k-m_0)(\bar{\mathbf{x}}_k-m_0)^T\), se a covariância amostral local \(S_k\) do componente \(k\) tender à matriz nula (todos os pontos responsáveis coincidindo), \(W_k^{-1}\) ainda assim permanece positiva definida, por causa do termo \(W_0^{-1}\).
• □ Definir \(W_0\) como a inversa da covariância global dos dados (Empirical Bayes) é uma escolha estruturalmente diferente de simplesmente fixar \(\Sigma_k\) a um valor constante para todo componente, como faria um K-Means com covariância esférica idêntica.
• □ No EM clássico da Aula 4 (sem nenhuma priori sobre \(\Sigma_k\)), a matriz de covariância de um componente podia, em princípio, colapsar para a matriz nula; no GMM Bayesiano com Normal-Wishart, esse mesmo colapso continua matematicamente possível, só que menos provável.
• □ O mecanismo que impede o colapso de \(\Sigma_k\) (via \(W_0^{-1}\) na Normal-Wishart) e o mecanismo que poda componentes supérfluos (via \(\alpha_0\) na Dirichlet) são, estruturalmente, o mesmo tipo de argumento: um termo vindo da priori que persiste na atualização posterior, independente do que os dados sugerem no extremo oposto.

Dica(Resposta) Teste 4 — Normal-Wishart e o colapso da covariância

• ✔ Verdadeiro — \(W_k^{-1}\) é soma de três termos positivos semidefinidos, e \(W_0^{-1}\) não depende dos dados — nunca desaparece, garantindo \(W_k^{-1}\succeq W_0^{-1}\succ0\).
• ✔ Verdadeiro — Empirical Bayes define uma priori que ainda é combinada (e pode ser dominada) pelos dados de cada componente conforme \(N_k\) cresce; fixar \(\Sigma_k\) constante é uma restrição de modelo que nunca se atualiza, qualquer que seja \(N_k\) — mecanismos diferentes.
• ✗ Falso — o colapso fica analiticamente impossível, não só menos provável: \(W_k^{-1}\succeq W_0^{-1}\succ0\) para qualquer \(N_k\), por construção da soma — não há cenário em que o termo da priori some zero.
• ✔ Verdadeiro — em ambos os casos, um termo aditivo vindo exclusivamente da priori (\(W_0^{-1}\) ou \(\alpha_0\)) permanece na fórmula posterior mesmo quando os dados “empurram” para o extremo oposto (covariância colapsando, ou componente sem suporte).

NotaTeste 5 — Dissecando o ELBO variacional

• □ No termo de ajuste \(\mathbb{E}_{q(\mathbf{Z})q(\mu,\Sigma)}[\ln p(\mathbf{X}\mid\mathbf{Z},\mu,\Sigma)]\) da decomposição do ELBO do GMM Bayesiano, a esperança não precisa ser tomada sobre \(q(\pi)\) porque a densidade de \(\mathbf{X}\), dados \(\mathbf{Z}\) e \((\mu,\Sigma)\), não depende de \(\pi\).
• □ Se o ELBO de um GMM Bayesiano, calculado com \(K=5\), for maior que o calculado com \(K=4\) no mesmo dataset, isso garante que \(K=5\) também produz log-verossimilhança de treino maior que \(K=4\).
• □ O padrão “sobe e depois cai” do ELBO em função de \(K\) é uma consequência direta do termo de KL crescer mais rápido que o ganho no termo de ajuste, a partir de algum \(K\) em diante.
• □ Comparar diretamente os valores absolutos do ELBO do GMM Bayesiano com os valores absolutos da log-verossimilhança do EM clássico, no mesmo \(K\), é uma forma válida de decidir qual dos dois métodos “explica melhor” os dados.

Dica(Resposta) Teste 5 — Dissecando o ELBO variacional

• ✔ Verdadeiro — exatamente o mecanismo derivado via \(\int q(\pi)\, \mathrm{d}\pi=1\): o integrando não depende de \(\pi\), então integrar sobre ele simplesmente o elimina.
• ✗ Falso — ELBO e log-verossimilhança de treino são quantidades diferentes (uma inclui penalidade de KL, a outra não); nada garante que ranqueiem \(K\)’s da mesma forma — de fato, a aula mostrou as duas curvas com formatos opostos (uma monótona, outra não).
• ✔ Verdadeiro — é exatamente a explicação do formato observado: além de algum \(K\), cada componente extra custa mais em KL do que ganha em ajuste.
• ✗ Falso — as duas quantidades têm escalas absolutas diferentes (o ELBO soma termos extras de entropia/KL das prioris); a aula avisou explicitamente que só a forma das curvas é comparável, não seus valores absolutos.

NotaTeste 6 — ELPD, viés de treino e o estimador de Monte Carlo

• □ O viés de otimismo (double-dipping) ao estimar o ELPD usando os próprios dados de treino ocorre porque os mesmos pontos que ajustaram o modelo são reutilizados para avaliá-lo.
• □ O estimador \(\widehat{\mathrm{ELPD}}=\frac{1}{N_{\text{val}}} \sum_{n\in\text{val}}\ln p(\mathbf{x}_n\mid\mathbf{X}_{\text{train}})\) é não-viesado especificamente porque \(\mathbf{X}_{\text{val}}\) é amostrado da mesma população \(p_{\text{true}}\) e nunca participou do ajuste do modelo.
• □ Se um GMM Bayesiano tiver ELBO de treino maximizado em \(K=4\), mas a log-verossimilhança preditiva na validação for maximizada em \(K=2\), isso é logicamente impossível, já que o ELBO já contém uma penalidade de complexidade.
• □ O mesmo raciocínio de “avaliar num conjunto nunca usado no ajuste evita viés de otimismo” se aplica igualmente bem a escolher o número de vizinhos \(k\) de um classificador \(k\)-NN supervisionado.

Dica(Resposta) Teste 6 — ELPD, viés de treino e o estimador de Monte Carlo

• ✔ Verdadeiro — é a própria definição de double-dipping.
• ✔ Verdadeiro — é exatamente o argumento de Lei dos Grandes Números usado na aula: amostragem i.i.d. e independência em relação ao ajuste são as duas condições que garantem a não-viesidade.
• ✗ Falso — nada impede essa discordância: o ELBO penaliza complexidade dentro da aproximação variacional escolhida, mas isso não garante que seu ranqueamento de \(K\) coincida com o ranqueamento por generalização preditiva — a folga variacional pode variar entre \(K\)’s.
• ✔ Verdadeiro — escolher \(k\) do \(k\)-NN por validação cruzada/conjunto de validação, em vez de pelo erro de treino, evita exatamente o mesmo viés de otimismo.

NotaTeste 7 — Comparação universal: Silhueta, Dunn e DBSCAN adaptado

• □ O Índice de Dunn, por usar apenas a menor distância entre clusters diferentes e o maior diâmetro interno de qualquer cluster (em vez de médias), tende a ser mais sensível a um único ponto atípico do que a Silhueta.
• □ A adaptação do DBSCAN para calcular métricas de validação em pontos nunca vistos no ajuste (treinar um classificador \(k\)-NN nos pontos não marcados como ruído) é necessária porque o DBSCAN, ao contrário do K-Means, não tem um método nativo para atribuir cluster a um ponto novo.
• □ Se a Silhueta e o Dunn discordarem sobre qual \(K\) é melhor para o mesmo conjunto de partições, isso implica necessariamente que pelo menos uma das duas métricas contém um erro de implementação.
• □ Comparar a Silhueta de um K-Means (validação) diretamente com o ELBO de um GMM Bayesiano (treino) é uma forma de comparação igualmente válida à de comparar a Silhueta do K-Means com a log-verossimilhança preditiva do GMM, ambas na validação.

Dica(Resposta) Teste 7 — Comparação universal: Silhueta, Dunn e DBSCAN adaptado

• ✔ Verdadeiro — um índice baseado em extremos (mínimo/máximo) é dominado por um único par de pontos, ao contrário de um índice baseado em médias sobre todos os pares.
• ✔ Verdadeiro — DBSCAN rotula só quem participou do ajuste; sem uma regra reaplicável, não há como atribuir cluster a um ponto de validação sem alguma extensão externa, como a adaptação via \(k\)-NN.
• ✗ Falso — discordância reflete que as duas métricas formalizam noções diferentes de “boa partição” (médias vs. extremos); não é evidência de erro de implementação.
• ✗ Falso — comparar uma métrica de treino (ELBO) com uma métrica de validação (Silhueta) reintroduz exatamente a assimetria que a aula toda tentou evitar; comparar duas métricas, ambas calculadas na validação, é a comparação justa.

NotaTeste 8 — PPC quantitativo: projeções aleatórias, KS e MMD

• □ Usar múltiplas direções aleatórias para projetar os dados antes do teste de Kolmogorov-Smirnov é necessário porque uma única direção — mesmo a de maior variância — pode, por acaso, não capturar uma diferença que existe claramente na estrutura conjunta dos dados.
• □ O estimador não-viesado de \(\mathrm{MMD}^2\) entre duas amostras pode assumir valores negativos mesmo quando as duas amostras vêm, de fato, de distribuições diferentes — um valor negativo, sozinho, não é suficiente para concluir “mesma distribuição”.
• □ Se o MMD com largura de banda calibrada pela heurística da mediana não rejeitar a hipótese de “mesma distribuição” entre dados reais e sintéticos, isso é evidência definitiva de que o modelo capturou a forma verdadeira dos dados, para qualquer escala de estrutura.
• □ O mesmo tipo de escolha de escala que afeta o MMD (a largura de banda do kernel RBF) tem um análogo direto na largura de banda \(h\) de um KDE (Aula 2): ambos controlam que nível de detalhe da distribuição o método consegue enxergar.

Dica(Resposta) Teste 8 — PPC quantitativo: projeções aleatórias, KS e MMD

• ✔ Verdadeiro — exatamente o caso observado no contraexemplo das duas luas: a direção de maior variância (PC1) sozinha não atingiu significância, mas o conjunto de \(40\) direções aleatórias, sim.
• ✔ Verdadeiro — a estatística é não-viesada, não necessariamente não-negativa em qualquer amostra finita; a conclusão correta vem do teste de permutação (o \(p\)-valor), não do sinal isolado da estatística.
• ✗ Falso — é exatamente o contraponto que a aula demonstrou: a largura de banda da mediana não rejeitou para as duas luas (onde sabidamente há discrepância de forma), porque opera numa escala global demais para perceber o vazio local — não rejeitar não é evidência definitiva “para qualquer escala”.
• ✔ Verdadeiro — os dois controlam a mesma tensão de escala (fino demais captura ruído, grosso demais borra estrutura real), só que um regula a suavização de uma densidade estimada e o outro, a sensibilidade de um teste de duas amostras.