Soluções — Aula 5: Seleção de Modelos, ELBO e Validação Empírica

Aprendizado Não Supervisionado

Aula Exercícios

Dica

Gabarito comentado das questões de Verdadeiro/Falso de exercicios.qmd. As três questões discursivas não têm gabarito único registrado aqui — são abertas, para discussão em aula ou monitoria.

NotaTeste 1 — Por que o EM clássico não penaliza complexidade

• □ Se o Algoritmo EM clássico (sem priori sobre \(\theta\)) fosse usado para escolher \(K\) comparando o ELBO calculado em cada ótimo, o resultado seria equivalente a escolher \(K\) pela própria log-verossimilhança de treino máxima — porque, nesse caso, o ELBO no ótimo é igual a \(\ln p(\mathbf{X}\mid\theta_{\mathrm{ML}})\).
• □ Como a variável latente \(z_n\) do GMM já tem uma priori \(\pi_k\) desde sua própria definição, o EM clássico já incorpora toda a penalização de complexidade necessária para evitar que \(K\) cresça sem limite.
• □ Num Kernel Density Estimator (KDE) com largura de banda \(h\), levar \(h\to0\) produz um fenômeno de divergência da verossimilhança análogo ao colapso de covariância de um componente do GMM sobre um único ponto — em ambos os casos, concentrar densidade infinita sobre um único ponto de treino infla artificialmente a log-verossimilhança.
• □ No caso-limite em que a priori \(p(\pi)\) usada num GMM Bayesiano é extremamente concentrada (quase um ponto único), a decomposição do ELBO com \(\pi\) dentro do tratamento variacional se aproxima da decomposição do EM clássico, já que \(q(\pi)\) tem pouca liberdade para se afastar desse ponto.

Dica(Resposta) Teste 1 — Por que o EM clássico não penaliza complexidade

• ✔ Verdadeiro — Com \(\theta\) fora do tratamento variacional (sem prior), o Passo E fecha o KL a zero e o Passo M persegue só \(\theta_{\mathrm{ML}}\); no ótimo, \(\mathcal{L}(q^\star, \theta_{\mathrm{ML}})=\ln p(\mathbf{X}\mid\theta_{\mathrm{ML}})\) exatamente — a mesma quantidade da log-verossimilhança de treino máxima, com o mesmo problema de nunca piorar com mais componentes.
• ✗ Falso — \(\pi_k\) é usado como priori sobre a variável latente \(\mathbf{Z}\) (de qual componente um ponto vem), mas o vetor \(\pi\) em si, no EM clássico, nunca tem priori nenhuma — é tratado como um número fixo, igual a \(\mu_k,\Sigma_k\). O problema estrutural é a ausência de priori sobre \(\pi\), não sobre \(\mu_k,\Sigma_k\) (dar-lhes priori, mantendo \(\pi\) fixo, não resolveria nada).
• ✔ Verdadeiro — Levar \(h\to0\) concentra o kernel inteiro sobre um único ponto de treino, fazendo a densidade estimada ali (e portanto a log-verossimilhança) divergir a \(+\infty\) — a mesma degenerescência estrutural do GMM, agora aplicada a um estimador de densidade não paramétrico visto na Aula 2, não exclusiva de misturas gaussianas.
• ✔ Verdadeiro — Priori quase pontual \(\Rightarrow\) \(q(\pi)\) quase não se move de \(p(\pi)\) \(\Rightarrow\) o custo de KL sobre \(\pi\) vira aproximadamente constante, reduzindo o comportamento ao caso em que \(\pi\) é tratado como fixo — o EM clássico.

NotaTeste 2 — ELBO com priori sobre π e a Navalha de Occam

• □ Se a fatoração de campo médio \(q(\mathbf{Z},\pi)\approx q(\mathbf{Z})q(\pi)\) não corresponder exatamente à dependência real entre \(\mathbf{Z}\) e \(\pi\) na posterior verdadeira, o ELBO resultante deixa de ser uma cota inferior válida de \(\ln p(\mathbf{X}\mid\phi)\) (com \(\phi=\{\mu_k,\Sigma_k\}\) fixos).
• □ Se um componente não contribui em nada para explicar melhor os dados (o termo de ajuste é indiferente a ele), maximizar o ELBO tende a levar \(q(\pi)\) para perto da própria priori \(p(\pi)\) naquela coordenada, pagando o menor custo de KL possível.
• □ Como o ELBO com \(\pi\) dentro do tratamento variacional é sempre uma cota inferior de \(\ln p(\mathbf{X}\mid\phi)\), maximizar esse ELBO é equivalente a maximizar diretamente a evidência do modelo, sem diferença prática entre as duas quantidades.
• □ O mesmo princípio de penalizar parâmetros supérfluos pelo custo de se afastar de uma crença prévia aparece numa regressão Ridge, cuja priori Gaussiana sobre os coeficientes corresponde ao termo de regularização \(L_2\).

Dica(Resposta) Teste 2 — ELBO com priori sobre π e a Navalha de Occam

• ✗ Falso — A decomposição \(\ln p(\mathbf{X}\mid\phi)=\mathcal{L}(q,\phi)+ \mathrm{KL}(q\|p)\) vale para qualquer \(q\) normalizada, fatorada ou não; a fatoração de campo médio afeta só o quão apertada é a cota (o KL residual entre a família fatorada e a posterior verdadeira), nunca a validade da desigualdade \(\mathcal{L}(q,\phi)\le\ln p(\mathbf{X}\mid\phi)\).
• ✔ Verdadeiro — Sem ganho no termo de ajuste, a única forma de aumentar \(\mathcal{L}(q,\phi)\) é reduzir o KL — e o mínimo do KL naquela coordenada é \(q(\pi)=p(\pi)\), custo zero.
• ✗ Falso — O ELBO é sempre \(\le\ln p(\mathbf{X}\mid\phi)\), com igualdade só quando \(\mathrm{KL}=0\) (a posterior é exatamente atingida); maximizar a cota aproxima a evidência, mas não a torna idêntica a ela em geral — a diferença (o KL residual) é justamente o que a escolha da família de \(q\) não elimina.
• ✔ Verdadeiro — Uma priori Gaussiana centrada em zero sobre os coeficientes, combinada com MAP, produz exatamente o termo \(\lambda\|\mathbf{w}\|_2^2\) da regularização Ridge — o mesmo princípio de “pagar para se afastar de uma crença prévia”, em outra roupagem.

NotaTeste 3 — Priori de Dirichlet e poda automática de componentes

• □ Numa priori de Dirichlet sobre os pesos de mistura com concentração \(\alpha_0\) pequena, usar um número de componentes “de sobra” (ex.: \(K=8\)) maior que o número real de grupos na população tende a produzir vários pesos \(\pi_k\) próximos de zero, sem precisar reajustar o modelo para \(K\) menor e comparar.
• □ Se, em vez de uma priori de Dirichlet concentrada, usássemos uma priori extremamente ampla e difusa sobre os pesos de mistura, o modelo tenderia a manter mais componentes com peso não desprezível, já que o custo de KL por usar cada componente seria menor.
• □ Como a poda automática por priori de Dirichlet não exige comparar \(\mathcal{L}\) entre rodadas separadas de \(K\), ela elimina por completo a necessidade de qualquer validação empírica posterior do número de componentes efetivamente usados.
• □ O mesmo mecanismo de “encolher parâmetros supérfluos até perto de zero automaticamente, via uma priori apropriada” aparece numa regressão LASSO, cuja priori Laplaciana sobre os coeficientes empurra muitos deles exatamente a zero.

Dica(Resposta) Teste 3 — Priori de Dirichlet e poda automática de componentes

• ✔ Verdadeiro — É exatamente o fenômeno de poda automática: a priori concentrada já favorece poucos componentes ativos antes de ver os dados, e a otimização variacional empurra os pesos supérfluos para perto de zero num único ajuste.
• ✔ Verdadeiro — Uma priori mais difusa “custa menos” (em KL) para manter um componente ativo, então o modelo tem menos pressão para podá-lo — mais componentes sobrevivem com peso não desprezível.
• ✗ Falso — A poda automática depende da família de modelo e da priori escolhida serem adequadas ao problema; ela é uma forma de penalidade analítica, não substitui checar, empiricamente (Silhueta, verossimilhança de validação, PPC), se a estrutura resultante de fato generaliza ou captura a forma real dos dados.
• ✔ Verdadeiro — Mesmo mecanismo: uma priori que concentra massa perto de zero (Laplaciana no LASSO, Dirichlet concentrada aqui) empurra parâmetros/pesos supérfluos para zero automaticamente, sem exigir busca exaustiva por subconjuntos de variáveis/componentes.

NotaTeste 4 — O dilema dos hiperparâmetros

• □ Trocar a escolha de \(K\) de um GMM pela escolha de \(\alpha_0\) de um GMM Bayesiano elimina a subjetividade da decisão, porque \(\alpha_0\) é um único número real, enquanto \(K\) é um inteiro que precisa ser testado exaustivamente.
• □ O K-Means, por não ser um modelo probabilístico, não tem priori nenhuma sobre seu hiperparâmetro \(K\) — a calibração desse hiperparâmetro precisa vir inteiramente de outra via (empírica, não analítica).
• □ Os hiperparâmetros \(\epsilon\) e min_samples do DBSCAN desempenham, na prática, um papel estrutural análogo ao de \(K\) no K-Means e ao de \(\alpha_0\) num GMM Bayesiano: controlam o quão “fina” ou “grossa” é a estrutura que o modelo está autorizado a enxergar nos dados.
• □ Se um método de clusterização não tem hiperparâmetro nenhum de estrutura para calibrar, ele está automaticamente livre do problema de sobreajuste discutido nesta aula.

Dica(Resposta) Teste 4 — O dilema dos hiperparâmetros

• ✗ Falso — Ser um número real contínuo não elimina a subjetividade, só troca um conjunto discreto de opções por um contínuo; calibrar \(\alpha_0\) ainda exige o mesmo tipo de decisão (e validação) que calibrar \(K\) diretamente.
• ✔ Verdadeiro — Sem verossimilhança nem priori, a única forma de calibrar \(K\) no K-Means é observar o comportamento do algoritmo em dados — daí a necessidade das métricas empíricas do Bloco 3 (Silhueta, Davies-Bouldin) desta aula.
• ✔ Verdadeiro — \(\epsilon\)/min_samples controlam a granularidade de densidade que o DBSCAN reconhece como cluster, exatamente como \(K\) controla quantos grupos o K-Means pode formar e \(\alpha_0\) controla quantos componentes a priori “permite” ao GMM Bayesiano.
• ✗ Falso — Falsa equivalência: a ausência de um hiperparâmetro explícito de estrutura não impede sobreajuste — ele pode aparecer por outras vias (escolha de métrica de distância, de atributos, do próprio algoritmo) mesmo sem um número único para calibrar.

NotaTeste 5 — Validação empírica de clusterização dura

• □ Calcular a Silhueta e o Índice de Davies-Bouldin usando os próprios pontos de treino (os mesmos usados para definir os centroides) mede apenas o quão bem o algoritmo otimizou sua função objetivo ali, não se a estrutura encontrada generaliza para dados novos.
• □ No caso-limite em que, na validação, um cluster recebe um único ponto atribuído a ele, o Coeficiente de Silhueta desse ponto fica matematicamente indefinido, pois \(a(i)\) (distância média aos outros pontos do mesmo cluster) não tem nenhum termo para calcular.
• □ Como a Silhueta e o Davies-Bouldin são métricas puramente geométricas, que não usam verossimilhança, elas são igualmente confiáveis calculadas no conjunto de treino ou no de validação, ao contrário do que acontece com a log-verossimilhança.
• □ A mesma lógica de “ajustar num conjunto de dados, validar a estabilidade da estrutura encontrada em outro conjunto nunca usado no ajuste” se aplica a escolher o número de componentes principais de uma Análise de Componentes Principais (PCA) pelo erro de reconstrução medido em dados de validação.

Dica(Resposta) Teste 5 — Validação empírica de clusterização dura

• ✔ Verdadeiro — É o mesmo erro estrutural da log-verossimilhança de treino: qualquer métrica calculada nos dados que definiram a partição favorece partições mais ajustadas àquele conjunto específico, sem dizer nada sobre generalização.
• ✔ Verdadeiro — Com um único ponto no cluster, “distância média aos outros pontos do mesmo cluster” não tem nenhum outro ponto para formar a média — a Silhueta perde sentido matemático nesse extremo.
• ✗ Falso — Ser geométrica não isenta a métrica do viés de “medir nos dados que já definiram a resposta”; o mesmo problema de inflar a aparência de qualidade se aplica a qualquer métrica, geométrica ou probabilística, calculada no conjunto que gerou o modelo.
• ✔ Verdadeiro — Mesmo princípio: erro de reconstrução da PCA no treino sempre cai (ou se mantém) com mais componentes; medir em validação revela se componentes extras generalizam ou só decoram o treino.

NotaTeste 6 — Validação por verossimilhança em modelos probabilísticos

• □ Se um GMM ajustado só no conjunto de treino tem um componente cuja covariância colapsou sobre um único ponto de treino, a log-verossimilhança medida no conjunto de validação tende a ser consideravelmente pior do que a medida no próprio treino, já que aquele ponto específico de colapso não está na validação.
• □ Um descolamento crescente entre a log-verossimilhança de treino (subindo) e a de validação (caindo ou estagnada) ao aumentar \(K\) é, em si, evidência de sobreajuste, mesmo sem calcular nenhuma penalidade analítica de complexidade.
• □ Como a validação usa dados nunca vistos no ajuste, o valor de \(K\) que maximiza a log-verossimilhança de validação é, por construção, o número verdadeiro de populações latentes que geraram os dados, sem incerteza residual.
• □ A mesma receita (congelar o que foi aprendido no treino, avaliar numa métrica de qualidade em dados de validação) pode ser aplicada para comparar dois valores diferentes do hiperparâmetro \(\alpha_0\) de um GMM Bayesiano, não só para comparar valores de \(K\).

Dica(Resposta) Teste 6 — Validação por verossimilhança em modelos probabilísticos

• ✔ Verdadeiro — O colapso infla artificialmente a densidade só naquele ponto específico de treino; pontos de validação, por serem diferentes, não se beneficiam desse artefato, e a densidade que o modelo lhes atribui reflete o resto do ajuste, tipicamente pior.
• ✔ Verdadeiro — Esse descolamento é precisamente o sintoma empírico de sobreajuste: o modelo está melhorando o ajuste a particularidades do treino que não se repetem na validação — não precisa de fator de Occam analítico para ser detectado.
• ✗ Falso — A validação reduz o risco de sobreajuste, mas o \(K\) vencedor é uma estimativa sujeita à variância de amostragem daquela divisão treino/validação específica, não uma prova da estrutura populacional verdadeira.
• ✔ Verdadeiro — A receita não depende de o hiperparâmetro ser \(K\): é “ajustar no treino, avaliar em validação”, igualmente aplicável a \(\alpha_0\), ou a qualquer outro hiperparâmetro de estrutura.

NotaTeste 7 — Incerteza da validação e variância amostral

• □ O valor de \(K\) que maximiza a log-verossimilhança de validação numa divisão específica treino/validação é uma estimativa sujeita à variância de amostragem daquela divisão, não uma prova definitiva do número “verdadeiro” de populações latentes na população de onde os dados vieram.
• □ No caso-limite em que o conjunto de validação tem um único ponto, todos os modelos candidatos (diferentes \(K\)) produzem exatamente a mesma log-verossimilhança de validação para esse ponto, tornando a comparação impossível.
• □ Como usar um conjunto de validação já protege contra sobreajuste, repetir a divisão treino/validação várias vezes (validação cruzada) e observar se o mesmo \(K\) é escolhido em todas as repetições não traz nenhuma informação adicional sobre a confiabilidade da escolha.
• □ A mesma cautela epistemológica — “o critério escolhido aponta para X” não é o mesmo que “X é a estrutura verdadeira” — se aplica a escolher o grau de um polinômio de regressão pelo menor erro quadrático medido num conjunto de validação.

Dica(Resposta) Teste 7 — Incerteza da validação e variância amostral

• ✔ Verdadeiro — Toda estimativa calculada sobre uma amostra finita (aqui, a divisão específica treino/validação) carrega variância; o \(K\) escolhido é a melhor aposta sob essa amostra, não uma certeza populacional.
• ✗ Falso — Modelos com \(K\) diferentes atribuem, em geral, densidades diferentes a qualquer ponto específico — mesmo com um único ponto de validação, a comparação continua possível, só fica mais ruidosa (mais sujeita a variância).
• ✗ Falso — Repetir a divisão e observar a estabilidade da escolha de \(K\) entre repetições é justamente o que informa o quão confiável (ou ruidosa) é aquela escolha — informação que uma única divisão treino/validação, sozinha, não fornece.
• ✔ Verdadeiro — O mesmo cuidado: o grau escolhido por erro mínimo de validação é o que generalizou melhor nessa amostra específica, não necessariamente o grau “verdadeiro” do processo gerador dos dados.

NotaTeste 8 — Posterior Predictive Checks

• □ Um GMM com componentes elípticos ajustado a um conjunto de dados com clusters em formato de “lua” (não convexos) pode obter uma log-verossimilhança razoável e, ainda assim, gerar dados sintéticos que preenchem uma região côncava entre as luas onde os dados reais não têm densidade nenhuma — uma falha que a log-verossimilhança, sozinha, não denuncia diretamente.
• □ No caso-limite em que o modelo generativo ajustado é exatamente igual ao processo real que gerou os dados observados, dados sintéticos amostrados desse modelo devem ser estatisticamente indistinguíveis dos dados reais, no sentido de reproduzir forma, dispersão e demais estatísticas relevantes.
• □ Como o Posterior Predictive Check compara estatísticas agregadas (médias, variâncias) entre dados reais e sintéticos, ele é, na prática, redundante com a Silhueta e a log-verossimilhança de validação, que já usam as mesmas estatísticas agregadas.
• □ A mesma limitação de métricas escalares — um bom escore agregado escondendo uma incompatibilidade de forma — motiva, em modelos generativos de imagens, complementar métricas como o FID (Fréchet Inception Distance) com inspeção visual direta das amostras geradas.

Dica(Resposta) Teste 8 — Posterior Predictive Checks

• ✔ Verdadeiro — Componentes elípticos não reproduzem o formato de crescente das luas: cobrem razoavelmente a posição média de cada grupo (log-verossimilhança aceitável) mas preenchem o vão côncavo entre elas — uma falha de forma, não de posição/densidade agregada.
• ✔ Verdadeiro — É a definição operacional de “o modelo capturou o processo gerador”: amostras do modelo devem ser, na prática, intercambiáveis com dados reais em qualquer estatística relevante.
• ✗ Falso — O PPC não se limita a médias/variâncias: pode (e, para detectar falhas de forma, deve) comparar propriedades estruturais como formato, multimodalidade, densidade espacial — exatamente o que o exemplo das luas mostra que métricas agregadas escalares não capturam. Reduzir o PPC a média/variância perderia seu principal valor.
• ✔ Verdadeiro — A mesma lógica: um escore agregado favorável (FID baixo) não garante ausência de artefatos visíveis em amostras individuais — inspeção direta continua sendo necessária.