Aula Soluções
O gabarito comentado das questões de Verdadeiro/Falso está em soluções.qmd. Encontrou um erro numa questão? Corrija diretamente neste arquivo e abra um pull request.
Contexto e notação
Considere um Autoencoder (AE) com entrada \(\mathbf{x} \in \mathbb{R}^D\), espaço latente \(\mathbf{z} \in \mathbb{R}^M\) (\(M < D\)) e reconstrução \(\mathbf{\hat{x}}\). No caso do Variational Autoencoder (VAE), o encoder fornece a média \(\boldsymbol\mu\) e o desvio padrão \(\boldsymbol\sigma\) de uma distribuição \(q(\mathbf{z}|\mathbf{x})\), e a amostragem é feita via \(\mathbf{z} = \boldsymbol\mu + \boldsymbol\sigma \odot \boldsymbol\epsilon\) com \(\boldsymbol\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\).
Questões discursivas
- Explique por que a imposição de um gargalo (\(M < D\)) é necessária para que o Autoencoder aprenda representações úteis dos dados, em vez de apenas a função identidade.
- No VAE, qual a função do termo de Divergência KL na função de custo? O que aconteceria com a geometria do espaço latente se esse termo fosse removido (mantendo apenas o erro de reconstrução)?
- Descreva matematicamente o reparameterization trick e explique por que ele é essencial para o treinamento de VAEs via backpropagation.
Questões de Verdadeiro/Falso
- □ Um Autoencoder linear com gargalo \(M\) aprende o mesmo subespaço que a PCA.
- □ A função de ativação ReLU impede que o AE aprenda a função identidade.
- □ O objetivo principal de um AE é a modelagem da densidade de probabilidade dos dados.
- □ A hipótese do manifold sugere que dados de alta dimensão residem em variedades de baixa dimensão.
- □ O AE tradicional é um modelo generativo porque consegue reconstruir a entrada.
- □ No VAE, o encoder mapeia a entrada para um ponto único no espaço latente.
- □ A continuidade do espaço latente no VAE permite a interpolação suave entre amostras.
- □ O decoder de um VAE é condicionado a amostras de uma distribuição latente.
- □ O termo de reconstrução no ELBO do VAE busca maximizar a fidelidade do dado.
- □ A Divergência KL força o espaço latente a se assemelhar a uma Gaussiana padrão.
- □ Se o coeficiente \(\beta\) da KL for muito alto, o modelo tende a ignorar a entrada e gerar amostras borradas.
- □ O ELBO é uma cota inferior para a evidência (log-verossimilhança marginal).
- □ O truque da reparametrização move a estocasticidade para fora do grafo de computação da rede.
- □ Sem o reparameterization trick, o gradiente do erro de reconstrução fluiria normalmente para o encoder.
- □ A variável \(\boldsymbol\epsilon\) no truque da reparametrização deve ser amostrada de uma distribuição dependente de \(\mathbf{x}\).
- □ O truque transforma a amostragem em uma operação determinística de soma e multiplicação.