Aula Soluções
Vários itens abaixo usam como exemplo recorrente o dataset Breast Cancer Wisconsin (\(569\) pacientes, \(30\) atributos numéricos contínuos de exame de tumor por paciente). É apenas um exemplo concreto: nenhum item exige ter visto esse exemplo antes, e toda informação necessária está no próprio enunciado.
Notação usada: \(\mathbf{S}\) é a matriz de covariância amostral (uma matriz \(D\times D\) semidefinida positiva) dos \(D\) atributos; \(\mathbf{u}_i\) e \(\lambda_i\) são um autovetor (unitário) e o autovalor correspondente de \(\mathbf{S}\), ordenados do maior para o menor autovalor; \(M<D\) é o número de componentes retidos (a dimensão do subespaço resumido).
Questões Discursivas
Considere duas formulações independentes para encontrar a “melhor” direção que resume um conjunto de dados: (i) maximizar a variância dos dados projetados nessa direção; (ii) minimizar o erro quadrático médio de reconstrução ao aproximar cada ponto pela sua projeção nessa direção. As duas formulações levam à mesma equação de autovetores \(\mathbf{Su}_i=\lambda_i\mathbf{u}_i\). Usando o argumento de Pitágoras (variância total dos dados = variância retida na direção escolhida + erro quadrático de reconstrução — uma soma fixa, já que a variância total não depende da direção escolhida), explique por que essa coincidência não é um acidente — isto é, por que os dois objetivos deveriam, estruturalmente, favorecer a mesma direção, antes mesmo de fazer as contas de otimização com multiplicadores de Lagrange.
A PPCA (PCA Probabilística) é um modelo gerador linear-Gaussiano: uma variável latente contínua \(\mathbf{z}\sim\mathcal{N}(\mathbf{0},
\mathbf{I})\), de dimensão \(M<D\), gera os dados observados por \(\mathbf{x}=\mathbf{Wz}+\boldsymbol\mu+\boldsymbol\epsilon\), com ruído isotrópico \(\boldsymbol\epsilon\sim\mathcal{N}(\mathbf{0},\sigma^2
\mathbf{I})\). Ajustada por máxima verossimilhança com \(N\) pontos finito, a PPCA converge para a PCA clássica exatamente quando \(\sigma^2\to0\) — mas o próprio ajuste de máxima verossimilhança produz \(\sigma^2_{\mathrm{ML}}>0\) estritamente (a menos de um caso degenerado). Explique por que isso não é um defeito do método, usando a interpretação de \(\sigma^2_{\mathrm{ML}}\) como “a média dos autovalores descartados” (a variância dos \(D-M\) eixos não retidos) — e explique o que aconteceria com \(\sigma^2_{\mathrm{ML}}\) se, hipoteticamente, os \(30\) atributos do Breast Cancer Wisconsin fossem, na verdade, só \(2\) combinações lineares independentes de informação, medidas com redundância perfeita (os outros \(28\) atributos sendo combinações lineares exatas dos \(2\) primeiros, sem ruído nenhum).
Um autoencoder linear é uma rede neural com uma única camada oculta de \(M\) unidades e ativação identidade (sem não-linearidade), treinada para reconstruir sua própria entrada — codificando \(\mathbf{x}\) num vetor de dimensão \(M\) e decodificando de volta para a dimensão original, minimizando o erro quadrático de reconstrução. Prova-se que, com ativação linear, o mínimo global desse treinamento compartilha exatamente o mesmo subespaço de projeção que a PCA clássica com \(M\) componentes — mas uma verificação numérica mostrou que os vetores de peso efetivamente aprendidos pelo autoencoder não ficaram exatamente alinhados com os autovetores \(\mathbf{u}_i\) da PCA (ainda que o erro de reconstrução final tenha batido quase exatamente com o da PCA). Reconcilie esses dois fatos: o que exatamente esse resultado garante (o subespaço gerado pelos vetores de peso, ou uma base específica e ortonormal dele?), e por que a diferença entre “mesmo subespaço” e “mesma base ortonormal” explica a discrepância observada sem contradizer o resultado.
Questões de Verdadeiro/Falso
Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).
- □ Se, em vez de normalizar \(\mathbf{u}_1\) à norma unitária, permitíssemos \(\|\mathbf{u}_1\|\to\infty\) livremente, o problema de maximizar \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1\) deixaria de ter uma solução finita.
- □ No caso-limite em que a matriz de covariância \(\mathbf{S}\) tem um autovalor com multiplicidade maior que \(1\) (dois autovalores iguais, ambos os maiores), a direção do primeiro componente principal deixa de ser única.
- □ Como \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1=\lambda_1\) no ótimo, e \(\lambda_1\) é sempre não negativo (pois \(\mathbf{S}\) é semidefinida positiva), isso significa que a variância projetada em qualquer direção unitária é sempre igual a \(\lambda_1\).
- □ Ao aplicar PCA a um conjunto de embeddings de palavras (vetores densos de um modelo de linguagem), a direção de maior variância capturada pelo primeiro componente principal identifica a direção que mais separa os pontos entre si nesse espaço, sem usar nenhuma informação sobre o significado das palavras.
- □ Se a medida de distorção \(J\) usasse a distância \(L_1\) (soma dos valores absolutos das diferenças) em vez da distância euclidiana ao quadrado, a solução ótima ainda seria dada pelos autovetores de \(\mathbf{S}\).
- □ No caso-limite \(M=0\) (nenhuma dimensão retida, todo ponto aproximado só pela média \(\bar{\mathbf{x}}\)), a distorção \(J\) é igual à soma de todos os autovalores de \(\mathbf{S}\), incluindo o maior.
- □ Como as duas formulações (máxima variância e mínimo erro) chegam à mesma equação \(\mathbf{Su}_i=\lambda_i\mathbf{u}_i\), elas são, na verdade, a mesma derivação matemática reescrita com palavras diferentes, não duas provas logicamente independentes.
- □ O mesmo objetivo de minimizar o erro quadrático de reconstrução, usado para justificar a formulação de erro mínimo da PCA, é também o objetivo direto de treinamento de um autoencoder.
- □ Se a distribuição condicional \(p(\mathbf{x}\mid\mathbf{z})\) da PPCA não incluísse nenhum termo de ruído (isto é, \(\mathbf{x}=\mathbf{Wz}+\boldsymbol\mu\) deterministicamente), a distribuição marginal \(p(\mathbf{x})\) deixaria de ser uma Gaussiana de covariância completa \(D\times D\), tornando-se uma distribuição degenerada, concentrada num subespaço de dimensão \(M\).
- □ No caso-limite \(M=D\) (a variável latente tem a mesma dimensão dos dados observados), a PPCA ainda impõe uma restrição não trivial sobre a forma da covariância marginal \(\mathbf{C}\), mesmo permitindo \(\mathbf{W}\) arbitrária.
- □ Como \(\mathbf{z}\) na PPCA tem prior Gaussiano \(\mathcal{N}(\mathbf{0},\mathbf{I})\), isso significa que a posição de cada paciente no espaço latente \(\mathbf{z}\) é sorteada aleatoriamente e não guarda nenhuma relação com seus atributos observados \(\mathbf{x}\).
- □ A mesma estrutura — variável latente com prior simples, dados observados gerados por uma transformação da variável latente mais ruído — é a base conceitual comum tanto da PPCA quanto de um Modelo de Mistura Gaussiana (GMM, em que uma variável latente categórica escolhe qual de \(K\) populações gerou cada ponto), diferindo principalmente no tipo da variável latente (contínua vs. categórica) e na forma da transformação (linear vs. seleção entre componentes).
- □ Se, na solução de máxima verossimilhança \(\mathbf{W}_{\mathrm{ML}}=\mathbf{U}_M(\mathbf{L}_M-\sigma^2\mathbf{I})^{1/2}
\mathbf{R}\) (onde \(\mathbf{U}_M\) são os \(M\) autovetores principais de \(\mathbf{S}\), \(\mathbf{L}_M\) a matriz diagonal dos \(M\) maiores autovalores, e \(\mathbf{R}\) uma matriz ortogonal \(M\times M\) arbitrária), a matriz \(\mathbf{R}\) fosse fixada em \(\mathbf{R}=I\) em vez de arbitrária, a densidade preditiva \(p(\mathbf{x})\) do modelo mudaria.
- □ No caso-limite em que todos os \(D\) autovalores de \(\mathbf{S}\) são iguais entre si (dados isotrópicos, sem direção preferencial), \(\sigma^2_{\mathrm{ML}}\) (para qualquer \(M<D\)) é igual a esse autovalor comum.
- □ Como o caso-limite \(\sigma^2\to0\) recupera a projeção ortogonal da PCA clássica, isso significa que a PPCA com \(\sigma^2>0\) estimado por máxima verossimilhança é uma versão “pior” ou “menos precisa” da PCA clássica.
- □ O mesmo fenômeno de invariância rotacional do parâmetro \(\mathbf{W}\) (múltiplas soluções ligadas por uma rotação \(\mathbf{R}\), produzindo a mesma verossimilhança) também aparece na não-identificabilidade de rótulo de componente (label switching) de um Modelo de Mistura Gaussiana (GMM), em que trocar os índices dos componentes não muda a verossimilhança.
- □ Se a arquitetura do autoencoder linear tivesse \(D\) unidades na camada oculta (isto é, \(M=D\), sem gargalo real), a rede poderia aprender a função identidade exatamente, com erro de reconstrução zero.
- □ No caso-limite em que a rede tem \(M=1\) unidade oculta, o autoencoder linear ótimo projeta os dados exatamente sobre a mesma reta que o primeiro componente principal isolado, sem precisar dos demais componentes.
- □ Como o autoencoder linear e a PCA resolvem exatamente o mesmo problema de otimização, os vetores de peso aprendidos pelo autoencoder devem necessariamente ser ortonormais entre si, assim como os autovetores da PCA.
- □ A mesma prova por redução (mostrar que duas famílias de funções alcançáveis coincidem, e portanto os mínimos dos respectivos problemas de otimização coincidem) é uma técnica de argumentação que também aparece ao comparar a solução de uma regressão Ridge com \(\lambda\to0\) contra a solução de mínimos quadrados ordinários.
- □ Se os dados verdadeiros estivessem organizados ao longo de uma curva não linear (por exemplo, um arco, não uma reta ou plano), tanto a PCA clássica quanto a PPCA quanto o autoencoder linear encontrariam o mesmo subespaço linear ótimo de dimensão \(M\) — mas nenhum dos três representaria bem a estrutura curva real dos dados.
- □ No caso-limite em que os dados observados já vivem exatamente num subespaço linear de dimensão \(M\) (sem nenhum ruído fora dele), a PCA clássica, a PPCA (com \(\sigma^2\to0\)) e o autoencoder linear recuperam exatamente esse subespaço, e o erro de reconstrução dos três é exatamente zero.
- □ Como o autoencoder, ao usar uma arquitetura de rede neural, é estritamente mais poderoso que a PCA clássica, ele encontra sempre um subespaço de reconstrução pelo menos tão bom quanto o de qualquer método algébrico, mesmo restrito a ativação linear.
- □ Trocar a arquitetura linear do autoencoder por camadas adicionais de unidades não lineares (permitindo capturar estruturas curvas) faz a relação entre a variável latente \(\mathbf{z}\) e os dados observados \(\mathbf{x}\) deixar de ser linear — e, nesse regime, a distribuição posterior \(p(\mathbf{z}\mid\mathbf{x})\) tipicamente deixa de ter forma fechada (ao contrário da PPCA, onde essa posterior é Gaussiana exatamente calculável), o que reconecta o problema ao ELBO (Evidence Lower Bound, \(\mathcal{L}(q)=\ln p(\mathbf{x})-
\mathrm{KL}(q\|p)\), uma cota inferior da log-verossimilhança marginal usada para ajustar modelos de variável latente quando a posterior exata não está disponível).
Aviso
As questões de Verdadeiro/Falso e discursivas ficam sem solução neste arquivo — são para resolução autônoma do aluno, fora do horário de aula.