Aula 6: O Mundo Linear — PCA, PPCA e Autoencoders Lineares
Aprendizado Não Supervisionado
1 Revisão e Introdução
1.1 Revisão Cuidadosa: O Que a Aula 5 Deixou Pronto
A Aula 5 respondeu uma pergunta diferente sobre o GMM da Aula 4: não “como ajustar \(\theta\)” (resolvida), mas “como saber se a estrutura do modelo — o número de componentes \(K\) — é boa, sem rótulo de gabarito?” A resposta central veio da divergência de Kullback-Leibler, \(\mathrm{KL}(q\|p)\ge0\), e da decomposição geral
\[ \ln p(\mathbf{X}) = \mathcal{L}(q) + \mathrm{KL}\big(q\,\|\,p(\mathbf{H}\mid\mathbf{X})\big), \]
válida para qualquer distribuição \(q\) sobre uma variável não observada \(\mathbf{H}\) (latente, parâmetro, ou os dois) — o ELBO, \(\mathcal{L}(q)\), é sempre uma cota inferior calculável da log-verossimilhança. A Aula 5 mostrou que o Algoritmo EM clássico da Aula 4 corresponde a manter \(\theta\) fora desse tratamento (um ponto fixo, sem priori) — por isso seu ELBO no ótimo colapsa à verossimilhança no melhor ponto, sem nenhuma penalidade de complexidade. Colocar \(\theta\) dentro do tratamento variacional, com uma priori de verdade, devolve a penalidade que faltava (a Navalha de Occam, via KL) — mas troca “escolher \(K\)” por “calibrar hiperparâmetros de priori”, o mesmo tipo de escolha que reaparece, sem priori nenhuma, no K-Means e no DBSCAN. Como nem toda escolha de estrutura tem uma via analítica disponível, a Aula 5 fechou com três formas de validação empírica: Silhueta/Davies-Bouldin em dados de validação para clusterização dura, verossimilhança preditiva para modelos probabilísticos, e Posterior Predictive Checks como teste definitivo de que o modelo capturou a forma real do processo gerador.
Em todo esse percurso — Aulas 3, 4 e 5 —, a variável não observada \(z_n\) era sempre categórica: “a qual das \(K\) populações este ponto pertence?”. Essa é uma pergunta específica, mas não a única forma de “informação escondida” que se pode tentar recuperar de dados não rotulados.
1.2 Ideia Central
O Breast Cancer Wisconsin, usado desde a Aula 3, tem \(30\) atributos por paciente — impossível de visualizar diretamente (um gráfico de dispersão mostra, no máximo, \(2\) ou \(3\) eixos por vez). Até agora, a disciplina lidou com essa alta dimensionalidade de duas formas: ignorando-a (usando só \(2\) atributos escolhidos à mão, como radius_worst/concave points_worst) ou combatendo-a como um problema (a maldição da dimensionalidade, Aula 2). A ideia-ponte desta aula é tratar a redução de dimensionalidade como um objetivo em si mesmo: em vez de perguntar “de qual população este ponto veio?” (variável latente categórica), perguntar “que posição, num espaço de dimensão bem menor que \(30\), resume este paciente sem perder o que importa?” — trocando a variável latente categórica por uma variável latente contínua, \(\mathbf{z}\in\mathbb{R}^M\), com \(M\ll D\).
1.3 Roteiro da Aula
Quatro perguntas organizam esta aula:
- O que significa, formalmente, “resumir sem perder o que importa”? A Análise de Componentes Principais (PCA) responde isso de duas formas equivalentes — quais, e por que coincidem?
- Existe uma versão probabilística dessa mesma ideia — um modelo gerador de variável latente contínua, no mesmo espírito do GMM da Aula 4, mas linear-Gaussiano? O que ela revela que a PCA clássica, sozinha, não revela?
- Uma rede neural rasa, treinada para reconstruir sua própria entrada (um autoencoder), resolve um problema completamente diferente da PCA, ou é a mesma coisa disfarçada?
- Essas três ferramentas (PCA, PPCA, autoencoder linear) têm alguma limitação em comum — e o que fica fora do alcance delas?
1.4 Problema Motivador
Sem nenhuma fórmula ainda: escolha dois atributos quaisquer do Breast Cancer Wisconsin, padronizados, e pergunte-se — se eu só pudesse guardar uma única direção de projeção para resumir os dois atributos num único número por paciente, qual direção eu escolheria, e por quê “essa e não outra”?
1.5 Pergunta
DicaTrocar a variável latente categórica (GMM) por uma contínua muda o tipo de problema que se resolve, ou é só uma variação técnica?
Pense no tipo de resposta que cada variável latente permite: um rótulo entre \(K\) opções, ou uma posição contínua num espaço de \(M\) dimensões.
- □ Se, em vez de projetar sobre uma direção contínua, fôssemos obrigados a agrupar cada paciente numa de \(K\) categorias fixas (como nas Aulas 3–5), estaríamos resolvendo o mesmo problema de redução de dimensionalidade, só que com uma variável latente discreta em vez de contínua.
- □ No caso-limite em que \(M=D\) (nenhuma redução de dimensionalidade de fato), a “melhor” direção de projeção deixa de ser um problema bem definido, pois qualquer base ortonormal do espaço original serviria igualmente.
- □ Como a Aula 5 já provou que a decomposição \(\mathcal{L}(q)+\mathrm{KL}(q\|p)\) não assume nada sobre a natureza de \(\mathbf{Z}\), o ELBO (e não a PCA) é a ferramenta certa para resumir os \(30\) atributos do Breast Cancer Wisconsin em \(2\) números.
- □ O mesmo problema de “resumir muitos atributos em poucos números que preservem o que importa” aparece ao comprimir os pesos de uma camada de rede neural totalmente conectada por meio de uma fatoração de baixo posto (low-rank factorization), antes mesmo de qualquer treinamento supervisionado.
2 Problema-Fio: Qual Direção Resume Melhor?
Antes de qualquer fórmula, veja o problema em \(2\) dimensões, onde dá para desenhar. A figura abaixo usa o mesmo par de atributos padronizados já conhecido (radius_worst, concave points_worst) e compara duas direções candidatas para resumir cada paciente num único número: o eixo bruto de radius_worst (linha pontilhada) e uma direção a \(45°\) (linha sólida azul) — a diagonal ao longo da qual os dois atributos crescem juntos.
A resposta não é uma questão de gosto: projetando os \(569\) pacientes sobre o eixo bruto de radius_worst, a variância dos números resultantes é \(1{,}00\) (o próprio atributo, já padronizado). Projetando sobre a direção a \(45°\), a variância sobe para \(1{,}79\) — quase o dobro. A direção a \(45°\) “resume melhor” nesse sentido preciso: um único número ao longo dela carrega mais informação sobre como os pacientes variam entre si do que um único número ao longo de qualquer eixo bruto isolado. Formalizar “resumir melhor” como “maximizar a variância da projeção” é exatamente o que o Bloco 3 faz a seguir — e a direção a \(45°\) desta figura não foi escolhida à mão: ela é, como o Bloco 3 vai provar, o autovetor de maior autovalor da matriz de covariância desses dois atributos.
3 Mecanismo I: Formulação de Máxima Variância
Premissas. Um conjunto de observações \(\{\mathbf{x}_n\}\), \(n=1,\dots,N\), cada \(\mathbf{x}_n\in\mathbb{R}^D\). Queremos projetar os dados sobre um espaço de dimensão \(M<D\), maximizando a variância dos dados projetados. Comece pelo caso \(M=1\): definimos a direção desse espaço por um vetor \(\mathbf{u}_1\in\mathbb{R}^D\), escolhido unitário (\(\mathbf{u}_1^T\mathbf{u}_1=1\)) sem perda de generalidade (só a direção de \(\mathbf{u}_1\) importa, não sua magnitude).
Passo 1 — a variância projetada. Cada ponto \(\mathbf{x}_n\) é projetado ao escalar \(\mathbf{u}_1^T\mathbf{x}_n\). A média dos valores projetados é \(\mathbf{u}_1^T\bar{\mathbf{x}}\), onde \(\bar{\mathbf{x}}=\frac1N\sum_n\mathbf{x}_n\); a variância dos valores projetados é
\[ \frac1N\sum_n\{\mathbf{u}_1^T\mathbf{x}_n - \mathbf{u}_1^T\bar{\mathbf{x}}\}^2 = \mathbf{u}_1^T\mathbf{S}\mathbf{u}_1, \qquad \mathbf{S} = \frac1N\sum_n(\mathbf{x}_n-\bar{\mathbf{x}})(\mathbf{x}_n-\bar{\mathbf{x}})^T \]
(a matriz de covariância amostral \(\mathbf{S}\), simétrica por construção — \(\mathbf{S}=\mathbf{S}^T\) — e semidefinida positiva, pois \(\mathbf{v}^T\mathbf{S}\mathbf{v}=\frac1N\sum_n[\mathbf{v}^T(\mathbf{x}_n-\bar{\mathbf{x}})]^2\ge0\) para qualquer \(\mathbf{v}\)).
Passo 2 — maximizar sob restrição. Maximizar \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1\) livremente não tem solução finita (sem a restrição \(\|\mathbf{u}_1\|=1\), escalar \(\mathbf{u}_1\) por qualquer \(c>0\) multiplica a variância projetada por \(c^2\), sem limite). Precisamos maximizar sujeitos à restrição \(\mathbf{u}_1^T\mathbf{u}_1=1\) — um multiplicador de Lagrange \(\lambda_1\) transforma isso na maximização irrestrita de
\[ \mathbf{u}_1^T\mathbf{S}\mathbf{u}_1 + \lambda_1(1-\mathbf{u}_1^T\mathbf{u}_1). \]
Passo 3 — a equação de autovalores. Igualando a derivada em relação a \(\mathbf{u}_1\) a zero:
\[ 2\mathbf{S}\mathbf{u}_1 - 2\lambda_1\mathbf{u}_1 = \mathbf{0} \quad\Longrightarrow\quad \mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1. \]
Ou seja: \(\mathbf{u}_1\) precisa ser um autovetor de \(\mathbf{S}\). Pré-multiplicando por \(\mathbf{u}_1^T\) e usando \(\mathbf{u}_1^T\mathbf{u}_1=1\): \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1=\lambda_1\) — a variância projetada, no ponto estacionário, é exatamente o autovalor correspondente. Como \(\mathbf{S}\) (simétrica) tem \(D\) autovalores reais e autovetores ortogonais entre si (Teorema Espectral — pré-requisito de optimization-linear-algebra, Aula 4), a variância é máxima justamente quando \(\mathbf{u}_1\) é o autovetor de maior autovalor \(\lambda_1\) — o primeiro componente principal.
Demonstração (caso \(M\) geral, por indução). Já provamos o caso \(M=1\). Suponha os \(M-1\) primeiros componentes principais (\(\mathbf{u}_1,\dots,\mathbf{u}_{M-1}\), os \(M-1\) autovetores de maiores autovalores) já determinados. Buscamos \(\mathbf{u}_M\) que maximize a variância projetada entre todas as direções ortogonais às já escolhidas — essa restrição extra de ortogonalidade entra com seus próprios multiplicadores de Lagrange, mas o mesmo argumento do Passo 3 mostra que a solução ainda precisa satisfazer \(\mathbf{S}\mathbf{u}_M= \lambda_M\mathbf{u}_M\); entre os autovetores restantes (ortogonais aos já escolhidos, pela ortogonalidade do Teorema Espectral), o de maior autovalor remanescente maximiza a variância. Por indução, os \(M\) autovetores de maiores autovalores formam o subespaço ótimo. \(\blacksquare\)
Aplicando ao Breast Cancer Wisconsin completo (\(D=30\)). Calculando \(\mathbf{S}\) sobre os \(30\) atributos padronizados e sua decomposição espectral (np.linalg.eigh, que devolve autovalores em ordem ascendente — é preciso reordenar explicitamente para “maior primeiro”, um detalhe fácil de esquecer e que inverteria silenciosamente qual componente é “o primeiro”), os \(5\) maiores autovalores são:
\(\lambda_1=13{,}2816\), \(\lambda_2=5{,}6914\), \(\lambda_3=2{,}8179\), \(\lambda_4=1{,}9806\), \(\lambda_5=1{,}6487\) — o primeiro componente sozinho já explica \(44{,}27\%\) da variância total dos \(30\) atributos padronizados; os dois primeiros juntos, \(63{,}24\%\). É um resultado forte: dois números resumem quase dois terços de toda a variação entre pacientes que, originalmente, precisava de \(30\) números para ser descrita — sem usar o rótulo diagnosis em nenhum momento do cálculo.
3.1 Pergunta
DicaO multiplicador de Lagrange \(\lambda_1\) é só um artifício técnico da restrição, ou carrega significado próprio?
Releia o Passo 3: o que \(\lambda_1\) passa a representar depois de pré-multiplicar a equação por \(\mathbf{u}_1^T\)?
- □ Se, em vez de maximizar \(\mathbf{u}^T\mathbf{S}\mathbf{u}\) sujeito a \(\mathbf{u}^T\mathbf{u}=1\), minimizássemos essa mesma quantidade sob a mesma restrição, a solução ótima seria o autovetor de menor autovalor de \(\mathbf{S}\), não o de maior.
- □ No caso-limite em que \(\mathbf{S}\) é a matriz identidade (todos os atributos com mesma variância, sem correlação entre eles), todo autovalor é igual, e qualquer direção unitária \(\mathbf{u}\) produz exatamente a mesma variância projetada.
- □ Como o multiplicador de Lagrange \(\lambda_1\) aparece na equação \(\mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1\) só para impor a restrição \(\mathbf{u}_1^T\mathbf{u}_1=1\), seu valor numérico não tem nenhum significado interpretável além de ser parte da mecânica da otimização.
- □ A mesma equação de autovalores \(\mathbf{S}\mathbf{u}=\lambda \mathbf{u}\) que define as direções principais da PCA também aparece na análise espectral da matriz do Laplaciano de um grafo, usada em métodos de clustering espectral.
4 Mecanismo II: Formulação de Erro Mínimo, e Sua Equivalência com a Anterior
A formulação por máxima variância não é a única forma clássica de derivar a PCA — existe uma segunda pergunta, aparentemente diferente, que chega ao mesmo lugar: em vez de perguntar “que direção captura mais variância?”, perguntar “que subespaço, ao reconstruir cada ponto a partir dele, produz o menor erro possível?”.
Premissas. Considere uma base ortonormal completa \(\{\mathbf{u}_i\}_{i=1}^D\) de \(\mathbb{R}^D\) (\(\mathbf{u}_i^T\mathbf{u}_j=\delta_{ij}\)). Qualquer ponto se escreve exatamente como \(\mathbf{x}_n=\sum_{i=1}^D(\mathbf{x}_n^T\mathbf{u}_i) \mathbf{u}_i\). Para aproximar \(\mathbf{x}_n\) usando só \(M<D\) dessas direções, defina
\[ \tilde{\mathbf{x}}_n = \sum_{i=1}^M z_{ni}\mathbf{u}_i + \sum_{i=M+1}^D b_i\mathbf{u}_i, \]
com \(z_{ni}\) livre por ponto e \(b_i\) constante para todos os pontos — queremos escolher \(\{\mathbf{u}_i\}\), \(\{z_{ni}\}\) e \(\{b_i\}\) para minimizar a distorção média
\[ J = \frac1N\sum_{n=1}^N\|\mathbf{x}_n-\tilde{\mathbf{x}}_n\|^2. \]
Passo 1 — otimizar \(z_{ni}\) e \(b_i\). Derivando \(J\) em relação a \(z_{nj}\) e igualando a zero: \(z_{nj}=\mathbf{x}_n^T\mathbf{u}_j\). Derivando em relação a \(b_j\): \(b_j=\bar{\mathbf{x}}^T\mathbf{u}_j\). Substituindo de volta, o vetor deslocamento \(\mathbf{x}_n-\tilde{\mathbf{x}}_n=\sum_{i=M+1}^D\{(\mathbf{x}_n- \bar{\mathbf{x}})^T\mathbf{u}_i\}\mathbf{u}_i\) vive inteiramente no subespaço ortogonal ao subespaço de projeção — geometricamente, o erro mínimo é sempre a projeção ortogonal, nunca um deslocamento oblíquo.
Passo 2 — a distorção como função só dos \(\{\mathbf{u}_i\}\). Substituindo de volta em \(J\):
\[ J = \sum_{i=M+1}^D \mathbf{u}_i^T\mathbf{S}\mathbf{u}_i. \]
Passo 3 — minimizar sob ortonormalidade. Minimizar \(J\) sujeito a \(\mathbf{u}_i^T\mathbf{u}_i=1\) para cada \(i=M+1,\dots,D\) (o mesmo tipo de restrição do Bloco 3, agora para múltiplas direções simultâneas) leva, pelo mesmo argumento de Lagrange, a \(\mathbf{S}\mathbf{u}_i= \lambda_i\mathbf{u}_i\) — de novo, os \(\mathbf{u}_i\) precisam ser autovetores de \(\mathbf{S}\). Substituindo de volta, \(J=\sum_{i=M+1}^D\lambda_i\) — a soma dos autovalores excluídos do subespaço de projeção. Para minimizar essa soma, os \(D-M\) autovalores excluídos devem ser os menores possíveis — equivalentemente, os \(M\) autovalores retidos devem ser os maiores.
Por que as duas formulações concordam — um argumento intuitivo, além da álgebra. As duas provas (Blocos 3 e 4) chegam à mesma equação de autovalores por caminhos formalmente distintos — mas a coincidência não é acidente. Pelo Teorema de Pitágoras aplicado a cada ponto centrado \(\mathbf{x}_n-\bar{\mathbf{x}}\) e sua decomposição em componente retida (dentro do subespaço) mais componente perdida (fora dele, o erro): \[ \|\mathbf{x}_n-\bar{\mathbf{x}}\|^2 = \underbrace{\sum_{i=1}^M z_{ni}^2}_{\text{variância retida}} + \underbrace{\|\mathbf{x}_n-\tilde{\mathbf{x}}_n\|^2}_{\text{erro}}, \] e a variância total dos dados, \(\mathrm{tr}(\mathbf{S})=\sum_{i=1}^D \lambda_i\), é uma constante que não depende de \(\{\mathbf{u}_i\}\). Somando a identidade acima sobre todos os pontos: variância total = variância retida + erro médio. Como o lado esquerdo é fixo, maximizar a variância retida e minimizar o erro são, literalmente, o mesmo problema — dois nomes para a mesma otimização, não duas coincidências separadas.
Verificação real: projetando o Breast Cancer Wisconsin nos \(2\) primeiros componentes.
O rótulo diagnosis nunca entrou no cálculo de \(\mathbf{S}\) nem na decomposição espectral — a projeção usou só os \(30\) atributos, sem supervisão nenhuma. Ainda assim, colorindo os pontos por diagnóstico só para avaliar o resultado (nunca para ajustar), a separação salta aos olhos: um único limiar ao longo do primeiro componente já classifica \(92{,}1\%\) dos pacientes corretamente. Isso não é uma coincidência específica deste dataset — é o mesmo padrão já visto nas Aulas 3 e 4 (HDBSCAN, GMM): a estrutura clínica real (dois tipos de tumor, biologicamente distintos) deixa uma marca estatística forte o bastante para emergir de um critério puramente geométrico (variância), sem nenhuma informação de rótulo.
4.1 Pergunta
DicaA alta acurácia obtida (92,1%) sem usar o rótulo prova que a PCA “sabia” sobre o diagnóstico durante o ajuste?
Releia com cuidado onde diagnosis entrou nos cálculos do Bloco 3/4 — em algum passo da decomposição espectral, ou só depois, para colorir o gráfico?
- □ Se a matriz de covariância \(\mathbf{S}\) não fosse simétrica (hipoteticamente), a equivalência entre a formulação de máxima variância e a de mínimo erro deixaria de valer, pois ambas as provas dependem de \(\mathbf{S}\) ter autovetores ortogonais entre si.
- □ No caso-limite \(M=1\), a formulação de erro mínimo e a de máxima variância produzem, sozinhas, exatamente a mesma direção \(\mathbf{u}_1\) — mas para \(M\ge2\) não há garantia de que ambas encontrem o mesmo subespaço.
- □ Como a acurácia de \(92{,}1\%\) obtida usando só o primeiro componente principal para separar benigno/maligno é alta, isso prova que a PCA “sabia” sobre o rótulo
diagnosisdurante o ajuste. - □ A mesma lógica de comprimir dados numa direção de máxima variância, preservando estrutura discriminativa por acidente (sem usar rótulos), é o que torna embeddings pré-treinados de auto-supervisão úteis depois para tarefas de classificação supervisionada.
5 Diagnóstico Teórico: PCA Probabilística (PPCA)
As duas formulações da PCA clássica são puramente algébricas — nenhuma delas conta uma “história” de como os dados foram gerados. A PPCA reformula a mesma ideia como um modelo gerador de variável latente, no mesmo espírito do GMM da Aula 4, mas com uma diferença estrutural central: a variável latente \(\mathbf{z}\) passa a ser contínua, não categórica.
Compare com a Definição do GMM (Aula 4): lá, \(z_n\) era 1-de-\(K\) (categórica), e \(\mathbf{x}\mid z_{nk}=1\sim\mathcal{N}(\mu_k,\Sigma_k)\) — uma gaussiana diferente por categoria. Aqui, \(\mathbf{z}\) é contínua, e a relação entre \(\mathbf{z}\) e \(\mathbf{x}\) é linear (mais ruído isotrópico) — a mesma lógica de “variável não observada gerando o que se vê”, só que a natureza da variável (e da transformação) mudou.
A distribuição marginal \(p(\mathbf{x})\). Como o modelo é linear-Gaussiano, \(p(\mathbf{x})=\int p(\mathbf{x}\mid\mathbf{z}) p(\mathbf{z})\,\mathrm{d}\mathbf{z}\) também é Gaussiana:
\[ p(\mathbf{x}) = \mathcal{N}(\mathbf{x}\mid\boldsymbol\mu,\mathbf{C}), \qquad \mathbf{C} = \mathbf{WW}^T+\sigma^2\mathbf{I} \]
(PRML, eq. 12.35–12.36 — a demonstração completa usa média/covariância de uma transformação linear de variáveis Gaussianas independentes, \(\mathbb{E}[\mathbf{x}]=\boldsymbol\mu\), \(\mathrm{cov}[\mathbf{x}]=\mathbb{E}[\mathbf{Wzz}^T\mathbf{W}^T]+ \mathbb{E}[\boldsymbol\epsilon\boldsymbol\epsilon^T]=\mathbf{WW}^T+ \sigma^2\mathbf{I}\), já que \(\mathbf{z}\) e \(\boldsymbol\epsilon\) são independentes e \(\mathbb{E}[\mathbf{zz}^T]=\mathbf{I}\)). Sem a variável latente, teríamos que estimar uma matriz de covariância \(D\times D\) geral, com \(D(D+1)/2\) parâmetros livres; com a PPCA, \(\mathbf{C}\) fica restrita à forma \(\mathbf{WW}^T+\sigma^2\mathbf{I}\) — só \(DM+1-\tfrac{M(M-1)}{2}\) parâmetros efetivos (descontando a redundância rotacional discutida no Bloco 6), muito menos que \(D(D+1)/2\) quando \(M\ll D\).
A ilustração gráfica. Um jeito intuitivo de pensar na geração: imagine uma “lata de tinta gaussiana isotrópica” (o ruído \(\sigma^2I\)) sendo borrifada ao longo de todo o subespaço principal (a imagem de \(\mathbf{Wz}+\boldsymbol\mu\) conforme \(\mathbf{z}\) varia), ponderada pelo prior de \(\mathbf{z}\) — a densidade acumulada dessa “tinta” produz a forma de “panqueca” característica de \(p(\mathbf{x})\) (PRML, p. 573).
Ajuste por máxima verossimilhança. A log-verossimilhança dos dados observados, \(\ln p(\mathbf{X}\mid\boldsymbol\mu,\mathbf{W},\sigma^2)=\sum_n\ln p(\mathbf{x}_n\mid\mathbf{W},\boldsymbol\mu,\sigma^2)\), tem \(\boldsymbol\mu_{\mathrm{ML}}=\bar{\mathbf{x}}\) (a média amostral, mesmo resultado da PCA clássica) e, para \(\mathbf{W}\) e \(\sigma^2\), uma solução fechada surpreendente (Tipping & Bishop, 1999, citados no PRML):
A matriz \(\mathbf{R}\) é uma invariância rotacional: como \(\widetilde{\mathbf{W}}\widetilde{\mathbf{W}}^T=\mathbf{WRR}^T \mathbf{W}^T=\mathbf{WW}^T\) (pois \(\mathbf{RR}^T=\mathbf{I}\)), toda a família de matrizes \(\mathbf{W}\) ligadas por uma rotação \(\mathbf{R}\) produz exatamente a mesma densidade preditiva \(p(\mathbf{x})\) — análoga à não-identificabilidade de rótulo de componente (label switching) do GMM da Aula 4, só que contínua (uma rotação inteira), não discreta (uma permutação de índices).
Verificação numérica no Breast Cancer Wisconsin (\(M=2\)). \(\sigma^2_{\mathrm{ML}}=0{,}39382\) — confirmado numericamente igual à média dos \(28\) autovalores descartados. Verificando a covariância marginal \(\mathbf{C}=\mathbf{WW}^T+\sigma^2I\) (com \(\mathbf{R}=I\)): projetando na direção do primeiro componente retido, \(\mathbf{u}_1^T\mathbf{Cu}_1=\lambda_1=13{,}2816\) exatamente; projetando numa direção descartada, \(\mathbf{v}^T\mathbf{Cv}=\sigma^2_{ \mathrm{ML}}=0{,}39382\) — exatamente como a eq. 12.36 prevê: a variância ao longo das direções retidas é capturada corretamente, e a variância em todas as demais direções é aproximada por um único valor médio.
O caso-limite \(\sigma^2\to0\): recuperando a PCA clássica. A posterior \(p(\mathbf{z}\mid\mathbf{x})\) (via Bayes, forma fechada por ser linear-Gaussiano) tem média
\[ \mathbb{E}[\mathbf{z}\mid\mathbf{x}] = \mathbf{M}^{-1}\mathbf{W}_{\mathrm{ML}}^T(\mathbf{x}-\bar{\mathbf{x}}), \qquad \mathbf{M}=\mathbf{W}_{\mathrm{ML}}^T\mathbf{W}_{\mathrm{ML}}+\sigma^2\mathbf{I} \]
(PRML, eq. 12.42, 12.48). No limite \(\sigma^2\to0\), essa expressão se reduz a \((\mathbf{W}_{\mathrm{ML}}^T\mathbf{W}_{\mathrm{ML}})^{-1} \mathbf{W}_{\mathrm{ML}}^T(\mathbf{x}-\bar{\mathbf{x}})\) — a projeção ortogonal do ponto sobre o subespaço principal (PRML, eq. 12.50), exatamente o mesmo resultado do Bloco 3/4. A PCA clássica é, portanto, o caso-limite sem ruído da PPCA: onde a PCA clássica projeta deterministicamente, a PPCA modela explicitamente a incerteza residual que sobra fora do subespaço, com \(\sigma^2>0\) — não uma versão “pior” da PCA, mas um modelo honesto sobre a variância que de fato existe fora do subespaço retido.
5.1 Pergunta
DicaSe a distribuição condicional da PPCA usasse covariância geral em vez de isotrópica, o limite σ²→0 ainda recuperaria a PCA do mesmo jeito?
Pense no papel específico que \(\sigma^2\) (um único escalar) desempenha na demonstração do limite — o argumento depende de haver só um parâmetro de ruído a levar a zero?
- □ Se a distribuição condicional \(p(\mathbf{x}\mid\mathbf{z})\) usasse uma covariância geral \(\boldsymbol\Sigma\) em vez de isotrópica \(\sigma^2\mathbf{I}\), o modelo deixaria de ser equivalente à PCA clássica mesmo no limite, porque a própria formulação perderia esse parâmetro único a ser levado a zero.
- □ No caso-limite \(\sigma^2\to0\), a covariância marginal \(\mathbf{C}=\mathbf{WW}^T+\sigma^2\mathbf{I}\) se reduz a uma matriz singular (não invertível) quando \(M<D\).
- □ Como a PPCA é um modelo probabilístico e a PCA clássica não é, a PPCA é sempre estritamente mais informativa que a PCA clássica, nunca produzindo exatamente o mesmo resultado.
- □ A mesma estrutura de modelo latente linear-Gaussiano da PPCA (variável latente contínua com prior Gaussiano, observação linear mais ruído Gaussiano) é também a base da Análise Fatorial (Factor Analysis), usada em psicometria para inferir traços latentes a partir de respostas de questionários.
6 O Autoencoder Linear Compartilha o Mesmo Subespaço
A terceira perspectiva sobre o mesmo subespaço vem de uma direção aparentemente distante: uma rede neural rasa, treinada não para classificar nem prever nada externo, mas para reconstruir sua própria entrada.
Com \(M<D\) unidades ocultas, reconstrução perfeita de todos os pontos não é geralmente possível — a rede é forçada a aprender uma representação comprimida de \(M\) números por ponto.
O DLFC enuncia esse resultado sem demonstrá-lo por extenso — mas a prova não exige nenhuma ferramenta nova: é uma consequência direta do Teorema de erro mínimo já demonstrado no Bloco 4. Com ativação linear e sem termos de viés (por simplicidade — os vieses só recentralizam os dados), a composição codificador (\(D\to M\)) seguido de decodificador (\(M\to D\)) é, para qualquer peso \(\mathbf{w}\), uma transformação linear \(\mathbf{x}\mapsto\mathbf{A}\mathbf{x}\) com \(\mathrm{posto}(\mathbf{A})\le M\) — e, reciprocamente, toda transformação linear de posto \(\le M\) é alcançável por alguma escolha de pesos (basta fatorar \(\mathbf{A}=\mathbf{A}_2\mathbf{A}_1\) com \(\mathbf{A}_1\) de tamanho \(M\times D\) e \(\mathbf{A}_2\) de tamanho \(D\times M\) — sempre possível para uma matriz de posto \(\le M\)). Minimizar \(E(\mathbf{w})=\frac12\sum_n\|\mathbf{Ax}_n-\mathbf{x}_n\|^2\) sobre todas as matrizes de posto \(\le M\) é, a menos do fator \(\frac12\) e da normalização por \(N\), exatamente o problema \(J\) do Bloco 4 — não um problema parecido, o mesmo problema, já resolvido: o mínimo é atingido projetando ortogonalmente sobre o subespaço principal. Como a projeção ortogonal sobre um subespaço de dimensão \(M\) é realizável por infinitas escolhas de base para esse subespaço (qualquer base, ortonormal ou não, gera a mesma matriz de projeção), os pesos do autoencoder podem convergir a qualquer uma dessas bases — daí a observação do DLFC de que eles “não precisam ser ortogonais nem normalizados”.
Verificação numérica no Breast Cancer Wisconsin (\(M=2\)). Treinando um autoencoder linear (MLPRegressor(activation="identity"), \(2\) unidades ocultas) sobre os \(30\) atributos centrados:
O erro quadrático médio de reconstrução da PCA (o ótimo teórico, \(J^\star/D\)) é \(0{,}367568\); o do autoencoder linear, treinado do zero por gradiente (sem nunca ver a decomposição espectral), é \(0{,}367575\) — coincidência a \(5\) algarismos significativos. Verificando também o subespaço aprendido pelo autoencoder (comparando o espaço gerado pelas colunas da matriz de pesos de entrada com o subespaço principal via cossenos dos ângulos principais): os valores obtidos foram \(\approx0{,}98\) e \(\approx0{,}93\) — próximos de \(1\) (subespaços quase coincidentes), mas não exatamente \(1\). Isso não contradiz o Teorema: como o próprio enunciado destaca, os pesos do autoencoder não precisam ser uma base ortonormal alinhada aos autovetores — o pequeno desvio residual nos ângulos principais vem da convergência finita do otimizador (gradiente, não uma fórmula fechada), não de uma falha da equivalência teórica, que a coincidência quase exata do erro de reconstrução já confirma na prática.
Uma ressalva importante do próprio DLFC. A não linearidade, sozinha, não escapa dessa limitação: mesmo trocando a ativação linear por uma não linear (por exemplo, sigmoide) nessa mesma arquitetura rasa (\(D\)-\(M\)-\(D\), uma única camada oculta), o mínimo do erro de reconstrução ainda corresponde ao mesmo subespaço de PCA (DLFC, p. 565) — só arquiteturas mais profundas, com camadas adicionais de unidades não lineares, conseguem de fato ultrapassar a limitação linear e realizar uma forma não linear de redução de dimensionalidade. Esse é precisamente o assunto da Aula 7.
6.1 Pergunta
DicaSe as unidades ocultas usassem ativação não linear, o mínimo global mudaria de subespaço?
Releia a ressalva do DLFC citada no bloco — ela distingue arquitetura rasa de arquitetura profunda.
- □ Se as unidades ocultas do autoencoder raso (mesma arquitetura \(D\)-\(M\)-\(D\), uma única camada oculta) usassem uma função de ativação não linear em vez de linear, o mínimo global do erro de reconstrução ainda corresponderia ao mesmo subespaço de PCA.
- □ No caso-limite em que \(M=D\) (a camada oculta tem o mesmo número de unidades que a entrada), o erro de reconstrução mínimo é exatamente zero, para qualquer conjunto de pesos que forme uma base do espaço completo.
- □ Como o autoencoder linear e a PCA resolvem exatamente o mesmo problema de otimização, os vetores de peso aprendidos pelo autoencoder devem necessariamente ser ortonormais entre si, assim como os autovetores da PCA.
- □ A mesma prova por redução (mostrar que duas famílias de funções alcançáveis coincidem, e portanto os mínimos dos respectivos problemas de otimização coincidem) é uma técnica de argumentação que também aparece ao comparar a solução de uma regressão Ridge com \(\lambda\to0\) contra a solução de mínimos quadrados ordinários.
7 Síntese, Fechamento e Ponte para a Aula 7
Síntese. Este aula revisitou o mesmo objeto — o subespaço de maior variância dos dados — de quatro ângulos diferentes, e todos concordaram exatamente: geométrico (máxima variância projetada), algébrico (mínimo erro de reconstrução, ligado ao primeiro por Pitágoras), probabilístico (PPCA, MLE de um modelo gerador linear-Gaussiano, que recupera a PCA clássica no limite \(\sigma^2\to0\)) e neural (autoencoder linear, cujo mínimo global é o mesmo subespaço, provado por redução ao problema algébrico). Essas quatro perspectivas não são quatro técnicas independentes que “por acaso” concordam — são quatro formalizações da mesma pergunta (“qual subespaço de dimensão \(M\) resume os dados sem perder o que importa?”), cada uma revelando algo que as outras não tornam explícito: a formulação algébrica dá um algoritmo direto (decomposição espectral); a PPCA dá uma história geradora, uma medida de incerteza (\(\sigma^2\)) e um caminho de generalização (misturas de PPCA, tratamento Bayesiano do próprio \(M\)); o autoencoder dá uma ponte natural para arquiteturas neurais mais ricas.
O que fica em aberto. Toda a aula assumiu, implicitamente, que a estrutura relevante dos dados é linear — um subespaço plano. Se os dados verdadeiros vivessem ao longo de uma variedade curva (um “S”, um arco, uma espiral), as quatro ferramentas desta aula concordariam entre si (todas resolvem o mesmo problema linear), mas nenhuma capturaria a estrutura real — a limitação não é de uma técnica específica, é da classe inteira de soluções lineares.
Retomando as quatro perguntas da Abertura, uma frase cada:
- O que significa “resumir sem perder o que importa”? Maximizar a variância projetada — equivalentemente (por Pitágoras), minimizar o erro médio de reconstrução; ambas levam à decomposição espectral da covariância amostral.
- Existe uma versão probabilística? Sim — a PPCA, um modelo gerador linear-Gaussiano de variável latente contínua, cujo MLE recupera a PCA clássica no limite sem ruído (\(\sigma^2\to0\)).
- O autoencoder resolve outro problema, ou o mesmo disfarçado? O mesmo, provado por redução direta: com ativação linear, o mínimo global do autoencoder raso é exatamente o subespaço de PCA.
- Qual a limitação em comum? Estrutura só linear — nenhuma das três ferramentas representa bem uma variedade curva.
DicaPonte para a Aula 7
A Aula 7 ataca exatamente essa limitação, trocando a arquitetura rasa do autoencoder linear por camadas adicionais de unidades não lineares (o Deep Autoencoder) — e, mais adiante, generalizando a PPCA desta aula ao Variational Autoencoder (VAE): a mesma variável latente contínua \(\mathbf{z}\), agora relacionada a \(\mathbf{x}\) por uma rede neural não linear em vez de uma transformação linear \(\mathbf{W}\). Como a posterior \(p(\mathbf{z}\mid\mathbf{x})\) deixa de ter forma fechada nesse regime não linear (ao contrário da PPCA, Bloco 5), o VAE precisa exatamente da ferramenta construída na Aula 5 — o ELBO, \(\mathcal{L}(q)=\ln p(\mathbf{x})-\mathrm{KL}(q\|p)\) — como critério de ajuste, com \(q\) aproximado por uma rede neural (o reparameterization trick), não mais calculável em forma fechada como no Passo E do GMM ou na posterior da PPCA.