Aula 6: O Mundo Linear — PCA, PPCA e Autoencoders Lineares

Aprendizado Não Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-13

Revisão e Introdução

Da Aula 5: O Que Já Temos

KL: \(\mathrm{KL}(q\|p)\ge0\). Decomposição geral: \(\ln p(\mathbf{X})=\mathcal{L}(q)+\mathrm{KL}(q\|p(\mathbf{H}\mid\mathbf{X}))\) — o ELBO \(\mathcal{L}(q)\) é sempre cota inferior calculável.

EM clássico (Aula 4) = \(\theta\) fora do tratamento, ponto fixo, sem priori \(\Rightarrow\) ELBO no ótimo colapsa à verossimilhança no melhor ponto, sem penalidade de complexidade.

Nota

\(\theta\) dentro, com priori de verdade \(\Rightarrow\) Navalha de Occam via KL — mas troca “escolher \(K\)” por “calibrar hiperparâmetros de priori” (mesmo dilema no K-Means, no DBSCAN).

Sem via analítica sempre disponível: validação empírica (ELPD em validação, Silhueta e Dunn, Posterior Predictive Checks quantitativos).

Nota

Em toda essa trajetória (Aulas 3–5), a variável não observada \(z_n\) foi sempre categórica: “de qual das \(K\) populações?”

Ideia Central

• O Problema: Breast Cancer Wisconsin tem \(30\) atributos. Impossível de visualizar.
• A Abordagem Anterior: Ignorar (escolher 2 atributos) ou combater (maldição da dimensionalidade).
• A Nova Pergunta: “Que posição, em dimensão \(M\ll D\), resume este paciente sem perder o que importa?”
• Mudança de Paradigma: Variável latente categórica \(\to\) Variável latente contínua.

Roteiro da Aula

1. O que é um espaço latente contínuo? Um autoencoder linear comprime e reconstrói — que plano ele aprende?

2. “Resumir sem perder o que importa”: PCA responde de duas formas (erro mínimo, variância máxima) — por que coincidem, e o que dizem do autoencoder?

3. Existe versão probabilística (estilo GMM, mas \(z\) contínuo, linear-Gaussiano)? O que ela revela?

4. Essas três ferramentas têm alguma limitação em comum?

Problema Motivador

• \(30\) atributos por paciente — mas \(30\) informações diferentes?
• Raio médio \(\times\) perímetro médio: \(r=0\,998\); \(44\) de \(435\) pares com \(|r|>0{,}8\).

Se tanta coisa se repete: quantos números bastam para reconstruir os \(30\)? Quais? E como saber se o resumo perdeu o que importa?

Pergunta

Trocar a variável latente categórica (GMM) por uma contínua muda o tipo de problema que se resolve, ou é só uma variação técnica?

Pense no tipo de resposta que cada variável latente permite: um rótulo entre \(K\) opções, ou uma posição contínua num espaço de \(M\) dimensões.

• □ Se, em vez de projetar sobre uma direção contínua, fôssemos obrigados a agrupar cada paciente numa de \(K\) categorias fixas (como nas Aulas 3–5), estaríamos resolvendo o mesmo problema de redução de dimensionalidade, só que com uma variável latente discreta em vez de contínua.
• □ No caso-limite em que \(M=D\) (nenhuma redução de dimensionalidade de fato), a “melhor” direção de projeção deixa de ser um problema bem definido, pois qualquer base ortonormal do espaço original serviria igualmente.
• □ Como a Aula 5 já provou que a decomposição \(\mathcal{L}(q)+\mathrm{KL}(q\|p)\) não assume nada sobre a natureza de \(\mathbf{Z}\), o ELBO (e não a PCA) é a ferramenta certa para resumir os \(30\) atributos do Breast Cancer Wisconsin em \(2\) números.
• □ O mesmo problema de “resumir muitos atributos em poucos números que preservem o que importa” aparece ao comprimir os pesos de uma camada de rede neural totalmente conectada por meio de uma fatoração de baixo posto (low-rank factorization), antes mesmo de qualquer treinamento supervisionado.

Resposta

Resposta — mudança de eixo, não só de método

• ✔ Uma partição em \(K\) categorias fixas É uma forma (bem mais grosseira) de redução de dimensionalidade — um rótulo entre \(K\) opções também resume o ponto, só que com uma variável latente discreta.
• ✔ Com \(M=D\), todo ponto é reconstruído exatamente por qualquer base completa (eq. 12.9 do PRML) — a distorção é \(0\) para qualquer escolha de base, tornando a otimização degenerada (múltiplas soluções igualmente ótimas).
• ✗ A decomposição do ELBO é geral, mas isso não torna o ELBO a ferramenta “certa” por padrão — para uma estrutura puramente linear, a PCA (decomposição espectral fechada, sem otimização iterativa) é a ferramenta mais direta; o ELBO entra quando a posterior não é calculável em forma fechada.
• ✔ Fatoração de baixo posto de uma matriz de pesos é exatamente o mesmo problema de “poucos números que preservam o que importa”, aplicado a parâmetros de rede em vez de dados.

Voltando à pergunta: muda o tipo de pergunta (rótulo discreto vs. posição contínua), mas a lógica de fundo — resumir sem perder o que importa — é a mesma. O resto da aula formaliza “o que importa”.

Problema-Fio: Guardar Um Número, Reconstruir Dois

Guardar Um Número, Reconstruir Dois

• Dessas variáveis, (radius_worst, concave points_worst), guardamos um número por paciente; reconstruir os dois atributos a partir dele.
• Receita natural: uma reta pelo centro dos dados; guardar a posição ao longo dela; reconstruir pelo ponto da reta.

• Duas retas candidatas: o eixo bruto de radius_worst e a diagonal a \(45°\).
• Medidas: variância retida (dos números guardados) e erro (distância quadrática média até a reta).

O Que a Figura Pergunta

• Eixo bruto: retida \(=1{,}00\), erro \(=1{,}00\).
• Diagonal a \(45°\): retida \(=1{,}79\), erro \(=0{,}21\).

• Número guardado \(=\) código latente. Uma rede que comprime e reconstrói (o autoencoder linear) faz o mesmo em dimensão qualquer. Que plano aprende?

• Qual reta erra menos? (Mecanismo I.)
• Qual retém mais variância? Retida \(+\) erro \(=2{,}00\) nas duas: mesmo problema? Qual reta, sem escolher à mão? (Mecanismo II.)

• E o que sobra fora da reta? O erro \(0{,}21\) como ruído de um modelo gerador (PPCA).

O Autoencoder Linear: Comprimir, Codificar, Reconstruir

Autoencoder: Comprimir para Reconstruir

Nota

Definição (DLFC §19.1.1): rede \(D\)-\(M\)-\(D\), \(M<D\), alvo \(\mathbf{y}(\mathbf{x}_n,\mathbf{w})\approx\mathbf{x}_n\), \[ E(\mathbf{w})=\tfrac12\sum_n\|\mathbf{y}(\mathbf{x}_n,\mathbf{w})-\mathbf{x}_n\|^2. \]

• “Resumir sem perder o que importa” vira uma máquina: comprimir em \(M\) números, reconstruir os \(D\).
• O que se perde \(=\) o que não volta na reconstrução. Com \(M<D\), reconstrução perfeita não é, em geral, possível.

A Arquitetura

Codificador, Espaço Latente, Decodificador

Caso linear, dados centrados: \[ \mathbf{z}_n=\mathbf{V}\mathbf{x}_n\ \ (\mathbf{V}\in\mathbb{R}^{M\times D}),\qquad \mathbf{y}_n=\mathbf{W}\mathbf{z}_n\ \ (\mathbf{W}\in\mathbb{R}^{D\times M}),\qquad \mathbf{y}_n=\mathbf{W}\mathbf{V}\mathbf{x}_n. \]

• \(\mathbf{z}_n\in\mathbb{R}^M\): código latente; \(\mathbb{R}^M\): espaço latente.
• \(\mathbf{W}\mathbf{z}=z_1\mathbf{w}_1+\dots+z_M\mathbf{w}_M\): reconstruções vivem no plano \(\mathcal{C}(\mathbf{W})\), de dimensão \(\le M\), dentro de \(\mathbb{R}^D\).
• \(\mathbf{z}_n\) \(=\) coordenadas no plano; colunas \(\mathbf{w}_j\) \(=\) eixos.

Importante

Espaço latente \(=\) sistema de coordenadas de um plano \(M\)-dimensional dentro do espaço dos dados. Treinar \(=\) escolher o plano.

O Que os Dados Determinam

Para qualquer \(\mathbf{G}\) invertível \(M\times M\): \[ (\mathbf{V},\mathbf{W})\ \to\ (\mathbf{G}\mathbf{V},\ \mathbf{W}\mathbf{G}^{-1}):\qquad \mathbf{W}\mathbf{G}^{-1}\mathbf{G}\mathbf{V}=\mathbf{W}\mathbf{V}. \]

• Mesmas reconstruções, mesmo erro — mas códigos \(\mathbf{z}_n\mapsto\mathbf{G}\mathbf{z}_n\).
• O erro enxerga o plano (\(\mathcal{C}(\mathbf{W}\mathbf{G}^{-1})=\mathcal{C}(\mathbf{W})\)), não os eixos.

Nota

Os eixos do espaço latente só estão definidos a menos de uma mudança de base. Pergunta que sobra: qual plano o treino encontra?

A Pergunta que Sobra: Qual Plano?

• O treino escolhe um plano de dimensão \(M\) (os eixos são arbitrários, por \(\mathbf{G}\)).
• Qual? Resposta nos próximos blocos, sem rede, só com os dados:

• Mecanismo I: o plano de menor erro de reconstrução.
• Mecanismo II: é o mesmo plano de maior variância retida — gerado pelos autovetores da covariância (componentes principais).
• De Volta ao Autoencoder: a rede encontra exatamente esse plano.

O Espaço Latente no Breast Cancer Wisconsin

Autoencoder linear treinado por gradiente (\(D=30\), \(M=2\)): cada paciente vira um código \(\mathbf{z}_n\in\mathbb{R}^2\). Cores só para avaliar.

Duas Observações

• Benignos e malignos em regiões diferentes — sem o rótulo no treino.

• Eixos não canônicos: linhas de \(\mathbf{V}\) com cosseno \(\approx-0{,}58\) (longe de ortogonais). Outra semente, outros eixos, mesmo erro.

Nota

O estável é o plano. Os próximos blocos o identificam sem rede.

Pergunta

Duas redes treinadas com sementes diferentes chegam ao mesmo erro de reconstrução, mas dão códigos latentes diferentes ao mesmo paciente. Qual delas aprendeu o espaço latente “certo”?

Pense no que o erro de reconstrução consegue enxergar: o produto \(\mathbf{W}\mathbf{V}\), ou cada fator separadamente?

• □ Se \((\mathbf{V},\mathbf{W})\) minimiza o erro de reconstrução, então \((2\mathbf{V},\tfrac12\mathbf{W})\) também minimiza, e os códigos latentes de todos os pacientes dobram de tamanho.
• □ No caso-limite \(M=D\), com \(\mathbf{V}\) invertível e \(\mathbf{W}=\mathbf{V}^{-1}\), a reconstrução é perfeita, mas o código latente não comprime nada.
• □ Como o erro só depende do produto \(\mathbf{W}\mathbf{V}\), a coordenada \(z_1\) de um paciente tem um significado fixo, comparável entre duas redes treinadas com sementes diferentes.
• □ Numa fatoração de matrizes para recomendação, \(R\approx PQ^T\) (usuários \(\times\) itens), os fatores latentes dos usuários também só estão definidos a menos de uma transformação invertível: \(P\mapsto PG\) e \(Q^T\mapsto G^{-1}Q^T\) dão a mesma predição.

Resposta

Resposta — o que os dados determinam é o plano

• ✔ É a invariância com \(\mathbf{G}=2I\): \(\tfrac12\mathbf{W}\cdot2\mathbf{V}=\mathbf{W}\mathbf{V}\), mesmo erro, códigos \(2\mathbf{z}_n\).
• ✔ \(\mathbf{W}\mathbf{V}=I\) reconstrói tudo; sem gargalo, o código é só uma mudança de coordenadas de \(\mathbb{R}^D\).
• ✗ Os códigos mudam para \(\mathbf{G}\mathbf{z}_n\) sem mudar o erro: \(z_1\) isolado não tem significado fixo entre redes.
• ✔ Mesma estrutura de produto de fatores: \(PGG^{-1}Q^T=PQ^T\).

Voltando à pergunta: nenhuma é “a certa”. As duas aprenderam o mesmo plano, em eixos diferentes (\(\mathbf{z}\mapsto\mathbf{G}\mathbf{z}\)). Para comparar redes, compare planos, não coordenadas — ou fixe uma convenção de eixos, que é o que a PCA fará: eixos ortonormais, ordenados pela variância.

Mecanismo I: O Melhor Plano Pelo Erro de Reconstrução

Do Autoencoder a Uma Base

Autoencoder linear: \(\mathbf{y}_n=\mathbf{W}\mathbf{V}\mathbf{x}_n\). Pela invariância por \(\mathbf{G}\), podemos escolher o par mais conveniente.

Suposição 1 — pesos amarrados. Uma só matriz \(\mathbf{U}\in\mathbb{R}^{D\times M}\): \(\mathbf{W}=\mathbf{U}\), \(\mathbf{V}=\mathbf{U}^T\). Então \[ \mathbf{z}_n=\mathbf{U}^T\mathbf{x}_n,\qquad \mathbf{y}_n=\mathbf{U}\mathbf{U}^T\mathbf{x}_n . \]

Suposição 2 — base ortonormal. \(\mathbf{U}^T\mathbf{U}=\mathbf{I}\): colunas \(\mathbf{u}_1,\dots,\mathbf{u}_M\) ortonormais. Todo plano tem uma base assim; \(z_{ni}=\mathbf{x}_n^T\mathbf{u}_i\) é a coordenada ao longo de \(\mathbf{u}_i\), e \(\mathbf{U}\mathbf{U}^T\mathbf{x}_n\) é a projeção ortogonal no plano.

Nota

As suposições simplificam as contas. O Passo 1 vai mostrar que elas não custam nada: fixado o plano, são a melhor escolha.

Completando a Base

Acrescentar \(\mathbf{u}_{M+1},\dots,\mathbf{u}_D\) até uma base ortonormal de \(\mathbb{R}^D\). Escrevendo o ponto e a reconstrução na mesma base, separados em “no plano” e “fora”: \[ \begin{aligned} \mathbf{x}_n &= \sum_{i=1}^M(\mathbf{x}_n^T\mathbf{u}_i)\,\mathbf{u}_i &&+ \sum_{i=M+1}^D(\mathbf{x}_n^T\mathbf{u}_i)\,\mathbf{u}_i &&\text{(exato)}\\ \tilde{\mathbf{x}}_n &= \sum_{i=1}^M z_{ni}\,\mathbf{u}_i &&+ \sum_{i=M+1}^D b_i\,\mathbf{u}_i &&\text{(}z_{ni}\text{ livre por ponto; } b_i\text{ constante, o viés)} \end{aligned} \]

Subtraindo coordenada a coordenada: \[ \mathbf{x}_n-\tilde{\mathbf{x}}_n=\sum_{i=1}^M\underbrace{(\mathbf{x}_n^T\mathbf{u}_i-z_{ni})}_{\text{erro no plano}}\mathbf{u}_i+\sum_{i=M+1}^D\underbrace{(\mathbf{x}_n^T\mathbf{u}_i-b_i)}_{\text{erro fora}}\mathbf{u}_i, \qquad J = \frac1N\sum_{n}\|\mathbf{x}_n-\tilde{\mathbf{x}}_n\|^2 . \]

\(J\) é o erro \(E\) do autoencoder, a menos de \(\tfrac12\) e \(N\) (PRML §12.1.2).

Passo 1: Os Melhores Códigos e Constantes

Numa base ortonormal, a norma ao quadrado é a soma dos quadrados dos coeficientes (Pitágoras): \[ \Big\|\sum_i a_i\mathbf{u}_i\Big\|^2=\sum_i\sum_j a_ia_j\,\underbrace{\mathbf{u}_i^T\mathbf{u}_j}_{\delta_{ij}}=\sum_i a_i^2 . \]

Aplicando ao erro do slide anterior, com \(a_i\) os coeficientes “erro no plano” e “erro fora”: \[ J=\frac1N\sum_{n}\Big[\sum_{i=1}^M(\mathbf{x}_n^T\mathbf{u}_i-z_{ni})^2+\sum_{i=M+1}^D(\mathbf{x}_n^T\mathbf{u}_i-b_i)^2\Big]. \]

Cada termo tem uma só incógnita:

• \(z_{ni}=\mathbf{x}_n^T\mathbf{u}_i\) — é o codificador amarrado \(\mathbf{U}^T\mathbf{x}_n\) da Suposição 1;
• \(b_i=\bar{\mathbf{x}}^T\mathbf{u}_i\) — a média minimiza a soma dos quadrados dos desvios.

Importante

Sobra \(\mathbf{x}_n-\tilde{\mathbf{x}}_n=\sum_{i>M}\big((\mathbf{x}_n-\bar{\mathbf{x}})^T\mathbf{u}_i\big)\mathbf{u}_i\): erro só fora do plano. Melhor reconstrução \(=\) projeção ortogonal.

Passos 2 e 3: Erro \(=\) Total \(-\) Retida

Passo 2. Substituindo em \(J\), com \(\mathbf{S}\) a covariância amostral: \[ J=\frac1N\sum_{n}\sum_{i=M+1}^D\big((\mathbf{x}_n-\bar{\mathbf{x}})^T\mathbf{u}_i\big)^2=\sum_{i=M+1}^D\mathbf{u}_i^T\mathbf{S}\mathbf{u}_i \] — a variância nas direções descartadas.

Passo 3. Somando todas as direções, \(\sum_{i=1}^D\mathbf{u}_i^T\mathbf{S}\mathbf{u}_i=\mathrm{tr}(Q^T\mathbf{S}Q)=\mathrm{tr}(\mathbf{S})\), que não depende da base. Logo \[ J=\mathrm{tr}(\mathbf{S})-\sum_{i=1}^M\mathbf{u}_i^T\mathbf{S}\mathbf{u}_i . \]

Importante

Minimizar o erro \(=\) maximizar a variância retida. No Problema-Fio: \(1{,}00+1{,}00=1{,}79+0{,}21=2{,}00\). Falta: qual plano maximiza \(\sum_{i\le M}\mathbf{u}_i^T\mathbf{S}\mathbf{u}_i\)? (Mecanismo II.)

Mecanismo II: O Melhor Plano Pela Variância Retida

Premissas e a Variância Projetada

Do Mecanismo I: maximizar a variância retida. Comece por \(M=1\).

\(\{\mathbf{x}_n\}\subset\mathbb{R}^D\); projetar sobre direção unitária \(\mathbf{u}_1\) (\(\mathbf{u}_1^T\mathbf{u}_1=1\)). Variância projetada: \[ \frac1N\sum_n\{\mathbf{u}_1^T\mathbf{x}_n-\mathbf{u}_1^T\bar{\mathbf{x}}\}^2=\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1 \]

\(\mathbf{S}\) é sempre simétrica (\(\mathbf{S}=\mathbf{S}^T\)) e semidefinida positiva (\(\mathbf{v}^T\mathbf{S}\mathbf{v}=\frac1N\sum_n[\mathbf{v}^T(\mathbf{x}_n-\bar{\mathbf{x}})]^2\ge0\)).

Maximizar Sob Restrição \(\to\) Autovetores

O problema restrito. Sem restrição não há máximo (\(c\,\mathbf{u}_1\) multiplica a variância por \(c^2\)). Só a direção importa, então fixamos o comprimento: \[ \max_{\mathbf{u}_1}\ \mathbf{u}_1^T\mathbf{S}\mathbf{u}_1 \qquad\text{s.a.}\qquad \mathbf{u}_1^T\mathbf{u}_1=1 . \]

A Lagrangeana. Objetivo \(+\) multiplicador \(\times\) restrição escrita como “\(=0\)”: \[ \mathcal{L}(\mathbf{u}_1,\lambda_1)=\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1+\lambda_1\big(1-\mathbf{u}_1^T\mathbf{u}_1\big). \]

Derivadas nulas. Em \(\lambda_1\): devolve a restrição. Em \(\mathbf{u}_1\): \[ 2\mathbf{S}\mathbf{u}_1-2\lambda_1\mathbf{u}_1=\mathbf{0}\ \Longrightarrow\ \mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1, \qquad \mathbf{u}_1^T\mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1^T\mathbf{u}_1=\lambda_1 . \]

Importante

\(\mathbf{S}\) simétrica \(\Rightarrow\) autovalores reais, autovetores ortogonais (Teorema Espectral). Máximo quando \(\mathbf{u}_1\) = autovetor do maior autovalor.

Teorema e Generalização a \(M\) Componentes

Nota

Teorema (PCA, máxima variância): o subespaço de dimensão \(M\) que maximiza a variância projetada total é gerado pelos \(M\) autovetores de \(\mathbf{S}\) com os \(M\) maiores autovalores.

Ferramenta — soma de matrizes de posto 1 (Teorema Espectral, \(\mathbf{S}=Q\Lambda Q^T\) escrito coluna a coluna): \[ \mathbf{S}=\sum_{i=1}^{D}\lambda_i\,\mathbf{u}_i\mathbf{u}_i^T, \qquad \lambda_1\ge\dots\ge\lambda_D\ge0 \;\;(\mathbf{S}\succeq0). \]

Para \(\mathbf{u}\) unitário, com \(c_i=\mathbf{u}_i^T\mathbf{u}\): \[ \mathbf{u}^T\mathbf{S}\mathbf{u}=\sum_i\lambda_i c_i^2,\qquad \sum_i c_i^2=\|Q^T\mathbf{u}\|^2=1 \] — uma média ponderada dos autovalores.

Prova por Indução

Onde paramos: \(\mathbf{u}^T\mathbf{S}\mathbf{u}=\sum_i\lambda_i c_i^2\), com \(\sum_i c_i^2=1\).

• Base (\(M=1\)): \(\sum_i\lambda_ic_i^2\le\lambda_1\sum_ic_i^2=\lambda_1\); igualdade em \(\mathbf{u}=\mathbf{u}_1\).

• Passo: ortogonal a \(\mathbf{u}_1,\dots,\mathbf{u}_{M-1}\) \(\Rightarrow\) \(c_1=\dots=c_{M-1}=0\). Os termos de posto 1 já usados saem da soma: \[ \mathbf{u}^T\mathbf{S}\mathbf{u}=\sum_{i=M}^{D}\lambda_ic_i^2\le\lambda_M, \] igualdade em \(\mathbf{u}=\mathbf{u}_M\). \(\blacksquare\)

Aviso

A indução prova a construção sequencial. Que nenhum subespaço de dimensão \(M\) escolhido de uma vez supere \(\lambda_1+\dots+\lambda_M\) é o princípio de Ky Fan (1949), citado sem prova.

PCA no Breast Cancer Wisconsin (\(D=30\))

\(\lambda_1=13{,}2816\) (\(44{,}27\%\)), \(\lambda_2=5{,}6914\) (\(18{,}97\%\)) — juntos, \(63{,}24\%\) da variância total de \(30\) atributos, em só \(2\) números, sem usar diagnosis.

Juntando os Mecanismos

Nota

Teorema (PCA, erro mínimo; PRML §12.1.2): o mesmo subespaço principal minimiza \(J\), com \(J^\star=\sum_{i=M+1}^D\lambda_i\) — a variância dos autovalores descartados.

• Mecanismo I: erro \(=\) total \(-\) retida. Mecanismo II: retida máxima \(=\lambda_1+\dots+\lambda_M\).
• Breast Cancer Wisconsin, \(M=2\): \(J^\star=36{,}76\%\) da variância total.

Pergunta

O multiplicador de Lagrange \(\lambda_1\) é só um artifício técnico da restrição, ou carrega significado próprio?

Releia o Passo 4: o que \(\lambda_1\) passa a representar depois de pré-multiplicar a equação por \(\mathbf{u}_1^T\)?

• □ Se, em vez de maximizar \(\mathbf{u}^T\mathbf{S}\mathbf{u}\) sujeito a \(\mathbf{u}^T\mathbf{u}=1\), minimizássemos essa mesma quantidade sob a mesma restrição, a solução ótima seria o autovetor de menor autovalor de \(\mathbf{S}\), não o de maior.
• □ No caso-limite em que \(\mathbf{S}\) é a matriz identidade (todos os atributos com mesma variância, sem correlação entre eles), todo autovalor é igual, e qualquer direção unitária \(\mathbf{u}\) produz exatamente a mesma variância projetada.
• □ Como o multiplicador de Lagrange \(\lambda_1\) aparece na equação \(\mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1\) só para impor a restrição \(\mathbf{u}_1^T\mathbf{u}_1=1\), seu valor numérico não tem nenhum significado interpretável além de ser parte da mecânica da otimização.
• □ A mesma equação de autovalores \(\mathbf{S}\mathbf{u}=\lambda \mathbf{u}\) que define as direções principais da PCA também aparece na análise espectral da matriz do Laplaciano de um grafo, usada em métodos de clustering espectral.

Resposta

Resposta — o significado de \(\lambda_1\)

• ✔ Inverter para minimização inverte a direção da desigualdade de Lagrange, favorecendo o menor autovalor — a mesma mecânica, sentido oposto.
• ✔ Com \(\mathbf{S}=I\), \(\mathbf{u}^TI\mathbf{u}=\|\mathbf{u}\|^2=1\) para qualquer \(\mathbf{u}\) unitário — nenhuma direção é preferível.
• ✗ Pelo contrário: \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1=\lambda_1\) no ótimo — \(\lambda_1\) é, literalmente, a variância projetada máxima, um número com significado direto, não só mecânico.
• ✔ Autovalores/autovetores da matriz Laplaciana de um grafo são exatamente a base do clustering espectral — mesma estrutura matemática, outro domínio de aplicação dentro de ML.

Voltando à pergunta: carrega significado pleno — \(\lambda_1\) é exatamente a variância que sobra depois de projetar na melhor direção possível.

De Volta ao Autoencoder: a Prova

Teorema: Ativação Linear \(\Rightarrow\) Subespaço de PCA

Nota

Teorema (Bourlard & Kamp 1988; Baldi & Hornik 1989; via DLFC §19.1.1, p. 565): com ativação linear, \(E(\mathbf{w})\) tem mínimo global único (a menos de reparametrização), realizando a projeção sobre o subespaço dos \(M\) primeiros componentes principais. Pesos não precisam ser ortogonais/normalizados.

• A resposta à pergunta do primeiro bloco: o plano é o subespaço principal.
• “Não precisam ser ortogonais” \(=\) a invariância por \(\mathbf{G}\).

A Prova: Redução aos Mecanismos I e II

Ativação linear, sem viés: \(\mathbf{x}\mapsto\mathbf{A}\mathbf{x}\), \(\mathbf{A}=\mathbf{W}\mathbf{V}\), \(\mathrm{posto}(\mathbf{A})\le M\) — e toda matriz de posto \(\le M\) é alcançável (fatorar \(\mathbf{A}=\mathbf{W}\mathbf{V}\)).

Reconstruções em \(\mathcal{C}(\mathbf{A})\), dimensão \(\le M\) \(\Rightarrow\) erro \(\ge\) erro da projeção ortogonal (Passo 1, Mecanismo I) \(\ge\) erro do subespaço principal (Mecanismos I e II).

Importante

Mínimo global de \(E\): \(\mathbf{A}=\mathbf{U}_M\mathbf{U}_M^T\), projeção sobre o subespaço principal. Infinitas fatorações \(\mathbf{W}\mathbf{V}\) (invariância por \(\mathbf{G}\)) \(\Rightarrow\) pesos não precisam ser ortonormais. \(\blacksquare\)

Uma Ressalva: Não Linearidade Rasa

Aviso

DLFC, p. 565: ativação não linear (ex.: sigmoide) na mesma arquitetura rasa \(D\)-\(M\)-\(D\) ainda dá o subespaço de PCA.

• Só profundidade (camadas adicionais não lineares) escapa do linear — Aula 7.

Pergunta

Se as unidades ocultas usassem ativação não linear, o mínimo global mudaria de subespaço?

Releia a ressalva do DLFC citada no bloco — ela distingue arquitetura rasa de arquitetura profunda.

• □ Se as unidades ocultas do autoencoder raso (mesma arquitetura \(D\)-\(M\)-\(D\), uma única camada oculta) usassem uma função de ativação não linear em vez de linear, o mínimo global do erro de reconstrução ainda corresponderia ao mesmo subespaço de PCA.
• □ No caso-limite em que \(M=D\) (a camada oculta tem o mesmo número de unidades que a entrada), o erro de reconstrução mínimo é exatamente zero, para qualquer conjunto de pesos que forme uma base do espaço completo.
• □ Como o autoencoder linear e a PCA resolvem exatamente o mesmo problema de otimização, os vetores de peso aprendidos pelo autoencoder devem necessariamente ser ortonormais entre si, assim como os autovetores da PCA.
• □ A mesma prova por redução (mostrar que duas famílias de funções alcançáveis coincidem, e portanto os mínimos dos respectivos problemas de otimização coincidem) é uma técnica de argumentação que também aparece ao comparar a solução de uma regressão Ridge com \(\lambda\to0\) contra a solução de mínimos quadrados ordinários.

Resposta

Resposta — não linearidade rasa não basta

• ✔ Exatamente a ressalva do DLFC citada no bloco — arquitetura rasa, mesmo não linear, ainda encontra o mesmo subespaço de PCA; é preciso profundidade extra para escapar.
• ✔ Com \(M=D\) e \(\mathbf{V}\) invertível, \(\mathbf{W}=\mathbf{V}^{-1}\) dá \(\mathbf{W}\mathbf{V}=I\): toda entrada é reconstruída exatamente.
• ✗ O Teorema garante o mesmo subespaço (mesmo erro), não a mesma base — pela invariância por \(\mathbf{G}\), os pesos podem ser qualquer base desse subespaço (na rede treinada, cosseno \(\approx-0{,}58\) entre eles).
• ✔ Mesma técnica de prova: mostrar equivalência de duas famílias de soluções alcançáveis (ou convergência no limite) para concluir que os mínimos coincidem — usada em vários contextos de otimização em ML.

Voltando à pergunta: não muda — na arquitetura rasa, só a dimensão do gargalo importa, não a não linearidade da ativação; é precisamente por isso que a Aula 7 precisa de mais do que só trocar a ativação.

PCA Como Gaussiana de Posto Reduzido (PPCA)

Uma Gaussiana com Poucas Direções

• Descrever os pacientes por \(\mathcal{N}(\bar{\mathbf{x}},\mathbf{C})\). Com \(\mathbf{C}\) livre: \(\mathbf{C}=\mathbf{S}\), \(D(D+1)/2=465\) números.
• Mecanismo II: quase toda a variância está em poucas direções. Por que não uma covariância de posto reduzido?

• Posto \(M\) puro é singular: Gaussiana achatada num plano, densidade zero fora dele. Solução: somar ruído igual em todas as direções. \[ \mathbf{C}=\underbrace{\mathbf{W}\mathbf{W}^T}_{\text{posto }M}+\underbrace{\sigma^2\mathbf{I}}_{\text{ruído isotrópico}} \]

O Modelo Gerador da PPCA

Nota

Definição (PRML §12.2): \(\mathbf{z}\sim\mathcal{N}(\mathbf{0},\mathbf{I}_M)\), \(\ \mathbf{x}=\mathbf{W}\mathbf{z}+\boldsymbol\mu+\boldsymbol\epsilon\), \(\ \boldsymbol\epsilon\sim\mathcal{N}(\mathbf{0},\sigma^2\mathbf{I}_D)\).

• É o decodificador do autoencoder, com distribuição para o código e ruído em torno do plano.
• \(\mathrm{cov}[\mathbf{x}]=\mathbf{W}\mathbf{W}^T+\sigma^2\mathbf{I}\) — a Gaussiana de posto reduzido (PRML eq. 12.36).
• GMM (Aula 4): latente categórica escolhe uma Gaussiana. Aqui: latente contínua desliza ao longo de um plano.

O Modelo em Diagrama

O Que o Ajuste Encontra

Máxima verossimilhança (Tipping & Bishop, 1999; PRML eq. 12.45–12.46): colunas de \(\mathbf{W}\) nos \(M\) primeiros componentes principais, e \[ \mathbf{C}_{\mathrm{ML}}=\sum_{i=1}^{M}\lambda_i\,\mathbf{u}_i\mathbf{u}_i^T+\sigma^2_{\mathrm{ML}}\sum_{i=M+1}^{D}\mathbf{u}_i\mathbf{u}_i^T, \qquad \sigma^2_{\mathrm{ML}}=\frac{1}{D-M}\sum_{i>M}\lambda_i . \]

Importante

Compare com \(\mathbf{S}=\sum_i\lambda_i\mathbf{u}_i\mathbf{u}_i^T\): a Gaussiana copia \(\mathbf{S}\) nas \(M\) direções principais e achata as outras na média.

• Breast Cancer Wisconsin, \(M=2\): \(60\) números em vez de \(465\).

O Espectro de \(\mathbf{S}\) e o de \(\mathbf{C}_{\mathrm{ML}}\)

Sem Ruído, Sobra a PCA

• \(\sigma^2\to0\): \(\mathbf{C}\to\sum_{i\le M}\lambda_i\mathbf{u}_i\mathbf{u}_i^T\) — Gaussiana de posto exatamente \(M\), toda a massa no subespaço principal.
• \(\mathbb{E}[\mathbf{z}\mid\mathbf{x}]\) vira a projeção ortogonal (PRML eq. 12.48–12.50): Mecanismos I e II.

Importante

PCA \(=\) ajuste de uma Gaussiana de posto reduzido. PPCA \(=\) o mesmo, com ruído para o que sobra fora do plano. Problema-Fio: \(\sigma^2_{\mathrm{ML}}=\lambda_2=0{,}21\), o erro da reta a \(45°\).

Pergunta

Se a distribuição condicional da PPCA usasse covariância geral em vez de isotrópica, o limite σ²→0 ainda recuperaria a PCA do mesmo jeito?

Pense no papel específico que \(\sigma^2\) (um único escalar) desempenha na demonstração do limite — o argumento depende de haver só um parâmetro de ruído a levar a zero?

• □ Se a distribuição condicional \(p(\mathbf{x}\mid\mathbf{z})\) usasse uma covariância geral \(\boldsymbol\Sigma\) em vez de isotrópica \(\sigma^2\mathbf{I}\), o modelo deixaria de ser equivalente à PCA clássica mesmo no limite, porque a própria formulação perderia esse parâmetro único a ser levado a zero.
• □ No caso-limite \(\sigma^2\to0\), a covariância marginal \(\mathbf{C}=\mathbf{WW}^T+\sigma^2\mathbf{I}\) se reduz a uma matriz singular (não invertível) quando \(M<D\).
• □ Como a PPCA é um modelo probabilístico e a PCA clássica não é, a PPCA é sempre estritamente mais informativa que a PCA clássica, nunca produzindo exatamente o mesmo resultado.
• □ A mesma estrutura de modelo latente linear-Gaussiano da PPCA (variável latente contínua com prior Gaussiano, observação linear mais ruído Gaussiano) é também a base da Análise Fatorial (Factor Analysis), usada em psicometria para inferir traços latentes a partir de respostas de questionários.

Resposta

Resposta — o papel específico de \(\sigma^2\) isotrópico

• ✔ Com \(\boldsymbol\Sigma\) geral (não isotrópica), não há um único escalar de ruído a levar a zero — o argumento do limite \(\sigma^2\to0\) perde a variável que precisa desaparecer; o modelo vira algo mais próximo de Análise Fatorial, com comportamento limite diferente.
• ✔ \(\mathbf{WW}^T\) tem posto no máximo \(M<D\) — no limite, \(\mathbf{C}\to\mathbf{WW}^T\), singular por construção.
• ✗ Pelo contrário: o bloco da PPCA mostrou que ela recupera exatamente a PCA clássica no limite \(\sigma^2\to0\) — “sempre mais informativa, nunca igual” contradiz esse resultado central.
• ✔ PRML observa essa conexão explicitamente — PPCA é um caso particular/restrito de Análise Fatorial, mesma estrutura de variável latente linear-Gaussiana.

Voltando à pergunta: não do mesmo jeito — o argumento depende crucialmente de \(\sigma^2\) ser um único escalar isotrópico; sem essa estrutura específica, o limite “sem ruído” não tem o mesmo significado.

Síntese, Fechamento e Ponte para a Aula 7

Síntese: Um Subespaço, Quatro Ângulos

Neural (autoencoder linear: código \(=\) coordenadas num plano) \(\leftrightarrow\) algébrico (mínimo erro) \(\leftrightarrow\) geométrico (máxima variância, via Pitágoras) \(\leftrightarrow\) probabilístico (PPCA, MLE, \(\sigma^2\to0\)).

Nota

Não são quatro técnicas que “coincidem por acaso” — são quatro formalizações da mesma pergunta, cada uma revelando algo a mais (algoritmo direto; história geradora + incerteza; ponte para redes neurais).

O Que Fica em Aberto

Toda a aula assumiu estrutura linear (subespaço plano). Numa variedade curva, as quatro ferramentas concordam entre si, mas nenhuma captura a estrutura real — limitação da classe de soluções, não de uma técnica isolada.

Retomando as Quatro Perguntas

1. Espaço latente \(=\) coordenadas num plano \(M\)-dim; dados fixam o plano, não os eixos (\(\mathbf{G}\)). Autoencoder linear aprende o subespaço de PCA (redução).

2. Minimizar erro de reconstrução \(=\) maximizar variância retida (Pitágoras) \(\to\) decomposição espectral de \(\mathbf{S}\), eixos canônicos.

3. PPCA: modelo gerador linear-Gaussiano; MLE recupera PCA clássica em \(\sigma^2\to0\).

4. Limitação comum: só estrutura linear.

Ponte para a Aula 7

Deep Autoencoder (camadas não lineares) + Variational Autoencoder (VAE): mesma variável latente \(\mathbf{z}\), relação não linear com \(\mathbf{x}\); posterior deixa de ter forma fechada \(\Rightarrow\) volta o ELBO da Aula 5, com \(q\) aproximado por rede neural (reparameterization trick).

Exercícios Soluções