Aula 6: O Mundo Linear — PCA, PPCA e Autoencoders Lineares

Aprendizado Não Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-13

Revisão e Introdução

Da Aula 5: O Que Já Temos

KL: \(\mathrm{KL}(q\|p)\ge0\). Decomposição geral: \(\ln p(\mathbf{X})=\mathcal{L}(q)+\mathrm{KL}(q\|p(\mathbf{H}\mid\mathbf{X}))\) — o ELBO \(\mathcal{L}(q)\) é sempre cota inferior calculável.

EM clássico (Aula 4) = \(\theta\) fora do tratamento, ponto fixo, sem priori \(\Rightarrow\) ELBO no ótimo colapsa à verossimilhança no melhor ponto, sem penalidade de complexidade.

Nota

\(\theta\) dentro, com priori de verdade \(\Rightarrow\) Navalha de Occam via KL — mas troca “escolher \(K\)” por “calibrar hiperparâmetros de priori” (mesmo dilema no K-Means, no DBSCAN).

Sem via analítica sempre disponível: validação empírica (Silhueta/Davies-Bouldin, verossimilhança preditiva, Posterior Predictive Checks).

Nota

Em toda essa trajetória (Aulas 3–5), a variável não observada \(z_n\) foi sempre categórica: “de qual das \(K\) populações?”

Ideia Central

Breast Cancer Wisconsin: \(30\) atributos — impossível visualizar diretamente. Até aqui: ignorada (só \(2\) atributos à mão) ou combatida (maldição da dimensionalidade, Aula 2).

Nova pergunta: não “de qual população veio?” (categórica), mas “que posição, em dimensão \(M\ll D\), resume este paciente?” — variável latente contínua \(\mathbf{z}\in\mathbb{R}^M\).

Roteiro da Aula

1. “Resumir sem perder o que importa”: PCA responde de duas formas equivalentes — quais, por que coincidem?

2. Existe versão probabilística (estilo GMM, mas \(z\) contínuo, linear-Gaussiano)? O que ela revela?

3. Um autoencoder raso (rede neural) resolve outro problema, ou é a mesma coisa disfarçada?

4. Essas três ferramentas têm alguma limitação em comum?

Problema Motivador

Sem fórmula ainda: escolha \(2\) atributos padronizados do Breast Cancer Wisconsin. Se só pudesse guardar uma direção de projeção por paciente, qual escolheria — e por quê essa e não outra?

Pergunta

Trocar a variável latente categórica (GMM) por uma contínua muda o tipo de problema que se resolve, ou é só uma variação técnica?

Pense no tipo de resposta que cada variável latente permite: um rótulo entre \(K\) opções, ou uma posição contínua num espaço de \(M\) dimensões.

□ Se, em vez de projetar sobre uma direção contínua, fôssemos obrigados a agrupar cada paciente numa de \(K\) categorias fixas (como nas Aulas 3–5), estaríamos resolvendo o mesmo problema de redução de dimensionalidade, só que com uma variável latente discreta em vez de contínua.
□ No caso-limite em que \(M=D\) (nenhuma redução de dimensionalidade de fato), a “melhor” direção de projeção deixa de ser um problema bem definido, pois qualquer base ortonormal do espaço original serviria igualmente.
□ Como a Aula 5 já provou que a decomposição \(\mathcal{L}(q)+\mathrm{KL}(q\|p)\) não assume nada sobre a natureza de \(\mathbf{Z}\), o ELBO (e não a PCA) é a ferramenta certa para resumir os \(30\) atributos do Breast Cancer Wisconsin em \(2\) números.
□ O mesmo problema de “resumir muitos atributos em poucos números que preservem o que importa” aparece ao comprimir os pesos de uma camada de rede neural totalmente conectada por meio de uma fatoração de baixo posto (low-rank factorization), antes mesmo de qualquer treinamento supervisionado.

Resposta

Resposta — mudança de eixo, não só de método

✔ Uma partição em \(K\) categorias fixas É uma forma (bem mais grosseira) de redução de dimensionalidade — um rótulo entre \(K\) opções também resume o ponto, só que com uma variável latente discreta.
✔ Com \(M=D\), todo ponto é reconstruído exatamente por qualquer base completa (eq. 12.9 do PRML) — a distorção é \(0\) para qualquer escolha de base, tornando a otimização degenerada (múltiplas soluções igualmente ótimas).
✗ A decomposição do ELBO é geral, mas isso não torna o ELBO a ferramenta “certa” por padrão — para uma estrutura puramente linear, a PCA (decomposição espectral fechada, sem otimização iterativa) é a ferramenta mais direta; o ELBO entra quando a posterior não é calculável em forma fechada.
✔ Fatoração de baixo posto de uma matriz de pesos é exatamente o mesmo problema de “poucos números que preservam o que importa”, aplicado a parâmetros de rede em vez de dados.

Voltando à pergunta: muda o tipo de pergunta (rótulo discreto vs. posição contínua), mas a lógica de fundo — resumir sem perder o que importa — é a mesma. O resto da aula formaliza “o que importa”.

Problema-Fio: Qual Direção Resume Melhor?

Duas Direções Candidatas

Mesmo par padronizado (radius_worst, concave points_worst). Duas direções candidatas para resumir num único número: o eixo bruto de radius_worst, ou a diagonal a \(45°\).

Qual Direção “Resume Melhor”?

Eixo bruto (radius_worst): variância \(=1{,}00\). Direção a \(45°\): variância \(=1{,}79\) — quase o dobro.

Nota

“Resumir melhor” = maximizar a variância da projeção. A direção a \(45°\) não foi escolhida à mão — é o autovetor de maior autovalor da covariância, provado no Bloco 3.

Mecanismo I: Formulação de Máxima Variância

Premissas e a Variância Projetada

\(\{\mathbf{x}_n\}\subset\mathbb{R}^D\); projetar sobre direção unitária \(\mathbf{u}_1\) (\(\mathbf{u}_1^T\mathbf{u}_1=1\)). Variância projetada: \[ \frac1N\sum_n\{\mathbf{u}_1^T\mathbf{x}_n-\mathbf{u}_1^T\bar{\mathbf{x}}\}^2=\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1 \]

\(\mathbf{S}\) é sempre simétrica (\(\mathbf{S}=\mathbf{S}^T\)) e semidefinida positiva (\(\mathbf{v}^T\mathbf{S}\mathbf{v}=\frac1N\sum_n[\mathbf{v}^T(\mathbf{x}_n-\bar{\mathbf{x}})]^2\ge0\)).

Maximizar Sob Restrição \(\to\) Autovetores

Sem restrição, \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1\) não tem máximo finito (escalar \(\mathbf{u}_1\) aumenta sem limite). Lagrange: \[ \mathbf{u}_1^T\mathbf{S}\mathbf{u}_1+\lambda_1(1-\mathbf{u}_1^T\mathbf{u}_1) \]

Derivada \(=0\): \(\mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1\) — \(\mathbf{u}_1\) é autovetor de \(\mathbf{S}\); pré-multiplicando por \(\mathbf{u}_1^T\): variância \(=\lambda_1\) no ótimo.

Importante

\(\mathbf{S}\) simétrica \(\Rightarrow\) autovalores reais, autovetores ortogonais (Teorema Espectral). Máximo quando \(\mathbf{u}_1\) = autovetor do maior autovalor.

Teorema e Generalização a \(M\) Componentes

Nota

Teorema (PCA, máxima variância): o subespaço de dimensão \(M\) que maximiza a variância projetada total é gerado pelos \(M\) autovetores de \(\mathbf{S}\) com os \(M\) maiores autovalores.

Prova por indução: com \(\mathbf{u}_1,\dots,\mathbf{u}_{M-1}\) já fixados, maximizar entre as direções ortogonais a elas ainda exige \(\mathbf{S}\mathbf{u}_M=\lambda_M\mathbf{u}_M\); entre os autovetores restantes, o de maior autovalor vence. \(\blacksquare\)

PCA no Breast Cancer Wisconsin (\(D=30\))

Aviso

np.linalg.eigh devolve autovalores em ordem ascendente — reordenar explicitamente, ou “o primeiro componente” vira silenciosamente o autovetor de menor variância.

Os Autovalores do Breast Cancer Wisconsin

\(\lambda_1=13{,}2816\) (\(44{,}27\%\)), \(\lambda_2=5{,}6914\) (\(18{,}97\%\)) — juntos, \(63{,}24\%\) da variância total de \(30\) atributos, em só \(2\) números, sem usar diagnosis.

Pergunta

O multiplicador de Lagrange \(\lambda_1\) é só um artifício técnico da restrição, ou carrega significado próprio?

Releia o Passo 3: o que \(\lambda_1\) passa a representar depois de pré-multiplicar a equação por \(\mathbf{u}_1^T\)?

□ Se, em vez de maximizar \(\mathbf{u}^T\mathbf{S}\mathbf{u}\) sujeito a \(\mathbf{u}^T\mathbf{u}=1\), minimizássemos essa mesma quantidade sob a mesma restrição, a solução ótima seria o autovetor de menor autovalor de \(\mathbf{S}\), não o de maior.
□ No caso-limite em que \(\mathbf{S}\) é a matriz identidade (todos os atributos com mesma variância, sem correlação entre eles), todo autovalor é igual, e qualquer direção unitária \(\mathbf{u}\) produz exatamente a mesma variância projetada.
□ Como o multiplicador de Lagrange \(\lambda_1\) aparece na equação \(\mathbf{S}\mathbf{u}_1=\lambda_1\mathbf{u}_1\) só para impor a restrição \(\mathbf{u}_1^T\mathbf{u}_1=1\), seu valor numérico não tem nenhum significado interpretável além de ser parte da mecânica da otimização.
□ A mesma equação de autovalores \(\mathbf{S}\mathbf{u}=\lambda \mathbf{u}\) que define as direções principais da PCA também aparece na análise espectral da matriz do Laplaciano de um grafo, usada em métodos de clustering espectral.

Resposta

Resposta — o significado de \(\lambda_1\)

✔ Inverter para minimização inverte a direção da desigualdade de Lagrange, favorecendo o menor autovalor — a mesma mecânica, sentido oposto.
✔ Com \(\mathbf{S}=I\), \(\mathbf{u}^TI\mathbf{u}=\|\mathbf{u}\|^2=1\) para qualquer \(\mathbf{u}\) unitário — nenhuma direção é preferível.
✗ Pelo contrário: \(\mathbf{u}_1^T\mathbf{S}\mathbf{u}_1=\lambda_1\) no ótimo — \(\lambda_1\) é, literalmente, a variância projetada máxima, um número com significado direto, não só mecânico.
✔ Autovalores/autovetores da matriz Laplaciana de um grafo são exatamente a base do clustering espectral — mesma estrutura matemática, outro domínio de aplicação dentro de ML.

Voltando à pergunta: carrega significado pleno — \(\lambda_1\) é exatamente a variância que sobra depois de projetar na melhor direção possível.

Mecanismo II: Formulação de Erro Mínimo, e Sua Equivalência com a Anterior

A Segunda Pergunta: Erro de Reconstrução

Base ortonormal completa \(\{\mathbf{u}_i\}\); \(\tilde{\mathbf{x}}_n=\sum_{i\le M}z_{ni}\mathbf{u}_i+\sum_{i>M}b_i \mathbf{u}_i\). Minimizar \(J=\frac1N\sum_n\|\mathbf{x}_n- \tilde{\mathbf{x}}_n\|^2\).

Otimizando \(z_{ni}\), \(b_i\) e a Distorção Resultante

Ótimo: \(z_{nj}=\mathbf{x}_n^T\mathbf{u}_j\), \(b_j=\bar{\mathbf{x}}^T \mathbf{u}_j\) — erro sempre ortogonal ao subespaço de projeção (nunca oblíquo).

Substituindo: \(J=\sum_{i=M+1}^D\mathbf{u}_i^T\mathbf{S}\mathbf{u}_i\) — só função dos \(\mathbf{u}_i\) descartados.

Importante

Minimizar sob ortonormalidade \(\to\mathbf{S}\mathbf{u}_i=\lambda_i \mathbf{u}_i\) de novo; \(J^\star=\sum_{i=M+1}^D\lambda_i\) — minimizado descartando os menores autovalores.

Teorema e o Argumento de Pitágoras

Nota

Teorema (PCA, erro mínimo): o mesmo subespaço principal minimiza \(J\); \(J^\star=\sum_{i=M+1}^D\lambda_i\).

Por que as duas formulações concordam: \[ \|\mathbf{x}_n-\bar{\mathbf{x}}\|^2 = \underbrace{\textstyle\sum_i z_{ni}^2}_{\text{retido}} + \underbrace{\|\mathbf{x}_n-\tilde{\mathbf{x}}_n\|^2}_{\text{erro}} \]

Nota

Variância total (\(\mathrm{tr}(\mathbf{S})\)) é fixa. Maximizar variância retida = minimizar erro — o mesmo problema, dois nomes, não duas coincidências.

O Que Emerge Sem Rótulo Nenhum

Rótulo diagnosis nunca entrou no ajuste — só os \(30\) atributos. Colorido só para avaliar: um limiar em \(z_1\) já classifica \(92{,}1\%\) corretamente.

Nota

Mesmo padrão das Aulas 3–4 (HDBSCAN, GMM): estrutura clínica real deixa marca estatística forte o bastante para emergir de um critério puramente geométrico.

Pergunta

A alta acurácia obtida (92,1%) sem usar o rótulo prova que a PCA “sabia” sobre o diagnóstico durante o ajuste?

Releia com cuidado onde diagnosis entrou nos cálculos do Bloco 3/4 — em algum passo da decomposição espectral, ou só depois, para colorir o gráfico?

□ Se a matriz de covariância \(\mathbf{S}\) não fosse simétrica (hipoteticamente), a equivalência entre a formulação de máxima variância e a de mínimo erro deixaria de valer, pois ambas as provas dependem de \(\mathbf{S}\) ter autovetores ortogonais entre si.
□ No caso-limite \(M=1\), a formulação de erro mínimo e a de máxima variância produzem, sozinhas, exatamente a mesma direção \(\mathbf{u}_1\) — mas para \(M\ge2\) não há garantia de que ambas encontrem o mesmo subespaço.
□ Como a acurácia de \(92{,}1\%\) obtida usando só o primeiro componente principal para separar benigno/maligno é alta, isso prova que a PCA “sabia” sobre o rótulo diagnosis durante o ajuste.
□ A mesma lógica de comprimir dados numa direção de máxima variância, preservando estrutura discriminativa por acidente (sem usar rótulos), é o que torna embeddings pré-treinados de auto-supervisão úteis depois para tarefas de classificação supervisionada.

Resposta

Resposta — a PCA não viu o rótulo em nenhum momento

✔ A prova de ambos os Teoremas depende do Teorema Espectral (autovetores ortogonais de matriz simétrica) — sem simetria de \(\mathbf{S}\), o argumento de Lagrange não garante mais ortogonalidade entre os \(\mathbf{u}_i\).
✗ O Teorema do Bloco 4 é geral para qualquer \(M<D\), não só \(M=1\) — as duas formulações concordam para todo \(M\), prova por indução do Bloco 3 incluída.
✗ A PCA usou só os \(30\) atributos — diagnosis só entrou depois, para colorir o gráfico e avaliar; a separação é um achado real, não um vazamento de rótulo.
✔ Exatamente o argumento por trás de embeddings auto-supervisionados: otimizar um critério sem rótulo (aqui, variância; noutros métodos, reconstrução ou contraste) pode preservar estrutura útil para classificação depois.

Voltando à pergunta: não — a PCA nunca viu diagnosis. A separação é um achado genuíno de que a variação biológica entre tumores benignos e malignos domina boa parte da variância total dos \(30\) atributos.

Diagnóstico Teórico: PCA Probabilística (PPCA)

O Modelo Gerador da PPCA

Comparando com o GMM (Aula 4): \(z_n\) era 1-de-\(K\) (categórica); aqui, \(\mathbf{z}\in\mathbb{R}^M\) é contínua.

Nota

Definição (PPCA): \(p(\mathbf{z})=\mathcal{N}(\mathbf{0},I)\); \(p(\mathbf{x}\mid\mathbf{z})=\mathcal{N}(\mathbf{Wz}+\boldsymbol\mu, \sigma^2I)\) — equivalente a \(\mathbf{x}=\mathbf{Wz}+\boldsymbol\mu+ \boldsymbol\epsilon\).

A Marginal \(p(\mathbf{x})\) é Gaussiana

\[ p(\mathbf{x})=\mathcal{N}(\mathbf{x}\mid\boldsymbol\mu,\mathbf{C}),\qquad \mathbf{C}=\mathbf{WW}^T+\sigma^2I \] (\(\mathbf{z}\), \(\boldsymbol\epsilon\) independentes, \(\mathbb{E}[\mathbf{zz}^T]=I\)).

Nota

Sem variável latente: \(D(D+1)/2\) parâmetros livres em \(\mathbf{C}\). Com PPCA: \(\mathbf{C}\) restrita à forma \(\mathbf{WW}^T+\sigma^2I\) — muito menos parâmetros quando \(M\ll D\).

Ajuste por Máxima Verossimilhança

Nota

Teorema (Tipping & Bishop, 1999; PRML eq. 12.45–12.46): \[ \mathbf{W}_{\mathrm{ML}}=\mathbf{U}_M(\mathbf{L}_M-\sigma^2I)^{1/2}\mathbf{R},\qquad \sigma^2_{\mathrm{ML}}=\frac{1}{D-M}\sum_{i=M+1}^D\lambda_i \] Máximo atingido com os \(M\) maiores autovalores.

\(\mathbf{R}\) (ortogonal, \(M\times M\)) é invariância rotacional: \(\mathbf{WRR}^T\mathbf{W}^T=\mathbf{WW}^T\) — mesma densidade preditiva, qualquer \(\mathbf{R}\). Análogo contínuo do label switching do GMM.

Verificação e o Caso-Limite \(\sigma^2\to0\)

\(\sigma^2_{\mathrm{ML}}=0{,}39382\) = média dos \(28\) autovalores descartados, confirmado. \(\mathbf{u}_1^T\mathbf{Cu}_1=\lambda_1\); \(\mathbf{v}^T\mathbf{Cv}=\sigma^2_{\mathrm{ML}}\) p/ direção descartada — eq. 12.36 verificada.

Importante

\(\sigma^2\to0\): posterior média \(\to(\mathbf{W}^T\mathbf{W})^{-1}\mathbf{W}^T(\mathbf{x}-\bar{\mathbf{x}})\) — projeção ortogonal, PCA clássica exatamente recuperada.

PCA clássica = PPCA sem ruído; PPCA com \(\sigma^2>0\) modela honestamente a variância real fora do subespaço, não é “pior” versão.

Pergunta

Se a distribuição condicional da PPCA usasse covariância geral em vez de isotrópica, o limite σ²→0 ainda recuperaria a PCA do mesmo jeito?

Pense no papel específico que \(\sigma^2\) (um único escalar) desempenha na demonstração do limite — o argumento depende de haver só um parâmetro de ruído a levar a zero?

□ Se a distribuição condicional \(p(\mathbf{x}\mid\mathbf{z})\) usasse uma covariância geral \(\boldsymbol\Sigma\) em vez de isotrópica \(\sigma^2\mathbf{I}\), o modelo deixaria de ser equivalente à PCA clássica mesmo no limite, porque a própria formulação perderia esse parâmetro único a ser levado a zero.
□ No caso-limite \(\sigma^2\to0\), a covariância marginal \(\mathbf{C}=\mathbf{WW}^T+\sigma^2\mathbf{I}\) se reduz a uma matriz singular (não invertível) quando \(M<D\).
□ Como a PPCA é um modelo probabilístico e a PCA clássica não é, a PPCA é sempre estritamente mais informativa que a PCA clássica, nunca produzindo exatamente o mesmo resultado.
□ A mesma estrutura de modelo latente linear-Gaussiano da PPCA (variável latente contínua com prior Gaussiano, observação linear mais ruído Gaussiano) é também a base da Análise Fatorial (Factor Analysis), usada em psicometria para inferir traços latentes a partir de respostas de questionários.

Resposta

Resposta — o papel específico de \(\sigma^2\) isotrópico

✔ Com \(\boldsymbol\Sigma\) geral (não isotrópica), não há um único escalar de ruído a levar a zero — o argumento do limite (Bloco 5) perde a variável que precisa desaparecer; o modelo vira algo mais próximo de Análise Fatorial, com comportamento limite diferente.
✔ \(\mathbf{WW}^T\) tem posto no máximo \(M<D\) — no limite, \(\mathbf{C}\to\mathbf{WW}^T\), singular por construção.
✗ Pelo contrário: o Bloco 5 mostrou que a PPCA recupera exatamente a PCA clássica no limite \(\sigma^2\to0\) — “sempre mais informativa, nunca igual” contradiz esse resultado central.
✔ PRML observa essa conexão explicitamente — PPCA é um caso particular/restrito de Análise Fatorial, mesma estrutura de variável latente linear-Gaussiana.

Voltando à pergunta: não do mesmo jeito — o argumento depende crucialmente de \(\sigma^2\) ser um único escalar isotrópico; sem essa estrutura específica, o limite “sem ruído” não tem o mesmo significado.

O Autoencoder Linear Compartilha o Mesmo Subespaço

O Autoencoder: Definição

Nota

Definição (DLFC §19.1.1): rede \(D\)-\(M\)-\(D\), alvo \(\mathbf{y}(\mathbf{x}_n,\mathbf{w})\approx\mathbf{x}_n\), \[ E(\mathbf{w})=\tfrac12\sum_n\|\mathbf{y}(\mathbf{x}_n,\mathbf{w})-\mathbf{x}_n\|^2. \]

Teorema: Ativação Linear \(\Rightarrow\) Subespaço de PCA

Nota

Teorema (Bourlard & Kamp 1988; Baldi & Hornik 1989): com ativação linear, \(E(\mathbf{w})\) tem mínimo global único (a menos de rotação), realizando a projeção sobre o subespaço de PCA de dimensão \(M\). Pesos não precisam ser ortogonais/normalizados.

A Prova: Redução ao Bloco 4

Ativação linear, sem viés: codificador+decodificador = transformação linear \(\mathbf{x}\mapsto\mathbf{Ax}\), \(\mathrm{posto}(\mathbf{A})\le M\) — e toda matriz de posto \(\le M\) é alcançável (fatorar \(\mathbf{A}=\mathbf{A}_2\mathbf{A}_1\)).

Importante

Minimizar \(E(\mathbf{w})\) sobre matrizes de posto \(\le M\) é o mesmo problema \(J\) do Bloco 4 — mínimo já conhecido: projeção ortogonal sobre o subespaço principal.

Projeção sobre um subespaço admite infinitas bases (ortonormais ou não) — daí os pesos do autoencoder não precisarem ser ortogonais/normalizados.

Verificação Numérica

Erro de reconstrução: PCA ótima \(=0{,}367568\); autoencoder linear treinado por gradiente \(=0{,}367575\) — coincidência a \(5\) algarismos significativos.

Subespaço aprendido (cossenos dos ângulos principais): \(\approx0{,}98\)/\(\approx0{,}93\) — próximo de \(1\), não exato. Não contradiz o Teorema: pesos não precisam ser base ortonormal alinhada; desvio vem da convergência finita do otimizador, não de falha teórica.

Nota

Ressalva do DLFC: trocar só a ativação por não linear, na mesma arquitetura rasa, ainda dá o mesmo subespaço de PCA — só arquiteturas mais profundas escapam da limitação linear (Aula 7).

Pergunta

Se as unidades ocultas usassem ativação não linear, o mínimo global mudaria de subespaço?

Releia a ressalva do DLFC citada no bloco — ela distingue arquitetura rasa de arquitetura profunda.

□ Se as unidades ocultas do autoencoder raso (mesma arquitetura \(D\)-\(M\)-\(D\), uma única camada oculta) usassem uma função de ativação não linear em vez de linear, o mínimo global do erro de reconstrução ainda corresponderia ao mesmo subespaço de PCA.
□ No caso-limite em que \(M=D\) (a camada oculta tem o mesmo número de unidades que a entrada), o erro de reconstrução mínimo é exatamente zero, para qualquer conjunto de pesos que forme uma base do espaço completo.
□ Como o autoencoder linear e a PCA resolvem exatamente o mesmo problema de otimização, os vetores de peso aprendidos pelo autoencoder devem necessariamente ser ortonormais entre si, assim como os autovetores da PCA.
□ A mesma prova por redução (mostrar que duas famílias de funções alcançáveis coincidem, e portanto os mínimos dos respectivos problemas de otimização coincidem) é uma técnica de argumentação que também aparece ao comparar a solução de uma regressão Ridge com \(\lambda\to0\) contra a solução de mínimos quadrados ordinários.

Resposta

Resposta — não linearidade rasa não basta

✔ Exatamente a ressalva do DLFC citada no bloco — arquitetura rasa, mesmo não linear, ainda encontra o mesmo subespaço de PCA; é preciso profundidade extra para escapar.
✔ Com \(M=D\), qualquer base completa reconstrói exatamente (mesmo argumento do \(M=D\) da PCA clássica, Bloco 3).
✗ O Teorema garante o mesmo subespaço (mesmo erro), não a mesma base — os pesos podem ser qualquer base desse subespaço, não precisando ser ortonormais (confirmado na verificação numérica).
✔ Mesma técnica de prova: mostrar equivalência de duas famílias de soluções alcançáveis (ou convergência no limite) para concluir que os mínimos coincidem — usada em vários contextos de otimização em ML.

Voltando à pergunta: não muda — na arquitetura rasa, só a dimensão do gargalo importa, não a não linearidade da ativação; é precisamente por isso que a Aula 7 precisa de mais do que só trocar a ativação.

Síntese, Fechamento e Ponte para a Aula 7

Síntese: Um Subespaço, Quatro Ângulos

Geométrico (máxima variância) \(\leftrightarrow\) algébrico (mínimo erro, via Pitágoras) \(\leftrightarrow\) probabilístico (PPCA, MLE, \(\sigma^2\to0\)) \(\leftrightarrow\) neural (autoencoder linear, mesmo mínimo por redução).

Nota

Não são quatro técnicas que “coincidem por acaso” — são quatro formalizações da mesma pergunta, cada uma revelando algo a mais (algoritmo direto; história geradora + incerteza; ponte para redes neurais).

O Que Fica em Aberto

Toda a aula assumiu estrutura linear (subespaço plano). Numa variedade curva, as quatro ferramentas concordam entre si, mas nenhuma captura a estrutura real — limitação da classe de soluções, não de uma técnica isolada.

Retomando as Quatro Perguntas

1. Maximizar variância projetada = minimizar erro de reconstrução (Pitágoras) \(\to\) decomposição espectral de \(\mathbf{S}\).

2. PPCA: modelo gerador linear-Gaussiano; MLE recupera PCA clássica em \(\sigma^2\to0\).

3. Autoencoder linear = mesmo problema, provado por redução — mesmo subespaço, mínimo global.

4. Limitação comum: só estrutura linear.

Ponte para a Aula 7

Deep Autoencoder (camadas não lineares) + Variational Autoencoder (VAE): mesma variável latente \(\mathbf{z}\), relação não linear com \(\mathbf{x}\); posterior deixa de ter forma fechada \(\Rightarrow\) volta o ELBO da Aula 5, com \(q\) aproximado por rede neural (reparameterization trick).

Exercícios Soluções