Aula 11: Otimização de Segunda Ordem (Método de Newton) e Precondicionamento Diagonal

Otimização e Álgebra Linear para Machine Learning

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-23

Revisão e Introdução

Da Aula 10: O Que Já Temos

Conquistas da Aula 10:

O SGD e o Mini-Batching resolveram o gargalo de memória e tempo em Big Data.
O mini-batch \(B\) reduz a variância por \(\sigma^2/B\) e satura GPUs.
As condições de Robbins-Monro asseguram convergência assintótica.

A Limitação que Restou:

O SGD adota uma taxa de aprendizado escalar única \(\alpha\) para todos os parâmetros: \[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \mathbf{g}_k\]
Em paisagens anisotrópicas (\(\kappa = \lambda_{\max}/\lambda_{\min} \gg 1\)), coordenadas diferentes exigem passos de escalas totalmente distintas!

Ideia Central: Curvatura e Escala

O Gradiente (\(\nabla f\)) é de 1ª ordem: aponta para onde a função sobe, mas desconhece a curvatura do terreno.

A Hessiana (\(\nabla^2 f\)) é de 2ª ordem: mede a abertura e a rotação da bacia elíptica em cada direção.

A Pergunta Central

Se conhecêssemos a curvatura local exata, qual seria o passo ideal? E quando esse passo for computacionalmente proibitivo (\(\mathcal{O}(d^3)\)), como aproximá-lo em tempo linear \(\mathcal{O}(d)\)?

Roteiro da Aula

O Modelo Quadrático: Dedução analítica de Newton via Série de Taylor e invariância afim.
Patologias de Newton em ML: Custo cúbico \(\mathcal{O}(d^3)\), memória quadrática \(\mathcal{O}(d^2)\) e colapso em pontos de sela.
Precondicionamento Diagonal: Mudança métrica de coordenadas e desacoplamento linear \(\mathcal{O}(d)\).
AdaGrad e RMSProp: Acúmulo histórico de derivadas e médias móveis exponenciais (EMA).

Problema Motivador: California Housing

Dados Brutos sem Padronização:

MedInc varia em escalas de dezenas.
AveBedrms varia em frações unitárias.
Hessiana empírica: \[\lambda_{\max} \approx 6.300, \quad \lambda_{\min} \approx 0{,}27\] \[\kappa \approx 23.460{,}5\]

O Dilema do Gradiente:

Teto de estabilidade: \(\alpha < \frac{2}{\lambda_{\max}} \approx 0{,}0003\).
Contração na direção suave: \[\rho = 1 - \alpha \lambda_{\min} \approx 0{,}99991\]
Reduzir o resíduo à metade exige mais de 7.700 iterações de descida em lote!

A Limitação do Passo Escalar Único

O Dilema da Taxa Global

Suponha uma função quadrática \(f(w_1, w_2) = \frac{1}{2}(1000 w_1^2 + w_2^2)\). O que acontece ao aplicar Gradiente Descendente com passo escalar único \(\alpha\)? Qual é o valor máximo de \(\alpha\) para evitar divergência em \(w_1\)? Sob esse \(\alpha\), quantas iterações são necessárias para reduzir o erro em \(w_2\) por um fator de 10?

Diagnóstico de Condicionamento

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Em uma superfície com número de condição \(\kappa = 1000\), o maior autovalor da Hessiana impõe o teto da taxa de aprendizado admissível (\(\alpha < 2/\lambda_{\max}\)).
□ Ao selecionar \(\alpha = 1/\lambda_{\max}\), a coordenada associada a \(\lambda_{\min}\) atinge o valor ótimo em uma única iteração.
□ A padronização de variáveis por escore \(Z\) elimina completamente todas as discrepâncias de curvatura em modelos não-lineares arbitrários.
□ Em modelos com representações esparsas (como one-hot encoding em PLN), atributos raros recebem gradientes nulos na maioria dos passos, de modo que um passo escalar pequeno global retarda excessivamente seu aprendizado.

A Limitação do Passo Escalar Único — Resposta

Diagnóstico de Condicionamento — Resposta

✔ Verdadeiro. A dinâmica espectral de erro \((I - \alpha H)\) diverge se \(|1 - \alpha \lambda_{\max}| \ge 1 \implies \alpha < 2/\lambda_{\max}\).
✗ Falso. Sob \(\alpha = 1/\lambda_{\max}\), a coordenada de \(\lambda_{\min}\) contrai por \(1 - \frac{1}{\kappa} = 0{,}999\), exigindo milhares de passos.
✗ Falso. O \(Z\)-score equaliza apenas as variâncias marginais na entrada; não remove curvaturas cruzadas nem resolve não-linearidades em redes profundas.
✔ Verdadeiro. Gradientes esparsos requerem passos maiores quando ativados, o que é impossível sob uma taxa escalar única atenuada por atributos densos.

Voltando à pergunta: Para \(w_1\), \(\alpha < 2/1000 = 0{,}002\). Com \(\alpha = 0{,}001\), a contração em \(w_2\) é \(1 - 0{,}001 \times 1 = 0{,}999\). Para reduzir o erro em \(10\times\) (\((0{,}999)^k \le 0{,}1\)), são necessárias \(\approx \mathbf{2.301}\) iterações!

Intuição — A Bacia Elíptica e a Lente Métrica

A Lente Métrica de Newton

O Espaço Euclidiano Padrão:

Bacia elíptica altamente alongada (\(\kappa = 100\)).
O gradiente aponta perpendicular às curvas de nível (na direção íngreme transversal).
Resultado: ziguezague severo entre as paredes do vale.

A Correção por Curvatura:

A Hessiana \(H\) mapeia as direções de estiramento do vale.
Multiplicar por \(H^{-1}\) atua como uma lente: “redistribui” as distâncias métricas.
As elipses concêntricas tornam-se esferas concêntricas: o passo aponta diretamente para o minimizador!

Visualização: Deformação Métrica em Bacia Elíptica

Deformação de elipses em círculos sob a lente da Hessiana:

Bloco 1: A Aproximação Quadrática de Taylor e o Método de Newton

Derivação do Passo do Gradiente (Taylor de 1ª Ordem)

1. Expansão de Taylor com Resto de 2ª Ordem: \[f(\mathbf{w}_k + \Delta\mathbf{w}) = f(\mathbf{w}_k) + \nabla f(\mathbf{w}_k)^T \Delta\mathbf{w} + R_1(\Delta\mathbf{w})\]

Resto exato: \(R_1(\Delta\mathbf{w}) = \frac{1}{2}\Delta\mathbf{w}^T \nabla^2 f(\boldsymbol{\xi})\Delta\mathbf{w}\) (sem resto, \(\inf \nabla f^T \Delta\mathbf{w} = -\infty\)).

2. Penalidade Esférica (Lema da Descida, Aula 8): \[R_1(\Delta\mathbf{w}) \approx \frac{1}{2\alpha}\|\Delta\mathbf{w}\|_2^2 \implies m_{\text{GD}}(\Delta\mathbf{w}) = f(\mathbf{w}_k) + \nabla f^T \Delta\mathbf{w} + \frac{1}{2\alpha}\|\Delta\mathbf{w}\|^2\]

3. Passo Ótimo: \[\nabla_{\Delta\mathbf{w}} m_{\text{GD}} = \nabla f(\mathbf{w}_k) + \frac{1}{\alpha}\Delta\mathbf{w} = \mathbf{0} \implies \Delta\mathbf{w}_{\text{GD}} = -\alpha \nabla f(\mathbf{w}_k)\]

O Que Falta no Gradiente Descendente?

O resto de 2ª ordem real: toda a curvatura anisotrópica foi substituída por uma penalidade esférica isotrópica \(\frac{1}{\alpha} I\).

Derivação do Passo de Newton (Taylor de 2ª Ordem)

1. Expansão de 2ª Ordem com Resto de 3ª Ordem: \[f(\mathbf{w}_k + \Delta\mathbf{w}) = \underbrace{f(\mathbf{w}_k) + \nabla f(\mathbf{w}_k)^T \Delta\mathbf{w} + \frac{1}{2} \Delta\mathbf{w}^T H_k \Delta\mathbf{w}}_{q(\Delta\mathbf{w})} + R_2(\Delta\mathbf{w})\]

Newton incorpora a curvatura real \(H_k = \nabla^2 f(\mathbf{w}_k)\); o novo resto é \(R_2 = \mathcal{O}(\|\Delta\mathbf{w}\|^3)\).

2. Minimizando o Modelo Quadrático \(q(\Delta\mathbf{w})\): \[\nabla_{\Delta\mathbf{w}} q(\Delta\mathbf{w}) = \nabla f(\mathbf{w}_k) + H_k \Delta\mathbf{w} = \mathbf{0} \implies \Delta\mathbf{w}_{\text{nt}} = -H_k^{-1} \nabla f(\mathbf{w}_k)\]

O Que Falta no Método de Newton?

O resto de 3ª ordem \(R_2 = \mathcal{O}(\|\Delta\mathbf{w}\|^3)\)!

Se \(f\) for quadrática \(\implies R_2 \equiv 0\) (modelo exato em todo \(\mathbb{R}^d\), 1 passo!).
Se \(f\) for geral \(\implies R_2 \neq 0\) (o passo só é confiável onde \(\|\Delta\mathbf{w}\|^3 \ll \|\Delta\mathbf{w}\|^2\)).

A Regra de Atualização e a Auto-Calibração de Escala

1. Translação pelo Passo Ótimo: \[\mathbf{w}_{k+1} \triangleq \mathbf{w}_k + \Delta\mathbf{w}_{\text{nt}} = \mathbf{w}_k - [\nabla^2 f(\mathbf{w}_k)]^{-1} \nabla f(\mathbf{w}_k)\]

2. Análise Dimensional: Por que Newton Dispensa \(\alpha\)? \[[H_k^{-1} \nabla f] = \underbrace{\frac{[\text{param}]^2}{[\text{perda}]}}_{[H^{-1}]} \times \underbrace{\frac{[\text{perda}]}{[\text{param}]}}_{[\nabla f]} = [\text{param}]\]

O GD precisa de \(\alpha\) para converter inclinação em distância.
Em Newton, \(H^{-1}\) já calcula analiticamente a distância física exata até o fundo da bacia!

Como Surge o Decremento de Newton?

A Pergunta: Quanto o modelo \(q(\Delta\mathbf{w})\) promete que a perda vai diminuir com o passo \(\Delta\mathbf{w}_{\text{nt}} = -H_k^{-1}\mathbf{g}_k\)?

Avaliando o modelo no passo ótimo: \[q(\Delta\mathbf{w}_{\text{nt}}) = f(\mathbf{w}_k) + \mathbf{g}_k^T (-H_k^{-1}\mathbf{g}_k) + \frac{1}{2}(-H_k^{-1}\mathbf{g}_k)^T H_k (-H_k^{-1}\mathbf{g}_k)\] \[= f(\mathbf{w}_k) - \mathbf{g}_k^T H_k^{-1}\mathbf{g}_k + \frac{1}{2}\mathbf{g}_k^T H_k^{-1}\mathbf{g}_k\] \[q(\Delta\mathbf{w}_{\text{nt}}) = f(\mathbf{w}_k) - \frac{1}{2}\mathbf{g}_k^T H_k^{-1}\mathbf{g}_k\]

A Redução Prevista no Custo

\[f(\mathbf{w}_k) - q(\Delta\mathbf{w}_{\text{nt}}) = \frac{1}{2} \mathbf{g}_k^T H_k^{-1} \mathbf{g}_k\] A quantidade \(\mathbf{g}_k^T H_k^{-1} \mathbf{g}_k\) mede o dobro da descida prevista pelo modelo!

O Decremento de Newton: Interpretação e Parada

Definição do Decremento de Newton \(\lambda(\mathbf{w})\): \[\lambda(\mathbf{w}) \triangleq \sqrt{\mathbf{g}^T H^{-1} \mathbf{g}} \implies f(\mathbf{w}) - q(\Delta\mathbf{w}_{\text{nt}}) = \frac{1}{2}\lambda(\mathbf{w})^2\]

Interpretações Geométricas:

Norma do gradiente na métrica da curvatura: \(\lambda(\mathbf{w}) = \|\nabla f(\mathbf{w})\|_{H^{-1}}\).
Comprimento ponderado do passo: \(\|\Delta\mathbf{w}_{\text{nt}}\|_H = \sqrt{\Delta\mathbf{w}^T H \Delta\mathbf{w}} = \lambda(\mathbf{w})\).
Derivada direcional ao longo do passo: \(\nabla f^T \Delta\mathbf{w}_{\text{nt}} = -\lambda(\mathbf{w})^2\).

Critério de Parada Rigoroso

Sob forte convexidade, \(f(\mathbf{w}) - f(\mathbf{w}^\star) \le \frac{1}{2\mu}\lambda(\mathbf{w})^2\). O algoritmo encerra com segurança quando \(\frac{1}{2}\lambda(\mathbf{w})^2 \le \epsilon\).

Invariância Afim de Newton

Mudança Linear de Coordenadas: \(\tilde{\mathbf{w}} = A \mathbf{w}\) (\(A\) inversível), \(\phi(\tilde{\mathbf{w}}) = f(A^{-1}\tilde{\mathbf{w}})\).

Gradiente transformado: \(\nabla \phi = A^{-T} \nabla f\)
Hessiana transformada: \(\nabla^2 \phi = A^{-T} \nabla^2 f A^{-1}\)

O Passo de Newton no Novo Espaço: \[\Delta\tilde{\mathbf{w}}_{\text{nt}} = -[\nabla^2 \phi]^{-1} \nabla \phi = -[A (\nabla^2 f)^{-1} A^T] A^{-T} \nabla f = A \Delta\mathbf{w}_{\text{nt}}\]

Retorno ao Espaço Original

\[A^{-1}\Delta\tilde{\mathbf{w}}_{\text{nt}} = A^{-1}(A \Delta\mathbf{w}_{\text{nt}}) = \Delta\mathbf{w}_{\text{nt}}\] A trajetória de Newton é rigorosamente invariante para qualquer matriz inversível \(A\) (escalas, rotações ou cisalhamentos).

Por Que o Gradiente Descendente Quebra sob Escala?

Passo de GD no espaço transformado \(\tilde{\mathbf{w}}\): \[\Delta\tilde{\mathbf{w}}_{\text{GD}} = -\alpha \nabla_{\tilde{\mathbf{w}}} \phi = -\alpha A^{-T} \nabla_{\mathbf{w}} f(\mathbf{w})\]

Mapeando de volta para o espaço original (\(A^{-1}\Delta\tilde{\mathbf{w}}\)): \[\Delta\mathbf{w}_{\text{equiv}} = A^{-1}(-\alpha A^{-T} \nabla f) = -\alpha (A^T A)^{-1} \nabla f(\mathbf{w})\]

O Contraste Fundamental:

\[\Delta\mathbf{w}_{\text{equiv}} = -\alpha (A^T A)^{-1} \nabla f \;\neq\; -\alpha \nabla f\]

Só coincide com o GD original se \((A^T A)^{-1} = I \iff A^T A = I\) (matriz ortogonal / rotação pura).

Conclusão Prática

Se \(A\) mudar a escala de um atributo (ex.: \(A = \text{diag}(100, 1)\)), a trajetória do GD deforma-se por \((A^T A)^{-1}\). O GD é escravo das unidades de medida; Newton é afim-invariante!

Por Que a Invariância Afim É Crucial na Prática?

1. Imunidade à Escala das Variáveis (StandardScaler):

No GD: Misturar metros e milímetros explode \(\kappa\) para \(10^6\) \(\implies\) z-score é muleta obrigatória.
Em Newton: Com ou sem normalização, a trajetória e os passos físicos são rigorosamente idênticos!

2. Imunidade a Correlações entre Variáveis:

Features correlacionadas geram ravinas elípticas rotacionadas e ziguezague no GD.
As derivadas mistas \(\frac{\partial^2 f}{\partial w_i \partial w_j}\) de \(H\) cancelam a rotação e caminham direto ao vértice.

A Ponte Conceitual para o Precondicionamento

Newton tem invariância afim completa (\(\mathcal{O}(d^3)\)); o GD tem zero (\(\mathcal{O}(d)\)). O Precondicionamento Diagonal busca resgatar a invariância sob escalas a custo linear \(\mathcal{O}(d)\)!

O Passo de Newton e a Invariância Afim

O Salto em Formas Quadráticas

Seja \(f(\mathbf{w}) = \frac{1}{2}\mathbf{w}^T A \mathbf{w} - \mathbf{b}^T \mathbf{w}\) com \(A \succ 0\). Quantas iterações o Método de Newton exige para encontrar a solução exata \(\mathbf{w}^\star = A^{-1}\mathbf{b}\) partindo de um \(\mathbf{w}_0\) arbitrário? Qual é o papel geométrico do decremento de Newton \(\lambda(\mathbf{w})^2\)?

Propriedades de Segunda Ordem

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Se \(f\) for uma forma quadrática estritamente convexa, a expansão de Taylor de segunda ordem é exata, tornando o resíduo de ordem superior identicamente nulo.
□ O passo de Newton \(\Delta\mathbf{w}_{\text{nt}} = -H^{-1}\nabla f\) tem unidade dimensional compatível com o vetor de parâmetros \(\mathbf{w}\).
□ Se reescalonarmos os dados transformando \(\mathbf{w} \to c \mathbf{w}\) com \(c > 0\), o passo do Gradiente Descendente clássico é multiplicado por \(1/c\), preservando a mesma trajetória geométrica.
□ O decremento de Newton \(\lambda(\mathbf{w})^2 = \nabla f(\mathbf{w})^T H^{-1} \nabla f(\mathbf{w})\) é estritamente não-negativo para qualquer função convexa e anula-se se e somente se \(\nabla f(\mathbf{w}) = \mathbf{0}\).

O Passo de Newton e a Invariância Afim — Resposta

Propriedades de Segunda Ordem — Resposta

✔ Verdadeiro. Para polinomiais de grau 2, derivadas de ordem 3+ são zero; o modelo local é idêntico à função global.
✔ Verdadeiro. \([\text{Hessiana}]^{-1}[\text{Gradiente}] = ([\text{perda}]/[\text{param}]^2)^{-1} ([\text{perda}]/[\text{param}]) = [\text{param}]\).
✗ Falso. O GD euclidiano muda de trajetória sob reescalonamentos; apenas Newton é invariante a escala.
✔ Verdadeiro. Como \(H \succ 0 \implies H^{-1} \succ 0\), \(\mathbf{v}^T H^{-1} \mathbf{v} \ge 0\), atingindo zero apenas quando \(\nabla f = \mathbf{0}\).

Voltando à pergunta: Exatamente 1 iteração! Pois \(H_0 = A\) e \(\nabla f(\mathbf{w}_0) = A\mathbf{w}_0 - \mathbf{b}\), de modo que \(\mathbf{w}_1 = \mathbf{w}_0 - A^{-1}(A\mathbf{w}_0 - \mathbf{b}) = A^{-1}\mathbf{b}\). O decremento \(\lambda(\mathbf{w})^2\) mede o dobro do ganho residual previsto pelo modelo quadrático local.

Bloco 2: As Três Patologias de Newton em Aprendizado de Máquina

As Três Patologias de Newton

1. Gargalo \(\mathcal{O}(d^3)\)

Armazenar \(H\): \(\mathcal{O}(d^2)\). Para \(d = 10^6 \implies \mathbf{4\text{ TB}}\) de RAM.
Inverter \(H\): \(\mathcal{O}(d^3) \approx 3{,}3 \cdot 10^{17}\) FLOPs por iteração!
Inviável para qualquer rede moderna.

2. Pontos de Sela

Em redes não-convexas, \(H\) possui autovalores negativos (\(\lambda_i < 0\)).
Newton busca pontos críticos: ele salta na direção de máximos locais e selas!
Ímã de pontos de sela em alta dimensão.

3. Ruído de Mini-Batch

Avaliar \(H\) completa custa \(\mathcal{O}(Nd^2)\).
Avaliar em lote \(B < d\) gera matriz singular (\(\text{posto}(\hat{H}) \le B\)).
Autovalores pequenos amplificam o ruído amostral por \(1/\hat{\lambda}_i\).

Regularização de Levenberg-Marquardt

Sistema Linear Modificado: \[(H_k + \lambda_k I)\Delta\mathbf{w} = -\nabla f(\mathbf{w}_k), \quad \text{com } \lambda_k > 0\]

Espectro dos Autovalores: \[\lambda_i(H_k + \lambda_k I) = \lambda_i(H_k) + \lambda_k\] Basta escolher \(\lambda_k > |\lambda_{\min}|\) para garantir que a matriz seja estritamente positiva definida!

Interpolação Suave: \[\lambda_k \to 0 \implies \text{Newton Puro} \qquad\Longleftrightarrow\qquad \lambda_k \to \infty \implies \text{Gradiente Descendente}\]

Limitação Persistente

Resolve a indefinição de sinal, mas ainda custa \(\mathcal{O}(d^3)\) para resolver o sistema linear!

Patologias de Newton em Alta Dimensão

O Salto no Ponto de Sela

Considere a função hiperbólica \(f(w_1, w_2) = w_1^2 - w_2^2\), que possui um ponto de sela em \((0, 0)\). Calcule o passo de Newton a partir do ponto inicial \(\mathbf{w}_0 = (1, 1)^T\). Para onde o algoritmo se desloca? O que ocorreria se o ponto inicial fosse \((0, 1)^T\)?

Escala Computacional de Newton

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Em um ponto de sela onde a Hessiana possui autovalores estritamente negativos, a direção \(-\nabla^2 f(\mathbf{w})^{-1}\nabla f(\mathbf{w})\) pode apontar no sentido de crescimento da perda (\(\nabla f^T \Delta\mathbf{w} > 0\)).
□ A fatoração de Cholesky de uma matriz Hessiana \(d \times d\) requer complexidade temporal \(\mathcal{O}(d^2)\) e consumo de memória linear \(\mathcal{O}(d)\).
□ A regularização de Levenberg-Marquardt \((H + \lambda I)^{-1}\nabla f\) com \(\lambda > |\min_i \lambda_i|\) garante que a matriz invertida seja simétrica positiva definida.
□ Em modelos modernos com 70 bilhões de parâmetros (LLMs), o armazenamento de uma única matriz Hessiana em precisão de 32 bits exigiria menos de 1 Terabyte de memória.

Patologias de Newton em Alta Dimensão — Resposta

Escala Computacional de Newton — Resposta

✔ Verdadeiro. Se \(\lambda_i < 0\), \(-\mathbf{g}^T H^{-1} \mathbf{g}\) pode ser positivo; Newton salta montanha acima ao longo do eixo de sela.
✗ Falso. Cholesky consome \(\frac{1}{3}d^3\) operações aritméticas (\(\mathcal{O}(d^3)\)) e exige armazenar toda a matriz (\(\mathcal{O}(d^2)\)).
✔ Verdadeiro. Adicionar \(\lambda I\) desloca todo o espectro por \(+\lambda\), tornando todos os autovalores estritamente positivos.
✗ Falso. \(d^2 \approx (7 \cdot 10^{10})^2 \approx 4{,}9 \cdot 10^{21}\) floats \(\approx \mathbf{20\text{ Zetabytes}}\) de memória RAM!

Voltando à pergunta: \(\nabla f(\mathbf{w}_0) = (2, -2)^T\), \(H = \text{diag}(2, -2) \implies H^{-1} = \text{diag}(1/2, -1/2)\). O passo é \(\Delta\mathbf{w} = -(1, 1)^T \implies \mathbf{w}_1 = (0, 0)^T\). O algoritmo salta diretamente para o ponto de sela! Se partisse de \((0, 1)^T\) com \(f = -1\), saltaria para \((0, 0)^T\) com \(f = 0\), aumentando o erro!

Bloco 3: A Geometria do Precondicionamento e a Matriz Diagonal

A Geometria do Precondicionamento: Esfericização

1. Por que Deformar o Espaço?

Sob mudança de coordenadas \(\tilde{\mathbf{w}} = M\mathbf{w}\), a nova Hessiana passa a ser \(M^{-T} H M^{-1}\).
Para que o terreno se torne esférico e isotrópico (\(M^{-T} H M^{-1} \approx I\)): \[H \approx M^T M\]

2. A Escolha da Métrica \(M = P^{1/2}\):

Seja \(P \approx H\) simétrica estritamente positiva definida (\(P \succ 0\)).
Pela raiz simétrica (Teorema Espectral): escolhemos \(M = P^{1/2}\) (\(M^T M = P^{1/2} P^{1/2} = P\)).

3. O Gradiente no Espaço Deformado: \[\tilde{\mathbf{w}} = P^{1/2} \mathbf{w} \iff \mathbf{w} = P^{-1/2} \tilde{\mathbf{w}}\] \[\nabla_{\tilde{\mathbf{w}}} \phi(\tilde{\mathbf{w}}) = (P^{-1/2})^T \nabla_{\mathbf{w}} f(\mathbf{w}) = P^{-1/2} \nabla f(\mathbf{w})\]

O Passo Precondicionado Universal

1. Passo no Espaço Esférico revertido ao Espaço Original: \[\Delta\tilde{\mathbf{w}} = -\alpha \nabla_{\tilde{\mathbf{w}}} \phi = -\alpha P^{-1/2} \nabla f(\mathbf{w})\] \[\Delta\mathbf{w} = P^{-1/2} \Delta\tilde{\mathbf{w}} = -\alpha \underbrace{P^{-1/2} P^{-1/2}}_{= P^{-1}} \nabla f(\mathbf{w})\]

O 1º \(P^{-1/2}\) vem da regra da cadeia; o 2º vem da mudança de base inversa.

Regra Precondicionada Universal: \(\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha P^{-1} \nabla f(\mathbf{w}_k)\)

\(P = I \implies\) Gradiente Descendente euclidiano clássico (\(\mathcal{O}(d)\))
\(P = H \implies\) Método de Newton com \(\alpha = 1\) (\(\mathcal{O}(d^3)\))
\(P = D \implies\) Precondicionamento Diagonal (\(\mathcal{O}(d)\)!)

O Ponto Doce: Precondicionamento Diagonal

Estrutura Diagonal: \[D = \text{diag}(s_1, s_2, \dots, s_d) \succ 0\]

Inversão analítica imediata: \[D^{-1} = \text{diag}\left(\frac{1}{s_1}, \dots, \frac{1}{s_d}\right)\]
Memória: apenas \(d\) escalares (\(\mathcal{O}(d)\)).
FLOPs: \(d\) divisões por passo (\(\mathcal{O}(d)\)).

Atualização por Coordenada: \[w_{i, k+1} = w_{i, k} - \frac{\alpha}{s_{i, k}} g_{i, k}\]

Cada parâmetro \(i\) possui sua própria taxa de aprendizado efetiva: \[\alpha_i^{\text{eff}} = \frac{\alpha}{s_i}\]
Coordenadas íngremes são atenuadas; coordenadas planas são aceleradas!

Precondicionamento Diagonal

O Desacoplamento Matricial

Mostre algebricamente por que a multiplicação matriz-vetor \(D^{-1}\mathbf{g}\) com \(D = \text{diag}(s_1, \dots, s_d)\) possui custo computacional linear \(\mathcal{O}(d)\). Por que essa operação pode ser distribuída perfeitamente em threads paralelas em uma GPU?

Propriedades do Precondicionamento

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ O precondicionamento diagonal equivale a aplicar uma mudança linear de variáveis onde cada coordenada \(w_i\) é reescalonada por \(\sqrt{s_i}\) independentemente.
□ Uma matriz de precondicionamento diagonal é capaz de rotacionar os eixos de coordenadas para cancelar covariâncias cruzadas não-diagonais da Hessiana.
□ Se escolhermos \(s_i = \frac{\partial^2 f}{\partial w_i^2}\), o passo por coordenada recupera o método de Newton unidimensional aplicado a cada parâmetro isoladamente.
□ O custo de memória de armazenar uma matriz de precondicionamento diagonal cresce quadraticamente com a dimensão do espaço de parâmetros (\(\mathcal{O}(d^2)\)).

Precondicionamento Diagonal — Resposta

Propriedades do Precondicionamento — Resposta

✔ Verdadeiro. \(\tilde{w}_i = \sqrt{s_i} w_i \implies \frac{\partial f}{\partial \tilde{w}_i} = \frac{1}{\sqrt{s_i}} \frac{\partial f}{\partial w_i}\); o passo resultante é exatamente \(w_i - \frac{\alpha}{s_i} g_i\).
✗ Falso. Matrizes diagonais realizam apenas estiramentos axiais; não induzem rotações de coordenadas nem eliminam covariâncias fora da diagonal.
✔ Verdadeiro. É a chamada aproximação de Newton Diagonal, descartando as derivadas parciais mistas \(\partial^2 f / \partial w_i \partial w_j\).
✗ Falso. O armazenamento é estritamente linear \(\mathcal{O}(d)\) (um único vetor com as \(d\) entradas diagonais).

Voltando à pergunta: Como \(D\) é diagonal, \([D^{-1}\mathbf{g}]_i = \frac{1}{s_i} g_i\). Isso é o produto de Hadamard elemento a elemento de dois vetores de tamanho \(d\). Cada thread de uma GPU pode calcular sua componente \(i\) em registradores locais de forma independente, sem troca de mensagens entre blocos de execução (embarrassingly parallel).

Bloco 4: Escalas Adaptativas na Prática: AdaGrad e RMSProp

Escalas Adaptativas no Contexto de SGD

1. O Cenário Real: Otimização Estocástica (SGD)

No aprendizado supervisionado, operamos quase sempre com mini-batches (\(B_t\)).
O gradiente observado \(\mathbf{g}_t = \nabla f_{B_t}(\mathbf{w}_t)\) possui alto ruído estatístico.

2. A Extrema Instabilidade de 2ª Ordem no SGD:

Variância extrema: A Hessiana varia drasticamente entre lotes sucessivos.
Curvatura negativa espúria: O ruído amostral gera \(s_i < 0\), que faria o passo subir a perda!
Custo proibitivo: Diferenciação de 2ª ordem por lote degrada o throughput em GPUs.

A Solução de AdaGrad e RMSProp

Nascem dentro do SGD: usam a energia das primeiras derivadas (\(g_{t, i}^2\)) como proxy empírico da escala local, contornando a instabilidade de 2ª ordem a custo linear \(\mathcal{O}(d)\)!

Otimizador AdaGrad (Duchi et al., 2011)

Intuição: Acumular a energia dos gradientes estocásticos passados (\(g_{\tau, i}^2\)) para calibrar a escala por coordenada em dados esparsos.

Acumulador de Energia: \[G_{t, i} = G_{t-1, i} + g_{t, i}^2 = \sum_{\tau=1}^t g_{\tau, i}^2\]

Regra de Atualização: \[\mathbf{w}_{t+1} = \mathbf{w}_t - \frac{\alpha}{\sqrt{\mathbf{G}_t} + \epsilon} \odot \mathbf{g}_t\]

A Patologia do Congelamento

\(g^2 \ge 0 \implies G_t\) cresce monotonamente. A taxa de aprendizado efetiva \(\frac{\alpha}{\sqrt{G_t}}\) decai irreversivelmente para zero, congelando o treinamento antes da convergência em redes profundas!

Otimizador RMSProp (Hinton, 2012)

Cura do Congelamento: Substituir a soma infinita por Média Móvel Exponencial (EMA).

Rastreamento do Segundo Momento Não-Central: \[v_{t, i} = \beta_2 v_{t-1, i} + (1 - \beta_2) g_{t, i}^2, \quad \beta_2 \in [0{,}9, 0{,}99]\]

Regra de Atualização: \[\mathbf{w}_{t+1} = \mathbf{w}_t - \frac{\alpha}{\sqrt{\mathbf{v}_t} + \epsilon} \odot \mathbf{g}_t\]

Vantagens

Memória temporal efetiva de \(\approx \frac{1}{1-\beta_2}\) iterações.
Se o gradiente diminuir, \(v_t\) decresce e o passo efetivo aumenta.
Nunca congela prematuramente: tornou-se a espinha dorsal de otimizadores em Deep Learning!

Dinâmica Comparada: AdaGrad vs. RMSProp

Trajetória em ravina elíptica e evolução da taxa de aprendizado efetiva:

AdaGrad vs. RMSProp

O Destino dos Otimizadores

Por que o AdaGrad é considerado o algoritmo clássico de escolha para problemas com vocabulários esparsos em Processamento de Linguagem Natural, mas falhou ao ser aplicado no treinamento de redes neurais convolucionais profundas em visão computacional? De que forma a média móvel exponencial do RMSProp sana esse impasse?

Dinâmica de Escalas Adaptativas

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ No AdaGrad, a sequência de acumuladores \(G_{t, i} = \sum_{\tau=1}^t g_{\tau, i}^2\) é monotonicamente não-decrescente em \(t\).
□ O decaimento da taxa de aprendizado efetiva no AdaGrad satisfaz \(\lim_{t\to\infty} \frac{\alpha}{\sqrt{G_{t, i}} + \epsilon} = 0\) sempre que o gradiente ao longo da coordenada não for identicamente nulo.
□ No RMSProp, o fator \(\beta_2\) define a constante de tempo da memória móvel, atribuindo peso efetivo às últimas \(\approx \frac{1}{1-\beta_2}\) iterações.
□ O RMSProp substitui a necessidade de calcular gradientes estocásticos por estimativas de segunda ordem da curvatura calculadas via diferenças finitas.

AdaGrad vs. RMSProp — Resposta

Dinâmica de Escalas Adaptativas — Resposta

✔ Verdadeiro. Como \(g^2 \ge 0\), a soma acumulada de quadrados nunca diminui (\(G_{t} \ge G_{t-1}\)).
✔ Verdadeiro. Para séries divergentes de gradientes quadrados, o denominador cresce indefinidamente e a taxa efetiva vai a zero.
✔ Verdadeiro. Trata-se da meia-vida de decaimento geométrico \(\sum k \beta_2^k (1-\beta_2) \approx \frac{1}{1-\beta_2}\).
✗ Falso. O RMSProp é puramente de primeira ordem; utiliza apenas gradientes estocásticos obtidos via autodiff.

Voltando à pergunta: Em textos, palavras raras aparecem pouco e mantêm \(G_{t, i}\) pequeno, permitindo passos grandes quando finalmente ocorrem (o trunfo do AdaGrad). Em redes profundas de visão, contudo, o treinamento dura centenas de milhares de passos; \(G_t\) cresce tanto que o modelo congela precocemente. O RMSProp utiliza a EMA para “esquecer” o passado remoto, mantendo a taxa ativa durante todo o treinamento.

Fechamento

Retomando as 4 Perguntas

Passo de Newton: Minimizador exato da Série de Taylor quadrática (\(\Delta\mathbf{w}_{\text{nt}} = -H^{-1}\mathbf{g}\)). Invariante sob transformações afins, converge quadraticamente perto do ótimo.
Patologias em ML: Custo proibitivo \(\mathcal{O}(d^3)\), memória \(\mathcal{O}(d^2)\) e armadilha em pontos de sela onde \(H\) possui autovalores negativos.
Precondicionamento Diagonal: Transforma o espaço métrico e desacopla as coordenadas, reduzindo a complexidade de inversão e armazenamento para \(\mathcal{O}(d)\).
AdaGrad e RMSProp: Usam as primeiras derivadas passadas como estimador da curvatura. O AdaGrad congela por acúmulo infinito; o RMSProp resolve com Média Móvel Exponencial (EMA).

Síntese: Do Passo Escalar ao RMSProp

Otimizador	Informação Usada	Custo por Passo	Memória	Comportamento em \(\kappa \gg 1\)
GD / SGD	\(\nabla f\) (1ª ordem)	\(\mathcal{O}(d)\)	\(\mathcal{O}(d)\)	Ziguezague severo sob taxa escalar única
Newton Puro	\(\nabla f\) e \(\nabla^2 f\) (2ª ordem)	\(\mathcal{O}(d^3)\)	\(\mathcal{O}(d^2)\)	Ótimo em 1 passo, mas proibitivo em escala
AdaGrad	Histórico \(\sum g^2\)	\(\mathcal{O}(d)\)	\(\mathcal{O}(d)\)	Ótimo em esparsos; congela em redes profundas
RMSProp	EMA \(\beta_2 v + (1-\beta_2)g^2\)	\(\mathcal{O}(d)\)	\(\mathcal{O}(d)\)	Escalas adaptativas perenes por coordenada

Ponte para a Aula 12: Momento e o Otimizador Adam

O Que Vimos Hoje (Aula 11):

Precondicionamento diagonal equaliza escalas: \[w_{i, k+1} = w_{i, k} - \frac{\alpha}{\sqrt{v_{t, i}} + \epsilon} g_{t, i}\]
Resolve o descompasso de escalas (\(\kappa \gg 1\)).
Falta inércia direcional: ainda oscila se o gradiente apontar transversalmente!

O Próximo Passo (Aula 12):

Adicionar massa física e momento: \[m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t\]
Momento de Polyak e Aceleração de Nesterov.
A Grande Síntese: Unir \(m_t\) (1º momento) com \(v_t\) (2º momento) \(\implies\) Otimizador Adam e AdamW!

Exercícios Soluções