Aula 10: Gradiente Descendente Estocástico (SGD) e Mini-Batching
Otimização e Álgebra Linear para Machine Learning
1 Revisão e Introdução
1.1 Revisão Cuidadosa: O Que a Aula 9 Deixou Pronto
Na Aula 9, formalizamos a Diferenciação Automática e o Teorema de Baur-Strassen / Speelpenning (1983), demonstrando que o gradiente analítico completo de qualquer perda escalar \(\mathcal{L}(\mathbf{w})\) pode ser avaliado com custo temporal garantido de no máximo 5 vezes o custo de uma única passagem direta:
\[C_{\text{grad}} \le 5 \cdot C_{\text{eval}}\]
Esse resultado revolucionário resolveu de maneira definitiva o custo da diferenciação para um único exemplo (ou para um lote estático em memória). No entanto, todos os algoritmos de otimização apresentados até agora — desde a formulação analítica de Mínimos Quadrados (Aulas 2 e 3) até a Descida do Gradiente em Lote (Batch Gradient Descent - BGD, Aula 8) — operam sob a hipótese de que a função objetivo a minimizar é a média aritmética calculada sobre a totalidade absoluta do conjunto de dados:
\[F(\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N f_i(\mathbf{w})\]
Para dar um único passo de atualização nos parâmetros, o BGD avalia e acumula o gradiente de cada uma das \(N\) amostras:
\[\nabla F(\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w})\]
No California Housing (\(N = 16.640\) amostras e \(d = 4\) atributos preditores), avaliar \(\nabla F(\mathbf{w})\) consome apenas alguns milissegundos. Mas o que ocorre quando adentramos a escala real do Aprendizado de Máquina moderno?
1.2 O Paradoxo da Escala: Quando o BGD se Torna Inviável
Considere a ordem de grandeza dos problemas reais de Machine Learning contemporâneo: * Visão Computacional Clássica: O ImageNet possui \(N \approx 1{,}28 \times 10^6\) imagens de treino de alta resolução. * Recomendação e Anúncios: Datasets industriais de clique (como Criteo) possuem \(N \approx 4 \times 10^9\) exemplos tabulares. * Grandes Modelos de Linguagem (LLMs): O pré-treinamento de modelos como Llama 3 ou GPT-4 processa \(N \approx 15 \times 10^{12}\) tokens.
Suponha que um cluster de GPUs de última geração consiga calcular \(10^6\) gradientes de amostras por segundo: 1. No ImageNet, uma única iteração do BGD consome mais de 1 segundo de relógio. Para executar \(500.000\) iterações, seriam necessários quase 6 dias inteiros. 2. Em um LLM com \(15 \times 10^{12}\) tokens, uma única iteração do BGD exigiria \(\frac{15 \times 10^{12}}{10^6} = 15.000.000\text{ segundos} \approx 173\text{ dias}\) ininterruptos apenas para dar um único passo de descida nos pesos! 3. Além disso, reter o grafo de computação de \(N\) ativações para acumular o gradiente excede a capacidade de memória VRAM disponível.
Diante desse impasse, surge a pergunta essencial: precisamos realmente examinar todas as \(N\) amostras antes de dar um passo de melhoria nos parâmetros? Se o conjunto de dados possui milhões de imagens semelhantes de gatos ou bilhões de frases estruturadas na mesma gramática, calcular a média exata de todos os gradientes antes de mover os pesos é um desperdício computacional colossal.
1.3 Ideia Central
A ideia central do Gradiente Descendente Estocástico (SGD) e do Mini-Batching é substituir a média determinística sobre todos os \(N\) dados por uma estimativa amostral de Monte Carlo de tamanho reduzido \(B \ll N\).
O gradiente resultante torna-se uma bússola ruidosa: cada passo individual sofre flutuações estocásticas em torno da rota perfeita. Contudo, como provaremos formalmente, o estimador é estatisticamente não-enviesado (\(\mathbb{E}[\mathbf{g}_k] = \nabla F(\mathbf{w})\)). O otimizador caminha de forma ágil, executando milhares de passos de atualização no tempo em que o BGD não completaria uma única iteração, enquanto o ruído inerente à amostragem atua beneficamente na generalização e no escape de vales estreitos.
1.4 Roteiro da Aula
Estruturamos esta aula em quatro blocos pedagógicos, respondendo às seguintes perguntas centrais:
- O Gargalo do Lote Completo e o SGD Puro: Por que o BGD se torna inviável em larga escala e como o SGD puro (\(B = 1\)) executa \(N\) passos de atualização no tempo em que o BGD executa apenas 1?
- Propriedades Estatísticas do Gradiente Estocástico: Por que uma amostra aleatória fornece uma direção estatisticamente válida (\(\mathbb{E}[\mathbf{g}_k] = \nabla F(\mathbf{w})\)) e por que a covariância do ruído \(\Sigma(\mathbf{w}^\star)\) não desaparece no minimizador ótimo?
- Mini-Batching e a Física do Hardware: Como o tamanho do lote \(B\) reduz a variância do estimador por \(\sigma^2/B\) e como ele satura os núcleos paralelos e caches das GPUs modernas (operações BLAS-3)?
- Teoria de Convergência e Taxas de Aprendizado: Por que uma taxa constante estaciona em uma “bola de ruído”, quais são as históricas Condições de Robbins-Monro (1951) para convergência exata e por que o ruído estocástico atua como um regularizador implícito que favorece mínimos planos (flat minima)?
1.5 Pausa 1 — O Gargalo do Lote e a Filosofia Estocástica
DicaPergunta Aberta
Considere um problema de aprendizado com \(N = 2 \times 10^7\) exemplos e dimensão \(d = 100\). Suponha que seu hardware processa \(10^6\) gradientes por segundo. Se o BGD requer 500 iterações para convergir e o SGD puro atinge a mesma qualidade preditiva após processar 2 épocas completas, qual é o tempo total de computação de cada método? O que esse resultado revela sobre a métrica de “número de iterações” versus “número de épocas”?
DicaBatch vs. Estocástico
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ O custo computacional de uma única iteração do SGD puro (\(B = 1\)) independe do número total de amostras \(N\) no conjunto de treinamento.
- □ Uma época de treinamento no BGD e no SGD puro requer exatamente a mesma quantidade de avaliações de gradientes individuais de amostras (\(N\) avaliações).
- □ Como o SGD puro avalia apenas uma amostra por vez, sua trajetória garante descida estritamente monotônica do custo global \(F(\mathbf{w}_{k+1}) \le F(\mathbf{w}_k)\) a cada passo.
- □ Se duas amostras de treino forem exatamente idênticas, seus gradientes individuais calculados no mesmo ponto \(\mathbf{w}\) serão rigorosamente iguais.
2 Intuição — O Alpinista no Nevoeiro e a Dinâmica de Langevin
2.1 Duas Metáforas para Dois Algoritmos
Imagine um alpinista em uma vasta cadeia montanhosa com a missão de encontrar o ponto mais baixo de um vale profundo:
- O Alpinista com Telescópio (Batch Gradient Descent): Ele sobe em uma torre de observação, mede minuciosamente com teodolitos de alta precisão cada desnível, rocha e declive de toda a cordilheira geográfica, calcula com tolerância milimétrica a linha exata de maior declive médio e dá um passo firme de 50 centímetros nessa direção. O cálculo é perfeito e o passo é seguro, mas o alpinista levou quatro horas para calcular para onde dar um único passo!
- O Alpinista no Nevoeiro com Bússola Ruidosa (Stochastic Gradient Descent): O alpinista está cercado por um nevoeiro impenetrável que restringe sua visão ao chão sob seus sapatos. Em suas mãos há uma bússola ruidosa que vibra aleatoriamente por interferências magnéticas locais. A cada fração de segundo, ele olha para onde a agulha aponta no instante e dá um passo ágil. Cada passo individual pode desviar alguns graus da rota perfeita — às vezes pisando numa poça ou contornando uma pedra —, mas, como a agulha oscila centrada na direção da gravidade, em poucos minutos ele desceu centenas de metros, atingindo o fundo do vale muito antes de o primeiro alpinista terminar sua primeira triangulação telescópica!
2.2 A Física da Estocasticidade: Dinâmica de Langevin e Difusão Browniana
Em termos de física teórica, o comportamento do SGD aproxima a Equação Diferencial Estocástica de Langevin:
\[\mathrm{d}\mathbf{w}_t = -\nabla F(\mathbf{w}_t)\,\mathrm{d}t + \sqrt{2 D}\,\mathrm{d}\mathbf{W}_t\]
onde: * \(-\nabla F(\mathbf{w}_t)\,\mathrm{d}t\) é a força macroscópica de arraste determinística que atrai o sistema em direção ao mínimo do potencial; * \(\mathrm{d}\mathbf{W}_t\) é o processo padrão de Wiener (movimento browniano contínuo); * \(D\) representa o coeficiente de difusão térmica proporcional à temperatura do sistema.
A discretização temporal pelo método de Euler-Maruyama dessa equação contínua corresponde com rigor formal à regra de atualização discreta do SGD:
\[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha_k \nabla F(\mathbf{w}_k) - \alpha_k \boldsymbol{\xi}_k\]
onde \(\boldsymbol{\xi}_k\) atua como o bombardeamento browniano discreto. Longe de ser apenas um erro numérico, essa energia térmica browniana impede que o modelo fique aprisionado em mínimos locais medíocres e pontos de sela!
3 Bloco 1: O Gargalo do Lote Completo e o SGD Puro
3.1 Recordando: Fundamentos de Probabilidade e Vetores Aleatórios
Antes de analisarmos a mecânica do SGD, convém formalizar as três grandezas estatísticas fundamentais de vetores aleatórios em \(\mathbb{R}^d\):
Vetor Esperança: Se \(\mathbf{X} = [X_1, X_2, \dots, X_d]^T \in \mathbb{R}^d\) é um vetor aleatório, sua esperança matemática é o vetor das esperanças de cada componente: \[\mathbb{E}[\mathbf{X}] := \big[ \mathbb{E}[X_1], \mathbb{E}[X_2], \dots, \mathbb{E}[X_d] \big]^T \in \mathbb{R}^d\] Por linearidade, para qualquer matriz estática \(A \in \mathbb{R}^{m \times d}\) e vetor constante \(\mathbf{b} \in \mathbb{R}^m\): \[\mathbb{E}[A\mathbf{X} + \mathbf{b}] = A\mathbb{E}[\mathbf{X}] + \mathbf{b}\]
Matriz de Covariância: Seja \(\boldsymbol{\mu} = \mathbb{E}[\mathbf{X}]\). A dispersão multidimensional de \(\mathbf{X}\) em torno da média é medida pela matriz simétrica semidefinida positiva \(\operatorname{Cov}(\mathbf{X}) \in \mathbb{R}^{d \times d}\): \[\operatorname{Cov}(\mathbf{X}) := \mathbb{E}\big[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T\big] = \mathbb{E}[\mathbf{X}\mathbf{X}^T] - \boldsymbol{\mu}\boldsymbol{\mu}^T \succeq 0\]
Variância Escalar Total e a Norma Euclidiana: A incerteza escalar média de \(\mathbf{X}\) em torno de \(\boldsymbol{\mu}\) coincide estritamente com o traço da matriz de covariância: \[\operatorname{Var}(\mathbf{X}) := \mathbb{E}[\|\mathbf{X} - \boldsymbol{\mu}\|^2] = \sum_{j=1}^d \mathbb{E}[(X_j - \mu_j)^2] = \operatorname{tr}(\operatorname{Cov}(\mathbf{X}))\]
3.2 O Problema de Otimização em Somas Finitas
Na esmagadora maioria dos problemas de aprendizado supervisionado, dispomos de um conjunto de treinamento com \(N\) pares ordenados \(\{(\mathbf{x}_i, y_i)\}_{i=1}^N\). O objetivo consiste em determinar o vetor de parâmetros \(\mathbf{w} \in \mathbb{R}^d\) que minimiza o risco empírico médio:
\[F(\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N f_i(\mathbf{w}), \quad \text{onde } f_i(\mathbf{w}) := \ell(h(\mathbf{x}_i; \mathbf{w}), y_i)\]
Pela linearidade do operador diferencial, o gradiente exato da função de custo total é a média aritmética dos gradientes individuais de cada amostra:
\[\nabla F(\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w})\]
3.3 Complexidade de Amostragem do Batch Gradient Descent (BGD)
Recorde da Aula 8 que para uma função \(L\)-suave e \(\mu\)-fortemente convexa, o BGD sob taxa ótima contrai a distância euclidiana ao minimizador \(\mathbf{w}^\star\) a uma taxa geométrica linear:
\[\|\mathbf{w}_k - \mathbf{w}^\star\| \le \left(\frac{\kappa - 1}{\kappa + 1}\right)^k \|\mathbf{w}_0 - \mathbf{w}^\star\|\]
onde \(\kappa = L/\mu\) é o número de condicionamento. Para atingir uma tolerância de erro \(\epsilon\) tal que \(F(\mathbf{w}_k) - F(\mathbf{w}^\star) \le \epsilon\), o número de iterações requeridas é \(\mathcal{O}(\log(1/\epsilon))\). No entanto, como cada iteração exige calcular o gradiente de todas as \(N\) amostras, a complexidade computacional total do BGD é:
\[\text{Custo Total (BGD)} = \mathcal{O}\left(d \cdot N \log\left(\frac{1}{\epsilon}\right)\right)\]
A dependência multiplicativa em \(N\) é fatal: se o conjunto de dados for multiplicado por 10 (\(10N\)), o tempo de relógio para qualquer nível de precisão cresce dez vezes!
3.4 O Algoritmo Stochastic Gradient Descent (SGD Puro, \(B = 1\))
O algoritmo Stochastic Gradient Descent (SGD), proposto pioneiramente por Herbert Robbins e Sutton Monro em 1951, propõe uma ruptura metodológica:
3.5 Comparação Fundamental: O Significado de Uma Época
Definimos uma época (epoch) como o volume de computação correspondente a avaliar \(N\) gradientes de amostras individuais:
| Algoritmo | Custo por Passo | Atualizações por Época | Progresso na Primeira Época |
|---|---|---|---|
| Batch GD (BGD) | \(\mathcal{O}(Nd)\) | 1 atualização | Mínimo (apenas 1 passo na direção média) |
| SGD Puro (\(B = 1\)) | \(\mathcal{O}(d)\) | \(N\) atualizações | Enorme (ajusta pesos \(N\) vezes consecutivas) |
Ao final da primeira época, o BGD deu apenas um único passo modesto. O SGD puro já executou \(N\) refinamentos sucessivos, aprendendo de forma adaptativa com a estrutura informacional de cada exemplo!
3.6 Dinâmica Comparada no California Housing
Avaliamos a comparação prática entre BGD, SGD puro (\(B = 1\)) e Mini-batch SGD (\(B = 32\)) treinados na regressão linear com as variáveis padronizadas do California Housing (\(N = 16.640\) amostras no split de treino):
No gráfico acima, observamos nitidamente as propriedades operacionais de cada método:
- O BGD (azul) descreve uma trajetória limpa e ortogonal às curvas de nível, sem qualquer desvio estocástico. Contudo, ao custo de processar \(16.640\) exemplos por iteração, ele avança lentamente e requer dezenas de épocas para atingir a bacia ótima.
- O Mini-Batch SGD (verde, \(B = 32\)) atinge a vizinhança imediata do ótimo \(\mathbf{w}^\star\) já na primeira época! Ele aproveita a agilidade de \(520\) atualizações por época com variância moderada.
- O SGD Puro (vermelho, \(B = 1\)) também alcança a bacia ótima quase instantaneamente na primeira época, mas sua trajetória apresenta oscilações visíveis em torno do ponto ótimo devido ao ruído inerente a amostras individuais.
3.7 Pausa 2 — O Dilema do Lote Completo
DicaPergunta Aberta
Se o SGD puro (\(B = 1\)) executa \(N\) atualizações por época e atinge a bacia ótima muito mais rápido do que o BGD, por que não descartamos o BGD em definitivo na totalidade dos problemas práticos de otimização? Em quais cenários matemáticos ou de engenharia o BGD ainda é preferível ao SGD?
DicaCusto e Dinâmica do SGD
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ Em uma função quadrática estritamente convexa, a trajetória do BGD com taxa de aprendizado adequada nunca aumenta o valor da função de perda entre duas iterações sucessivas.
- □ Como o SGD puro avalia apenas uma amostra por iteração, a memória de trabalho necessária para armazenar as ativações do grafo é estritamente proporcional a \(\mathcal{O}(1)\) na dimensão da amostra.
- □ Para qualquer problema de otimização, o SGD puro converge mais rápido do que o BGD tanto na fase inicial de exploração quanto na fase final de aproximação de alta precisão (\(\epsilon = 10^{-12}\)).
- □ A variabilidade da trajetória do SGD decorre exclusivamente de erros numéricos de arredondamento de ponto flutuante na biblioteca de diferenciação automática.
4 Bloco 2: Propriedades Estatísticas do Gradiente Estocástico
4.1 O Gradiente Estocástico como Estimador Não-Enviesado
Por que confiar na direção indicada por uma única amostra aleatória? A fundamentação matemática reside no fato de que o gradiente estocástico é um estimador não-enviesado do gradiente determinístico global.
Seja \(i_k\) uma variável aleatória discreta com distribuição uniforme sobre \(\{1, 2, \dots, N\}\), tal que:
\[\mathbb{P}(i_k = i) = \frac{1}{N}, \quad \forall i \in \{1, \dots, N\}\]
Definimos o estimador do gradiente estocástico por \(\mathbf{g}_k(\mathbf{w}) := \nabla f_{i_k}(\mathbf{w})\).
Demonstração: Pela definição formal de esperança matemática para uma variável aleatória discreta:
\[\mathbb{E}_{i_k}[\nabla f_{i_k}(\mathbf{w})] = \sum_{i=1}^N \mathbb{P}(i_k = i) \cdot \nabla f_i(\mathbf{w}) = \sum_{i=1}^N \frac{1}{N} \nabla f_i(\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w}) = \nabla F(\mathbf{w})\]
Essa propriedade fundamental assegura que o algoritmo não possui viés angular sistemático: embora passos individuais sofram oscilações estocásticas, a direção esperada aponta exatamente na rota de maior descida da função global!
4.2 Decomposição Canônica: Sinal vs. Ruído de Amostragem
Podemos decompor o vetor de gradiente estocástico em duas componentes: o sinal verdadeiro e o ruído estocástico de amostragem:
\[\mathbf{g}_k(\mathbf{w}_k) = \nabla F(\mathbf{w}_k) + \boldsymbol{\xi}_k\]
onde o vetor de ruído estocástico é definido por:
\[\boldsymbol{\xi}_k := \nabla f_{i_k}(\mathbf{w}_k) - \nabla F(\mathbf{w}_k)\]
Por construção direta do Teorema do Não-Enviesamento, o ruído tem média condicional nula:
\[\mathbb{E}[\boldsymbol{\xi}_k \mid \mathbf{w}_k] = \mathbb{E}[\nabla f_{i_k}(\mathbf{w}_k) \mid \mathbf{w}_k] - \nabla F(\mathbf{w}_k) = \nabla F(\mathbf{w}_k) - \nabla F(\mathbf{w}_k) = \mathbf{0}\]
4.3 O Tensor de Covariância do Ruído \(\Sigma(\mathbf{w})\) e a Variância Total
A intensidade e a anisotropia das flutuações em torno do gradiente verdadeiro são governadas pela matriz de covariância do ruído \(\Sigma(\mathbf{w}) \in \mathbb{R}^{d \times d}\):
\[\Sigma(\mathbf{w}) := \operatorname{Cov}(\boldsymbol{\xi}_k \mid \mathbf{w}) = \mathbb{E}[\boldsymbol{\xi}_k \boldsymbol{\xi}_k^T \mid \mathbf{w}] = \frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w})\nabla f_i(\mathbf{w})^T - \nabla F(\mathbf{w})\nabla F(\mathbf{w})^T\]
A magnitude escalar total do ruído estocástico é dada pelo traço dessa matriz de covariância:
\[\sigma^2(\mathbf{w}) := \mathbb{E}[\|\boldsymbol{\xi}_k\|^2 \mid \mathbf{w}] = \operatorname{tr}(\Sigma(\mathbf{w})) = \frac{1}{N}\sum_{i=1}^N \|\nabla f_i(\mathbf{w}) - \nabla F(\mathbf{w})\|^2\]
4.4 A Patologia Central no Ponto de Mínimo Ótimo \(\mathbf{w}^\star\)
Aqui reside a diferença mais profunda entre a otimização determinística e a estocástica: o comportamento no ponto de mínimo global \(\mathbf{w}^\star\).
4.4.1 1. O que acontece no BGD no ponto ótimo?
No minimizador \(\mathbf{w}^\star\), a condição necessária de primeira ordem para convexidade impõe:
\[\nabla F(\mathbf{w}^\star) = \mathbf{0}\]
Portanto, o passo de atualização do BGD zera-se identicamente:
\[\mathbf{w}_{k+1} = \mathbf{w}^\star - \alpha \nabla F(\mathbf{w}^\star) = \mathbf{w}^\star - \mathbf{0} = \mathbf{w}^\star\]
O BGD atinge um ponto fixo exato e permanece em repouso no mínimo para qualquer taxa de aprendizado admissível \(\alpha < 2/L\).
4.4.2 2. O que acontece no SGD no ponto ótimo?
Embora o gradiente médio seja nulo no ótimo (\(\frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w}^\star) = \mathbf{0}\)), os gradientes de amostras individuais isoladas NÃO se anulam:
\[\nabla f_i(\mathbf{w}^\star) \neq \mathbf{0} \quad \text{para a grande maioria dos exemplos } i\]
A menos que o modelo seja capaz de ajustar com perfeição absoluta todas as \(N\) amostras com resíduo zero simultaneamente (a chamada condição de interpolação perfeita, irrealista em dados ruidosos), cada exemplo individual “puxa” os pesos em sua direção particular!
Consequentemente, no ponto ótimo \(\mathbf{w}^\star\):
\[\Sigma(\mathbf{w}^\star) = \frac{1}{N}\sum_{i=1}^N \nabla f_i(\mathbf{w}^\star)\nabla f_i(\mathbf{w}^\star)^T \succ 0 \implies \sigma^2(\mathbf{w}^\star) > 0\]
ImportanteConclusão Crítica: O Ruído Não Desliga Nunca
No ponto de mínimo global \(\mathbf{w}^\star\), o ruído estocástico permanece ativo. Se o SGD atingir exatamente o ponto ótimo \(\mathbf{w}^\star\) com taxa de aprendizado constante \(\alpha\), o passo seguinte será: \[\mathbf{w}_{k+1} = \mathbf{w}^\star - \alpha \nabla f_{i_k}(\mathbf{w}^\star) \neq \mathbf{w}^\star\] O algoritmo é imediatamente ejetado do mínimo pela flutuação estocástica da amostra sorteada!
4.5 Pausa 3 — Estatística do Ruído Estocástico
DicaPropriedades do Ruído
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ A propriedade de não-enviesamento (\(\mathbb{E}[\mathbf{g}_k] = \nabla F(\mathbf{w})\)) é válida exclusivamente para funções de perda estritamente convexas.
- □ Se um modelo atinge perda zero em todo o conjunto de treino (\(f_i(\mathbf{w}^\star) = 0, \forall i\)), a variância do gradiente estocástico anula-se no minimizador: \(\sigma^2(\mathbf{w}^\star) = 0\).
- □ No ponto de mínimo global de uma função estritamente convexa com dados ruidosos, o vetor de ruído estocástico \(\boldsymbol{\xi}_k\) é necessariamente nulo para qualquer amostra sorteada.
- □ Se multiplicarmos todas as funções de perda individuais por uma constante escalar \(c > 0\), a matriz de covariância do ruído \(\Sigma(\mathbf{w})\) é multiplicada por \(c^2\).
5 Bloco 3: Mini-Batching e a Física do Hardware
5.1 O Estimador por Mini-Batch
Vimos que o BGD (\(B = N\)) possui variância nula, mas custo computacional proibitivo, enquanto o SGD puro (\(B = 1\)) possui custo mínimo por iteração, mas variância de ruído máxima. O Mini-Batch SGD é o compromisso fundamental que viabiliza todo o ecossistema moderno de Aprendizado Profundo.
A cada iteração \(k\), em vez de sortear apenas uma amostra, selecionamos um subconjunto de índices \(\mathcal{B}_k \subset \{1, 2, \dots, N\}\) com cardinalidade \(|\mathcal{B}_k| = B\) (denominado tamanho do lote ou batch size):
\[\mathbf{g}_{\mathcal{B}}(\mathbf{w}) := \frac{1}{B}\sum_{i \in \mathcal{B}_k} \nabla f_i(\mathbf{w})\]
A regra de atualização dos parâmetros torna-se:
\[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha_k \mathbf{g}_{\mathcal{B}}(\mathbf{w}_k)\]
5.2 Teorema da Redução de Variância sob Amostragem com Reposição
Demonstração: Como os elementos \(i_b \in \mathcal{B}_k\) são selecionados de forma independente e identicamente distribuída (i.i.d.):
- Pela linearidade da esperança: \[\mathbb{E}\left[\frac{1}{B}\sum_{b=1}^B \nabla f_{i_b}(\mathbf{w})\right] = \frac{1}{B}\sum_{b=1}^B \mathbb{E}[\nabla f_{i_b}(\mathbf{w})] = \frac{1}{B} \cdot B \cdot \nabla F(\mathbf{w}) = \nabla F(\mathbf{w})\]
- Pela independência amostral, a covariância entre amostras distintas anula-se (\(\operatorname{Cov}(\nabla f_{i_b}, \nabla f_{i_l}) = 0\) para \(b \neq l\)). Portanto: \[\operatorname{Var}\left(\frac{1}{B}\sum_{b=1}^B \nabla f_{i_b}(\mathbf{w})\right) = \frac{1}{B^2} \sum_{b=1}^B \operatorname{Var}(\nabla f_{i_b}(\mathbf{w})) = \frac{1}{B^2} \cdot B \cdot \sigma^2(\mathbf{w}) = \frac{\sigma^2(\mathbf{w})}{B}\]
5.3 Teorema da Redução de Variância sob Amostragem Sem Reposição (População Finita)
Na prática do treinamento em redes neurais, o conjunto de dados é permutado aleatoriamente (shuffled) e particionado em \(N/B\) mini-batches disjuntos a cada época. Como os dados não se repetem no mesmo lote, a amostragem é sem reposição.
Dedução Combinatória Completa: Defina os vetores de desvio centralizados em relação à média populacional por \(\mathbf{u}_i := \nabla f_i(\mathbf{w}) - \nabla F(\mathbf{w})\). Por construção da média empírica:
\[\sum_{i=1}^N \mathbf{u}_i = \mathbf{0} \quad \text{e} \quad \sum_{i=1}^N \|\mathbf{u}_i\|^2 = N \sigma^2(\mathbf{w})\]
Expandindo o quadrado da soma total nula:
\[0 = \left\|\sum_{i=1}^N \mathbf{u}_i\right\|^2 = \sum_{i=1}^N \|\mathbf{u}_i\|^2 + \sum_{i \neq j} \langle \mathbf{u}_i, \mathbf{u}_j \rangle = N \sigma^2(\mathbf{w}) + \sum_{i \neq j} \langle \mathbf{u}_i, \mathbf{u}_j \rangle\]
Portanto, a soma de todos os \(N(N-1)\) produtos cruzados com \(i \neq j\) é estritamente negativa:
\[\sum_{i \neq j} \langle \mathbf{u}_i, \mathbf{u}_j \rangle = -N \sigma^2(\mathbf{w}) \implies \mathbb{E}_{i \neq j}[\langle \mathbf{u}_i, \mathbf{u}_j \rangle] = \frac{-N \sigma^2(\mathbf{w})}{N(N-1)} = -\frac{\sigma^2(\mathbf{w})}{N - 1}\]
Agora, avaliamos a variância do estimador por mini-batch \(\mathbf{g}_{\mathcal{B}} - \nabla F = \frac{1}{B}\sum_{b=1}^B \mathbf{u}_{i_b}\):
\[\mathbb{E}\left[\|\mathbf{g}_{\mathcal{B}} - \nabla F\|^2\right] = \frac{1}{B^2} \mathbb{E}\left[ \sum_{b=1}^B \|\mathbf{u}_{i_b}\|^2 + \sum_{b \neq l} \langle \mathbf{u}_{i_b}, \mathbf{u}_{i_l} \rangle \right]\]
Substituindo a média dos \(B\) termos quadráticos e dos \(B(B-1)\) termos cruzados:
\[\mathbb{E}\left[\|\mathbf{g}_{\mathcal{B}} - \nabla F\|^2\right] = \frac{1}{B^2} \left[ B \sigma^2(\mathbf{w}) + B(B-1)\left( -\frac{\sigma^2(\mathbf{w})}{N-1} \right) \right] = \frac{\sigma^2(\mathbf{w})}{B} \left[ 1 - \frac{B-1}{N-1} \right]\]
Agrupando a fração entre colchetes:
\[1 - \frac{B-1}{N-1} = \frac{(N-1) - (B-1)}{N-1} = \frac{N - B}{N - 1}\]
Resultando rigorosamente em:
\[\operatorname{Var}(\mathbf{g}_{\mathcal{B}}(\mathbf{w})) = \left(\frac{N - B}{N - 1}\right) \frac{\sigma^2(\mathbf{w})}{B}\]
Observe o comportamento elegante dessa fórmula nos casos limites: * Se \(B = 1 \implies \frac{N-1}{N-1} \cdot \frac{\sigma^2}{1} = \sigma^2\) (recupera a variância total do SGD puro). * Se \(B = N \implies \frac{N-N}{N-1} = 0\) (a variância se anula identicamente, recuperando o determinismo perfeito do BGD!).
5.4 A Física da Computação: Hierarquia de Hardware e a Lei do Throughput
A decisão do tamanho do lote \(B\) não é puramente estatística; ela é moldada pela arquitetura de memória e paralelismo de hardware (CPUs e GPUs):
- A Ineficiência Catastrófica de \(B = 1\): Executar multiplicações vetor-vetor (\(B = 1\)) pertence ao nível BLAS-1. O hardware gasta mais tempo carregando instruções da memória RAM para os registradores e despachando chamadas de kernel (kernel launch latency) do que de fato efetuando operações aritméticas de ponto flutuante. Quase \(95\%\) dos núcleos de processamento paralelo da GPU permanecem ociosos!
- A Eficiência das Operações Matriciais (\(B \in [32, 256]\)): Ao empilhar \(B\) exemplos em uma matriz de lote \(X_{\mathcal{B}} \in \mathbb{R}^{B \times d}\), a operação de previsão e gradiente transforma-se em uma multiplicação matriz-matriz de nível BLAS-3 (\(X_{\mathcal{B}}^T \mathbf{r}\)). As bibliotecas especializadas (cuBLAS, MKL) carregam blocos de matriz na cache ultrarrápida L1/L2 e nos Tensor Cores, reutilizando os mesmos registradores para múltiplos cálculos simultâneos. Processar \(B = 64\) consome praticamente o mesmo tempo de relógio que processar \(B = 1\)!
- A Saturação e os Retornos Decrescentes (\(B > B_{\text{crit}}\)): Assim que a GPU satura sua capacidade de processamento paralelo e largura de banda de memória (em geral entre \(B = 128\) e \(B = 512\)), dobrar o tamanho do lote para \(2B\) dobra o tempo de relógio por passo. Pelo Teorema da Redução de Variância, dobrar \(B\) divide a variância por 2, o que reduz o desvio-padrão do ruído apenas por \(\sqrt{2} \approx 1{,}41\). Paga-se \(100\%\) a mais em computação para obter apenas \(29\%\) de redução na amplitude do ruído!
5.5 Validação Empírica da Redução de Variância no California Housing
Avaliamos a variância empírica do gradiente amostral \(\|\mathbf{g}_{\mathcal{B}} - \nabla F\|^2\) no California Housing sobre 400 sorteios independentes para diferentes tamanhos de lote \(B \in \{1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024\}\) no ponto \(\mathbf{w}_0 = \mathbf{0}\):
A curva empírica coincide rigorosamente com a reta teórica de inclinação \(-1\) na escala log-log, validando que a variância decai estritamente com o inverso de \(B\).
5.6 Pausa 4 — Mini-Batching e Eficiência de Hardware
DicaVariância e Hardware
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ Se aumentarmos o tamanho do mini-batch de \(B = 16\) para \(B = 64\), a variância do estimador do gradiente sob amostragem com reposição é reduzida exatamente por um fator de 4.
- □ Na amostragem sem reposição, quando o tamanho do mini-batch se iguala ao número total de amostras (\(B = N\)), a variância do gradiente anula-se identicamente devido ao fator \((N-B)/(N-1)\).
- □ O SGD puro (\(B = 1\)) sempre treina mais rápido na prática em uma GPU moderna do que o Mini-batch com \(B = 64\), pois requer menos operações aritméticas por iteração.
- □ Se um problema possuir ruído intrínseco nulo (\(\nabla f_i(\mathbf{w}) = \nabla F(\mathbf{w})\) para todo \(i\)), então o SGD puro com \(B = 1\) comporta-se de maneira identicamente equivalente ao BGD com lote completo.
6 Bloco 4: Teoria de Convergência e Taxas de Aprendizado
6.1 O Paradoxo da Taxa de Aprendizado Constante: A Bola de Ruído
Por que o SGD não converge para o ponto ótimo exato sob taxa de aprendizado constante \(\alpha\)?
Analisemos formalmente a dinâmica estocástica em uma função quadrática \(\mu\)-fortemente convexa e \(L\)-suave:
\[F(\mathbf{w}) = \frac{1}{2}(\mathbf{w} - \mathbf{w}^\star)^T A (\mathbf{w} - \mathbf{w}^\star)\]
onde \(\mu I \preceq A \preceq L I\). O passo de atualização do SGD puro é:
\[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha (\nabla F(\mathbf{w}_k) + \boldsymbol{\xi}_k)\]
Definindo o vetor de erro em relação ao minimizador por \(\mathbf{e}_k := \mathbf{w}_k - \mathbf{w}^\star\), e lembrando que \(\nabla F(\mathbf{w}_k) = A\mathbf{e}_k\), temos:
\[\mathbf{e}_{k+1} = (I - \alpha A)\mathbf{e}_k - \alpha \boldsymbol{\xi}_k\]
Calculando a norma euclidiana quadrática do erro:
\[\|\mathbf{e}_{k+1}\|^2 = \|(I - \alpha A)\mathbf{e}_k\|^2 - 2\alpha \langle (I - \alpha A)\mathbf{e}_k, \boldsymbol{\xi}_k \rangle + \alpha^2 \|\boldsymbol{\xi}_k\|^2\]
Tomando a esperança condicional em relação a \(i_k\), dado \(\mathbf{w}_k\): 1. O termo cruzado anula-se, pois \(\mathbb{E}[\boldsymbol{\xi}_k \mid \mathbf{w}_k] = \mathbf{0}\). 2. Pela contração espectral da matriz simétrica \(I - \alpha A\) sob \(\alpha \le 1/L\): \[\|I - \alpha A\|_2 \le 1 - \alpha \mu \implies \|(I - \alpha A)\mathbf{e}_k\|^2 \le (1 - \alpha \mu)^2 \|\mathbf{e}_k\|^2 \le (1 - 2\alpha \mu + \alpha^2 L^2)\|\mathbf{e}_k\|^2 \le (1 - \alpha \mu)\|\mathbf{e}_k\|^2\] 3. O termo quadrático do ruído contribui com a variância: \(\mathbb{E}[\|\boldsymbol{\xi}_k\|^2 \mid \mathbf{w}_k] \le \sigma^2\).
Reunindo os termos, obtemos a relação recursiva fundamental de contração de erro:
\[\mathbb{E}[\|\mathbf{e}_{k+1}\|^2 \mid \mathbf{w}_k] \le (1 - 2\alpha \mu)\|\mathbf{e}_k\|^2 + \alpha^2 \sigma^2\]
6.2 Dedução Formal da Bola de Ruído Estacionária
Aplicando recursivamente essa desigualdade para \(k\) iterações sucessivas a partir de \(\mathbf{w}_0\):
\[\mathbb{E}[\|\mathbf{w}_k - \mathbf{w}^\star\|^2] \le (1 - 2\alpha \mu)^k \|\mathbf{w}_0 - \mathbf{w}^\star\|^2 + \alpha^2 \sigma^2 \sum_{j=0}^{k-1}(1 - 2\alpha \mu)^j\]
Como \(\alpha \le 1/L \le 1/\mu\), temos \(0 < 1 - 2\alpha \mu < 1\). A série geométrica finita converge no limite para \(\frac{1}{1 - (1 - 2\alpha \mu)} = \frac{1}{2\alpha \mu}\). Fazendo \(k \to \infty\):
\[\lim_{k \to \infty} \mathbb{E}[\|\mathbf{w}_k - \mathbf{w}^\star\|^2] \le \frac{\alpha^2 \sigma^2}{2\alpha \mu} = \frac{\alpha \sigma^2}{2\mu}\]
6.3 Verificação Numérica no California Housing
No California Housing, nossa matriz Hessiana empírica possui \(\mu_{\text{emp}} \approx 0{,}0615\) e a variância empírica no minimizador é \(\sigma^2(\mathbf{w}^\star) \approx 48{,}85\). * Se escolhermos \(\alpha = 0{,}001\), o limitante teórico para a distância quadrática média é: \[\lim \mathbb{E}[\|\mathbf{w}_k - \mathbf{w}^\star\|^2] \le \frac{0{,}001 \times 48{,}85}{2 \times 0{,}0615} \approx 0{,}397 \implies R_{\text{teor}} \le \sqrt{0{,}397} \approx 0{,}630\] * Na simulação numérica executada no setup da aula, o desvio quadrático médio empírico observado nas últimas \(10.000\) iterações de SGD puro atinge \(R_{\text{emp}} \approx 0{,}304\), confirmando que a trajetória flutua estritamente confinada dentro do raio teórico da bola de confusão!
6.4 As Históricas Condições de Robbins-Monro (1951)
Para forçar a bola de ruído a colapsar a um único ponto pontual (\(\lim \frac{\alpha_k \sigma^2}{2\mu} = 0\)), a taxa de aprendizado deve decair ao longo do tempo: \(\alpha_k \to 0\). Mas quão rápido ela pode decair?
Se \(\alpha_k\) decair rápido demais (por exemplo, \(\alpha_k = \frac{1}{2^k}\)), os passos encolhem tão velozmente que a soma total de distâncias percorríveis \(\sum_{k=1}^\infty \alpha_k < \infty\) é finita. Se a inicialização \(\mathbf{w}_0\) estiver distante de \(\mathbf{w}^\star\), o algoritmo congela prematuramente no caminho!
Em 1951, Herbert Robbins e Sutton Monro estabeleceram o teorema fundamental que fundou a área de aproximação estocástica:
6.4.1 O Significado Físico das Condições:
- \(\sum \alpha_k = \infty\): Garante que a partícula tem energia cinética cumulativa ilimitada para percorrer qualquer distância no espaço de busca, assegurando que o algoritmo nunca fique preso por passos prematuramente microscópicos.
- \(\sum \alpha_k^2 < \infty\): Garante que a variância total acumulada pelo ruído \(\sum \alpha_k^2 \sigma^2 < \infty\) é finita, assegurando que as flutuações térmicas brownianas se extinguem assintoticamente, permitindo que a partícula assente suavemente no fundo do poço de potencial.
O exemplo clássico que satisfaz perfeitamente as duas condições de Robbins-Monro é a taxa inversamente proporcional ao tempo:
\[\alpha_k = \frac{\alpha_0}{k}\]
pois a série harmônica diverge (\(\sum \frac{1}{k} = \infty\)), enquanto a série dos quadrados converge (\(\sum \frac{1}{k^2} = \frac{\pi^2}{6} < \infty\)).
6.5 Cronogramas Práticos de Decaimento (Learning Rate Schedules)
Na engenharia moderna de aprendizado de máquina, empregam-se três cronogramas principais de decaimento:
- Decaimento em Degraus (Step Decay): Mantém a taxa constante por \(E\) épocas e então multiplica por um fator \(\gamma \in (0, 1)\) (em geral \(\gamma = 0{,}1\) ou \(0{,}35\)): \[\alpha_e = \alpha_0 \cdot \gamma^{\lfloor e / E \rfloor}\] Permite rápida exploração inicial e, a cada degrau, encolhe bruscamente o raio da bola de ruído para refinar a aproximação.
- Decaimento Polinomial: \[\alpha_k = \frac{\alpha_0}{(1 + \gamma k)^p}, \quad \text{com } p \in [0.5, 1.0]\] Para \(p = 0.5\) (\(\alpha_k \sim 1/\sqrt{k}\)), o decaimento é mais suave e muito comum em otimizadores adaptativos.
- Decaimento Cosseno (Cosine Annealing): Suaviza a taxa de aprendizado seguindo meio período de um cosseno até atingir um valor residual \(\alpha_{\min}\): \[\alpha_t = \alpha_{\min} + \frac{1}{2}(\alpha_{\max} - \alpha_{\min})\left(1 + \cos\left(\frac{t}{T}\pi\right)\right)\] Amplamente adotado no treinamento moderno de redes neurais profundas e Grandes Modelos de Linguagem (LLMs).
6.6 Dinâmica de Decaimento: Colapsando a Bola de Ruído
Abaixo, comparamos a distância quadrática ao ótimo \(\|\mathbf{w}_k - \mathbf{w}^\star\|^2\) no California Housing sob taxa constante versus Step Decay e Cosine Annealing:
Observe como a curva vermelha (passo fixo) estaciona permanentemente oscilando em torno de \(10^0\), enquanto o Step Decay (azul) e o Cosine Annealing (verde) colapsam a distância ao centro da bacia por mais de duas ordens de grandeza!
6.7 A Bênção Oculta do Ruído na Otimização Não-Convexa
Até aqui tratamos o ruído estocástico como uma perturbação a controlar. Em redes neurais profundas, contudo, o ruído estocástico atua como um regularizador implícito essencial:
- Escape de Pontos de Sela: Em paisagens não-convexas, pontos de sela (\(\nabla F = \mathbf{0}\) com Hessiana contendo autovalores negativos) podem paralisar o BGD. No SGD, o ruído amostral \(\boldsymbol{\xi}_k\) atua como uma perturbação transversal aleatória que quebra a simetria imediatamente, empurrando os parâmetros na direção descendente.
- Seleção de Mínimos Planos (Flat Minima):
- Em vales estreitos e pontiagudos (sharp minima), a curvatura da perda é alta, gerando gradientes de altíssima amplitude. O ruído térmico \(\boldsymbol{\xi}_k\) arremessa os parâmetros para fora desse vale estreito com facilidade!
- Em vales amplos e suaves (flat minima), o gradiente local é pequeno, permitindo que o algoritmo acomode-se estavelmente na bacia.
- Generalização Superior: Mínimos planos são robustos a pequenas discrepâncias estatísticas entre o conjunto de treinamento e os dados de teste no mundo real.
6.8 Pausa 5 — Robbins-Monro e Dinâmica Estocástica
DicaPergunta Aberta
Analise o comportamento do SGD em uma paisagem de perda fortemente anisotrópica (como um desfiladeiro elíptico alongado com \(\kappa = \lambda_{\max}/\lambda_{\min} \gg 1\), típico do California Housing antes do escalonamento). Se a Hessiana possui autovalores muito discrepantes, o que ocorre com a trajetória do SGD? Como as flutuações estocásticas do ruído interagem com o mau condicionamento do terreno?
DicaConvergência e Paisagem
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ A sequência de passos \(\alpha_k = 1/\sqrt{k}\) satisfaz a condição de exploração infinita (\(\sum \alpha_k = \infty\)), mas viola a condição de supressão do ruído de Robbins-Monro (\(\sum \alpha_k^2 < \infty\)).
- □ A sequência de passos \(\alpha_k = 1/k^2\) garante variância acumulada finita, mas pode falhar em atingir o mínimo caso a inicialização \(\mathbf{w}_0\) esteja muito afastada da solução.
- □ Sob taxa constante \(\alpha\) em quadráticas fortemente convexas, o diâmetro da bola de ruído estacionária é inversamente proporcional ao parâmetro de forte convexidade \(\mu\).
- □ Em torno de um ponto de sela com \(\nabla F(\mathbf{w}) = \mathbf{0}\) e autovalores mistos na Hessiana, a perturbação estocástica do ruído facilita a quebra de simetria e o escape pelo vale descendente.
7 Fechamento
7.1 Retomando as 4 Perguntas Centrais
Chegamos ao fechamento da Aula 10 com as quatro perguntas fundamentais plenamente respondidas:
- Fundamentação Estatística: O gradiente estocástico avaliado em uma amostra aleatória é um estimador não-enviesado da perda empírica global: \(\mathbb{E}[\nabla f_{i_k}(\mathbf{w})] = \nabla F(\mathbf{w})\). O algoritmo não possui desvio angular sistemático e aponta, em esperança, na direção correta.
- Propriedades do Ruído: O ruído \(\boldsymbol{\xi}_k\) possui média zero e covariância \(\Sigma(\mathbf{w})\). No minimizador ótimo \(\mathbf{w}^\star\), a menos que haja interpolação perfeita com resíduo nulo em todas as amostras, \(\Sigma(\mathbf{w}^\star) \succ 0\). Sob taxa de aprendizado constante, o algoritmo nunca atinge um ponto fixo, estagnando em uma bola de ruído de raio \(\mathcal{O}(\alpha \sigma^2 / \mu)\).
- Mini-Batching e Hardware: Um mini-batch de tamanho \(B\) reduz a variância do gradiente por \(\sigma^2/B\) (com reposição) ou \(\frac{N-B}{N-1}\frac{\sigma^2}{B}\) (sem reposição). Em hardware real, \(B \in [32, 256]\) atinge máxima taxa de transferência (throughput) explorando operações matriciais BLAS-3 e paralelismo SIMD/GPU.
- Convergência de Robbins-Monro e Generalização: Para que a bola de ruído colapse no ponto ótimo exato, a sequência de passos deve satisfazer \(\sum \alpha_k = \infty\) (exploração irrestrita) e \(\sum \alpha_k^2 < \infty\) (supressão do ruído). Longe de ser um defeito numérico, o ruído estocástico atua como um regularizador implícito que expulsa os parâmetros de pontos de sela e vales estreitos, selecionando mínimos planos (flat minima) com superior capacidade de generalização.
7.2 Quadro Comparativo Geral: BGD vs. SGD vs. Mini-Batch
| Dimensão de Análise | Batch GD (BGD) | SGD Puro (\(B = 1\)) | Mini-Batch SGD (\(B = 32\)) |
|---|---|---|---|
| Custo por Iteração | \(\mathcal{O}(Nd)\) | \(\mathcal{O}(d)\) | \(\mathcal{O}(Bd)\) |
| Passos por Época | 1 | \(N\) | \(N/B\) |
| Variância do Gradiente | \(0\) (Determinístico) | \(\sigma^2(\mathbf{w})\) (Máxima) | \(\sigma^2(\mathbf{w})/B\) (Controlada) |
| Aproveitamento de GPU | Alto, mas com latência total | Péssimo (Memory-bound) | Excelente (Compute-bound) |
| Com \(\alpha\) Constante | Converge exatamente para \(\mathbf{w}^\star\) | Flutua na bola de ruído | Flutua em bola menor |
| Escape de Selas | Lento / Pode travar | Muito rápido | Rápido e estável |
| Seleção de Mínimos | Neutro | Favorece mínimos planos | Favorece mínimos planos |
7.3 O Que Fica em Aberto
- Vales Anisotrópicos e Ziguezague: Mesmo com a redução de variância propiciada pelo mini-batching, o gradiente estocástico sofre violentamente em vales estreitos mal-condicionados (\(\kappa \gg 1\)), onde as oscilações transversais retardam o avanço ao longo do vale.
- Taxa de Aprendizado Escalar Única: Uma única taxa de aprendizado global \(\alpha\) trata todos os parâmetros de maneira homogênea, ignorando que alguns atributos podem ser esparsos ou possuir curvaturas drasticamente distintas.
7.4 Ponte para a Aula 11: O Limite dos Métodos de 1ª Ordem e a Curvatura Local
O SGD trata todos os parâmetros com a mesma taxa de aprendizado escalar global \(\alpha\). Porém, em superfícies anisotrópicas, algumas direções possuem curvatura íngreme (exigindo passos minúsculos para não divergir) enquanto outras são quase planas (onde o avanço é exasperadoramente lento).
Qual seria o passo ótimo se pudéssemos calcular e incorporar a curvatura exata da função de perda?
Na Aula 11: Otimização de Segunda Ordem (Método de Newton) e Precondicionamento Diagonal, investigaremos a aproximação quadrática de Taylor multivariada, o passo ideal de Newton-Raphson (\(H^{-1}\nabla f\)), as razões pelas quais a inversão da Hessiana colapsa computacionalmente em aprendizado de máquina (\(\mathcal{O}(d^3)\)) e como aproximações diagonais da curvatura geram as taxas de aprendizado adaptativas por coordenada no AdaGrad e RMSProp.