Regularização e Estimativa MAP Bayesiana

Aula 7 — Do Controle de Complexidade à Incerteza dos Parâmetros

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-20

Revisão e Introdução

Revisão da Aula 6: A Patologia que Ficou em Aberto

Regressão Logística: \(\mu(\mathbf{x}) = \sigma(\mathbf{w}^T\mathbf{x})\), ajustada por Máxima Verossimilhança sob Bernoulli \(\to\) perda de Entropia Cruzada, resolvida sem solução fechada pelo IRLS (convergência quadrática).

A patologia da separação perfeita: se os dados são linearmente separáveis, \(\|\mathbf{w}\| \to \infty\) minimiza a perda — mínimo inatingível, Hessiana satura, modelo perde calibração.
O que ficou sinalizado: a cura é abandonar a verossimilhança pura em favor de uma penalidade sobre \(\|\mathbf{w}\|\).

A Ideia Central de Hoje

Regularizar = expandir o objetivo: um termo de penalidade corrige uma superfície de verossimilhança achatada/ilimitada — não é um ajuste ad-hoc.

A penalidade não é arbitrária: sob a ótica Bayesiana, tratar \(\mathbf{w}\) como variável aleatória com uma prior e maximizar a posterior (estimativa MAP) produz exatamente Ridge e Lasso.

Quatro Perguntas de Hoje

Por que o MLE produz coeficientes instáveis com multicolinearidade/separação perfeita — e como uma penalidade resolve isso? . . .
Qual a diferença estrutural entre \(L_2\) (Ridge) e \(L_1\) (Lasso) — por que só uma zera coeficientes? . . .
Por que regularizar equivale a assumir uma prior sobre os parâmetros (MAP)? . . .
Qual prior corresponde a Ridge, qual a Lasso, e por que a geometria de cada uma explica a esparsidade?

O Limite da Máxima Verossimilhança (MLE)

O Limite da MLE: Multicolinearidade

Solução fechada da Aula 5: \(\hat{\boldsymbol\beta}_{\text{MLE}} = (X^TX)^{-1}X^T\mathbf{y}\) — depende de \(X^TX\) ser invertível.

Multicolinearidade: colunas correlacionadas \(\to\) \(X^TX\) quase singular \(\to\) \((X^TX)^{-1}\) amplifica ruído em coeficientes gigantescos. Mesma problema da separação perfeita (Aula 6), mas em outra outra forma..
Simulação: efeito verdadeiro \(2x_0+3x_1\), com \(x_0\approx x_1\) (correlação \(0{,}99\)).

MLE: não recupera \([2, 3, 0, 0, 0]\) — qualquer combinação com \(\hat\beta_0+\hat\beta_1\approx 5\) ajusta igualmente bem; o ruído decide qual “vence”. Alta variância.

Pergunta

Pausa Ativa 1 — Colinearidade Perfeita e a Matriz \(X^TX\)

Duas colunas \(x_0, x_1\) com \(x_1 = c\cdot x_0\), efeito verdadeiro \(y = 2x_0+3x_1+\epsilon\).

□ Colinearidade perfeita torna \(\det(X^TX) = 0\) (restrito a essas colunas), e \((X^TX)^{-1}\) fica indefinida.
□ Qualquer \((\hat\beta_0,\hat\beta_1)\) com \(\hat\beta_0+c\hat\beta_1 = 2+3c\) produz o mesmo \(\hat{y}\) no treino.
□ Mesmo um \(\lambda\) pequeno em \(X^TX+\lambda I\) restaura a definição positiva estrita, mesmo sob colinearidade perfeita.
□ O problema só ocorre se \(D > N\); com \(N > D\), \(X^TX\) é sempre invertível.

Resposta

Pausa Ativa 1 — Resolução

✔ Colunas proporcionais são linearmente dependentes; a submatriz correspondente de \(X^TX\) tem posto deficiente, determinante zero.
✔ A soma de quadrados residuais depende só da combinação \(\hat\beta_0 x_0 + \hat\beta_1 x_1 = (\hat\beta_0+c\hat\beta_1)x_0\); qualquer par que preserve essa soma ajusta igual.
✔ \(X^TX+\lambda I\) soma \(\lambda\) a todo autovalor de \(X^TX\) (incluindo os autovalores nulos por colinearidade); para qualquer \(\lambda>0\), todos os autovalores ficam estritamente positivos.
✗ Falso. Multicolinearidade é sobre a relação entre colunas de \(X\), não sobre a razão \(N/D\); mesmo com \(N \gg D\), colunas correlacionadas deixam \(X^TX\) mal condicionada (perto de singular), ainda que tecnicamente invertível.

Regularização Frequentista: Ridge e Lasso

Expandindo o Objetivo: Ridge e Lasso

\[J(\boldsymbol\beta) = \|\mathbf{y} - X\boldsymbol\beta\|^2 + \lambda \Omega(\boldsymbol\beta), \qquad \lambda \ge 0\]

\(\lambda=0\): recupera o MLE puro. \(\lambda\to\infty\): força \(\boldsymbol\beta\to\mathbf{0}\).

Ridge (\(L_2\)): \(\Omega(\boldsymbol\beta) = \sum_j\beta_j^2\) — “encolhe os coeficientes… em direção a zero” (ESL, §3.4).
Lasso (\(L_1\)): \(\Omega(\boldsymbol\beta) = \sum_j|\beta_j|\) — “força alguns coeficientes a serem exatamente zero” (ESL, §3.4).

Ridge Tem Solução Fechada

Igualando \(\nabla J(\boldsymbol\beta) = \mathbf{0}\): \[-2X^T(\mathbf{y}-X\boldsymbol\beta) + 2\lambda\boldsymbol\beta = \mathbf{0} \implies (X^TX+\lambda I)\boldsymbol\beta = X^T\mathbf{y}\] \[\hat{\boldsymbol\beta}_{\text{Ridge}} = (X^TX + \lambda I)^{-1}X^T\mathbf{y}\]

A resposta da Pausa Ativa 1: \(\lambda I\) desloca todo autovalor de \(X^TX\) em \(+\lambda\) \(\to\) sempre invertível, mesmo sob colinearidade perfeita.
Lasso não tem solução fechada — \(|\beta_j|\) não é diferenciável em \(0\); exige otimização numérica.

Trajetórias: A Assinatura Visual

Ridge: curvas encolhem suavemente, raramente tocam zero.
Lasso: curvas “batem” no eixo zero e permanecem — seleção automática de variáveis (explicado no Bloco 4).

Pergunta

Pausa Ativa 3 — A Equivalência \(\lambda = \sigma^2/\tau^2\)

□ Dobrar \(\sigma^2\) (mais ruído), com \(\tau^2\) fixo, aumenta o \(\lambda\) efetivo.
□ MAP com prior uniforme é idêntico ao MLE.
□ Uma prior Gaussiana com média \(\mu_0\ne0\) ainda produz a penalidade Ridge padrão \(\lambda\|\boldsymbol\beta\|^2\), sem alteração.
□ Trocar a verossimilhança gaussiana por Bernoulli (regressão logística), mantendo a prior Gaussiana sobre \(\boldsymbol\beta\), ainda produz um termo de penalidade \(L_2\) somado à log-verossimilhança.

Resposta

Pausa Ativa 3 — Resolução

✔ \(\lambda=\sigma^2/\tau^2\) cresce com \(\sigma^2\): mais ruído nos dados \(\implies\) menos confiança no ajuste puro \(\implies\) mais peso na prior.
✔ Prior uniforme \(\implies \ln p(\boldsymbol\beta)=\) constante \(\implies\) não afeta o \(\arg\max\); MAP colapsa exatamente no MLE.
✗ Falso — uma prior com \(\mu_0\ne0\) produziria \(\ln p(\boldsymbol\beta) = -\frac{1}{2\tau^2}\|\boldsymbol\beta-\boldsymbol\mu_0\|^2+\text{const}\), uma penalidade que puxa \(\boldsymbol\beta\) para \(\boldsymbol\mu_0\), não para a origem — uma forma diferente de Ridge padrão.
✔ A soma \(\ln p(\mathcal{D}\mid\boldsymbol\beta) + \ln p(\boldsymbol\beta)\) sempre inclui o termo \(-\frac{1}{2\tau^2}\|\boldsymbol\beta\|^2\) da prior, independente de qual verossimilhança compõe o primeiro termo — é exatamente esse princípio que generaliza MAP para GLMs regularizados além da regressão linear.

MAP e a Geometria da Sparsity

Intuição Geométrica

Minimizar sujeito a penalidade \(\equiv\) minimizar restrito a uma região viável: círculo (\(L_2\)) ou diamante (\(L_1\)).

Círculo (Ridge): suave em todo contorno — contato raramente sobre um eixo.
Diamante (Lasso): vértices sobre os eixos — contato “prefere” esses pontos (não-diferenciabilidade).

A Prova Algébrica: Soft-Thresholding em 1D

Caso 1D, ortonormal: \(g(\beta) = \frac12(\beta-\hat\beta_{\text{MLE}})^2 + \lambda|\beta|\).

Se \(\beta \ne 0\): \(\beta = \hat\beta_{\text{MLE}} - \lambda\,\text{sign}(\beta)\).
Se \(\beta = 0\): a força do dado \(|\hat\beta_{\text{MLE}}|\) deve ser \(\le \lambda\) para o zero ser o ótimo.

Algoritmo de Soft-Thresholding: \[\beta^* = \text{sign}(\hat\beta_{\text{MLE}})\cdot\max(|\hat\beta_{\text{MLE}}|-\lambda,\ 0)\]
Ridge em 1D: \(\beta^*_{\text{Ridge}} = \hat\beta_{\text{MLE}}/(1+\lambda)\) — zero só se \(\hat\beta_{\text{MLE}}=0\).

Pergunta

Pausa Ativa 4 — Soft-Thresholding e a Origem da Sparsity

□ Se \(\hat\beta_{\text{MLE}}=3\) e \(\lambda=5\), o soft-threshold produz \(\beta^*=0\).
□ Para qualquer \(\hat\beta_{\text{MLE}}\ne0\) fixo, sempre existe \(\lambda>0\) grande o bastante que zera \(\beta^*\).
□ Soft-thresholding (Lasso) e \(\hat\beta_{\text{MLE}}/(1+\lambda)\) (Ridge) produzem o mesmo \(\beta^*\) para qualquer \(\lambda\) fixo.
□ A razão da sparsity exata é o subgradiente \([-1,1]\) de \(|\beta|\) em \(0\) (absorve qualquer \(\hat\beta_{\text{MLE}}\) pequeno) vs. a derivada única \(0\) de \(\beta^2\) em \(0\) (só absorve \(\hat\beta_{\text{MLE}}=0\)).

Resposta

Pausa Ativa 4 — Resolução

✔ \(|3|=3\le\lambda=5\), então \(\beta^*=\text{sign}(3)\cdot\max(3-5,0)=\max(-2,0)=0\).
✔ Basta tomar \(\lambda \ge |\hat\beta_{\text{MLE}}|\); o operador satura em zero para todo \(\lambda\) nessa faixa.
✗ Falso — são funções distintas: soft-threshold é linear por partes com um platô exato em \(0\); \(\hat\beta_{\text{MLE}}/(1+\lambda)\) é uma reta que só toca \(0\) na origem. Coincidem apenas no ponto trivial \(\hat\beta_{\text{MLE}}=0\).
✔ Exatamente a distinção provada no bloco: subgradiente-intervalo (Lasso) vs. derivada-pontual (Ridge) é a causa algébrica da sparsity exata.

Síntese, Limitações e Fechamento

Retomando as Quatro Perguntas

MLE instável: multicolinearidade (\(X^TX\) quase singular) ou separação perfeita (verossimilhança ilimitada) — \(\lambda I\) resolve a singularidade diretamente.
\(L_2\) vs. \(L_1\): Ridge tem solução fechada, encolhe sem zerar; Lasso não tem solução fechada, mas soft-thresholding zera exatamente quando \(|\hat\beta_{\text{MLE}}|\le\lambda\).

MAP \(\equiv\) regularização: maximizar log-posterior = minimizar perda \(+ (-\ln p(\boldsymbol\beta))\); a penalidade é a log-prior negada.
Priors: Gaussiana \(\to\) Ridge (\(\lambda=\sigma^2/\tau^2\)); Laplace \(\to\) Lasso (\(\lambda=\sigma^2/b\)) — a esparsidade vem da geometria de cada log-prior.

Ponte para a Aula 8

Escolhemos \(\lambda\) arbitrariamente hoje — nunca formalizamos como escolher o valor certo, nem definimos matematicamente “viés” e “variância”.

Dica

Aula 8: decompor o erro esperado em viés², variância e erro irredutível — o critério formal para escolher \(\lambda\).

Exercícios Soluções