Regularização e Estimativa MAP Bayesiana

Aula 7 — Do Controle de Complexidade à Incerteza dos Parâmetros

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

20 de setembro de 2026

1 Revisão e Introdução

Na Aula 6, avançamos da regressão contínua para a classificação paramétrica: sob a hipótese de que \(Y \mid \mathbf{x} \sim \text{Bernoulli}(\mu(\mathbf{x}))\) com \(\mu(\mathbf{x}) = \sigma(\mathbf{w}^T\mathbf{x})\), derivamos a perda de Entropia Cruzada a partir do princípio da Máxima Verossimilhança e mostramos que, apesar de não haver solução fechada (o parâmetro \(\mathbf{w}\) fica “preso” dentro da sigmoide transcendental), a estrita convexidade da perda garante um único mínimo global, alcançável com convergência quadrática pelo algoritmo IRLS (Newton-Raphson).

Fechamos aquela aula, porém, com uma patologia severa: quando os dados de treino são linearmente separáveis, não existe mínimo finito. Multiplicar o vetor separador \(\mathbf{w}^*\) por um escalar \(k \to +\infty\) empurra todas as probabilidades previstas para \(0\) ou \(1\), e a perda de entropia cruzada cai para zero no limite, nunca num ponto alcançável — o otimizador persegue \(\|\mathbf{w}\| \to \infty\) para sempre, a Hessiana satura (\(R \to \mathbf{0}\)) e o modelo perde toda calibração probabilística. Sinalizamos ali que a cura seria abandonar a verossimilhança pura em favor de uma penalidade sobre a magnitude dos pesos — e é exatamente esse abandono controlado que formalizamos hoje.

A ideia central desta aula é dupla. Primeiro: regularizar significa expandir o objetivo de otimização, adicionando um termo que penaliza parâmetros de magnitude excessiva — não é um “truque de engenharia”, é uma correção estrutural para um problema estrutural (superfície de verossimilhança achatada ou ilimitada em certas direções). Segundo, e mais profundo: essa penalidade não é arbitrária. Sob a ótica Bayesiana, tratar \(\mathbf{w}\) como uma variável aleatória com uma distribuição a priori conhecida, e maximizar a probabilidade a posteriori (estimativa MAP — Maximum A Posteriori) em vez da verossimilhança pura, produz exatamente os mesmos objetivos de Ridge e Lasso — a penalidade é, literalmente, o logaritmo de uma crença prévia sobre os parâmetros.

Hoje respondemos a quatro perguntas:

Por que o MLE produz coeficientes instáveis ou infinitos quando há multicolinearidade ou separação perfeita nos dados — e como uma penalidade de complexidade resolve isso analiticamente?
Qual a diferença estrutural entre a penalidade \(L_2\) (Ridge) e \(L_1\) (Lasso), e por que só uma delas produz coeficientes exatamente zero?
Por que regularizar é matematicamente equivalente a assumir uma distribuição a priori sobre os parâmetros — o que é, formalmente, a estimativa MAP?
Qual prior específica corresponde a Ridge e qual corresponde a Lasso, e por que a forma geométrica de cada prior explica a diferença de esparsidade?

Dataset-fio de hoje: California Housing (gvlassis/california_housing), o mesmo já usado em optimization-linear-algebra — um problema real de regressão com 8 atributos em escalas muito diferentes (de Population, na casa dos milhares, a AveRooms, tipicamente entre 1 e 10) e correlações substanciais entre alguns pares (por exemplo, AveRooms e AveBedrms). É um cenário realista, não sintético, para observar por que a regularização é necessária e como Ridge e Lasso reagem de forma diferente à mesma multicolinearidade.

2 O Limite da Máxima Verossimilhança (MLE)

Em modelos lineares com ruído gaussiano (Aula 5), o estimador de Máxima Verossimilhança tem solução fechada pelas equações normais: \[\hat{\boldsymbol\beta}_{\text{MLE}} = \arg\min_{\boldsymbol\beta} \|\mathbf{y} - X\boldsymbol\beta\|^2 = (X^TX)^{-1}X^T\mathbf{y}\]

Essa fórmula depende crucialmente da matriz \(X^TX \in \mathbb{R}^{D\times D}\) ser invertível. Se \(X\) tem colunas fortemente correlacionadas (multicolinearidade), \(X^TX\) fica quase singular: seus autovalores mais próximos de zero fazem \((X^TX)^{-1}\) amplificar qualquer ruído presente nos dados de treino em coeficientes desproporcionalmente grandes. No caso limite de colunas exatamente colineares, \(X^TX\) é exatamente singular e a solução deixa de ser única — existem infinitas combinações de \(\boldsymbol\beta\) que produzem o mesmo ajuste.

Isso é, estruturalmente, a mesma doença já vista na Aula 6 sob outra forma: na separação perfeita, a superfície de log-verossimilhança fica ilimitada em certas direções do espaço de parâmetros; na multicolinearidade, ela fica achatada (quase plana) nessas direções. Em ambos os casos, o MLE — que só enxerga o ajuste aos dados de treino — não tem nenhuma força que o traga de volta para valores razoáveis de \(\boldsymbol\beta\). A figura abaixo simula esse cenário: duas colunas quase idênticas (correlação \(\approx 0{,}99\)) com efeito verdadeiro \(2x_0+3x_1\).

Observe: o MLE não recupera algo perto de \([2, 3, 0, 0, 0]\) — ele distribui (ou infla) os coeficientes de forma instável entre as duas colunas redundantes, porque qualquer combinação \(\hat\beta_0 + \hat\beta_1 \approx 5\) ajusta o treino igualmente bem, e o ruído decide qual combinação específica “vence”. Uma pequena perturbação nos dados de treino mudaria drasticamente esses coeficientes — o modelo tem alta variância.

Pausa Ativa 1 — Multicolinearidade e a Matriz \(X^TX\)

Considere um conjunto de dados com duas colunas de atributos \(x_0\) e \(x_1\) perfeitamente colineares, isto é, \(x_1 = c \cdot x_0\) para alguma constante \(c \ne 0\), e um efeito verdadeiro \(y = 2x_0 + 3x_1 + \epsilon\).

□ Se \(x_1 = c \cdot x_0\) exatamente, a matriz \(X^TX\) (restrita a essas duas colunas) tem determinante exatamente igual a zero, o que torna \((X^TX)^{-1}\) indefinida e a solução de mínimos quadrados deixa de ser única.
□ Qualquer par \((\hat\beta_0, \hat\beta_1)\) que satisfaça \(\hat\beta_0 + c\hat\beta_1 = 2 + 3c\) produz exatamente o mesmo vetor de previsões \(\hat{y}\) sobre os dados de treino, tornando esses infinitos pares indistinguíveis do ponto de vista da soma de quadrados residuais.
□ Adicionar uma pequena penalidade \(\lambda\|\boldsymbol\beta\|^2\) à função de custo, mesmo com \(\lambda\) muito pequeno, torna a matriz \(X^TX + \lambda I\) estritamente definida positiva, restaurando a unicidade da solução mesmo sob colinearidade perfeita.
□ O problema de multicolinearidade descrito aqui só pode ocorrer quando o número de atributos \(D\) é maior que o número de observações \(N\); se \(N > D\), a matriz \(X^TX\) é sempre invertível, independentemente das correlações entre colunas.

3 Regularização Frequentista: Ridge e Lasso

Para controlar a instabilidade do Bloco anterior, expandimos a função de custo com um termo de penalidade sobre a magnitude dos coeficientes: \[J(\boldsymbol\beta) = \underbrace{\|\mathbf{y} - X\boldsymbol\beta\|^2}_{\text{Perda (MSE)}} + \underbrace{\lambda \cdot \Omega(\boldsymbol\beta)}_{\text{Penalidade}}, \qquad \lambda \ge 0\]

O hiperparâmetro \(\lambda\) controla o compromisso: \(\lambda=0\) recupera o MLE puro (Bloco anterior); \(\lambda \to \infty\) força \(\boldsymbol\beta \to \mathbf{0}\). Existem duas formas principais de definir \(\Omega(\boldsymbol\beta)\):

Ridge Regression (\(L_2\)): \(\Omega(\boldsymbol\beta) = \|\boldsymbol\beta\|_2^2 = \sum_j \beta_j^2\).
Lasso Regression (\(L_1\)): \(\Omega(\boldsymbol\beta) = \|\boldsymbol\beta\|_1 = \sum_j |\beta_j|\).

Segundo Hastie, Tibshirani & Friedman (ESL, §3.4, pp. 63–67): a regressão Ridge “encolhe os coeficientes de regressão em direção a zero” pela penalidade \(L_2\), enquanto a Lasso “realiza seleção de variáveis ao forçar alguns coeficientes a serem exatamente zero” — a diferença central que o resto do bloco explica.

3.0.1 Ridge tem solução fechada — e ela resolve o Bloco 1 diretamente

Diferentemente de Lasso, Ridge admite solução analítica. Derivamos: igualando o gradiente de \(J(\boldsymbol\beta) = \|\mathbf{y}-X\boldsymbol\beta\|^2 + \lambda\|\boldsymbol\beta\|^2\) a zero, \[\nabla J(\boldsymbol\beta) = -2X^T(\mathbf{y} - X\boldsymbol\beta) + 2\lambda\boldsymbol\beta = \mathbf{0}\] \[-X^T\mathbf{y} + X^TX\boldsymbol\beta + \lambda\boldsymbol\beta = \mathbf{0} \implies (X^TX + \lambda I)\boldsymbol\beta = X^T\mathbf{y}\] \[\hat{\boldsymbol\beta}_{\text{Ridge}} = (X^TX + \lambda I)^{-1}X^T\mathbf{y}\]

Esta é exatamente a resposta prometida no Bloco 1 (Pausa Ativa 1): somar \(\lambda I\) desloca todo autovalor de \(X^TX\) para cima em \(\lambda\), tornando \(X^TX + \lambda I\) estritamente definida positiva — logo invertível — mesmo sob colinearidade perfeita. Ridge não é só uma penalidade heurística: é, literalmente, o remédio algébrico para a singularidade que quebrava o MLE.

Já Lasso não tem solução fechada — \(|\beta_j|\) não é diferenciável em \(\beta_j=0\), então não existe um sistema linear equivalente a resolver; o ajuste exige otimização numérica (coordenada a coordenada, ou métodos de gradiente proximal). A figura abaixo mostra a trajetória dos coeficientes de cada método, ajustados sobre o dataset-fio, conforme \(\lambda\) cresce.

Observe a assinatura visual: as curvas do Ridge (esquerda) encolhem suavemente em direção a zero, mas raramente o atingem exatamente; as curvas do Lasso (direita) “batem” no eixo zero e permanecem ali conforme \(\lambda\) cresce — coeficientes exatamente nulos, uma forma automática de seleção de variáveis.

Pausa Ativa 2 — O Papel de \(\lambda\) e a Fórmula Fechada

Considere a solução de Ridge \(\hat{\boldsymbol\beta}_{\text{Ridge}} = (X^TX + \lambda I)^{-1}X^T\mathbf{y}\).

□ Se \(\lambda = 0\), recuperamos exatamente a solução de mínimos quadrados ordinários (MLE), assumindo que \(X^TX\) seja invertível.
□ Aumentar \(\lambda\) reduz a magnitude dos coeficientes, o que geralmente aumenta o viés do modelo, mas reduz a variância ao tornar a inversão da matriz menos sensível a pequenas perturbações nos dados.
□ A solução de Ridge é sempre única para qualquer \(\lambda > 0\), mesmo que o número de atributos \(D\) seja maior que o número de observações \(N\) (\(D > N\)), cenário em que o MLE puro não teria solução única.
□ Como a penalidade de Ridge é quadrática, ela penaliza coeficientes grandes muito mais severamente do que a penalidade de Lasso, o que explica por que o Ridge raramente zera coeficientes.

4 A Ponte Bayesiana: De Penalidades a Priors

Até agora, tratamos a regularização como a adição de um termo de “custo” para evitar que os pesos crescessem demais. No entanto, essa abordagem frequentista é, na verdade, um caso particular de um framework mais poderoso: a Inferência Bayesiana.

No paradigma Bayesiano, não buscamos um único valor “correto” para \(\boldsymbol\beta\), mas sim a sua distribuição de probabilidade a posteriori, dado os dados \(\mathcal{D}\). Pelo Teorema de Bayes: \[p(\boldsymbol\beta \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid \boldsymbol\beta) p(\boldsymbol\beta)}{p(\mathcal{D})}\]

Onde \(p(\mathcal{D} \mid \boldsymbol\beta)\) é a verossimilhança (o que os dados nos dizem) e \(p(\boldsymbol\beta)\) é a prior (nossa crença prévia sobre os parâmetros antes de ver os dados). Se quisermos encontrar o valor mais provável de \(\boldsymbol\beta\) (a moda da posterior), estamos realizando a estimativa MAP (Maximum A Posteriori): \[\hat{\boldsymbol\beta}_{\text{MAP}} = \arg\max_{\boldsymbol\beta} p(\boldsymbol\beta \mid \mathcal{D}) = \arg\max_{\boldsymbol\beta} [ \ln p(\mathcal{D} \mid \boldsymbol\beta) + \ln p(\boldsymbol\beta) ]\]

Note que a constante de normalização \(p(\mathcal{D})\) desaparece no logaritmo. Aqui está o salto conceitual: a penalidade de regularização é, literalmente, o logaritmo negativo da prior.

4.0.1 Derivação 1: Prior Gaussiana \(\to\) Ridge

Se assumirmos que cada coeficiente \(\beta_j\) segue independentemente uma distribuição Gaussiana centrada em zero com variância \(\tau^2\), temos \(p(\beta_j) \propto \exp(-\frac{\beta_j^2}{2\tau^2})\). O logaritmo da prior para todos os coeficientes é: \[\ln p(\boldsymbol\beta) = \sum_{j=1}^D \ln \left( \frac{1}{\sqrt{2\pi\tau^2}} \exp\left(-\frac{\beta_j^2}{2\tau^2}\right) \right) = \text{const} - \frac{1}{2\tau^2} \sum_{j=1}^D \beta_j^2 = \text{const} - \frac{1}{2\tau^2} \|\boldsymbol\beta\|_2^2\]

Combinando isso com a verossimilhança Gaussiana da Aula 5 (\(\ln p(\mathcal{D} \mid \boldsymbol\beta) = -\frac{1}{2\sigma^2} \|\mathbf{y} - X\boldsymbol\beta\|^2 + \text{const}\)), o objetivo MAP torna-se: \[\hat{\boldsymbol\beta}_{\text{MAP}} = \arg\max_{\boldsymbol\beta} \left[ -\frac{1}{2\sigma^2} \|\mathbf{y} - X\boldsymbol\beta\|^2 - \frac{1}{2\tau^2} \|\boldsymbol\beta\|_2^2 \right]\] Multiplicando por \(-2\sigma^2\), obtemos exatamente a função de custo de Ridge: \[\hat{\boldsymbol\beta}_{\text{MAP}} = \arg\min_{\boldsymbol\beta} \left[ \|\mathbf{y} - X\boldsymbol\beta\|^2 + \frac{\sigma^2}{\tau^2} \|\boldsymbol\beta\|_2^2 \right] \implies \lambda = \frac{\sigma^2}{\tau^2}\]

4.0.2 Derivação 2: Prior de Laplace \(\to\) Lasso

Se, em vez de Gaussiana, assumirmos que \(\beta_j\) segue uma distribuição de Laplace centrada em zero com parâmetro de escala \(b\), temos \(p(\beta_j) = \frac{1}{2b} \exp(-\frac{|\beta_j|}{b})\). O logaritmo da prior é: \[\ln p(\boldsymbol\beta) = \sum_{j=1}^D \ln \left( \frac{1}{2b} \exp\left(-\frac{|\beta_j|}{b}\right) \right) = \text{const} - \frac{1}{b} \sum_{j=1}^D |\beta_j| = \text{const} - \frac{1}{b} \|\boldsymbol\beta\|_1\]

Novamente, combinando com a verossimilhança Gaussiana e multiplicando por \(-2\sigma^2\): \[\hat{\boldsymbol\beta}_{\text{MAP}} = \arg\max_{\boldsymbol\beta} \left[ -\frac{1}{2\sigma^2} \|\mathbf{y} - X\boldsymbol\beta\|^2 - \frac{1}{b} \|\boldsymbol\beta\|_1 \right] \implies \hat{\boldsymbol\beta}_{\text{MAP}} = \arg\min_{\boldsymbol\beta} \left[ \|\mathbf{y} - X\boldsymbol\beta\|^2 + \frac{2\sigma^2}{b} \|\boldsymbol\beta\|_1 \right]\] Aqui, a penalidade de Lasso surge naturalmente com \(\lambda = \frac{2\sigma^2}{b}\).

Pausa Ativa 3 — A Equivalência \(\lambda = \sigma^2/\tau^2\)

Considere a relação \(\lambda = \sigma^2/\tau^2\) derivada para a regressão Ridge.

□ Se a variância da prior \(\tau^2\) for muito grande, \(\lambda\) torna-se pequeno, o que significa que temos pouca crença prévia sobre a magnitude dos parâmetros e confiamos mais nos dados (MLE).
□ Se a variância do ruído \(\sigma^2\) for muito grande, \(\lambda\) aumenta, o que significa que os dados são pouco confiáveis e a estimativa MAP “se apoia” mais na prior para evitar overfitting.
□ A mesma estrutura de soma de log-densidades (\(\ln p(\mathcal{D} \mid \boldsymbol\beta) + \ln p(\boldsymbol\beta)\)) permite aplicar regularização \(L_2\) ou \(L_1\) a qualquer modelo, como a Regressão Logística, mesmo que não haja solução fechada.
□ A estimativa MAP é idêntica à média da distribuição a posteriori \(p(\boldsymbol\beta \mid \mathcal{D})\) para qualquer escolha de prior, independentemente de a distribuição ser simétrica ou unimodal.

Pausa Ativa 4 — Soft-Thresholding e a Origem da Sparsity

Considere o operador de soft-thresholding \(\beta^* = \text{sign}(\hat\beta_{\text{MLE}})\cdot\max(|\hat\beta_{\text{MLE}}|-\lambda, 0)\) derivado para o caso 1D do Lasso.

□ Se \(\hat\beta_{\text{MLE}} = 3\) e \(\lambda = 5\), o operador de soft-thresholding produz \(\beta^* = 0\), pois \(|\hat\beta_{\text{MLE}}| = 3 \le \lambda = 5\).
□ Para qualquer valor fixo de \(\hat\beta_{\text{MLE}} \ne 0\), existe sempre algum \(\lambda > 0\) suficientemente grande que produz \(\beta^* = 0\) pelo operador de soft-thresholding.
□ O operador de soft-thresholding do Lasso e a fórmula de encolhimento do Ridge em 1D, \(\beta^*_{\text{Ridge}} = \hat\beta_{\text{MLE}}/(1+\lambda)\), produzem exatamente o mesmo valor de \(\beta^*\) para qualquer \(\lambda > 0\) fixo, diferindo apenas na notação.
□ A razão algébrica pela qual o Lasso consegue produzir \(\beta^*\) exatamente zero, e o Ridge não, é que o subgradiente da penalidade \(|\beta|\) em \(\beta=0\) é um intervalo \([-1,1]\) (permitindo absorver qualquer \(\hat\beta_{\text{MLE}}\) pequeno), enquanto a derivada de \(\beta^2\) em \(\beta=0\) é o único valor \(0\), que só absorve \(\hat\beta_{\text{MLE}}=0\).

5 Síntese, Limitações e Fechamento

5.0.1 Retomando as Perguntas de Abertura

Por que o MLE produz coeficientes instáveis ou infinitos? Multicolinearidade deixa \(X^TX\) quase singular (autovalores próximos de zero); separação perfeita deixa a verossimilhança ilimitada em certas direções. Em ambos os casos, o MLE não tem nenhuma força que restrinja \(\boldsymbol\beta\) a valores razoáveis. Somar \(\lambda I\) à matriz normal (Ridge) resolve a singularidade diretamente.
Qual a diferença estrutural entre \(L_2\) e \(L_1\)? Ridge tem solução fechada e encolhe coeficientes suavemente, sem nunca zerá-los exatamente (exceto no caso trivial); Lasso não tem solução fechada, mas seu operador de soft-thresholding produz zeros exatamente quando \(|\hat\beta_{\text{MLE}}| \le \lambda\).
Por que regularizar equivale a assumir uma prior (MAP)? Porque maximizar a log-posterior \(\ln p(\mathcal{D}\mid\boldsymbol\beta) + \ln p(\boldsymbol\beta)\) é, algebricamente, minimizar a perda de treino somada a \(-\ln p(\boldsymbol\beta)\) — e \(-\ln p(\boldsymbol\beta)\) é, por construção, a penalidade.
Qual prior corresponde a qual penalidade, e por quê? Prior Gaussiana \(\mathcal{N}(0,\tau^2)\) produz Ridge (\(\lambda=\sigma^2/\tau^2\)); prior de Laplace \((0,b)\) produz Lasso (\(\lambda=\sigma^2/b\)). A diferença de esparsidade vem da geometria de cada log-prior: a Gaussiana é suave (parábola) em torno de zero, a Laplace tem um pico agudo (subgradiente-intervalo) — o mesmo mecanismo provado algebricamente no Bloco 4.

5.0.2 O que ainda falta

Escolhemos \(\lambda\) arbitrariamente nos gráficos de hoje — nunca discutimos como escolher o valor “certo” de \(\lambda\) para um problema real, nem quantificamos formalmente o que “viés” e “variância” significam matematicamente. É exatamente esse o assunto da Aula 8: decompor o erro esperado de um estimador em viés ao quadrado, variância e erro irredutível, dando um critério formal (não só empírico) para escolher a intensidade certa de regularização.

Exercícios Soluções

Passo 1 — verossimilhança: idêntico ao Passo 1 da Derivação 1 (só a prior muda).
Passo 2 — prior de Laplace: \(\beta_j\sim\text{Laplace}(0,b)\) i.i.d., densidade \(\tfrac{1}{2b}\exp(-|\beta_j|/b)\) \(\implies\) \[\ln p(\boldsymbol\beta) = -D\ln(2b) - \tfrac{1}{b}\|\boldsymbol\beta\|_1\]

. . .

Atenção: a Gaussiana tem \(-\beta_j^2/(2\tau^2)\) (fator \(2\) no denominador); a Laplace tem \(-|\beta_j|/b\) (sem esse fator \(2\)) — essa assimetria é a origem do \(2\) extra no próximo passo.
Passos 3–4 — somar e multiplicar por \(2\sigma^2\): \[\arg\min_{\boldsymbol\beta}\Big[\|\mathbf{y}-X\boldsymbol\beta\|^2 + \tfrac{2\sigma^2}{b}\|\boldsymbol\beta\|_1\Big] \;=\; \text{Lasso}, \quad \lambda = 2\sigma^2/b\]
“Prior Gaussiana \(\to\) Ridge… prior de Laplace \(\to\) Lasso” (PRML, §3.3.2) — a demonstração acima é exatamente por quê.

Pausa Ativa 3 — A Equivalência MAP \(\leftrightarrow\) Regularização

Considere a identificação \(\lambda = \sigma^2/\tau^2\) derivada para Ridge, onde \(\sigma^2\) é a variância do ruído da verossimilhança e \(\tau^2\) é a variância da prior Gaussiana sobre cada \(\beta_j\).

□ Se dobrarmos a variância do ruído \(\sigma^2\) (dados mais ruidosos), mantendo \(\tau^2\) fixo, a identificação \(\lambda = \sigma^2/\tau^2\) implica que o \(\lambda\) efetivo aumenta, isto é, dados mais ruidosos justificam confiar mais na crença prévia e menos no ajuste aos dados.
□ A estimativa MAP com uma prior uniforme (constante, sem preferência por nenhum valor de \(\boldsymbol\beta\)) é matematicamente idêntica à estimativa de Máxima Verossimilhança, pois \(\ln p(\boldsymbol\beta)\) torna-se uma constante que não afeta o argumento que maximiza a log-posterior.
□ Uma prior Gaussiana com média diferente de zero, \(\beta_j \sim \mathcal{N}(\mu_0, \tau^2)\) com \(\mu_0 \ne 0\), ainda produziria uma penalidade da forma Ridge padrão \(\lambda\|\boldsymbol\beta\|^2\), sem nenhuma alteração na função objetivo.
□ A demonstração da Derivação 1 depende crucialmente de a verossimilhança ser gaussiana; se a verossimilhança fosse de outra família (por exemplo, Bernoulli, como na regressão logística da Aula 6), a mesma prior Gaussiana sobre \(\boldsymbol\beta\) ainda produziria, pelo mesmo argumento algébrico de somar as log-densidades, um termo de penalidade \(L_2\) somado à log-verossimilhança, ainda que a perda resultante não seja mais a soma de quadrados.

6 MAP e a Geometria da Sparsity

Por que Lasso zera coeficientes exatamente, e Ridge apenas os encolhe? A intuição geométrica e a prova algébrica concordam — vamos ver as duas.

6.0.1 Intuição geométrica

Minimizar \(\|\mathbf{y}-X\boldsymbol\beta\|^2\) sujeito a uma penalidade é equivalente (por dualidade Lagrangiana) a minimizar a soma de quadrados restrita a uma região viável: \(\|\boldsymbol\beta\|_2^2 \le t\) para Ridge (um círculo/esfera) ou \(\|\boldsymbol\beta\|_1 \le t\) para Lasso (um diamante, com vértices sobre os eixos coordenados). A solução ótima é o primeiro ponto de contato entre as curvas de nível elípticas da verossimilhança e essa região viável, ilustrado na figura abaixo.

O círculo do Ridge é suave em todo o seu contorno — o ponto de contato ocorre, genericamente, em algum lugar arbitrário, raramente exatamente sobre um eixo. O diamante do Lasso tem vértices exatamente sobre os eixos coordenados (onde um ou mais \(\beta_j=0\)); como vértices são pontos de não-diferenciabilidade da fronteira, o contato “prefere” esses pontos com muito mais frequência geométrica.

E em múltiplas dimensões? Quando temos muitos parâmetros \(\boldsymbol\beta = [\beta_1, \beta_2, \dots, \beta_D]\), o Lasso (em sua forma de Coordinate Descent) aplica esse mesmo operador para cada dimensão individualmente, uma por uma. É por isso que o Lasso consegue “escolher” quais variáveis são importantes: ele aplica esse filtro de limiar (\(\lambda\)) em cada uma delas. Se a contribuição de uma variável para reduzir o erro for menor que \(\lambda\), ela é zerada.

Esse resultado prova que sempre que \(|\hat\beta_{\text{MLE}}| \le \lambda\), a solução regularizada é exatamente zero — um intervalo inteiro de valores de \(\hat\beta_{\text{MLE}}\) mapeia para o mesmo ponto \(\beta^*=0\). Ridge, em contraste, tem solução fechada \(\beta^*_{\text{Ridge}} = \hat\beta_{\text{MLE}}/(1+\lambda)\), que só atinge zero se \(\hat\beta_{\text{MLE}}\) for exatamente zero.

Pausa Ativa 4 — Soft-Thresholding e a Origem da Sparsity

Considere o operador de soft-thresholding \(\beta^* = \text{sign}(\hat\beta_{\text{MLE}})\cdot\max(|\hat\beta_{\text{MLE}}|-\lambda, 0)\) derivado para o caso 1D do Lasso.

□ Se \(\hat\beta_{\text{MLE}} = 3\) e \(\lambda = 5\), o operador de soft-thresholding produz \(\beta^* = 0\), pois \(|\hat\beta_{\text{MLE}}| = 3 \le \lambda = 5\).
□ Para qualquer valor fixo de \(\hat\beta_{\text{MLE}} \ne 0\), existe sempre algum \(\lambda > 0\) suficientemente grande que produz \(\beta^* = 0\) pelo operador de soft-thresholding.
□ O operador de soft-thresholding do Lasso e a fórmula de encolhimento do Ridge em 1D, \(\beta^*_{\text{Ridge}} = \hat\beta_{\text{MLE}}/(1+\lambda)\), produzem exatamente o mesmo valor de \(\beta^*\) para qualquer \(\lambda > 0\) fixo, diferindo apenas na notação.
□ A razão algébrica pela qual o Lasso consegue produzir \(\beta^*\) exatamente zero, e o Ridge não, é que o subgradiente da penalidade \(|\beta|\) em \(\beta=0\) é um intervalo \([-1,1]\) (permitindo absorver qualquer \(\hat\beta_{\text{MLE}}\) pequeno), enquanto a derivada de \(\beta^2\) em \(\beta=0\) é o único valor \(0\), que só absorve \(\hat\beta_{\text{MLE}}=0\).

7 Síntese, Limitações e Fechamento

7.0.1 Retomando as Perguntas de Abertura

Por que o MLE produz coeficientes instáveis ou infinitos? Multicolinearidade deixa \(X^TX\) quase singular (autovalores próximos de zero); separação perfeita deixa a verossimilhança ilimitada em certas direções. Em ambos os casos, o MLE não tem nenhuma força que restrinja \(\boldsymbol\beta\) a valores razoáveis. Somar \(\lambda I\) à matriz normal (Ridge) resolve a singularidade diretamente.
Qual a diferença estrutural entre \(L_2\) e \(L_1\)? Ridge tem solução fechada e encolhe coeficientes suavemente, sem nunca zerá-los exatamente (exceto no caso trivial); Lasso não tem solução fechada, mas seu operador de soft-thresholding produz zeros exatamente quando \(|\hat\beta_{\text{MLE}}| \le \lambda\).
Por que regularizar equivale a assumir uma prior (MAP)? Porque maximizar a log-posterior \(\ln p(\mathcal{D}\mid\boldsymbol\beta) + \ln p(\boldsymbol\beta)\) é, algebricamente, minimizar a perda de treino somada a \(-\ln p(\boldsymbol\beta)\) — e \(-\ln p(\boldsymbol\beta)\) é, por construção, a penalidade.
Qual prior corresponde a qual penalidade, e por quê? Prior Gaussiana \(\mathcal{N}(0,\tau^2)\) produz Ridge (\(\lambda=\sigma^2/\tau^2\)); prior de Laplace \((0,b)\) produz Lasso (\(\lambda=\sigma^2/b\)). A diferença de esparsidade vem da geometria de cada log-prior: a Gaussiana é suave (parábola) em torno de zero, a Laplace tem um pico agudo (subgradiente-intervalo) — o mesmo mecanismo provado algebricamente no Bloco 4.

7.0.2 O que ainda falta

Exercícios Soluções