Aula 8: O Tradeoff Teórico Viés-Variância
Supervised Learning
2026-10-04
Revisão e Introdução
Revisão Cuidadosa: O Que a Aula 7 Deixou em Aberto
Onde Paramos na Aula 7
- Ridge (\(L_2\)): Penalidade \(\lambda \|\boldsymbol\beta\|^2 \equiv\) prior Gaussiana. Resolve a multicolinearidade de \(\mathbf{X}^T\mathbf{X}\) somando \(\lambda \mathbf{I}\).
- Lasso (\(L_1\)): Penalidade \(\lambda \|\boldsymbol\beta\|_1 \equiv\) prior de Laplace. Produz esparsidade exata via soft-thresholding.
- A lacuna deixada: Selecionamos \(\lambda\) inspecionando curvas de erro de teste.
- Exemplo da Aula 7: Varremos \(\lambda \in [10^{-3}, 10^4]\) e escolhemos \(\lambda \approx 10\) porque o MSE de teste atingiu o menor valor (\(0{,}52\)).
- O problema: A escolha foi puramente empírica (“olhar onde o gráfico tem um vale”). Não explicamos por que \(\lambda = 10^{-3}\) e \(\lambda = 10^4\) falham por razões estatísticas completamente opostas.
- A pergunta teórica: O que causa o formato em “U” do erro de teste? Como quantificar analiticamente o custo de escolher um modelo rígido demais ou flexível demais?
Ideia Central: O Estimador é uma Variável Aleatória
O Paradigma Amostral
- O conjunto de dados \(\mathcal{D} = \{(\mathbf{x}_n, y_n)\}_{n=1}^N\) é uma amostra estocástica de \(P(X, Y)\).
- Logo, o modelo ajustado \(\hat{f}(x; \mathcal{D})\) é uma variável aleatória.
- O Modelo Médio e o Viés: \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) é o modelo médio (esperança sobre todas as amostras \(\mathcal{D}\)).
- Viés: Mede a distância entre a função verdadeira e o modelo médio: \(\text{Bias}(x) = f(x) - \bar{f}(x)\).
- A Variância: É a variância dessa variável aleatória \(\hat{f}(x; \mathcal{D})\) em torno de sua própria média: \[\text{Var}(\hat{f}(x)) = \mathbb{E}_{\mathcal{D}}\left[(\hat{f}(x; \mathcal{D}) - \bar{f}(x))^2\right]\]
- A Decomposição Ortogonal: \(\text{Erro Esperado} = \text{Viés}^2 + \text{Variância} + \sigma^2\)
- O Tradeoff Fundamental
- Modelos rígidos: \(\text{Viés}^2\) alto, \(\text{Variância}\) baixa.
- Modelos flexíveis: \(\text{Viés}^2\) baixo, \(\text{Variância}\) alta.
Roteiro da Aula
- O Estimador Estocástico: Variabilidade de amostragem e a função média \(\bar{f}(x)\).
- A Derivação Formal do EMSE: Expansão algébrica e o cancelamento do termo cruzado.
- Complexidade e Tamanho Amostral: Como capacidade e \(N\) modulam viés e variância.
- Regularização Ridge: Como aumentar \(\lambda\) troca variância por viés, em fórmulas exatas.
- Diagnóstico Prático: Curvas de aprendizado e estratégias de intervenção em modelos reais.
Problema Motivador: O Laboratório Sintético de Bishop
O Cenário Experimental (PRML §3.2)
- Função verdadeira: \(f(x) = \sin(2\pi x)\), com ruído \(\epsilon \sim \mathcal{N}(0, 0{,}3^2)\).
- Geramos \(L = 50\) conjuntos de treino independentes de tamanho \(N = 25\).
- Ajustamos polinômios de graus 1, 3 e 9 em cada um dos 50 conjuntos.
- Grau 1: Retas cinzas parecidas (baixa variância), mas a média vermelha passa longe da curva verde (alto viés).
- Grau 3: As retas acompanham o seno com moderação; a média vermelha quase sobrepõe o verde.
- Grau 9: Cada curva cinza oscila descontroladamente para decorar o ruído de sua amostra (alta variância). No entanto, a média das 50 curvas aproxima-se surpreendentemente bem da função verdadeira!
Pausa Ativa 1: O Estimador como Variável Aleatória
A Reta Média e a Curvatura do Seno
Observe o primeiro painel da figura anterior (Grau 1). Se calculássemos a média de não apenas 50, mas de 1 milhão de conjuntos de dados de treino independentes, a reta média vermelha conseguiria se curvar para passar pelos picos e vales da função senoidal verde? O que esse fato revela sobre a natureza do viés?
V ou F: Aleatoriedade de Estimadores
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ O modelo ajustado \(\hat{f}(x; \mathcal{D})\) é uma variável aleatória porque depende estocasticamente da amostra específica \(\mathcal{D}\) sorteada da distribuição de dados.
- □ O estimador médio teórico \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) varia a cada novo conjunto de dados de treino de tamanho \(N\) coletado.
- □ Em um problema prático real com uma única amostra estática de treino \(\mathcal{D}_{\text{real}}\), podemos calcular analiticamente o viés exato sem fazer nenhuma hipótese sobre \(f(x)\).
- □ Se um estimador for perfeitamente não enviesado para qualquer \(x\) (\(\mathbb{E}_{\mathcal{D}}[\hat{f}(x)] = f(x)\)), seu erro de predição em qualquer conjunto de teste será identicamente zero.
Pausa Ativa 1: Resposta
V ou F: Resposta
- ✔ V: Como \(\mathcal{D}\) é uma realização amostral aleatória de \(P(X, Y)\), qualquer grandeza calculada a partir dele é uma variável aleatória.
- ✗ F: O valor esperado sobre todos os possíveis conjuntos de treino é uma função determinística fixa para um dado algoritmo e tamanho \(N\).
- ✗ F: O cálculo exato do viés \((f(x) - \bar{f}(x))^2\) requer conhecer a função geradora verdadeira \(f(x)\), que na prática é inobservável.
- ✗ F: Mesmo com viés zero, o erro esperado ainda inclui a variância do estimador e o ruído estocástico irredutível \(\sigma^2 > 0\).
Voltando à pergunta: A média de infinitas retas lineares é, obrigatoriamente, outra reta linear (\(\bar{a}x + \bar{b}\)). Por mais dados que coletemos, uma reta jamais se curvará. Essa incapacidade de aproximação é o viés estrutural, que é uma propriedade da classe de hipóteses \(\mathcal{H}\), e não da quantidade de dados disponíveis.
Intuição — As Três Fontes de Erro
A Classe de Hipóteses \(\mathcal{H}\)
O Que É a Classe de Hipóteses \(\mathcal{H}\)?
O conjunto de todas as funções candidatas que o algoritmo pode escolher: \[\mathcal{H} = \{ h: \mathcal{X} \to \mathcal{Y} \}\]
- Exemplos Canônicos:
- \(\mathcal{H}_1\): Família linear \(\{w_0 + w_1 x\}\) (capacidade restrita).
- \(\mathcal{H}_{1,\lambda}\): Família linear com regularização Ridge \(L_2\) com parâmetro de regularização \(\lambda\).
- \(\mathcal{H}_M\): Polinômios de grau \(M\) \(\{\sum_{j=0}^M w_j x^j\}\) (capacidade cresce com \(M\)).
- \(\mathcal{H}_{\text{tree}(d)}\): Árvores de decisão de profundidade máxima \(d\).
- O Papel do Algoritmo: Dado \(\mathcal{D}\), escolher um membro específico \(\hat{f} \in \mathcal{H}\).
Desconstruindo o Erro de Predição: As Três Fontes
1. Erro Irredutível (\(\sigma^2\))
- Origem: Variáveis não observadas e ruído intrínseco do sistema (\(y = f(x) + \epsilon\)).
- Natureza: Limite termodinâmico/informacional dos dados. Insuperável por qualquer modelo.
2. Viés Estrutural ao Quadrado (\(\text{Bias}^2\))
- Origem: Restrições e rigidez da classe de hipóteses escolhida (\(f(x) - \bar{f}(x)\)).
- Natureza: Persiste mesmo com infinitos dados de treino se o modelo for simples demais.
3. Variância do Estimador (\(\text{Var}\))
- Origem: Sensibilidade às flutuações e ruídos da amostra finita \(\mathcal{D}\).
- Natureza: Mede quanto o modelo muda se mudarmos o conjunto de treino de tamanho \(N\).
A Decomposição Formal do EMSE
O Modelo Gerador e as Hipóteses Estatísticas
Hipóteses do Modelo Gerador
\[y = f(\mathbf{x}) + \epsilon, \quad \mathbb{E}[\epsilon] = 0, \quad \mathbb{E}[\epsilon^2] = \sigma^2, \quad \epsilon \perp \mathcal{D}\]
- O Estimador Médio: \(\bar{f}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}}[\hat{f}(\mathbf{x}; \mathcal{D})]\)
- O Alvo de Análise: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \left( y - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 \right]\]
- A esperança opera sobre dois processos estocásticos simultâneos: a amostragem de \(\mathcal{D}\) e o sorteio de \(\epsilon\).
A Derivação Formal do EMSE
Abreviando \(f=f(\mathbf{x})\), \(\hat f=\hat f(\mathbf{x};\mathcal{D})\) e \(\bar f=\bar f(\mathbf{x})\):
Substituir \(y=f+\epsilon\): \(\quad y-\hat f=(f-\hat f)+\epsilon\).
Expandir o quadrado: \(\quad (y-\hat f)^2=(f-\hat f)^2+2\epsilon(f-\hat f)+\epsilon^2\).
Linearidade da esperança: \[ \text{EMSE}=\mathbb{E}_{\mathcal{D}}\big[(f-\hat f)^2\big]+2\,\mathbb{E}_{\mathcal{D},\epsilon}\big[\epsilon(f-\hat f)\big]+\mathbb{E}_\epsilon[\epsilon^2]. \]
Independência: \(\ \mathbb{E}[\epsilon(f-\hat f)]=\underbrace{\mathbb{E}[\epsilon]}_{0}\,\mathbb{E}_{\mathcal{D}}[f-\hat f]=0\) \(\ \) e \(\ \mathbb{E}[\epsilon^2]=\sigma^2\): \[ \text{EMSE}=\mathbb{E}_{\mathcal{D}}\big[(f-\hat f)^2\big]+\sigma^2 . \]
Derivação — Somar e Subtrair \(\bar f\)
Falta abrir \(\mathbb{E}_{\mathcal{D}}[(f-\hat f)^2]\).
Somar e subtrair \(\bar f\): \(\quad f-\hat f=\underbrace{(f-\bar f)}_{\text{não depende de }\mathcal{D}}+\underbrace{(\bar f-\hat f)}_{\text{flutua com }\mathcal{D}}\).
Expandir o quadrado: \[ (f-\hat f)^2=(f-\bar f)^2+(\bar f-\hat f)^2+2(f-\bar f)(\bar f-\hat f). \]
Esperança termo a termo: \[ \mathbb{E}_{\mathcal{D}}\big[(f-\hat f)^2\big]=\mathbb{E}_{\mathcal{D}}\big[(f-\bar f)^2\big]+\mathbb{E}_{\mathcal{D}}\big[(\bar f-\hat f)^2\big]+2\,\mathbb{E}_{\mathcal{D}}\big[(f-\bar f)(\bar f-\hat f)\big]. \]
Derivação — Os Três Termos
1. Constante: \((f-\bar f)^2\) não depende de \(\mathcal{D}\), logo \(\mathbb{E}_{\mathcal{D}}[(f-\bar f)^2]=(f-\bar f)^2=\text{Bias}^2\).
2. Definição de variância: \(\mathbb{E}_{\mathcal{D}}[(\hat f-\bar f)^2]=\text{Var}_{\mathcal{D}}(\hat f)\), pois \(\bar f=\mathbb{E}_{\mathcal{D}}[\hat f]\).
3. Termo cruzado: \((f-\bar f)\) sai da esperança: \[ \mathbb{E}_{\mathcal{D}}\big[(f-\bar f)(\bar f-\hat f)\big] = 2(f-\bar f)\,\mathbb{E}_{\mathcal{D}}[\bar f-\hat f]=2(f-\bar f)\big(\bar f-\underbrace{\mathbb{E}_{\mathcal{D}}[\hat f]}_{=\bar f}\big)=0 . \]
Juntando com o passo anterior: \[ \boxed{\ \text{EMSE}(\mathbf{x})=\underbrace{(f-\bar f)^2}_{\text{Bias}^2}+\underbrace{\mathbb{E}_{\mathcal{D}}[(\hat f-\bar f)^2]}_{\text{Var}}+\underbrace{\sigma^2}_{\text{irredutível}}\ } \]
Pausa Ativa 2: A Decomposição Formal
Por Que o Termo Cruzado se Anula?
Por que o termo \(2(f(x) - \bar{f}(x))\) pôde ser retirado para fora da esperança \(\mathbb{E}_{\mathcal{D}}\) no Passo 3 da dedução? O que aconteceria com a decomposição aditiva se utilizássemos a perda em valor absoluto \(|y - \hat{f}(x)|\) no lugar da perda quadrática?
V ou F: Decomposição do EMSE
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ O erro irredutível \(\sigma^2 = \text{Var}(\epsilon)\) pode ser reduzido a zero se aumentarmos o tamanho amostral de treino para \(N \to \infty\).
- □ Na decomposição \(\text{EMSE}(x) = \text{Bias}^2(x) + \text{Var}(x) + \sigma^2\), os três termos são garantidamente não negativos para qualquer \(x\).
- □ O termo cruzado envolvendo o ruído de teste \(\epsilon\) anula-se porque \(\epsilon\) tem esperança zero e é independente dos dados de treino \(\mathcal{D}\).
- □ A variância do estimador \(\text{Var}_{\mathcal{D}}(\hat{f}(x))\) quantifica o desvio médio entre o modelo ajustado e a função verdadeira \(f(x)\).
Pausa Ativa 2: Resposta
V ou F: Resposta
- ✗ F: \(\sigma^2\) é o ruído estocástico inerente ao processo físico gerador; independe do tamanho amostral \(N\).
- ✔ V: Como são grandezas quadráticas \(((f-\bar{f})^2\), \(\mathbb{E}[(\hat{f}-\bar{f})^2]\) e \(\mathbb{E}[\epsilon^2]\)), os três termos são sempre \(\ge 0\).
- ✔ V: Pela independência estocástica, \(\mathbb{E}[\epsilon \cdot g(\mathcal{D})] = \mathbb{E}[\epsilon] \mathbb{E}[g(\mathcal{D})] = 0 \cdot \mathbb{E}[g(\mathcal{D})] = 0\).
- ✗ F: A discrepância em relação à verdade é a definição de viés; a variância mede a dispersão de \(\hat{f}\) em torno de sua própria média \(\bar{f}\).
Voltando à pergunta: \(f(x) - \bar{f}(x)\) é constante em relação a \(\mathcal{D}\) (não depende de qual amostra foi sorteada), logo sai da esperança. Sob a perda em valor absoluto \(|y - \hat{f}|\), a desigualdade triangular \(|a+b| \le |a| + |b|\) impede o cancelamento e destrói a decomposição aditiva pura, que é exclusiva de espaços pré-hilbertianos associados à perda quadrática \(L_2\).
Complexidade de Hipóteses e o Ponto Ótimo
Dinâmica da Complexidade: O Tradeoff em Formato de U
O Comportamento dos Componentes com a Capacidade \(M\)
- \(\text{Bias}^2(M)\): Função monotônica decrescente da capacidade do modelo.
- \(\text{Var}(M)\): Função monotônica crescente da capacidade do modelo.
- \(\sigma^2\): Linha horizontal invariante (piso absoluto).
- Região de Underfitting (Subajuste): Dominada pelo viés. A capacidade do modelo é o gargalo.
- Região de Overfitting (Superajuste): Dominada pela variância. A sensibilidade aos dados é o problema.
O Efeito do Tamanho Amostral \(N\)
Conta exata para OLS (ESL §7.3, p. 224). Desenho fixo: \(X\in\mathbb{R}^{N\times p}\) fixa, posto \(p\); \(\mathbf{y}=\mathbf{f}+\boldsymbol\epsilon\), \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\).
Passo 1 — o ajuste é uma matriz vezes \(\mathbf{y}\): \(\quad\hat{\mathbf{y}}=X(X^TX)^{-1}X^T\mathbf{y}=H\mathbf{y}\) (matriz chapéu: a projeção da Aula 5).
Passo 2 — propriedades de \(H\): simétrica; \(H^2=X(X^TX)^{-1}\underbrace{X^TX(X^TX)^{-1}}_{I_p}X^T=H\); \[ \mathrm{tr}(H)=\mathrm{tr}\big(\underbrace{X}_{A}\,\underbrace{(X^TX)^{-1}X^T}_{B}\big)=\mathrm{tr}\big((X^TX)^{-1}X^TX\big)=\mathrm{tr}(I_p)=p . \] Propriedade cíclica: para \(A\in\mathbb{R}^{m\times n}\), \(B\in\mathbb{R}^{n\times m}\), \(\;\mathrm{tr}(AB)=\sum_{i,j}A_{ij}B_{ji}=\mathrm{tr}(BA)\) — aqui troca o traço de uma matriz \(N\times N\) pelo de uma \(p\times p\).
Variância Média \(=\sigma^2p/N\)
Passo 3 — covariância dos ajustes: \(\text{Cov}(H\mathbf{y})=H\,\text{Cov}(\mathbf{y})\,H^T\), e \(\text{Cov}(\mathbf{y})=\sigma^2I_N\): \[ \text{Cov}(\hat{\mathbf{y}})=\sigma^2HH^T=\sigma^2H^2=\sigma^2H . \]
Passo 4 — somar a diagonal (traço): \[ \sum_{n}\text{Var}(\hat y_n)=\sigma^2\,\mathrm{tr}(H)=\sigma^2p \quad\Longrightarrow\quad \frac1N\sum_{n}\text{Var}(\hat y_n)=\sigma^2\frac{p}{N}\quad\text{(ESL eq. 7.12)}. \]
- Proporcional à capacidade \(p\) e a \(1/N\): dobrar \(N\) corta a variância pela metade (o desvio-padrão cai com \(1/\sqrt N\)).
- O viés não cai com \(N\): uma reta continua sem se curvar com bilhões de pontos — o estimador converge para a melhor aproximação dentro de \(\mathcal{H}\).
Capacidade de Hipóteses e Tamanho Amostral \(N\)
O Destino dos Componentes quando \(N \to \infty\)
Se tivermos um orçamento limitado e precisarmos decidir entre: - (A) Coletar mais dados de treino para um modelo linear simples (\(p=2\)); - (B) Coletar mais dados de treino para uma rede neural profunda com milhões de parâmetros (\(p=10^7\)).
V ou F: Dinâmica de Capacidade e Dados
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ Aumentar a capacidade de um modelo tende a reduzir monotonicamente o viés ao quadrado e aumentar a variância do estimador.
- □ Se um modelo possui alto viés estrutural, coletar dados em abundância fará seu viés convergir para zero.
- □ O erro esperado atinge seu valor ótimo exatamente quando o viés e a variância são ambos rigorosamente iguais a zero.
- □ Para a regressão linear ordinária OLS com \(p\) parâmetros, a variância média do estimador escala proporcionalmente com \(p/N\).
Pausa Ativa 3: Resposta
V ou F: Resposta
- ✔ V: Uma classe mais flexível aproxima melhor a verdade (menor viés), mas sofre mais com flutuações amostrais (maior variância).
- ✗ F: O viés decorre da incapacidade do espaço de hipóteses \(\mathcal{H}\); adicionar dados não altera as limitações estruturais da classe.
- ✗ F: Na prática com ruído \(\sigma^2 > 0\), o piso mínimo inalcançável é \(\sigma^2\), e viés e variância movem-se em direções opostas.
- ✔ V: Pela conta da matriz chapéu, \(\frac{1}{N}\sum_n \text{Var}(\hat{y}_n) = \sigma^2\,\mathrm{tr}(H)/N = \sigma^2 \frac{p}{N}\) (exata, com desenho fixo).
Voltando à pergunta: No cenário (B). A rede neural possui viés baixo e variância inicialmente astronômica decorrente de seus milhões de graus de liberdade. Como a variância decresce com \(O(1/N)\), fornecer dados em abundância ataca exatamente o componente dominante que estava prejudicando o modelo. No cenário (A), o modelo linear já tem variância quase nula; o erro é dominado por viés, que não responde à adição de dados.
Bloco 3: Conexão com Regularização e MAP (Aula 7)
O Que \(\lambda\) Faz: Ridge Encolhe Cada Direção
Antes: capacidade controlada pelo grau \(M\) (inteiro). Agora: mesma classe, controle contínuo \(\lambda\ge0\). Pergunta: quando \(\lambda\) cresce, o que acontece com viés e variância?
Premissas (as da conta \(\sigma^2p/N\)): \(X\in\mathbb{R}^{N\times p}\) fixa, posto \(p\); \(\mathbf{y}=\mathbf{f}+\boldsymbol\epsilon\), \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\); \(\mathbf{f}\) pode estar fora do espaço-coluna de \(X\).
Passo 1 — o ajuste é uma matriz vezes \(\mathbf{y}\): \(\quad\hat{\mathbf{y}}_\lambda=X(X^TX+\lambda I_p)^{-1}X^T\mathbf{y}=H_\lambda\mathbf{y}\), com \(H_0=H\) (OLS).
Passo 2 — SVD reduzida \(X=USV^T\) (\(U^TU=I_p\), \(V^TV=VV^T=I_p\), \(s_1\ge\dots\ge s_p>0\)): \(X^TX+\lambda I_p=V(S^2+\lambda I_p)V^T\), logo \[ H_\lambda=USV^T\,V(S^2+\lambda I_p)^{-1}V^T\,VSU^T=U D_\lambda U^T,\qquad h_i(\lambda)=\frac{s_i^2}{s_i^2+\lambda}\in(0,1]. \]
- OLS (\(h_i=1\)): copia cada coordenada \(\mathbf{u}_i^T\mathbf{y}\) inteira (projeção).
- Ridge: multiplica a coordenada \(i\) por \(h_i(\lambda)\) — encolhe mais as direções de \(s_i\) pequeno, onde os dados variam pouco e informam pouco (ESL §3.4.1, eq. 3.47).
Viés e Variância como Funções de \(\lambda\)
Decomponha \(\mathbf{f}=U\boldsymbol\gamma+\mathbf{f}_\perp\), com \(\boldsymbol\gamma=U^T\mathbf{f}\) e \(U^T\mathbf{f}_\perp=\mathbf{0}\).
Passo 3 — esperança e viés (\(H_\lambda\) fixa, \(\mathbb{E}[\mathbf{y}]=\mathbf{f}\)): \[ \mathbb{E}[\hat{\mathbf{y}}_\lambda]=UD_\lambda U^T(U\boldsymbol\gamma+\mathbf{f}_\perp)=UD_\lambda\boldsymbol\gamma \;\Longrightarrow\; \mathbb{E}[\hat{\mathbf{y}}_\lambda]-\mathbf{f}=U(D_\lambda-I_p)\boldsymbol\gamma-\mathbf{f}_\perp,\quad 1-h_i=\tfrac{\lambda}{s_i^2+\lambda}. \] Termos ortogonais e \(\|U\mathbf{a}\|=\|\mathbf{a}\|\): soma dos vieses\(^2\) \(=\sum_i\big(\tfrac{\lambda}{s_i^2+\lambda}\big)^2\gamma_i^2+\|\mathbf{f}_\perp\|^2\).
Passo 4 — covariância: \(\text{Cov}(\hat{\mathbf{y}}_\lambda)=H_\lambda(\sigma^2I_N)H_\lambda^T=\sigma^2UD_\lambda^2U^T\), traço \(=\sigma^2\sum_ih_i(\lambda)^2\).
Proposição (Ridge em desenho fixo; derivação nossa sobre ESL §3.4.1)
\[ \overline{\text{Bias}^2}(\lambda)=\frac1N\Big[\sum_{i=1}^p\Big(\frac{\lambda}{s_i^2+\lambda}\Big)^2\gamma_i^2+\|\mathbf{f}_\perp\|^2\Big], \qquad \overline{\text{Var}}(\lambda)=\frac{\sigma^2}{N}\sum_{i=1}^p\Big(\frac{s_i^2}{s_i^2+\lambda}\Big)^2 \] (médias sobre os pontos de treino).
Aumentar \(\lambda\): Mais Viés, Menos Variância
Na Proposição, cada direção \(i\) entra com dois fatores que somam 1: \[ \underbrace{\frac{\lambda}{s_i^2+\lambda}}_{\text{fração encolhida}\ \to\ \text{viés}} +\underbrace{\frac{s_i^2}{s_i^2+\lambda}}_{\text{fração mantida}\ \to\ \text{variância}}=1 . \]
Quando \(\lambda\) cresce, a fração encolhida aumenta e a mantida diminui (\(\frac{\mathrm{d}}{\mathrm{d}\lambda}\frac{\lambda}{s_i^2+\lambda}=\frac{s_i^2}{(s_i^2+\lambda)^2}>0\)):
| \(\lambda=0\) (OLS) | \(\lambda\uparrow\) | \(\lambda\to\infty\) | |
|---|---|---|---|
| \(\overline{\text{Bias}^2}\) | \(\|\mathbf f_\perp\|^2/N\) (especificação) | sobe | \(\|\mathbf f\|^2/N\) |
| \(\overline{\text{Var}}\) | \(\sigma^2p/N\) (a conta anterior) | desce | \(0\) |
Leitura MAP (Aula 7): \(\lambda=\sigma^2/\tau^2\). Aumentar \(\lambda\) é confiar mais na priori \(\mathcal N(\mathbf 0,\tau^2I)\): ela não depende de \(\mathcal D\) (menos variância) e puxa para \(\mathbf 0\) seja qual for a verdade (mais viés).
Vendo \(\lambda\) Agir no Laboratório Sintético
Bishop em desenho fixo: \(N=25\) pontos igualmente espaçados, \(f(x)=\sin(2\pi x)\), \(\sigma=0{,}3\), grau 9 (\(p=10\)). Só o ruído muda entre as 50 réplicas.
- \(\lambda\) quase nulo: média \(\approx\) seno, réplicas espalhadas (variância alta).
- \(\lambda\) intermediário: leque estreito, média ainda próxima do seno.
- \(\lambda\) grande: réplicas quase iguais, média achatada para zero (viés alto).
A Curva em U ao Longo de \(\lambda\)
Desenho fixo: as curvas abaixo saem direto das fórmulas da Proposição (SVD da matriz de projeto), sem simulação. Eixo invertido em relação ao grau: à esquerda o mais flexível (OLS grau 9), à direita o mais rígido.
- \(\overline{\text{Var}}\) parte de \(\sigma^2p/N\) (tracejado) e cai; \(\overline{\text{Bias}^2}\) parte de \(\|\mathbf{f}_\perp\|^2/N\approx0\) (grau 9 aproxima bem o seno) e sobe.
- Roxo: EMSE \(-\,\sigma^2\) (\(\sigma^2\) não depende de \(\lambda\)). \(\lambda^*\): onde a variância deixa de cair mais depressa do que o viés sobe. A validação cruzada (Aulas 4 e 7) estima esse ponto sem conhecer \(f\).
- Perto de \(\lambda=0\), o viés cresce como \(\lambda^2\) e a variância cai como \(\lambda\) (derivadas das fórmulas em \(0\): nula e \(-\frac{2\sigma^2}{N}\sum_i s_i^{-2}\)): sempre existe \(\lambda>0\) melhor que o OLS (Hoerl & Kennard, 1970).
Pausa Ativa 4: Ridge e a Injeção Deliberada de Viés
Por Que Aceitar Viés se OLS é BLUE?
O Teorema de Gauss-Markov afirma categoricamente que o estimador OLS é o Melhor Estimador Linear Não Enviesado (BLUE). Por que essa garantia formal não impede que o estimador Ridge atinja um erro de predição estritamente menor no mundo real?
Dica para discussão: Qual é a restrição que o acrônimo BLUE impõe à classe de estimadores considerados?
V ou F: Ridge e o Efeito de \(\lambda\)
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ O estimador de regressão Ridge \(\hat{\boldsymbol\beta}_{\text{Ridge}}\) é não enviesado para qualquer valor de penalidade \(\lambda > 0\).
- □ Em desenho fixo, para qualquer \(\lambda > 0\), a variância média dos ajustes Ridge nos pontos de treino é estritamente menor que a do OLS, \(\sigma^2 p/N\).
- □ O Teorema de Hoerl & Kennard (1970) prova que sempre existe um valor \(\lambda > 0\) tal que o erro quadrático total do Ridge é estritamente menor que o do OLS.
- □ Aumentar indefinidamente a força de regularização \(\lambda \to \infty\) faz o erro de predição do modelo convergir para zero.
Pausa Ativa 4: Resposta
V ou F: Resposta
- ✗ F: \(\mathbb{E}[\hat{\boldsymbol\beta}_{\text{Ridge}}] = (\mathbf{X}^T\mathbf{X}+\lambda\mathbf{I})^{-1}\mathbf{X}^T\mathbf{X}\boldsymbol\beta^* \neq \boldsymbol\beta^*\) para \(\lambda > 0\); ele encolhe coeficientes deliberadamente.
- ✔ V: \(\overline{\text{Var}}(\lambda)=\frac{\sigma^2}{N}\sum_i h_i(\lambda)^2\) com \(h_i(\lambda)=\frac{s_i^2}{s_i^2+\lambda}<1\) para \(\lambda>0\), enquanto o OLS tem \(h_i=1\) e soma \(\sigma^2p/N\).
- ✔ V: Em \(\lambda=0\), a derivada do viés é nula e a da variância é estritamente negativa, garantindo redução de MSE para algum \(\lambda > 0\).
- ✗ F: Quando \(\lambda \to \infty\), todos os coeficientes \(\boldsymbol\beta \to \mathbf{0}\), gerando subajuste catastrófico com viés explosivo.
Voltando à pergunta: O Teorema de Gauss-Markov restringe sua busca apenas a estimadores não enviesados (\(\text{Bias} = 0\)). O Ridge abandona essa restrição desnecessária: ao aceitar uma dose mínima de viés, ele ganha uma redução gigantesca de variância, vencendo o OLS na soma \(\text{Bias}^2 + \text{Var}\).
Bloco 4: Curvas de Aprendizado e Diagnóstico Prático
Diagnóstico Prático por Curvas de Aprendizado
Com um conjunto de dados, como saber se o modelo é limitado por viés ou por variância?
Curva de aprendizado (ESL §7.10.1, Fig. 7.8, p. 243). Família e hiperparâmetros fixos; para cada \(N\) numa grade:
- ajustar \(\hat f_N\) com \(N\) pontos;
- erro de treino \(\overline{\text{err}}(N)\), nos pontos do ajuste;
- erro de validação \(\text{Err}_{\text{val}}(N)\), em pontos não vistos;
- repetir (sorteios ou dobras de CV, Aula 4) e resumir.
- \(\text{Err}_{\text{val}}(N)\) estima \(\text{Bias}^2+\text{Var}(N)+\sigma^2\) (Bloco 1, como função de \(N\)).
- \(\overline{\text{err}}(N)\) é otimista (Aula 4): ajusta e avalia nos mesmos pontos. Quanto?
Quanto o Treino É Otimista (OLS, Desenho Fixo)
Premissas do Bloco 2: \(X\in\mathbb{R}^{N\times p}\) fixa, posto \(p\); \(\mathbf y=\mathbf f+\boldsymbol\epsilon\), \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\). Ajuste OLS: \(\hat{\mathbf y}=H\mathbf y\), com \(H=X(X^TX)^{-1}X^T\) (matriz chapéu; \(\mathrm{tr}(H)=p\)). Seja \(B=\frac1N\|(I-H)\mathbf f\|^2\) o viés\(^2\) médio nos pontos de treino. Demonstrações nas notas.
Erro de treino — o ajuste absorveu \(\sigma^2p/N\) do ruído: \[ \mathbb{E}\big[\overline{\text{err}}\big]=B+\sigma^2\Big(1-\frac pN\Big). \]
Erro em respostas novas \(\mathbf y'=\mathbf f+\boldsymbol\epsilon'\), nos mesmos \(\mathbf x_n\) (ESL eq. 7.18, p. 228) — o ruído novo entra inteiro e a variância soma: \[ \mathbb{E}\big[\text{Err}_{\text{in}}\big]=\sigma^2+B+\sigma^2\frac pN . \]
Importante
\[ \underbrace{\mathbb{E}\big[\text{Err}_{\text{in}}\big]}_{\text{generalização}}=\underbrace{\mathbb{E}\big[\overline{\text{err}}\big]}_{\text{treino}}+\underbrace{2\,\frac{p}{N}\,\sigma^2}_{\text{otimismo}} \qquad\text{(ESL eq. 7.24, p. 229)} \] É a forma do \(C_p\) de Mallows (ESL §7.5, eq. 7.26). O viés \(B\) se cancela: a distância entre treino e teste mede variância; cresce com \(p\) e fecha com \(1/N\).
A Forma Típica das Curvas
- Treino sobe (\(\sigma^2(1-p/N)\)); validação desce (\(\sigma^2p/N\)).
- As duas convergem para \(\sigma^2+B_\infty\), com \(B_\infty\) o viés da melhor aproximação em \(\mathcal{H}\).
Importante
Altura do patamar acima de \(\sigma^2\) \(=\) viés. Distância entre as curvas \(=\) variância.
Laboratório sintético, mediana de 100 sorteios: grau 1 (patamar \(\approx0{,}29\), \(B_\infty\approx0{,}20\)), grau 3 (\(\approx\sigma^2\)), grau 10 (gap grande que fecha com \(N\)).
O Gap Medido Contra \(2\sigma^2p/N\)
Grau 3 (\(p=4\)), média de 400 sorteios: gap em respostas novas nos mesmos \(\mathbf x_n\) (exato) e gap de validação (entradas novas), contra a previsão.
Eixos log-log: \(\log\big(2\sigma^2\frac pN\big)=\log(2\sigma^2p)-\log N\) — uma reta de inclinação \(-1\), não um decaimento linear em \(N\). Inclinação \(-1\) \(=\) decaimento \(1/N\): \(N\times10\Rightarrow\) gap \(\div10\).
Lendo uma Curva de Aprendizado
Três perguntas, no \(N\) que você tem hoje:
- Onde está o patamar? Treino e validação juntos e acima do alvo \(\Rightarrow\) viés.
- Qual é o gap? Distância grande \(\Rightarrow\) variância (\(\propto p/N\)).
- A validação ainda cai? Inclinação no \(N\) atual \(=\) valor de mais dados. (Também explica por que CV com \(k\) dobras superestima o erro quando a curva ainda tem inclinação — ESL §7.10.1, p. 243.)
Sintoma \(\to\) Ação
| O que a curva mostra | Diagnóstico | Ajuda | Não ajuda |
|---|---|---|---|
| Juntas, planas e altas | Alto viés | Mais capacidade, atributos, menos regularização | Mais dados |
| Treino baixo, gap grande, validação caindo | Alta variância | Mais dados, regularização, menos capacidade | Mais capacidade |
| Treino alto e gap grande | Os dois | Capacidade com regularização; depois dados | Um remédio só |
| Plana, perto do alvo, gap pequeno | Bom ajuste | Parar | — |
Cuidados na Prática
- \(\sigma^2\) é desconhecido: compare com uma referência (especialista humano, modelo de referência, medições repetidas).
- Ruído com \(N\) pequeno: repita sorteios/dobras; prefira mediana ou intervalos (grau 10, \(N=20\): média de validação 81,3, mediana 0,29).
- Mesma distribuição da produção: gap que não fecha com \(N\) não é variância — é mudança de distribuição ou vazamento (Aula 4).
- Hiperparâmetros fixos por curva; grade log em \(N\) para controlar o custo.
Pausa Ativa 5: Diagnóstico de Curvas de Aprendizado
Decisão de Engenharia em Produção
Você é o líder técnico de um projeto de inteligência artificial. Seu modelo atual possui um erro de treino de \(1\%\) e um erro de validação de \(25\%\). A equipe propõe duas ações concorrentes: - Engenheiro A: “Vamos coletar mais \(100.000\) exemplos rotulados a um custo de R$ 50.000.” - Engenheiro B: “Vamos dobrar a profundidade da nossa rede neural para que ela consiga aprender padrões mais sutis.”
V ou F: Diagnóstico Prático
Julgue V ou F — a questão só conta se acertar os 4 itens:
- □ Em um cenário de alto viés (underfitting), tanto o erro de treino quanto o de validação convergem para patamares elevados com lacuna mínima.
- □ Se um modelo sofre de alta variância (overfitting), a intervenção recomendada é aumentar a capacidade do espaço de hipóteses.
- □ O erro de treinamento de um modelo supervisionado é tipicamente uma estimativa otimista (subestimada) do verdadeiro erro de generalização.
- □ Na presença de ruído estocástico \(\sigma^2 > 0\), o erro de validação com \(N \to \infty\) pode atingir zero se usarmos um estimador não paramétrico.
Pausa Ativa 5: Resposta
V ou F: Resposta
- ✔ V: A rigidez do modelo impede ajuste adequado tanto dentro quanto fora da amostra.
- ✗ F: Aumentar a capacidade agrava a variância; o correto é regularizar, podar atributos ou adicionar dados.
- ✔ V: Os parâmetros foram otimizados especificamente para aquela amostra finita, gerando viés de otimismo (training optimism).
- ✗ F: Nenhum modelo pode transpor a barreira de Bayes \(\sigma^2 > 0\).
Voltando à pergunta: A proposta do Engenheiro A está correta. A lacuna gritante (\(1\%\) vs. \(25\%\)) é a assinatura inconfundível de alta variância (overfitting). Mais dados fornecem a âncora necessária para estabilizar o estimador e fechar o gap. A proposta do Engenheiro B aumentaria ainda mais a capacidade, explodindo a variância e tornando o modelo ainda mais instável.
Fechamento
Retomando as 5 Perguntas da Aula
- Estimador Estocástico: Dependência estocástica de \(\mathcal{D}\).
- Decomposição do EMSE: \(\text{EMSE} = \text{Bias}^2 + \text{Var} + \sigma^2\), com termo cruzado nulo por construção.
- Complexidade e \(N\): Capacidade move viés e variância em direções opostas; \(N\) reduz variância em \(O(1/N)\) mas não altera o viés.
- Ridge: \(\lambda\uparrow\) \(\Rightarrow\) viés \(\uparrow\), variância \(\downarrow\); um pouco de \(\lambda\) sempre supera o OLS.
- Diagnóstico Prático: Platô alto sem gap = viés; abismo entre treino e validação = variância.
O Que Fica em Aberto: O Dilema em Classificação 0-1
A Não Linearidade da Perda 0-1
- A decomposição aditiva \(\text{Bias}^2 + \text{Var} + \sigma^2\) é exclusiva da perda quadrática.
- Em classificação \(0-1\), viés e variância interagem de forma multiplicativa através do limiar de decisão de Bayes (Friedman, 1997; Domingos, 2000).
Ponte para a Parte 3: A Teoria de Ensembles
As Duas Estratégias Complementares de Ensemble
- Aula 9 (Bagging e Random Forests):
- Alvo: Redução de Variância.
- Ponto de partida: Modelos de alta capacidade (árvores profundas).
- Mecanismo: Média de variáveis aleatórias descorrelacionadas.
- Aula 10 (Gradient Boosting):
- Alvo: Redução de Viés.
- Ponto de partida: Modelos de alto viés (árvores rasas / stumps).
- Mecanismo: Ajuste sequencial de pseudo-resíduos no espaço de funções.
UNICAMP — Instituto de Computação
