Soluções — Aula 8: O Tradeoff Teórico Viés-Variância

Supervised Learning

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

5 de outubro de 2026

Aula Exercícios

Respostas das Questões Discursivas

Questão 1: A Decomposição Formal do EMSE e a Ortogonalidade Estocástica

Partimos do erro quadrático no ponto \(\mathbf{x}\): \[(y - \hat{f}(\mathbf{x}))^2 = \left( [f(\mathbf{x}) - \hat{f}(\mathbf{x})] + \epsilon \right)^2 = (f(\mathbf{x}) - \hat{f}(\mathbf{x}))^2 + 2\epsilon(f(\mathbf{x}) - \hat{f}(\mathbf{x})) + \epsilon^2\] Tomando a esperança conjunta \(\mathbb{E}_{\mathcal{D}, \epsilon}[\cdot]\): 1. Pela independência estocástica \(\epsilon \perp \mathcal{D}\) e como \(\mathbb{E}[\epsilon]=0\): \[\mathbb{E}_{\mathcal{D}, \epsilon}[2\epsilon(f(\mathbf{x}) - \hat{f}(\mathbf{x}))] = 2\mathbb{E}[\epsilon] \cdot \mathbb{E}_{\mathcal{D}}[f(\mathbf{x}) - \hat{f}(\mathbf{x})] = 2 \cdot 0 \cdot \mathbb{E}_{\mathcal{D}}[f(\mathbf{x}) - \hat{f}(\mathbf{x})] = 0\] 2. Como \(\mathbb{E}[\epsilon^2] = \text{Var}(\epsilon) = \sigma^2\), temos: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}}\left[(f(\mathbf{x}) - \hat{f}(\mathbf{x}))^2\right] + \sigma^2\] 3. No termo \(\mathbb{E}_{\mathcal{D}}[(f(\mathbf{x}) - \hat{f}(\mathbf{x}))^2]\), somamos e subtraímos o estimador médio \(\bar{f}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}}[\hat{f}(\mathbf{x})]\): \[f(\mathbf{x}) - \hat{f}(\mathbf{x}) = (f(\mathbf{x}) - \bar{f}(\mathbf{x})) + (\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}))\] Elevando ao quadrado e aplicando a esperança \(\mathbb{E}_{\mathcal{D}}[\cdot]\): \[\mathbb{E}_{\mathcal{D}}\left[(f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2\right] + \mathbb{E}_{\mathcal{D}}\left[(\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}))^2\right] + 2\mathbb{E}_{\mathcal{D}}\left[(f(\mathbf{x}) - \bar{f}(\mathbf{x}))(\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}))\right]\] 4. Como \((f(\mathbf{x}) - \bar{f}(\mathbf{x}))\) é uma constante determinística (não depende de \(\mathcal{D}\)): - \(\mathbb{E}_{\mathcal{D}}[(f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2] = (f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2 \equiv \text{Bias}^2(\mathbf{x})\); - \(\mathbb{E}_{\mathcal{D}}[(\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}))^2] \equiv \text{Var}(\mathbf{x})\); - O termo cruzado anula-se rigorosamente: \[2(f(\mathbf{x}) - \bar{f}(\mathbf{x})) \cdot \mathbb{E}_{\mathcal{D}}[\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x})] = 2(f(\mathbf{x}) - \bar{f}(\mathbf{x})) \cdot (\bar{f}(\mathbf{x}) - \bar{f}(\mathbf{x})) = 0\] Logo, provamos que \(\text{EMSE}(\mathbf{x}) = \text{Bias}^2(\mathbf{x}) + \text{Var}(\mathbf{x}) + \sigma^2\).

Questão 2: O Dilema de Gauss-Markov e a Superioridade de Estimadores Enviesados

(a) O Teorema de Gauss-Markov restringe sua busca exclusivamente a estimadores que sejam estritamente lineares e não enviesados (\(\text{Bias} = 0\)). Entre estes, o OLS possui a menor variância possível. No entanto, o objetivo real em aprendizado supervisionado não é manter viés zero, mas sim minimizar o erro total \(\text{MSE} = \text{Bias}^2 + \text{Var}\). Ao permitir que o estimador tenha uma pequena quantidade de viés (\(\text{Bias}^2 > 0\)), a regressão Ridge consegue reduzir a variância em uma magnitude consideravelmente maior do que o viés introduzido, obtendo uma soma \(\text{Bias}^2 + \text{Var}\) menor que a do OLS.

(b) O estimador Ridge tem viés e variância dados analiticamente em função dos autovalores \(s_i^2\) de \(\mathbf{X}^T\mathbf{X}\) e dos coeficientes verdadeiros \(\alpha_i = (\mathbf{V}^T\boldsymbol\beta^*)_i\): \[\text{Bias}^2(\lambda) = \lambda^2 \sum_{i=1}^p \frac{\alpha_i^2}{(s_i^2 + \lambda)^2}, \quad \text{Var}(\lambda) = \sigma^2 \sum_{i=1}^p \frac{s_i^2}{(s_i^2 + \lambda)^2}\] Diferenciando em relação a \(\lambda\): \[\frac{\mathrm{d}\,\text{Bias}^2(\lambda)}{\mathrm{d}\lambda} = 2\lambda \sum_{i=1}^p \frac{\alpha_i^2}{(s_i^2 + \lambda)^2} - 2\lambda^2 \sum_{i=1}^p \frac{\alpha_i^2}{(s_i^2 + \lambda)^3}\] Avaliando em \(\lambda = 0\): \[\left. \frac{\mathrm{d}\,\text{Bias}^2(\lambda)}{\mathrm{d}\lambda} \right|_{\lambda = 0} = 0\] Para a variância: \[\left. \frac{\mathrm{d}\,\text{Var}(\lambda)}{\mathrm{d}\lambda} \right|_{\lambda = 0} = \left. \left( -2\sigma^2 \sum_{i=1}^p \frac{s_i^2}{(s_i^2 + \lambda)^3} \right) \right|_{\lambda = 0} = -2\sigma^2 \sum_{i=1}^p \frac{1}{s_i^4} < 0\] Como \(\left.\frac{\mathrm{d}\,\text{MSE}}{\mathrm{d}\lambda}\right|_{\lambda=0} = 0 + \left(-2\sigma^2 \sum \frac{1}{s_i^4}\right) < 0\), a derivada inicial da perda total é estritamente negativa. Logo, sempre existe um intervalo \((0, \lambda_0)\) onde o erro total do Ridge é estritamente menor que o do OLS.

Questão 3: Assimetria Assintótica com o Tamanho Amostral \(N\)

Para um modelo linear ordinário com \(p\) parâmetros ajustado sobre \(N\) observações, a conta da matriz chapéu (aula, Bloco 2; ESL eq. 7.12) dá variância média \(\sigma^2p/N\) nos pontos de treino: \[\text{Var}(\hat{f}) \sim O\left(\frac{p}{N}\right) \quad \xrightarrow{N \to \infty} \quad 0\] A variância do estimador colapsa assintoticamente para zero à taxa \(1/N\), pois os parâmetros convergem para a melhor projeção populacional possível. Entretanto, se a função verdadeira \(f(\mathbf{x}) \notin \mathcal{H}\) (por exemplo, um processo não linear modelado por uma reta linear), o estimador médio \(\bar{f}(\mathbf{x})\) converge para a projeção ortogonal de \(f\) sobre \(\mathcal{H}\), mas não sobre \(f\). O viés estrutural satisfaz: \[\lim_{N \to \infty} \text{Bias}^2(\mathbf{x}) = (f(\mathbf{x}) - \bar{f}_\infty(\mathbf{x}))^2 = C > 0\] Portanto, quando \(N \to \infty\), o erro esperado total converge para: \[\lim_{N \to \infty} \text{EMSE}(\mathbf{x}) = C + 0 + \sigma^2 = C + \sigma^2 > \sigma^2\] O erro total não converge para o erro irredutível \(\sigma^2\) porque o viés estrutural de especificação é imune à adição de dados.

Questão 4: Curvas de Aprendizado e Tomada de Decisão em Engenharia

  • Diagnóstico: O modelo apresenta erro de treinamento irrisório (\(1{,}2\%\)) e erro de validação elevado (\(18{,}5\%\)). A presença de um abismo expressivo (large gap) de \(17{,}3\%\) entre as duas curvas é a assinatura diagnóstica clássica de alta variância (overfitting). O modelo possui flexibilidade excessiva e decorou os ruídos da amostra de treino.
  • Crítica à Sugestão (i) — Errada: Aumentar camadas e parâmetros ampliará ainda mais a capacidade de hipóteses \(\mathcal{H}\), tornando o modelo ainda mais volátil e agravando o overfitting.
  • Crítica à Sugestão (ii) — Correta: Aumentar a regularização \(L_2\) constringe o espaço de busca e reduz a sensibilidade aos dados; coletar mais dados de treino ancora as estimativas e fecha o gap assintótico, reduzindo a variância em direção a zero.

Questão 5: A Decomposição sob Perdas Alternativas

A decomposição perfeitamente aditiva \(\text{Bias}^2 + \text{Var} + \sigma^2\) decorre das propriedades geométricas do espaço de Hilbert \(L_2(P)\), onde a esperança do produto interno induz ortogonalidade: \[\mathbb{E}[(A - \mathbb{E}[A])(B)] = 0\] Sob a perda em valor absoluto \(L(y, \hat{f}) = |y - \hat{f}|\), a desigualdade triangular \(|a + b| \le |a| + |b|\) não preserva igualdades aditivas puras, e o minimizador da perda esperada é a mediana condicional, e não a média condicional. Sob a perda 0-1 em classificação binária (taxa de erro de rótulos), Domingos (2000) demonstrou que o viés e a variância interagem de forma multiplicativa: se um classificador possui viés correto (a média está do lado correto do limiar \(0{,}5\)), aumentar a variância pode empurrar algumas predições para o lado errado, degradando o erro; mas se o viés for incorreto, flutuações de variância podem ocasionalmente cruzar o limiar e acertar o rótulo, reduzindo o erro de teste. Portanto, a decomposição aditiva pura é um privilégio matemático exclusivo da perda quadrática.

Gabarito dos Testes Conceituais (Verdadeiro ou Falso)

Teste 1: Natureza Estocástica e Estimador Médio

  • (a) V: Como \(\mathcal{D}\) é uma amostra sorteada aleatoriamente da distribuição conjunta, o modelo ajustado \(\hat{f}(x; \mathcal{D})\) herda essa aleatoriedade.
  • (b) F: \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) é a esperança teórica sobre todos os conjuntos de treino possíveis, sendo uma função determinística fixa.
  • (c) F: A média de infinitas funções lineares \(y = ax + b\) é estritamente outra função linear \(\bar{a}x + \bar{b}\); ela jamais se curvará para formar uma parábola.
  • (d) V: Esta é a definição precisa de variância do estimador: o espalhamento quadrático médio de \(\hat{f}\) em torno de sua própria esperança \(\bar{f}\).

Teste 2: A Decomposição Formal do EMSE

  • (a) F: \(\sigma^2\) é o ruído estocástico das variáveis não observadas do sistema físico gerador, sendo um limite insuperável por qualquer algoritmo.
  • (b) V: Como \(f(x) - \bar{f}(x)\) é determinístico, ele sai da esperança, e \(\mathbb{E}[\bar{f}(x) - \hat{f}(x)] = \bar{f}(x) - \bar{f}(x) = 0\).
  • (c) V: Nem \(f(x)\) nem a esperança teórica \(\bar{f}(x)\) dependem da amostra específica \(\mathcal{D}\) sorteada.
  • (d) F: Um estimador com viés zero pode possuir variância astronômica, resultando em erro quadrático total muito superior ao de um estimador levemente enviesado.

Teste 3: Complexidade e Capacidade de Hipóteses

  • (a) V: A expansão de \(\mathcal{H}\) permite aproximações mais fiéis de \(f(x)\) (reduzindo viés), mas aumenta a sensibilidade a ruídos da amostra (aumentando variância).
  • (b) V: Pela condição de primeira ordem da derivada do erro total, \(\frac{\mathrm{d}\,\text{EMSE}}{\mathrm{d}M} = 0 \iff \frac{\mathrm{d}\,\text{Bias}^2}{\mathrm{d}M} = -\frac{\mathrm{d}\,\text{Var}}{\mathrm{d}M}\).
  • (c) F: O viés estrutural reside na classe de hipóteses; dados adicionais reduzem a variância com \(O(1/N)\), mas o viés permanece estagnado em uma constante positiva.
  • (d) V: Mesmo se viés e variância fossem ambos rigorosamente nulos, o erro mínimo esperado de predição sob ruído homocedástico seria \(\sigma^2\).

Teste 4: Regularização Ridge e o Teorema de Hoerl & Kennard

  • (a) F: \(\mathbb{E}[\hat{\boldsymbol\beta}_{\text{Ridge}}] = (\mathbf{X}^T\mathbf{X} + \lambda \mathbf{I})^{-1}\mathbf{X}^T\mathbf{X}\boldsymbol\beta^* \neq \boldsymbol\beta^*\) para qualquer \(\lambda > 0\), caracterizando encolhimento enviesado.
  • (b) V: Pela álgebra linear de matrizes semidefinidas positivas, a introdução de \(\lambda \mathbf{I}\) reduz a covariância em todas as direções do espaço.
  • (c) V: Como a derivada do viés em \(\lambda=0\) é nula e a da variância é negativa, a derivada inicial do erro total é estritamente decrescente.
  • (d) F: Quando \(\lambda \to \infty\), todos os coeficientes colapsam para \(\mathbf{0}\); a variância vai a zero, mas o viés atinge valor máximo catastrófico.

Teste 5: Curvas de Aprendizado e Diagnóstico Prático

  • (a) V: Em subajuste, o modelo é incapaz de representar os dados adequadamente tanto no treino quanto no teste, convergindo para erro alto com gap nulo.
  • (b) V: Em superajuste, a memorização da amostra gera erro de treino ínfimo com incapacidade de generalizar para novos dados (gap amplo).
  • (c) F: Para modelos com alto viés estrutural, adicionar dados não altera a capacidade representacional da classe; mais dados não consertam subajuste.
  • (d) F: O erro de treino sofre de viés de otimismo (training optimism) decorrente do ajuste empírico direto dos parâmetros sobre a amostra observada.

Teste 6: Conexão com Ensembles e Generalizações

  • (a) V: Bagging reduz a variância de preditores flexíveis com baixo viés aproveitando que a média de variáveis fracamente correlacionadas tem menor variância.
  • (b) V: Boosting reduz o viés de modelos simples (stumps) encadeando preditores sequenciais focados nos resíduos das iterações anteriores.
  • (c) F: Em classificação 0-1, viés e variância interagem de forma multiplicativa através da fronteira de decisão de Bayes, não de forma aditiva linear.
  • (d) V: A quase-singularidade de \(\mathbf{X}^T\mathbf{X}\) produz autovalores minúsculos no denominador da covariância \(\sigma^2 (\mathbf{X}^T\mathbf{X})^{-1}\), explodindo a variância do OLS.