Exercícios — Aula 8: O Tradeoff Teórico Viés-Variância
Supervised Learning
Questões Discursivas
A Decomposição Formal do EMSE e a Ortogonalidade Estocástica: Considere o erro de predição quadrático em um ponto de teste fixo \(\mathbf{x}\), dado por \((y - \hat{f}(\mathbf{x}; \mathcal{D}))^2\). Partindo da expansão \((y - \hat{f}(\mathbf{x})) = (f(\mathbf{x}) - \bar{f}(\mathbf{x})) + (\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x})) + \epsilon\), deduza analiticamente e com todos os passos intermediários a decomposição: \[\text{EMSE}(\mathbf{x}) = \text{Bias}^2(\mathbf{x}) + \text{Var}(\mathbf{x}) + \sigma^2\] Justifique formalmente onde cada uma das premissas estatísticas (\(\mathbb{E}[\epsilon]=0\), \(\epsilon \perp \mathcal{D}\) e a definição de \(\bar{f}(\mathbf{x})\)) é utilizada para anular os termos cruzados.
O Dilema de Gauss-Markov e a Superioridade de Estimadores Enviesados: O Teorema de Gauss-Markov estabelece que o estimador de Mínimos Quadrados Ordinários (OLS) é o Melhor Estimador Linear Não Enviesado (BLUE).
- Por que essa garantia teórica não impede que a regressão Ridge \(\hat{\boldsymbol\beta}_{\text{Ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda \mathbf{I})^{-1}\mathbf{X}^T\mathbf{y}\) atinja um erro quadrático médio de teste estritamente inferior ao do OLS?
- Demonstre que a derivada de \(\text{Bias}^2(\lambda)\) em relação a \(\lambda\) avaliada em \(\lambda = 0\) é identicamente nula, enquanto a derivada de \(\text{Var}(\lambda)\) é estritamente negativa, provando o Teorema de Hoerl & Kennard (1970).
Assimetria Assintótica com o Tamanho Amostral \(N\): Para um modelo de regressão linear padrão com \(p\) preditores em que os dados foram gerados por uma função verdadeira não linear \(f(\mathbf{x}) \notin \mathcal{H}\), analise o comportamento dos componentes do erro quando o tamanho amostral de treino \(N \to \infty\). O erro total converge para o erro irredutível \(\sigma^2\)? Justifique com base nas taxas de convergência assintótica do viés estrutural e da variância do estimador.
Curvas de Aprendizado e Tomada de Decisão em Engenharia: Uma equipe de aprendizado de máquina observa que seu modelo apresenta erro de treinamento de \(1{,}2\%\) e erro de validação de \(18{,}5\%\). Uma consultoria externa sugere duas intervenções imediatas:
- “Aumentar o número de camadas ocultas e parâmetros para que o modelo consiga generalizar melhor.”
- “Aplicar regularização \(L_2\) mais agressiva e coletar mais dados de treino.” Diagnostique formalmente qual patologia viés-variância o modelo apresenta e avalie criticamente o mérito de cada uma das duas sugestões propostas.
A Decomposição sob Perdas Alternativas: Por que a decomposição perfeitamente aditiva em \(\text{Bias}^2 + \text{Var} + \sigma^2\) não se aplica diretamente quando substituímos a perda quadrática pela perda de erro absoluto \(L(y, \hat{f}) = |y - \hat{f}|\) ou pela perda 0-1 em classificação binária? Explique a geometria do espaço funcional que torna a perda quadrática única nesse aspecto.
Testes Conceituais (Verdadeiro ou Falso)
Julgue os itens a seguir como Verdadeiro (V) ou Falso (F).
Teste 1: Natureza Estocástica e Estimador Médio
- □ (a) O modelo ajustado \(\hat{f}(x; \mathcal{D})\) é uma variável aleatória porque seus parâmetros dependem estocasticamente da amostra específica \(\mathcal{D}\) sorteada da população.
- □ (b) A função média teórica \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) varia a cada novo conjunto de treino de tamanho \(N\) coletado.
- □ (c) Se calcularmos a média de infinitas retas lineares ajustadas sobre dados ruidosos gerados por uma parábola, a função média resultante será uma parábola.
- □ (d) A variância do estimador mede a dispersão das predições de modelos individuais treinados em amostras distintas em torno de sua predição média.
Teste 2: A Decomposição Formal do EMSE
- □ (a) O termo de ruído irredutível \(\sigma^2\) pode ser eliminado se o algoritmo de treinamento tiver capacidade universal de representação.
- □ (b) Na expansão do EMSE sob perda quadrática, o termo cruzado entre viés e variância anula-se rigorosamente devido à linearidade do operador de esperança.
- □ (c) O viés ao quadrado \((f(x) - \bar{f}(x))^2\) é uma constante determinística que não varia com a amostra de treino \(\mathcal{D}\).
- □ (d) Um estimador com viés estritamente nulo (\(\text{Bias} = 0\)) tem garantia matemática de apresentar menor erro de teste do que qualquer estimador enviesado.
Teste 3: Complexidade e Capacidade de Hipóteses
- □ (a) Aumentar a capacidade de um espaço de hipóteses (ex.: grau de polinômio) tende a reduzir monotonicamente o viés ao quadrado e aumentar a variância do estimador.
- □ (b) No ponto ótimo de complexidade que minimiza o EMSE, a taxa de redução marginal de viés anula exatamente a taxa de aumento marginal de variância.
- □ (c) Se um modelo possui alto viés estrutural, coletar dados em abundância infinita (\(N \to \infty\)) fará o viés convergir para zero.
- □ (d) Na presença de ruído \(\sigma^2 > 0\), o piso teórico inalcançável do erro de predição esperado para qualquer modelo é \(\sigma^2\).
Teste 4: Regularização Ridge e o Teorema de Hoerl & Kennard
- □ (a) O estimador de regressão Ridge \(\hat{\boldsymbol\beta}_{\text{Ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda \mathbf{I})^{-1}\mathbf{X}^T\mathbf{y}\) é não enviesado para qualquer \(\lambda > 0\).
- □ (b) Para qualquer \(\lambda > 0\), a matriz de covariância do estimador Ridge satisfaz \(\text{Cov}(\hat{\boldsymbol\beta}_{\text{Ridge}}) \prec \text{Cov}(\hat{\boldsymbol\beta}_{\text{OLS}})\).
- □ (c) O Teorema de Hoerl & Kennard (1970) prova que sempre existe um valor \(\lambda > 0\) tal que o erro quadrático total do Ridge é estritamente menor que o do OLS.
- □ (d) Quando a força de regularização \(\lambda \to \infty\), o estimador Ridge atinge variância zero e viés zero simultaneamente.
Teste 5: Curvas de Aprendizado e Diagnóstico Prático
- □ (a) Em um cenário de alto viés (underfitting), tanto o erro de treino quanto o de validação convergem para valores elevados com uma lacuna (gap) mínima entre eles.
- □ (b) Em um cenário de alta variância (overfitting), o erro de treino é muito baixo e existe um abismo expressivo para o erro de validação.
- □ (c) Coletar mais dados de treino é uma intervenção altamente efetiva para reduzir o erro em modelos cujo problema principal é alto viés estrutural.
- □ (d) O erro de treino é uma estimativa não enviesada do erro de generalização, pois ambos medem o desempenho da mesma função preditora.
Teste 6: Conexão com Ensembles e Generalizações
- □ (a) O método de Bagging (Random Forests) visa primordialmente a redução de variância ao calcular a média de preditores flexíveis com baixo viés.
- □ (b) O método de Boosting visa primordialmente a redução de viés ao ajustar sequencialmente modelos simples (stumps) aos resíduos do ensemble anterior.
- □ (c) Na perda de classificação 0-1, viés e variância somam-se de forma estritamente linear e aditiva, exatamente como na perda quadrática de regressão.
- □ (d) Em problemas com multicolinearidade severa nas variáveis preditoras, a variância do estimador OLS é inflacionada devido à quase-singularidade de \(\mathbf{X}^T\mathbf{X}\).