Aula 8: O Tradeoff Teórico Viés-Variância

Supervised Learning

Slides Lista de aulas

1 Revisão e Introdução

1.1 Revisão Cuidadosa: O Que a Aula 7 Deixou em Aberto

Na Aula 7, estudamos a regularização de modelos lineares e sua equivalência com a inferência Maximum A Posteriori (MAP) Bayesiana:

1. Ridge (\(L_2\)): Vimos que adicionar a penalidade \(\lambda \|\boldsymbol\beta\|^2\) equivale a impor uma prior gaussiana \(\boldsymbol\beta \sim \mathcal{N}(\mathbf{0}, \tau^2 \mathbf{I})\) com \(\lambda = \sigma^2 / \tau^2\). Essa penalidade estabiliza a inversão de matrizes mal condicionadas somando \(\lambda \mathbf{I}\) a \(\mathbf{X}^T\mathbf{X}\), encolhendo os coeficientes suavemente em direção à origem.
2. Lasso (\(L_1\)): Vimos que a penalidade \(\lambda \|\boldsymbol\beta\|_1\) corresponde a uma prior de Laplace com bico pontiagudo na origem. O operador de soft-thresholding zera exatamente os coeficientes cujas estimativas de máxima verossimilhança caem no intervalo \([-\lambda, \lambda]\), produzindo esparsidade estrutural.

Entretanto, encerramos a Aula 7 com uma pergunta fundamental em aberto: como justificar formalmente o valor ideal de \(\lambda\)?

Nos experimentos práticos da Aula 7 e na validação cruzada da Aula 4, selecionávamos \(\lambda\) ou a profundidade da árvore olhando onde a curva de erro no conjunto de validação atingia o mínimo. Por exemplo, ao ajustar uma regressão Ridge com expansão polinomial no California Housing, varríamos uma grade \(\lambda \in [10^{-3}, 10^4]\) e escolhíamos \(\lambda \approx 10\) simplesmente porque o erro quadrático médio de teste era de \(0{,}52\), enquanto em \(\lambda = 10^{-3}\) subia para \(0{,}75\) e em \(\lambda = 10^4\) disparava para \(1{,}10\).

Essa escolha, contudo, era puramente pragmática e empírica: não tínhamos uma teoria analítica que explicasse por que \(\lambda = 10^{-3}\) falha por uma razão física (instabilidade aos dados de treino) e \(\lambda = 10^4\) falha por outra razão totalmente diferente (rigidez excessiva). O que exatamente governa o aumento do erro quando o modelo é simples demais ou complexo demais?

Para responder a essa pergunta com rigor matemático, precisamos transitar da intuição empírica de overfitting versus underfitting para a decomposição analítica do Erro Quadrático Médio Esperado.

1.2 Ideia Central: O Estimador é uma Variável Aleatória

A ideia central desta aula apoia-se em um princípio fundamental da teoria da estimação estatística: o modelo ajustado \(\hat{f}(x; \mathcal{D})\) não é uma função determinística fixa, mas sim uma variável aleatória condicionada ao conjunto de dados \(\mathcal{D}\) sorteado pelo ambiente.

Sempre que coletamos um conjunto de treino de tamanho \(N\), estamos retirando uma amostra aleatória \(\mathcal{D} \sim P(X, Y)^N\). Se repetíssemos o experimento no dia seguinte com novos dados de mesmo tamanho, obteríamos um conjunto \(\mathcal{D}'\) ligeiramente diferente, gerando parâmetros estimados \(\hat{\boldsymbol\beta}'\) diferentes e uma função preditora \(\hat{f}(x; \mathcal{D}')\) distinta.

Ao avaliarmos o erro quadrático esperado sobre todas as possíveis realizações de conjuntos de treino \(\mathcal{D}\) e sobre o ruído estocástico de teste \(\epsilon\), o erro esperado decompõe-se exatamente em três componentes aditivos: \[\text{EMSE}(x) = \underbrace{(f(x) - \bar{f}(x))^2}_{\text{Viés ao Quadrado}} + \underbrace{\mathbb{E}_{\mathcal{D}}\left[(\hat{f}(x; \mathcal{D}) - \bar{f}(x))^2\right]}_{\text{Variância do Estimador}} + \underbrace{\sigma^2}_{\text{Erro Irredutível}}\]

Aqui: - \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) é o modelo médio: o valor esperado da predição em \(x\) se tivéssemos acesso a infinitos conjuntos de treino. - O Viés mede a distância entre a verdade e o modelo médio: \(\text{Bias}(x) = f(x) - \bar{f}(x)\). - A Variância é a variância estatística dessa variável aleatória \(\hat{f}(x; \mathcal{D})\): mede quanto as predições de modelos individuais oscilam em torno de sua própria média \(\bar{f}(x)\).

Essa decomposição revela um dilema inescapável: classes de modelos simples possuem alto viés estrutural e baixa variância; classes de modelos muito flexíveis eliminam o viés, mas amplificam descontroladamente a variância das estimativas.

1.3 Roteiro da Aula

Estruturaremos a aula em torno de cinco perguntas condutoras:

1. Por que o modelo ajustado deve ser tratado como uma variável aleatória e o que é o estimador médio \(\bar{f}(x)\)? Compreender a variabilidade de amostragem no espaço de funções.
2. Como derivar formalmente a decomposição do erro quadrático médio esperado (EMSE) e por que o termo cruzado se anula? Provar a ortogonalidade estocástica entre viés, variância e ruído intrínseco.
3. De que maneira a complexidade da classe de hipóteses e o tamanho amostral \(N\) modulam cada componente do erro? Analisar a assimetria assintótica: por que mais dados reduzem variância, mas não eliminam o viés de especificação.
4. Como a regularização Ridge atua analiticamente como um mecanismo de injeção de viés para redução de variância? Derivar viés e variância do Ridge como funções de \(\lambda\) e mostrar por que algum \(\lambda>0\) sempre supera o OLS.
5. Como utilizar curvas de aprendizado para diagnosticar se um sistema em produção sofre de limitação por viés ou por variância? Definir ações corretivas precisas com base no comportamento assintótico das curvas de treino e validação.

1.4 Problema Motivador: O Laboratório Sintético de Bishop

Para tornar a aleatoriedade de \(\hat{f}(x; \mathcal{D})\) visível aos olhos antes de iniciarmos as deduções matemáticas, reproduziremos o experimento clássico de Christopher Bishop (PRML, §3.2).

Considere a função geradora determinística: \[f(x) = \sin(2\pi x), \quad x \in [0, 1]\] Os dados observados são gerados adicionando ruído gaussiano homocedástico com \(\sigma = 0{,}3\): \[y = f(x) + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma^2)\]

Simulamos \(L = 50\) conjuntos de treinamento independentes \(\mathcal{D}_1, \dots, \mathcal{D}_{50}\), cada um contendo apenas \(N = 25\) observações sorteadas aleatoriamente. Em cada um desses 50 conjuntos de dados, ajustamos três classes de modelos polinomiais de complexidades distintas: - Grau 1 (Reta Linear): Modelo rígido, subajustado (underfitting). - Grau 3 (Polinômio Cúbico): Complexidade bem calibrada com a curvatura da função seno. - Grau 9 (Polinômio de Alta Ordem): Modelo super-flexível com 10 coeficientes livres (overfitting).

O gráfico a seguir exibe as 50 curvas ajustadas em cinza, a curva média empírica \(\bar{f}(x) = \frac{1}{L}\sum_{l=1}^L \hat{f}_l(x)\) em vermelho, e a função verdadeira \(f(x)\) em verde.

1.5 Pausa Ativa 1: O Estimador como Variável Aleatória

DicaA Reta Média e a Curvatura do Seno

Observe o primeiro painel da figura anterior (Grau 1). Se calculássemos a média de não apenas 50, mas de 1 milhão de conjuntos de dados de treino independentes, a reta média vermelha conseguiria se curvar para passar pelos picos e vales da função senoidal verde? O que esse fato revela sobre a natureza do viés?

DicaV ou F: Aleatoriedade de Estimadores

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ O modelo ajustado \(\hat{f}(x; \mathcal{D})\) é uma variável aleatória porque depende estocasticamente da amostra específica \(\mathcal{D}\) sorteada da distribuição de dados.
• □ O estimador médio teórico \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\) varia a cada novo conjunto de dados de treino de tamanho \(N\) coletado.
• □ Em um problema prático real com uma única amostra estática de treino \(\mathcal{D}_{\text{real}}\), podemos calcular analiticamente o viés exato sem fazer nenhuma hipótese sobre \(f(x)\).
• □ Se um estimador for perfeitamente não enviesado para qualquer \(x\) (\(\mathbb{E}_{\mathcal{D}}[\hat{f}(x)] = f(x)\)), seu erro de predição em qualquer conjunto de teste será identicamente zero.

2 Intuição — As Três Fontes de Erro

2.1 A Classe de Hipóteses \(\mathcal{H}\)

Para compreender rigorosamente a origem do viés e da variância, precisamos primeiro formalizar o conceito de classe (ou espaço) de hipóteses, denotada por \(\mathcal{H}\).

Em qualquer algoritmo de aprendizado supervisionado, não buscamos uma função arbitrária no espaço irrestrito de todas as funções matemáticas imagináveis (que é infinito e computacionalmente intratável). Em vez disso, delimitamos previamente uma família de funções candidatas parametrizadas \(\mathcal{H} = \{h: \mathcal{X} \to \mathcal{Y}\}\). Por exemplo: - Regressão Linear: \(\mathcal{H}_{\text{linear}} = \{ h(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b \mid \mathbf{w} \in \mathbb{R}^D, b \in \mathbb{R} \}\). - Regressão Polinomial de Grau \(M\): \(\mathcal{H}_M = \{ h(x) = \sum_{j=0}^M w_j x^j \mid w_j \in \mathbb{R} \}\). - Árvores de Decisão: \(\mathcal{H}_{\text{tree}(d)} = \{ \text{árvores de decisão com profundidade máxima } \le d \}\).

O processo de treinamento consiste em utilizar o conjunto amostral \(\mathcal{D}\) para selecionar uma única hipótese particular \(\hat{f} \in \mathcal{H}\) que minimiza a perda empírica observada (ou a perda penalizada). A escolha da classe \(\mathcal{H}\) governa diretamente os dois polos do erro: 1. Se a função geradora verdadeira \(f \notin \mathcal{H}\): Mesmo que tivéssemos acesso a infinitos dados de treinamento (\(N \to \infty\)), o algoritmo jamais conseguirá reproduzir \(f\). Essa distância permanente entre a verdade e a melhor projeção possível contida dentro de \(\mathcal{H}\) é a causa primária do viés estrutural. 2. Se a classe \(\mathcal{H}\) for ampla e hiperflexível: Existem infinitas funções em \(\mathcal{H}\) capazes de interpolar a amostra finita \(\mathcal{D}\). Qualquer flutuação estocástica de ruído fará o algoritmo escolher uma hipótese \(\hat{f} \in \mathcal{H}\) radicalmente diferente, dando origem à alta variância.

2.2 Desconstruindo o Erro de Predição: As Três Fontes

Antes de formalizarmos a álgebra da decomposição, vamos construir a intuição conceitual das três componentes fundamentais que constituem o erro de predição em qualquer problema de aprendizado supervisionado:

1. O Erro Irredutível (\(\sigma^2\)): A Barreira Informacional Mesmo que conhecêssemos com perfeição absoluta a função matemática exata do universo \(f(x)\), quando uma nova observação de teste for gerada pelo ambiente, o valor observado será \(y = f(x) + \epsilon\). O termo \(\epsilon\) representa variáveis ocultas não medidas (ex.: microflutuações térmicas, turbulência do ar, imprecisão de sensores). Como \(\mathbb{E}[\epsilon]=0\) e \(\text{Var}(\epsilon)=\sigma^2\), qualquer predição determinística errará, em média quadrática, pelo menos \(\sigma^2\). Trata-se da taxa de erro de Bayes para o problema de regressão. Nenhum algoritmo, por mais sofisticado que seja, pode ultrapassar essa barreira.

2. O Viés Estrutural ao Quadrado (\(\text{Bias}^2\)): O Erro de Hipótese O viés mede o erro de aproximação que cometeríamos mesmo se tivéssemos acesso a uma quantidade infinita de dados de treinamento. Ele quantifica a distância entre a função verdadeira \(f(x)\) e a melhor aproximação que a classe de funções escolhida \(\mathcal{H}\) é capaz de fornecer em média: \[\text{Bias}(x) = f(x) - \bar{f}(x) = f(x) - \mathbb{E}_{\mathcal{D}}[\hat{f}(x; \mathcal{D})]\] Se tentamos ajustar uma reta linear a uma parábola, o viés é alto. Se aumentamos a classe de hipóteses para permitir polinômios de ordem arbitrária ou redes neurais profundas, o viés tende a zero.

3. A Variância do Estimador (\(\text{Var}\)): A Sensibilidade à Amostra A variância mede a instabilidade da predição: quanto o modelo ajustado \(\hat{f}(x; \mathcal{D})\) varia em torno de sua própria média \(\bar{f}(x)\) dependendo de qual amostra aleatória específica \(\mathcal{D}\) calhou de cair no conjunto de treino: \[\text{Var}(x) = \mathbb{E}_{\mathcal{D}}\left[ \left(\hat{f}(x; \mathcal{D}) - \bar{f}(x)\right)^2 \right]\] Modelos com muitos graus de liberdade (alta capacidade) têm variância enorme porque conseguem entortar seus parâmetros para se amoldar a ruídos acidentais da amostra.

3 A Decomposição Formal do EMSE

3.1 O Modelo Gerador e as Hipóteses Estatísticas

Vamos agora derivar matematicamente a decomposição exata do erro quadrático.

Assumimos o modelo gerador estatístico padrão para um ponto de teste \((\mathbf{x}, y)\): \[y = f(\mathbf{x}) + \epsilon\] onde adotamos três premissas probabilísticas fundamentais: 1. Esperança do ruído nula: \(\mathbb{E}[\epsilon] = 0\). 2. Homocedasticidade: \(\text{Var}(\epsilon) = \mathbb{E}[\epsilon^2] = \sigma^2 < \infty\). 3. Independência estocástica: O ruído do ponto de teste \(\epsilon\) é estatisticamente independente do conjunto de dados de treinamento \(\mathcal{D}\), o que implica que \(\mathbb{E}_{\mathcal{D}, \epsilon}[\epsilon \cdot g(\mathcal{D})] = \mathbb{E}[\epsilon] \cdot \mathbb{E}[g(\mathcal{D})] = 0\) para qualquer função \(g\).

Seja \(\hat{f}(\mathbf{x}; \mathcal{D})\) o estimador fornecido pelo algoritmo de aprendizado treinado sobre \(\mathcal{D}\). Definimos o estimador médio como a esperança sobre a distribuição populacional de conjuntos de treino de tamanho \(N\): \[\bar{f}(\mathbf{x}) \equiv \mathbb{E}_{\mathcal{D}}\left[\hat{f}(\mathbf{x}; \mathcal{D})\right]\]

O Erro Quadrático Médio Esperado em um ponto fixo \(\mathbf{x}\) é dado pela esperança conjunta sobre a variabilidade do conjunto de treino \(\mathcal{D}\) e sobre a realização do ruído de teste \(\epsilon\): \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \left( y - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 \right]\]

3.2 A Derivação Formal do EMSE

3.2.1 Passo 1: Isolar o Ruído de Teste \(\epsilon\)

Substituímos \(y = f(\mathbf{x}) + \epsilon\) dentro do quadrado: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \left( f(\mathbf{x}) + \epsilon - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 \right] = \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \left( [f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D})] + \epsilon \right)^2 \right]\]

Expandindo o binômio: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 + 2\epsilon\left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right) + \epsilon^2 \right]\]

Aplicamos a linearidade da esperança: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}} \left[ \left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 \right] + 2 \mathbb{E}_{\mathcal{D}, \epsilon} \left[ \epsilon \left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right) \right] + \mathbb{E}_{\epsilon}[\epsilon^2]\]

Pela independência de \(\epsilon\) em relação a \(\mathcal{D}\) e como \(\mathbb{E}[\epsilon]=0\): \[\mathbb{E}_{\mathcal{D}, \epsilon} \left[ \epsilon \left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right) \right] = \underbrace{\mathbb{E}[\epsilon]}_{=0} \cdot \mathbb{E}_{\mathcal{D}}\left[ f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right] = 0\]

Como \(\mathbb{E}[\epsilon^2] = \sigma^2\), obtemos: \[\text{EMSE}(\mathbf{x}) = \mathbb{E}_{\mathcal{D}} \left[ \left( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right)^2 \right] + \sigma^2\]

---

3.2.2 Passo 2: O Artifício Fundamental — Somar e Subtrair \(\bar{f}(\mathbf{x})\)

Agora nos concentramos no termo \(\mathbb{E}_{\mathcal{D}} [ ( f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) )^2 ]\). Somamos e subtraímos a predição média \(\bar{f}(\mathbf{x})\) dentro do parêntese: \[f(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) = \left( f(\mathbf{x}) - \bar{f}(\mathbf{x}) \right) + \left( \bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right)\]

Elevando ao quadrado e aplicando a esperança sobre \(\mathcal{D}\): \[\mathbb{E}_{\mathcal{D}} \left[ \left( [f(\mathbf{x}) - \bar{f}(\mathbf{x})] + [\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D})] \right)^2 \right] = \mathbb{E}_{\mathcal{D}} \left[ (f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2 + (\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}))^2 + 2(f(\mathbf{x}) - \bar{f}(\mathbf{x}))(\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D})) \right]\]

---

3.2.3 Passo 3: O Cancelamento Rigoroso do Termo Cruzado

Analisamos os três termos individualmente sob a esperança \(\mathbb{E}_{\mathcal{D}}\):

1. Termo do Viés: O termo \((f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2\) é estritamente determinístico: nem \(f(\mathbf{x})\) nem a média teórica \(\bar{f}(\mathbf{x})\) dependem da amostra particular \(\mathcal{D}\). Portanto, a esperança de uma constante é a própria constante: \[\mathbb{E}_{\mathcal{D}} \left[ (f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2 \right] = (f(\mathbf{x}) - \bar{f}(\mathbf{x}))^2 \equiv \text{Bias}^2(\hat{f}(\mathbf{x}))\]

2. Termo da Variância: O termo \(\mathbb{E}_{\mathcal{D}} [ (\hat{f}(\mathbf{x}; \mathcal{D}) - \bar{f}(\mathbf{x}))^2 ]\) é, pela definição axiomática da probabilidade, a variância da variável aleatória \(\hat{f}(\mathbf{x}; \mathcal{D})\): \[\mathbb{E}_{\mathcal{D}} \left[ (\hat{f}(\mathbf{x}; \mathcal{D}) - \bar{f}(\mathbf{x}))^2 \right] \equiv \text{Var}_{\mathcal{D}}(\hat{f}(\mathbf{x}))\]

3. Termo Cruzado: Como \((f(\mathbf{x}) - \bar{f}(\mathbf{x}))\) não depende de \(\mathcal{D}\), podemos colocá-lo para fora do operador linear de esperança: \[\mathbb{E}_{\mathcal{D}} \left[ 2(f(\mathbf{x}) - \bar{f}(\mathbf{x}))(\bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D})) \right] = 2(f(\mathbf{x}) - \bar{f}(\mathbf{x})) \cdot \mathbb{E}_{\mathcal{D}}\left[ \bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right]\] Pela definição de \(\bar{f}(\mathbf{x})\), temos: \[\mathbb{E}_{\mathcal{D}}\left[ \bar{f}(\mathbf{x}) - \hat{f}(\mathbf{x}; \mathcal{D}) \right] = \bar{f}(\mathbf{x}) - \mathbb{E}_{\mathcal{D}}\left[\hat{f}(\mathbf{x}; \mathcal{D})\right] = \bar{f}(\mathbf{x}) - \bar{f}(\mathbf{x}) = 0\] Logo, o termo cruzado anula-se identicamente!

---

3.2.4 Teorema: A Decomposição Viés-Variância

Juntando os resultados dos Passos 1, 2 e 3, obtemos a identidade canônica: \[\boxed{\text{EMSE}(\mathbf{x}) = \underbrace{\left( f(\mathbf{x}) - \mathbb{E}_{\mathcal{D}}[\hat{f}(\mathbf{x})] \right)^2}_{\text{Viés ao Quadrado}} + \underbrace{\mathbb{E}_{\mathcal{D}}\left[ \left( \hat{f}(\mathbf{x}) - \mathbb{E}_{\mathcal{D}}[\hat{f}(\mathbf{x})] \right)^2 \right]}_{\text{Variância do Estimador}} + \underbrace{\sigma^2}_{\text{Erro Irredutível}}}\]

3.3 Pausa Ativa 2: A Decomposição Formal

DicaPor Que o Termo Cruzado se Anula?

Por que o termo \(2(f(x) - \bar{f}(x))\) pôde ser retirado para fora da esperança \(\mathbb{E}_{\mathcal{D}}\) no Passo 3 da dedução? O que aconteceria com a decomposição aditiva se utilizássemos a perda em valor absoluto \(|y - \hat{f}(x)|\) no lugar da perda quadrática?

DicaV ou F: Decomposição do EMSE

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ O erro irredutível \(\sigma^2 = \text{Var}(\epsilon)\) pode ser reduzido a zero se aumentarmos o tamanho amostral de treino para \(N \to \infty\).
• □ Na decomposição \(\text{EMSE}(x) = \text{Bias}^2(x) + \text{Var}(x) + \sigma^2\), os três termos são garantidamente não negativos para qualquer \(x\).
• □ O termo cruzado envolvendo o ruído de teste \(\epsilon\) anula-se porque \(\epsilon\) tem esperança zero e é independente dos dados de treino \(\mathcal{D}\).
• □ A variância do estimador \(\text{Var}_{\mathcal{D}}(\hat{f}(x))\) quantifica o desvio médio entre o modelo ajustado e a função verdadeira \(f(x)\).

4 Complexidade de Hipóteses e o Ponto Ótimo

4.1 Dinâmica da Complexidade: O Tradeoff em Formato de U

O que determina a magnitude relativa de \(\text{Bias}^2\) e \(\text{Var}\)? O fator primário é a capacidade (ou flexibilidade) da classe de hipóteses \(\mathcal{H}\).

Considere uma família de modelos parametrizada por um índice de capacidade \(M\) (por exemplo, o grau de um polinômio ou a profundidade máxima de uma árvore de decisão): - Modelos de Baixa Capacidade (\(M\) pequeno): O espaço de hipóteses \(\mathcal{H}\) é excessivamente restritivo. Como o modelo não consegue expressar a riqueza funcional de \(f(x)\), o viés ao quadrado é elevado. Em contrapartida, como o modelo possui poucos parâmetros livres para serem estimados, diferentes amostras de treino \(\mathcal{D}_1\) e \(\mathcal{D}_2\) produzem estimativas quase idênticas: a variância é muito baixa. - Modelos de Alta Capacidade (\(M\) grande): O espaço de hipóteses \(\mathcal{H}\) é vasto e flexível. O estimador médio \(\bar{f}(x)\) consegue se aproximar quase perfeitamente da função verdadeira, fazendo o viés tender a zero. Por outro lado, o modelo tem tanta liberdade que ele se ajusta avidamente a qualquer flutuação de ruído acidental presente na amostra finita \(\mathcal{D}\): a variância explode.

Ao integrarmos o erro sobre toda a distribuição marginal de entradas \(p(x)\): \[\text{EMSE}_{\text{total}} = \int \text{EMSE}(x) p(x) \, \mathrm{d}x = \int \text{Bias}^2(x) p(x) \, \mathrm{d}x + \int \text{Var}(x) p(x) \, \mathrm{d}x + \sigma^2\] observamos a célebre curva em formato de U: à medida que a complexidade \(M\) cresce, o viés cai rapidamente no início, mas a partir de certo ponto a variância sobe a uma taxa superior, empurrando o erro de generalização de volta para cima.

4.2 O Efeito do Tamanho Amostral \(N\)

Viés e variância reagem de formas muito diferentes à quantidade de dados de treinamento \(N\). Para a variância existe uma conta exata no caso da regressão linear por mínimos quadrados (OLS, Aula 5), que mostra de onde vem a regra “mais dados, menos variância” e quanto a capacidade do modelo pesa nela.

Premissas (desenho fixo). Os \(N\) pontos de entrada estão fixos e formam a matriz de projeto \(X\in\mathbb{R}^{N\times p}\), com posto \(p\) (colunas linearmente independentes; \(p\) conta o intercepto e as funções de base). Só as respostas são aleatórias: \(\mathbf{y}=\mathbf{f}+\boldsymbol\epsilon\), com \(\mathbf{f}=(f(\mathbf{x}_1),\dots,f(\mathbf{x}_N))^T\) fixo, \(\mathbb{E}[\boldsymbol\epsilon]=\mathbf{0}\) e \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2 I_N\) (ruídos independentes e homocedásticos). A variância abaixo é sobre o sorteio do ruído, com os \(\mathbf{x}_n\) fixos (ESL §7.3, p. 224).

Passo 1 — o ajuste é uma matriz vezes \(\mathbf{y}\). As equações normais dão \(\hat{\boldsymbol\beta}=(X^TX)^{-1}X^T\mathbf{y}\), logo os valores ajustados são \[ \hat{\mathbf{y}}=X\hat{\boldsymbol\beta}=\underbrace{X(X^TX)^{-1}X^T}_{H}\,\mathbf{y}=H\mathbf{y}. \] \(H\) é a matriz chapéu (“põe o chapéu” em \(\mathbf{y}\)): a projeção ortogonal no espaço-coluna de \(X\) da Aula 5.

Passo 2 — duas propriedades de \(H\). Ela é simétrica (\(H^T=H\)) e idempotente: \(H^2=X(X^TX)^{-1}\underbrace{X^TX(X^TX)^{-1}}_{I_p}X^T=H\) (projetar duas vezes é o mesmo que projetar uma). E o seu traço é \(p\), pela propriedade cíclica do traço: para \(A\in\mathbb{R}^{m\times n}\) e \(B\in\mathbb{R}^{n\times m}\), \[ \mathrm{tr}(AB)=\sum_{i=1}^m\sum_{j=1}^n A_{ij}B_{ji}=\sum_{j=1}^n\sum_{i=1}^m B_{ji}A_{ij}=\mathrm{tr}(BA), \] mesmo quando \(AB\) (\(m\times m\)) e \(BA\) (\(n\times n\)) têm tamanhos diferentes. Com \(A=X\) (\(N\times p\)) e \(B=(X^TX)^{-1}X^T\) (\(p\times N\)), o traço de uma matriz \(N\times N\) vira o traço de uma \(p\times p\): \[ \mathrm{tr}(H)=\mathrm{tr}\big(X(X^TX)^{-1}X^T\big)=\mathrm{tr}\big((X^TX)^{-1}X^TX\big)=\mathrm{tr}(I_p)=p . \]

Passo 3 — a covariância dos ajustes. Como \(\mathbf{f}\) é fixo, \(\text{Cov}(\mathbf{y})=\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\). Uma matriz fixa vezes um vetor aleatório tem \(\text{Cov}(H\mathbf{y})=H\,\text{Cov}(\mathbf{y})\,H^T\), então \[ \text{Cov}(\hat{\mathbf{y}})=H(\sigma^2I_N)H^T=\sigma^2HH^T=\sigma^2H^2=\sigma^2H . \]

Passo 4 — somar as variâncias. A variância de cada \(\hat y_n\) está na diagonal de \(\text{Cov}(\hat{\mathbf{y}})\), e a soma da diagonal é o traço: \[ \sum_{n=1}^N\text{Var}(\hat y_n)=\mathrm{tr}\big(\text{Cov}(\hat{\mathbf{y}})\big)=\sigma^2\,\mathrm{tr}(H)=\sigma^2p \qquad\Longrightarrow\qquad \frac1N\sum_{n=1}^N\text{Var}(\hat y_n)=\sigma^2\,\frac{p}{N}. \] É a mesma expressão da ESL (eq. 7.12, p. 224), aqui com a demonstração.

Essa conta revela duas propriedades estruturais:

1. A variância média é \(\sigma^2p/N\): proporcional à capacidade \(p\) e a \(1/N\). Dobrar os dados corta a variância pela metade (o desvio-padrão cai com \(1/\sqrt N\)); dobrar o número de parâmetros a dobra. Com \(N\to\infty\) e \(p\) fixo, ela vai a zero. A conta é exata, não assintótica, mas vale para modelos lineares nos parâmetros e como média sobre os pontos de treino.
2. O viés de especificação é imune a \(N\). Se a classe de modelos é estruturalmente inadequada (por exemplo, uma reta para uma função com curvatura), mesmo com bilhões de observações o estimador converge para a melhor aproximação dentro de \(\mathcal{H}\), mas não se curva. O viés estrutural não diminui com a adição de dados.

4.3 Capacidade de Hipóteses e Tamanho Amostral \(N\)

DicaO Destino dos Componentes quando \(N \to \infty\)

Se tivermos um orçamento limitado e precisarmos decidir entre: - (A) Coletar mais dados de treino para um modelo linear simples (\(p=2\)); - (B) Coletar mais dados de treino para uma rede neural profunda com milhões de parâmetros (\(p=10^7\)).

DicaV ou F: Dinâmica de Capacidade e Dados

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Aumentar a capacidade de um modelo tende a reduzir monotonicamente o viés ao quadrado e aumentar a variância do estimador.
• □ Se um modelo possui alto viés estrutural, coletar dados em abundância fará seu viés convergir para zero.
• □ O erro esperado atinge seu valor ótimo exatamente quando o viés e a variância são ambos rigorosamente iguais a zero.
• □ Para a regressão linear ordinária OLS com \(p\) parâmetros, a variância média do estimador escala proporcionalmente com \(p/N\).

5 Bloco 3: Conexão com Regularização e MAP (Aula 7)

5.1 O Que \(\lambda\) Faz: Ridge Encolhe Cada Direção

Na seção anterior, a capacidade era controlada por um número inteiro: o grau \(M\) do polinômio. A regularização Ridge da Aula 7 oferece um controle contínuo: mantemos a mesma classe de modelos e variamos \(\lambda\ge 0\) na penalidade \(\lambda\|\boldsymbol\beta\|^2\). A pergunta deste bloco é concreta: quando \(\lambda\) aumenta, o que acontece com o viés e com a variância? Para responder com uma conta exata, usamos as mesmas premissas da conta \(\sigma^2p/N\).

Premissas (desenho fixo). \(X\in\mathbb{R}^{N\times p}\) fixa, de posto \(p\); \(\mathbf{y}=\mathbf{f}+\boldsymbol\epsilon\) com \(\mathbf{f}=(f(\mathbf{x}_1),\dots,f(\mathbf{x}_N))^T\) fixo, \(\mathbb{E}[\boldsymbol\epsilon]=\mathbf{0}\) e \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\). Não supomos que \(f\) seja linear: \(\mathbf{f}\) pode estar fora do espaço-coluna de \(X\).

Passo 1 — o ajuste Ridge também é uma matriz vezes \(\mathbf{y}\). Da Aula 7, \(\hat{\boldsymbol\beta}_\lambda=(X^TX+\lambda I_p)^{-1}X^T\mathbf{y}\), logo \[ \hat{\mathbf{y}}_\lambda=X\hat{\boldsymbol\beta}_\lambda=\underbrace{X(X^TX+\lambda I_p)^{-1}X^T}_{H_\lambda}\,\mathbf{y}=H_\lambda\mathbf{y}. \] Com \(\lambda=0\), \(H_0=H\) é a matriz chapéu do OLS.

Passo 2 — diagonalizar \(H_\lambda\) pela SVD. Escreva a SVD reduzida \(X=USV^T\), com \(U\in\mathbb{R}^{N\times p}\) de colunas ortonormais (\(U^TU=I_p\)), \(S=\mathrm{diag}(s_1,\dots,s_p)\) com \(s_1\ge\dots\ge s_p>0\) (posto \(p\)) e \(V\in\mathbb{R}^{p\times p}\) ortogonal (\(V^TV=VV^T=I_p\)). Então \(X^TX=VSU^TUSV^T=VS^2V^T\) e, como \(I_p=VV^T\), \[ X^TX+\lambda I_p=V(S^2+\lambda I_p)V^T \quad\Longrightarrow\quad (X^TX+\lambda I_p)^{-1}=V(S^2+\lambda I_p)^{-1}V^T . \] Substituindo, \[ H_\lambda=USV^T\,V(S^2+\lambda I_p)^{-1}V^T\,VSU^T=U\,S(S^2+\lambda I_p)^{-1}S\,U^T=U\,D_\lambda\,U^T, \qquad D_\lambda=\mathrm{diag}\big(h_1(\lambda),\dots,h_p(\lambda)\big),\quad h_i(\lambda)=\frac{s_i^2}{s_i^2+\lambda}. \]

Leitura. Escreva qualquer vetor de \(\mathbb{R}^N\) nas coordenadas \(\mathbf{u}_1,\dots,\mathbf{u}_p\) (as colunas de \(U\)). O OLS (\(\lambda=0\), \(h_i=1\)) copia cada coordenada de \(\mathbf{y}\) inteira: é a projeção. O Ridge multiplica a coordenada \(i\) por \(h_i(\lambda)\in(0,1)\): encolhe cada direção, e encolhe mais as direções com \(s_i\) pequeno, que são as direções em que os dados de entrada variam pouco (colunas de \(X\) quase colineares) e onde, portanto, o ajuste é menos informado pelos dados. Esta é a leitura de ESL §3.4.1 (eq. 3.47); as contas de viés e variância a seguir são nossas, feitas sobre ela.

5.2 Viés e Variância como Funções de \(\lambda\)

Decomponha \(\mathbf{f}\) em uma parte no espaço-coluna de \(X\) e uma parte ortogonal: \(\mathbf{f}=U\boldsymbol\gamma+\mathbf{f}_\perp\), com \(\boldsymbol\gamma=U^T\mathbf{f}\) (coordenadas \(\gamma_i=\mathbf{u}_i^T\mathbf{f}\)) e \(U^T\mathbf{f}_\perp=\mathbf{0}\).

Passo 3 — esperança e viés. \(H_\lambda\) é fixa e \(\mathbb{E}[\mathbf{y}]=\mathbf{f}\), então \(\mathbb{E}[\hat{\mathbf{y}}_\lambda]=H_\lambda\mathbf{f}=UD_\lambda U^T(U\boldsymbol\gamma+\mathbf{f}_\perp)=UD_\lambda\boldsymbol\gamma\). O vetor de vieses nos pontos de treino é \[ \mathbb{E}[\hat{\mathbf{y}}_\lambda]-\mathbf{f}=U(D_\lambda-I_p)\boldsymbol\gamma-\mathbf{f}_\perp, \qquad 1-h_i(\lambda)=\frac{\lambda}{s_i^2+\lambda}. \] Os dois termos são ortogonais (\(U^T\mathbf{f}_\perp=\mathbf{0}\)) e \(U\) preserva normas (\(\|U\mathbf{a}\|^2=\mathbf{a}^TU^TU\mathbf{a}=\|\mathbf{a}\|^2\)), logo a soma dos vieses ao quadrado é \(\sum_i\big(\tfrac{\lambda}{s_i^2+\lambda}\big)^2\gamma_i^2+\|\mathbf{f}_\perp\|^2\).

Passo 4 — covariância e variância. Como na conta do OLS, \(\text{Cov}(\hat{\mathbf{y}}_\lambda)=H_\lambda(\sigma^2I_N)H_\lambda^T=\sigma^2UD_\lambda U^TUD_\lambda U^T=\sigma^2UD_\lambda^2U^T\), e o traço é \(\sigma^2\mathrm{tr}(D_\lambda^2U^TU)=\sigma^2\sum_ih_i(\lambda)^2\).

Dividindo por \(N\), obtemos as médias sobre os pontos de treino:

NotaProposição (viés e variância do Ridge em desenho fixo; derivação nossa sobre ESL §3.4.1)

Sob as premissas acima, com \(\overline{\text{Bias}^2}(\lambda)=\frac1N\sum_n\text{Bias}^2(\mathbf{x}_n)\) e \(\overline{\text{Var}}(\lambda)=\frac1N\sum_n\text{Var}(\hat y_{\lambda,n})\), \[ \overline{\text{Bias}^2}(\lambda)=\frac1N\left[\sum_{i=1}^p\Big(\frac{\lambda}{s_i^2+\lambda}\Big)^2\gamma_i^2+\|\mathbf{f}_\perp\|^2\right], \qquad \overline{\text{Var}}(\lambda)=\frac{\sigma^2}{N}\sum_{i=1}^p\Big(\frac{s_i^2}{s_i^2+\lambda}\Big)^2 . \]

O que acontece quando \(\lambda\) aumenta. Cada termo é monótono em \(\lambda\), porque \[ \frac{\mathrm{d}}{\mathrm{d}\lambda}\,\frac{\lambda}{s_i^2+\lambda}=\frac{s_i^2}{(s_i^2+\lambda)^2}>0 \qquad\text{e}\qquad \frac{\mathrm{d}}{\mathrm{d}\lambda}\,\frac{s_i^2}{s_i^2+\lambda}=-\frac{s_i^2}{(s_i^2+\lambda)^2}<0 . \]

• O viés cresce com \(\lambda\). Cada coordenada \(\gamma_i\) é atenuada pelo fator \(h_i(\lambda)\); o que falta, \(\frac{\lambda}{s_i^2+\lambda}\gamma_i\), é viés. Em \(\lambda=0\) resta só \(\|\mathbf{f}_\perp\|^2/N\), o viés de especificação da classe (o mesmo do OLS, que não depende de \(N\) nem de \(\lambda\)). Com \(\lambda\to\infty\), o ajuste vai a zero e o viés tende a \(\|\mathbf{f}\|^2/N\).
• A variância cai com \(\lambda\). Em \(\lambda=0\), \(h_i=1\) e \(\overline{\text{Var}}(0)=\sigma^2p/N\): recuperamos exatamente a conta da seção anterior. Com \(\lambda>0\), cada direção contribui com \(h_i(\lambda)^2<1\) em vez de \(1\), e com \(\lambda\to\infty\) a variância tende a zero (o ajuste deixa de depender de \(\mathbf{y}\)).
• \(\lambda\) funciona como uma capacidade contínua. No OLS, a variância era \(\sigma^2\,\mathrm{tr}(H)/N=\sigma^2p/N\). O análogo para o Ridge é o número efetivo de parâmetros \(\mathrm{df}(\lambda)=\mathrm{tr}(H_\lambda)=\sum_ih_i(\lambda)\) (ESL eq. 3.50), que decresce continuamente de \(p\) (em \(\lambda=0\)) a \(0\). Como \(0<h_i\le1\), \(h_i^2\le h_i\) e portanto \(\overline{\text{Var}}(\lambda)\le\sigma^2\,\mathrm{df}(\lambda)/N\): aumentar \(\lambda\) faz o papel de diminuir \(p\), mas sem descartar direções inteiras, encolhendo primeiro as menos informadas.

Leitura Bayesiana (MAP). Na Aula 7, o Ridge é o estimador MAP sob a priori \(\boldsymbol\beta\sim\mathcal{N}(\mathbf{0},\tau^2I)\), com \(\lambda=\sigma^2/\tau^2\). Aumentar \(\lambda\) equivale a diminuir \(\tau^2\), isto é, a confiar mais na priori centrada em zero. A priori não depende da amostra \(\mathcal{D}\), então quanto mais peso ela recebe, menos o ajuste oscila de uma amostra para outra (menos variância); e, como ela puxa \(\hat{\boldsymbol\beta}\) para \(\mathbf{0}\) seja qual for a verdade, o ajuste médio se afasta de \(\mathbf{f}\) (mais viés).

5.3 Vendo \(\lambda\) Agir no Laboratório Sintético

Voltamos ao laboratório de Bishop, agora em desenho fixo para que a Proposição valha exatamente: \(N=25\) entradas igualmente espaçadas em \([0,1]\), \(f(x)=\sin(2\pi x)\), \(\sigma=0{,}3\), e o polinômio de grau 9 (\(p=10\): o intercepto mais \(x,\dots,x^9\) padronizados). Só o ruído é sorteado de novo em cada réplica.

Na figura abaixo, cada painel mostra 50 réplicas do ajuste Ridge para um valor de \(\lambda\). Com \(\lambda\) quase nulo, o ajuste médio coincide com o seno (viés quase zero), mas as réplicas se espalham bastante. Com \(\lambda\) intermediário, o leque de réplicas estreita e o ajuste médio continua próximo do seno. Com \(\lambda\) grande, as réplicas quase coincidem entre si (variância baixa), mas o ajuste médio fica achatado em direção a zero e não acompanha mais os picos do seno (viés alto).

5.4 A Curva em U ao Longo de \(\lambda\)

Como o desenho é fixo, não precisamos de simulação para a decomposição: calculamos \(s_i\), \(\gamma_i\) e \(\|\mathbf{f}_\perp\|^2\) pela SVD da matriz de projeto e avaliamos as fórmulas da Proposição para cada \(\lambda\). A figura é a mesma decomposição da curva em U por grau, agora com \(\lambda\) no eixo horizontal. Note que o eixo vai no sentido oposto: à esquerda está o modelo mais flexível (\(\lambda\approx0\), OLS de grau 9), à direita o mais rígido.

• A variância parte de \(\sigma^2p/N\) (linha tracejada) e cai de forma monótona.
• O viés ao quadrado parte de \(\|\mathbf{f}_\perp\|^2/N\), praticamente zero aqui porque um polinômio de grau 9 aproxima muito bem o seno nos 25 pontos, e cresce de forma monótona.
• O EMSE é a soma dos dois mais a constante \(\sigma^2\); plotamos a soma sem \(\sigma^2\), que não depende de \(\lambda\), para o formato em U aparecer na escala. O mínimo \(\lambda^*\) fica no ponto em que a variância deixa de cair mais depressa do que o viés sobe. Escolher \(\lambda\) por validação cruzada (Aulas 4 e 7) é estimar esse ponto sem conhecer \(f\).
• A soma desce logo que \(\lambda\) sai de zero, e isso não é uma particularidade do exemplo. Derivando as fórmulas da Proposição, perto de \(\lambda=0\) o viés cresce como \(\lambda^2\) (sua derivada em \(0\) é nula) enquanto a variância cai como \(\lambda\) (derivada \(-\frac{2\sigma^2}{N}\sum_i s_i^{-2}<0\)). Logo sempre existe algum \(\lambda>0\) melhor que o OLS: é o resultado de Hoerl & Kennard (1970, Technometrics 12(1)), que o enunciaram para o erro nos coeficientes.

5.5 Pausa Ativa 4: Ridge e a Injeção Deliberada de Viés

DicaPor Que Aceitar Viés se OLS é BLUE?

O Teorema de Gauss-Markov afirma categoricamente que o estimador OLS é o Melhor Estimador Linear Não Enviesado (BLUE). Por que essa garantia formal não impede que o estimador Ridge atinja um erro de predição estritamente menor no mundo real?

Dica para discussão: Qual é a restrição que o acrônimo BLUE impõe à classe de estimadores considerados?

DicaV ou F: Ridge e o Efeito de \(\lambda\)

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ O estimador de regressão Ridge \(\hat{\boldsymbol\beta}_{\text{Ridge}}\) é não enviesado para qualquer valor de penalidade \(\lambda > 0\).
• □ Em desenho fixo, para qualquer \(\lambda > 0\), a variância média dos ajustes Ridge nos pontos de treino é estritamente menor que a do OLS, \(\sigma^2 p/N\).
• □ O Teorema de Hoerl & Kennard (1970) prova que sempre existe um valor \(\lambda > 0\) tal que o erro quadrático total do Ridge é estritamente menor que o do OLS.
• □ Aumentar indefinidamente a força de regularização \(\lambda \to \infty\) faz o erro de predição do modelo convergir para zero.

6 Bloco 4: Curvas de Aprendizado e Diagnóstico Prático

6.1 Diagnóstico Prático por Curvas de Aprendizado

A decomposição \(\text{Bias}^2+\text{Var}+\sigma^2\) é uma ferramenta teórica: para calcular cada termo seria preciso conhecer \(f\) e sortear muitos conjuntos de treino. Na prática temos um conjunto de dados. A pergunta deste bloco é como, com ele, descobrir se um modelo está limitado por viés ou por variância — e, portanto, o que fazer a seguir. A ferramenta padrão é a curva de aprendizado.

Definição. Fixe a família de modelos e todos os hiperparâmetros. Para uma grade de tamanhos \(N_1<N_2<\dots<N_K\) (em geral espaçada em escala log):

1. sorteie (ou subamostre) \(N\) pontos de treino e ajuste \(\hat f_N\);
2. calcule o erro de treino, nos próprios pontos usados no ajuste, \[\overline{\text{err}}(N)=\frac1N\sum_{n\in\text{treino}}\big(y_n-\hat f_N(\mathbf{x}_n)\big)^2;\]
3. calcule o erro de validação, num conjunto que o ajuste não viu, \[\text{Err}_{\text{val}}(N)=\frac1{N_{\text{val}}}\sum_{n\in\text{val}}\big(y_n-\hat f_N(\mathbf{x}_n)\big)^2;\]
4. repita para vários sorteios (ou dobras de validação cruzada, Aula 4) e resuma por média ou mediana.

A curva de aprendizado é o gráfico de \(\overline{\text{err}}(N)\) e \(\text{Err}_{\text{val}}(N)\) contra \(N\) (ESL §7.10.1, Fig. 7.8, p. 243). No scikit-learn, sklearn.model_selection.learning_curve faz os passos 1–4 com validação cruzada.

O que cada curva estima. O erro de validação é uma estimativa honesta do erro esperado de um modelo treinado com \(N\) pontos: em média sobre os sorteios, é a decomposição do Bloco 1 integrada sobre \(p(x)\), \(\text{Bias}^2+\text{Var}(N)+\sigma^2\), agora vista como função de \(N\). O erro de treino é otimista: os mesmos pontos servem para ajustar e para avaliar, e o ajuste se acomoda ao ruído deles (o \(\hat R(\theta)\) otimista da Aula 4). A pergunta é quanto otimista — e, para OLS, há uma resposta exata.

6.1.1 Quanto o treino é otimista: uma conta exata

Use as mesmas premissas de desenho fixo do Bloco 2 (\(X\) fixa de posto \(p\), \(\mathbf{y}=\mathbf{f}+\boldsymbol\epsilon\), \(\text{Cov}(\boldsymbol\epsilon)=\sigma^2I_N\), e o ajuste OLS \(\hat{\mathbf{y}}=H\mathbf{y}\) com \(H=X(X^TX)^{-1}X^T\), a matriz chapéu: projeção no espaço-coluna de \(X\), simétrica, idempotente e com \(\mathrm{tr}(H)=p\)).

Passo 1 — os resíduos de treino. \(\mathbf{y}-\hat{\mathbf{y}}=(I-H)\mathbf{y}=(I-H)\mathbf{f}+(I-H)\boldsymbol\epsilon\). A matriz \(I-H\) também é simétrica e idempotente (projeção no complemento ortogonal do espaço-coluna), com \(\mathrm{tr}(I-H)=N-p\).

Passo 2 — expandir a norma. Com \(\mathbf a=(I-H)\mathbf f\) e \(\mathbf b=(I-H)\boldsymbol\epsilon\), \(\|\mathbf a+\mathbf b\|^2=\|\mathbf a\|^2+2\mathbf a^T\mathbf b+\|\mathbf b\|^2\). Como \((I-H)^T(I-H)=(I-H)^2=I-H\), \[ \|\mathbf y-\hat{\mathbf y}\|^2=\|(I-H)\mathbf f\|^2+2\,\mathbf f^T(I-H)\boldsymbol\epsilon+\boldsymbol\epsilon^T(I-H)\boldsymbol\epsilon . \]

Passo 3 — esperança termo a termo. O primeiro termo é fixo. O termo cruzado tem esperança \(2\mathbf f^T(I-H)\mathbb{E}[\boldsymbol\epsilon]=0\). Para o último, um escalar é igual ao próprio traço e \(\mathrm{tr}(AB)=\mathrm{tr}(BA)\): \[ \mathbb{E}[\boldsymbol\epsilon^T(I-H)\boldsymbol\epsilon] =\mathbb{E}\big[\mathrm{tr}\big((I-H)\boldsymbol\epsilon\boldsymbol\epsilon^T\big)\big] =\mathrm{tr}\big((I-H)\,\mathbb{E}[\boldsymbol\epsilon\boldsymbol\epsilon^T]\big) =\mathrm{tr}\big((I-H)\,\sigma^2I_N\big)=\sigma^2(N-p). \]

Passo 4 — dividir por \(N\). \[ \mathbb{E}\big[\overline{\text{err}}\big]=\underbrace{\tfrac1N\|(I-H)\mathbf{f}\|^2}_{B}+\sigma^2\Big(1-\frac pN\Big). \] \(B\) é o viés ao quadrado médio nos pontos de treino: \(\mathbb{E}[\hat{\mathbf y}]=H\mathbf f\), logo \(\mathbf f-\mathbb{E}[\hat{\mathbf y}]=(I-H)\mathbf f\). O treino enxerga menos ruído do que existe: dos \(\sigma^2\) por ponto, o ajuste absorveu \(\sigma^2p/N\), exatamente a variância média do Bloco 2.

Passo 5 — o erro em respostas novas. Meça o mesmo ajuste em respostas novas \(\mathbf y'=\mathbf f+\boldsymbol\epsilon'\), nos mesmos \(\mathbf{x}_n\), com \(\boldsymbol\epsilon'\) independente de \(\boldsymbol\epsilon\), média zero e covariância \(\sigma^2I_N\) (o “erro dentro da amostra” \(\text{Err}_{\text{in}}\), ESL eq. 7.18, p. 228). Agora \[ \mathbf y'-\hat{\mathbf y}=\mathbf f+\boldsymbol\epsilon'-H\mathbf f-H\boldsymbol\epsilon=(I-H)\mathbf f+\boldsymbol\epsilon'-H\boldsymbol\epsilon . \] Ao expandir a norma, os três termos cruzados têm esperança zero: os que envolvem \(\mathbf f\) porque \(\mathbb{E}[\boldsymbol\epsilon]=\mathbb{E}[\boldsymbol\epsilon']=\mathbf 0\), e \(\mathbb{E}[\boldsymbol\epsilon'^TH\boldsymbol\epsilon]=\mathbb{E}[\boldsymbol\epsilon']^TH\,\mathbb{E}[\boldsymbol\epsilon]=0\) pela independência. Pelo mesmo truque do traço, \(\mathbb{E}\|\boldsymbol\epsilon'\|^2=\sigma^2N\) e \(\mathbb{E}\|H\boldsymbol\epsilon\|^2=\mathbb{E}[\boldsymbol\epsilon^TH^TH\boldsymbol\epsilon]=\mathbb{E}[\boldsymbol\epsilon^TH\boldsymbol\epsilon]=\sigma^2\mathrm{tr}(H)=\sigma^2p\). Dividindo por \(N\): \[ \mathbb{E}\big[\text{Err}_{\text{in}}\big]=\tfrac1N\big(\|(I-H)\mathbf f\|^2+\sigma^2N+\sigma^2p\big)=\sigma^2+B+\sigma^2\frac pN . \] O ruído novo não foi visto pelo ajuste, então ele entra inteiro (\(\sigma^2\)), e a variância do ajuste (\(\sigma^2p/N\)) agora soma em vez de subtrair.

Passo 6 — o gap e a forma clássica. Subtraindo os resultados dos Passos 4 e 5, \[ \mathbb{E}\big[\text{Err}_{\text{in}}\big]-\mathbb{E}\big[\overline{\text{err}}\big] =\Big(\sigma^2+B+\sigma^2\frac pN\Big)-\Big(B+\sigma^2-\sigma^2\frac pN\Big) =2\sigma^2\frac{p}{N} \qquad\text{(ESL eq. 7.24, p. 229),} \] ou, reorganizando na forma clássica “generalização = treino + otimismo”, \[ \underbrace{\mathbb{E}\big[\text{Err}_{\text{in}}\big]}_{\text{generalização}} =\underbrace{\mathbb{E}\big[\overline{\text{err}}\big]}_{\text{treino}} +\underbrace{2\,\frac{p}{N}\,\sigma^2}_{\text{otimismo}} . \] É a forma do critério \(C_p\) de Mallows (ESL §7.5, eq. 7.26): \(\hat C_p=\overline{\text{err}}+2\frac pN\hat\sigma^2\) estima o erro de generalização somando ao erro de treino uma correção pelo número de parâmetros. O viés \(B\) aparece igual nas duas curvas e se cancela: a distância entre as curvas mede a variância, não o viés. E o gap cresce com a capacidade \(p\) e fecha com \(1/N\).

Essa conta é exata para o erro em respostas novas nos mesmos \(\mathbf{x}_n\). O erro de validação usa entradas novas, e aí entra um pouco a mais quando o modelo é mal especificado ou \(N\) é pequeno; a segunda figura abaixo mostra que, num modelo bem especificado, o gap de validação acompanha \(2\sigma^2p/N\) de perto.

6.1.2 A forma típica das curvas

A conta explica o desenho que se vê na prática:

1. O treino começa baixo e sobe. Com \(N\) pequeno o modelo se acomoda ao ruído; \(\sigma^2(1-p/N)\) cresce com \(N\).
2. A validação começa alta e desce. A variância \(\sigma^2p/N\) cai com \(N\).
3. As duas convergem para o mesmo patamar, \(\sigma^2+B_\infty\), em que \(B_\infty\) é o viés da melhor aproximação dentro de \(\mathcal{H}\) (a parte que mais dados não removem).
4. A altura desse patamar acima de \(\sigma^2\) mede o viés; a distância entre as curvas, num dado \(N\), mede a variância.

A figura mostra os três casos no laboratório sintético (\(f(x)=\sin 2\pi x\), \(\sigma^2=0{,}09\)), com a mediana de 100 sorteios por ponto. A linha pontilhada é o piso \(\sigma^2\); a tracejada, o patamar \(\sigma^2+B_\infty\), calculado ajustando cada modelo a uma amostra enorme.

• Grau 1 (alto viés): o gap é pequeno desde o início (\(p=2\)), e as duas curvas se encontram por volta de \(N\approx150\) num patamar \(\approx0{,}29\), muito acima de \(\sigma^2\) (\(B_\infty\approx0{,}20\)). Daí em diante, mais dados não mudam nada.
• Grau 3 (bom ajuste): patamar \(\approx\sigma^2\) (\(B_\infty\approx0{,}004\)) e gap que fecha rápido.
• Grau 10 (alta variância): o treino fica bem abaixo de \(\sigma^2\) com \(N\) pequeno (o modelo decora o ruído) e a validação fica muito acima (com \(N=15\), fora da escala do gráfico); o gap é grande, mas fecha com \(N\), e o patamar final é \(\sigma^2\), porque o viés é quase nulo.

A segunda figura confere a conta do gap no modelo de grau 3 (\(p=4\)), agora com a média de 400 sorteios por ponto: em azul, o gap em respostas novas nos mesmos \(\mathbf{x}_n\) (o caso exato da conta); em laranja, o gap de validação, com entradas novas; em cinza, a previsão \(2\sigma^2p/N\). O primeiro segue a teoria em todo \(N\); o segundo fica um pouco acima com \(N\) pequeno e encosta nela à medida que \(N\) cresce.

Por que a previsão é uma reta, se ela não cai linearmente? Os dois eixos estão em escala log. Tomando o log da previsão, \[ \log\Big(2\sigma^2\frac pN\Big)=\log(2\sigma^2p)-\log N , \] ou seja, em coordenadas \((\log N,\log\text{gap})\) ela é uma reta de inclinação \(-1\). Em escala log-log, qualquer lei de potência \(cN^{-a}\) vira uma reta de inclinação \(-a\); a inclinação \(-1\) é a assinatura do decaimento \(1/N\): multiplicar \(N\) por 10 divide o gap por 10. Na escala linear, a mesma curva seria uma hipérbole, despencando para \(N\) pequeno e quase achatada para \(N\) grande, o que esconderia a comparação nos dois extremos.

6.2 Lendo uma Curva de Aprendizado

Com a forma típica em mãos, a leitura de uma curva real se resume a três perguntas, sempre no tamanho \(N\) que você tem hoje:

1. Onde está o patamar? Compare o erro de validação com o erro que seria aceitável (o alvo). Se treino e validação já estão próximos e ambos acima do alvo, o problema é viés: o modelo não consegue representar o fenômeno.
2. Qual é o gap? Uma distância grande entre treino e validação é variância: o modelo se acomoda à amostra. Pela conta acima, ela escala com \(p/N\).
3. A validação ainda está caindo? A inclinação da curva de validação no \(N\) atual diz quanto vale coletar mais dados. Se ela já está plana, mais dados não ajudam; se ainda desce, ajudam. A mesma inclinação explica um efeito da Aula 4: com \(k\) dobras, a validação cruzada treina com \(N(k-1)/k\) pontos e, se a curva ainda tem inclinação nesse trecho, superestima o erro (ESL §7.10.1, p. 243).

O que a curva mostra	Diagnóstico	O que ajuda	O que não ajuda
Treino e validação próximos, planos e altos	Alto viés	Mais capacidade, novos atributos, menos regularização	Mais dados
Treino baixo, gap grande, validação ainda caindo	Alta variância	Mais dados, mais regularização, menos capacidade	Mais capacidade
Treino alto e gap grande	Viés e variância	Mais capacidade com regularização; depois mais dados	Só um dos remédios
Validação plana, próxima do alvo, gap pequeno	Bom ajuste	Parar; gastar o esforço em outro lugar	—

Cuidados na prática.

• \(\sigma^2\) é desconhecido. “Patamar alto” é relativo: compare com uma referência — o erro de um especialista humano, um modelo de referência ou o ruído estimado por medições repetidas.
• As curvas são ruidosas com \(N\) pequeno. Repita os sorteios (ou use as dobras da validação cruzada) e mostre a variação. Ajustes quase degenerados podem dominar a média: no grau 10 com \(N=20\), a média do erro de validação nos 100 sorteios da figura é 81,3, puxada por poucos ajustes degenerados, enquanto a mediana é 0,29.
• A validação precisa vir da mesma distribuição que a produção. Um gap que não fecha com \(N\) não é variância: costuma ser mudança de distribuição entre treino e validação, ou vazamento de dados (Aula 4).
• Hiperparâmetros fixos. A curva vale para uma configuração; mudou \(\lambda\) ou o grau, refaça a curva.
• Custo. Cada ponto da curva exige vários ajustes; use uma grade em escala log e poucos tamanhos.

6.3 Pausa Ativa 5: Diagnóstico de Curvas de Aprendizado

DicaDecisão de Engenharia em Produção

Você é o líder técnico de um projeto de inteligência artificial. Seu modelo atual possui um erro de treino de \(1\%\) e um erro de validação de \(25\%\). A equipe propõe duas ações concorrentes: - Engenheiro A: “Vamos coletar mais \(100.000\) exemplos rotulados a um custo de R$ 50.000.” - Engenheiro B: “Vamos dobrar a profundidade da nossa rede neural para que ela consiga aprender padrões mais sutis.”

DicaV ou F: Diagnóstico Prático

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Em um cenário de alto viés (underfitting), tanto o erro de treino quanto o de validação convergem para patamares elevados com lacuna mínima.
• □ Se um modelo sofre de alta variância (overfitting), a intervenção recomendada é aumentar a capacidade do espaço de hipóteses.
• □ O erro de treinamento de um modelo supervisionado é tipicamente uma estimativa otimista (subestimada) do verdadeiro erro de generalização.
• □ Na presença de ruído estocástico \(\sigma^2 > 0\), o erro de validação com \(N \to \infty\) pode atingir zero se usarmos um estimador não paramétrico.

7 Fechamento

7.1 Retomando as 5 Perguntas da Aula

Ao final desta análise, podemos responder com rigor formal às cinco questões do nosso roteiro:

1. Por que o modelo ajustado deve ser tratado como uma variável aleatória? Porque \(\hat{f}(x; \mathcal{D})\) é função determinística de uma amostra estocástica \(\mathcal{D} \sim P(X, Y)^N\). Cada novo conjunto de treino gera um modelo diferente; o estimador médio \(\bar{f}(x) = \mathbb{E}_{\mathcal{D}}[\hat{f}(x)]\) é a média assintótica dessas infinitas realizações.
2. Como derivar formalmente a decomposição do EMSE e por que o termo cruzado se anula? Expandindo \((y - \hat{f})^2 = ([f - \bar{f}] + [\bar{f} - \hat{f}] + \epsilon)^2\). O termo cruzado anula-se identicamente porque \(f(x) - \bar{f}(x)\) é determinístico e a esperança da flutuação \(\mathbb{E}_{\mathcal{D}}[\bar{f}(x) - \hat{f}(x; \mathcal{D})]\) é rigorosamente zero por definição.
3. De que maneira a complexidade e o tamanho amostral modulam cada componente? A capacidade de hipóteses reduz o viés ao quadrado e aumenta a variância. Mais dados de treino (\(N\)) atenuam a variância com taxa \(O(1/N)\), mas não eliminam o viés de especificação estrutural da classe de funções.
4. Como a regularização Ridge atua analiticamente como injeção de viés? Ridge encolhe os coeficientes via \((\mathbf{X}^T\mathbf{X} + \lambda \mathbf{I})^{-1}\mathbf{X}^T\mathbf{X}\), introduzindo viés deliberadamente. Em desenho fixo, cada direção \(i\) é encolhida pelo fator \(s_i^2/(s_i^2+\lambda)\): aumentar \(\lambda\) faz o viés subir e a variância descer de \(\sigma^2p/N\) a zero. Como perto de \(\lambda=0\) o viés cresce como \(\lambda^2\) e a variância cai como \(\lambda\), sempre existe \(\lambda>0\) com menor erro total que o OLS (Hoerl & Kennard, 1970).
5. Como utilizar curvas de aprendizado para diagnosticar modelos? Alto viés manifesta-se por convergência precoce para erros de treino e validação elevados sem gap; alta variância manifesta-se por erro de treino ínfimo com grande abismo persistente para a validação.

7.2 O Que Fica em Aberto: O Dilema em Classificação 0-1

A elegante decomposição aditiva linear \(\text{Bias}^2 + \text{Var} + \sigma^2\) derivada nesta aula é estritamente válida para a perda quadrática (típica de regressão).

Em problemas de classificação binária sob a perda 0-1 (taxa de erro de classificação), Domingos (2000) e Friedman (1997) demonstraram que o viés e a variância não se somam linearmente, mas interagem de forma multiplicativa: - Se um classificador tem viés correto (a probabilidade predita média está no lado correto do limiar de decisão \(0{,}5\)), aumentar a variância pode reduzir a taxa de erro final! - Em contrapartida, se o viés estiver incorreto, qualquer variância adicionada degrada o desempenho exponencialmente.

7.3 Ponte para a Parte 3: A Teoria de Ensembles

Com esta aula, encerramos a Parte 2 do curso (A História Linear e Paramétrica). A decomposição viés-variância fornece o vocabulário analítico indispensável para compreendermos a Parte 3: Modelos Avançados e Otimização.

Nas próximas aulas, veremos que as duas grandes famílias de métodos de ensemble atacam lados opostos dessa decomposição: 1. Bagging e Random Forests (Aula 9): Partem de árvores profundas com baixo viés e alta variância, combinando suas predições por média aritmética para abater a variância sem aumentar o viés. 2. Boosting e AdaBoost / Gradient Boosting (Aula 10): Partem de modelos simples (stumps) com alto viés e baixa variância, ajustando resíduos sequencialmente para derrubar o viés iterativamente.

Exercícios Soluções