Regressão Linear e Máxima Verossimilhança

Aula 5 — Por Que Mínimos Quadrados É Máxima Verossimilhança Sob Ruído Gaussiano

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

7 de setembro de 2026

1 Abertura — Da Estrutura de Três Peças a um Alvo Contínuo

A Revisão 1 revisou as quatro primeiras aulas do curso e mostrou que, por trás da fachada de “algoritmos diferentes” (Beta e limiar, Naive Bayes, árvores, CV/Bootstrap), havia sempre a mesma estrutura de três peças: uma distribuição assumida sobre os dados, uma verossimilhança usada para ajustá-la, e uma decisão fundamentada em risco. A aula terminou anunciando exatamente o que faltava: em nenhuma das quatro lentes a verossimilhança foi construída sobre um alvo contínuo ligado linearmente aos atributos — sempre foi sobre uma densidade unidimensional, uma fatoração de independência, ou uma proporção categórica numa folha.

Hoje fechamos essa lacuna e abrimos a “Parte 2: A História Linear Paramétrica” do curso. O objeto de hoje — Regressão Linear — é, à primeira vista, o modelo mais simples que existe: ajustar uma reta (ou, em mais dimensões, um hiperplano) que atravesse uma nuvem de pontos. Mas por trás dessa simplicidade geométrica mora exatamente a mesma estrutura distribuição $\to$ verossimilhança $\to$ decisão da Revisão 1 — só que, desta vez, vamos provar algebricamente a conexão entre a versão geométrica (mínimos quadrados) e a versão estatística (máxima verossimilhança sob ruído gaussiano), em vez de apenas apontá-la.

O roteiro de hoje, em quatro perguntas:

Geometricamente, o que significa “a melhor reta” — e por que elevar o erro ao quadrado, em vez de somar os erros diretamente ou usar valor absoluto?
Como escrever esse problema em notação matricial, e por que a solução tem uma forma fechada exata (as “equações normais”)?
O que muda se, em vez de só minimizar um erro, assumirmos uma história probabilística completa — ruído gaussiano em torno da reta — e construirmos a verossimilhança dessa história?
Por que maximizar essa verossimilhança é, algebricamente, minimizar a soma de quadrados — e o que essa coincidência revela sobre o resto do curso?

O problema motivador. California Housing já apareceu na Aula 3 — MedInc (renda mediana da região, em dezenas de milhares de dólares) e HouseAge (idade mediana dos imóveis) foram usados como atributos de uma árvore. Hoje usamos MedInc para prever MedHouseVal (preço mediano do imóvel, em centenas de milhares de dólares) diretamente — um alvo contínuo, não mais uma classe. Olhando para a nuvem de pontos completa ($N=16\,640$ regiões), a pergunta é simples de fazer e nada óbvia de responder com precisão: qual é a melhor reta que passa por essa nuvem, e o que “melhor” quer dizer aqui?

N = 16640
correlação(MedInc, MedHouseVal) = 0.672

1.1 Pergunta

Se eu te desse duas retas diferentes, ambas passando “no meio” da nuvem de pontos, como você decidiria qual é “melhor” sem fazer nenhuma conta?

□ Duas retas que passam pelo mesmo ponto médio $(\bar x,\bar y)$ da nuvem de dados são necessariamente igualmente boas, pois ambas capturam a tendência central dos dados.
□ Se todos os pontos da nuvem estivessem exatamente sobre uma única reta (sem nenhum ruído), qualquer critério razoável de “melhor reta” — soma de quadrados, soma de valores absolutos, ou até maior desvio único — apontaria para essa mesma reta.
□ Um termostato que tenta prever a temperatura de amanhã a partir da temperatura de hoje enfrenta exatamente o mesmo problema estrutural de “ajustar a melhor reta” que o preço de imóveis enfrenta aqui, ainda que o contexto seja completamente diferente — e por isso a inclinação ótima nesse problema seria necessariamente próxima de 1 (a temperatura de amanhã imita quase exatamente a de hoje), assim como aqui a inclinação relaciona renda a preço de forma direta.
□ Se decidíssemos julgar “melhor reta” pela soma dos desvios (não ao quadrado, sem valor absoluto) entre pontos e reta, qualquer reta que passasse pela média dos dados $(\bar x,\bar y)$ teria soma de desvios exatamente zero — inclusive retas claramente ruins, giradas em ângulos absurdos.

2 Intuição — A Ideia Geométrica de Mínimos Quadrados

Antes de qualquer matriz, vale fixar a ideia em sua forma mais simples. Para cada imóvel $i$, a reta candidata prediz $\hat y_i = \beta_0+\beta_1 x_i$; o resíduo é a diferença $e_i = y_i-\hat y_i$ entre o valor real e o valor predito. A pausa ativa que acabamos de resolver já revelou o problema de somar os $e_i$ diretamente: o resultado é zero para qualquer reta que passe pela média dos dados, boa ou ruim, porque resíduos positivos e negativos se cancelam.

A solução clássica é somar o quadrado dos resíduos, $\sum_i e_i^2$, e escolher $\beta_0,\beta_1$ que minimizem essa soma. O quadrado resolve o problema do cancelamento (todo termo é não-negativo) e tem duas vantagens adicionais que vão importar mais adiante: é diferenciável em toda parte (ao contrário do valor absoluto, que tem um “bico” em zero, complicando a busca pelo mínimo), e penaliza desvios grandes desproporcionalmente mais que desvios pequenos — um resíduo de $2$ pesa quatro vezes mais que um resíduo de $1$, não duas.

A figura mostra $45$ imóveis reais (amostra para não poluir o gráfico) com seus resíduos verticais em relação à reta que vamos justificar como “a melhor” ao longo desta aula. Note que a reta não passa exatamente por nenhum ponto — isso é esperado: com ruído genuíno nos dados, nenhuma reta única acerta todos os pontos, e o objetivo nunca foi acertar todos, e sim minimizar o total de erro ao quadrado.

3 Bloco 1 — Formalização: RSS, Equações Normais e Projeção

Generalizando a intuição anterior para $p$ atributos e $N$ observações, organizamos os dados numa matriz de projeto $X$, de dimensão $N\times(p{+}1)$: cada linha é um imóvel, a primeira coluna é constante igual a $1$ (o intercepto), e as demais colunas são os atributos. Por extenso, com $x_{ij}$ denotando o valor do atributo $j$ no imóvel $i$:

\[ X = \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1p} \\ 1 & x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{N1} & x_{N2} & \cdots & x_{Np} \end{pmatrix}. \]

A coluna de $1$’s não é um atributo real — é um artifício algébrico. Sem ela, o modelo seria $f(x_i)=\beta_1x_{i1}+\cdots+\beta_px_{ip}$, uma combinação linear forçada a passar pela origem. Multiplicando essa coluna constante por $\beta_0$, o produto $X\beta$ passa a incluir o termo $\beta_0\cdot 1=\beta_0$ em toda linha — o intercepto vira só mais uma coordenada de $\beta$, e $f(x_i)=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}$ sai de um único produto matricial, sem precisar somar $\beta_0$ à parte. O vetor de coeficientes é $\beta=(\beta_0,\beta_1,\ldots,\beta_p)^T$, e a predição para todos os $N$ imóveis de uma vez é o produto matricial $X\beta$. Seguindo a notação de ESL (Hastie, Tibshirani & Friedman), a soma de quadrados dos resíduos é

\[ \text{RSS}(\beta) = \sum_{i=1}^N \big(y_i - f(x_i)\big)^2 = \lVert y - X\beta\rVert^2. \]

Como o próprio livro descreve o critério (ESL, §3.2, p. 44, tradução nossa): “o método de estimação mais popular é mínimos quadrados, no qual escolhemos os coeficientes $\beta=(\beta_0,\beta_1,\ldots,\beta_p)^T$ para minimizar a soma residual de quadrados $\text{RSS}(\beta)=\sum_{i=1}^N(y_i-f(x_i))^2$.”

Derivando a solução. $\text{RSS}(\beta)$ é uma função quadrática (logo convexa) de $\beta$ — diferenciando em relação a $\beta$ (ESL, §3.2, p. 45, tradução nossa):

“Diferenciando em relação a $\beta$ obtemos $\partial\text{RSS}/\partial\beta=-2X^T(y-X\beta)$ […] Assumindo (por enquanto) que $X$ tem posto de coluna completo, e portanto $X^TX$ é positiva definida, igualamos a primeira derivada a zero $X^T(y-X\beta)=0$ para obter a solução única $\hat\beta=(X^TX)^{-1}X^Ty$.”

Essas são as chamadas equações normais. Não são um truque isolado: o PRML chega ao mesmo lugar por outro caminho (o gradiente da log-verossimilhança gaussiana, que vamos percorrer no Bloco 3), e nomeia o mesmo resultado (PRML, §3.1.1, p. 142, tradução nossa): “resolvendo para $w$ obtemos $w_{\text{ML}}=(\Phi^T\Phi)^{-1}\Phi^Tt$, conhecidas como as equações normais para o problema de mínimos quadrados.”

O caso geral: hiperplanos, não só retas

Com $p=1$ atributo (nosso exemplo de hoje), $X\beta$ é uma reta no plano $(x,y)$. Com $p>1$ atributos, exatamente a mesma equação $\hat\beta=(X^TX)^{-1}X^Ty$ vale sem nenhuma mudança — só que agora $X\beta$ descreve um hiperplano no espaço de $p{+}1$ dimensões. Um ajuste rápido usando os $8$ atributos do California Housing (não só MedInc) chega a $R^2\approx0{,}584$, contra $R^2\approx0{,}451$ usando só MedInc — mais atributos explicam mais variação, mas a equação que os combina é a mesma.

O diagrama redesenha a interpretação geométrica que PRML (§3.1.2, p. 143) e ESL (§3.2, p. 46) descrevem de formas equivalentes. No PRML, cada coluna da matriz de projeto é vista como um vetor $\varphi_j$ num espaço de dimensão $N$ (tradução nossa): “a esse ponto, é instrutivo considerar a interpretação geométrica da solução de mínimos quadrados […] a solução de mínimos quadrados para $w$ corresponde à escolha de $y$ que está no subespaço $\mathcal S$ mais próxima de $t$ […] antecipamos que essa solução corresponde à projeção ortogonal de $t$ sobre o subespaço $\mathcal S$.” O ESL descreve a mesma figura assim (tradução nossa, legenda da Fig. 3.2 do livro): “o vetor de resultados $y$ é projetado ortogonalmente sobre o hiperplano gerado pelos vetores de entrada $x_1$ e $x_2$ […] essa ortogonalidade está expressa em (3.5), e a estimativa resultante $\hat y$ é, portanto, a projeção ortogonal de $y$ sobre esse subespaço.”

Aqui, com apenas MedInc como atributo, $\mathcal S$ é gerado por só dois vetores: $\varphi_1$ (a coluna constante do intercepto) e $\varphi_2$ (a coluna com os valores de MedInc de cada imóvel), ambos vetores em $\mathbb R^N$ com $N=16\,640$ coordenadas — uma por imóvel. $\hat y$ precisa estar dentro desse subespaço porque é, por definição, uma combinação linear das colunas de $X$ ($\hat y=X\hat\beta=\hat\beta_0\varphi_1+\hat\beta_1\varphi_2$); não existe combinação de $\varphi_1,\varphi_2$ que produza qualquer vetor fora de $\mathcal S$. O ponto de $\mathcal S$ mais próximo do vetor observado $y$ (a distância euclidiana em $\mathbb R^N$ é exatamente $\sqrt{\text{RSS}}$) é a projeção ortogonal — e é exatamente isso que a equação normal calcula.

beta_hat (equações normais) = (0.4707, 0.4076)
RSS = 11710.64
R^2 = 0.451

Sobre a base completa de treino ($N=16\,640$), a equação normal dá $\hat\beta=(0{,}4707,\,0{,}4076)$: cada aumento de US$$10$ mil na renda mediana da região está associado a um acréscimo médio de US$$40{,}76$ mil no preço mediano do imóvel, com um intercepto de US$$47{,}07$ mil. O ajuste explica $R^2\approx0{,}451$ da variância de MedHouseVal — nem perfeito, nem inútil: a correlação entre as duas variáveis é $0{,}672$, moderada a forte, mas claramente longe de $1$ (a figura mostra uma nuvem larga em torno da reta, não uma linha fina de pontos). Guarde $\hat\beta$ e $\text{RSS}\approx11\,710{,}64$ — esses números vão reaparecer, sem nenhuma conta nova, quando provarmos no Bloco 3 que a máxima verossimilhança gaussiana leva exatamente a esse mesmo ponto.

Geometricamente, por que o vetor de resíduos $y-\hat y$ ser ortogonal ao subespaço gerado pelas colunas de $X$ é exatamente a condição que caracteriza a MELHOR aproximação, e não uma coincidência do cálculo?

□ Se, em vez de minimizar $\lVert y-X\beta\rVert^2$, o critério fosse minimizar $\lVert y-X\beta\rVert$ (a distância, sem elevar ao quadrado), o mesmo $\hat\beta$ ainda resolveria o problema, porque minimizar uma distância e minimizar seu quadrado são operações que sempre produzem o mesmo ponto de mínimo (a raiz quadrada é crescente para distâncias não-negativas).
□ Se as colunas de $X$ fossem linearmente dependentes (por exemplo, uma coluna sendo o dobro exato da outra), $X^TX$ deixaria de ser invertível, e a equação $\hat\beta=(X^TX)^{-1}X^Ty$ deixaria de ter solução única — mas a projeção $\hat y=X\hat\beta$ continuaria bem definida e única.
□ Num algoritmo de recomendação que aproxima as avaliações de um usuário como combinação linear de “perfis latentes” pré-definidos, a mesma lógica de projeção ortogonal sobre o subespaço gerado pelos perfis ainda encontraria a melhor aproximação, no mesmo sentido de menor distância euclidiana — e essa melhor aproximação seria sempre única, mesmo que os perfis latentes fossem linearmente dependentes entre si.
□ Como a equação normal $X^T(y-X\hat\beta)=0$ garante que o resíduo é ortogonal a todas as colunas de $X$, conclui-se que o resíduo $y-X\hat\beta$ é necessariamente o vetor nulo sempre que $X$ tiver pelo menos uma coluna.

Demonstração: por que a projeção é ortogonal. A resposta do exercício afirmou a ortogonalidade, mas vale demonstrá-la a partir da própria equação normal, em vez de apenas invocá-la. Partindo de $X^T(y-X\hat\beta)=0$ (Bloco 1) e chamando o vetor de resíduos de $r=y-X\hat\beta$, a igualdade é $X^Tr=0$. Cada linha de $X^T$ é uma coluna $\varphi_j$ de $X$ transposta, então $X^Tr=0$ é, linha a linha, o sistema de $p{+}1$ equações escalares

\[ \varphi_j^Tr = 0, \qquad j=1,\ldots,p{+}1, \]

ou seja, $r$ é ortogonal a cada coluna de $X$ individualmente. O passo que falta é estender isso de “ortogonal às colunas” para “ortogonal a todo o subespaço $\mathcal S$”: como qualquer $v\in\mathcal S$ é, por definição de subespaço gerado, uma combinação linear $v=\sum_{j=1}^{p+1}c_j\varphi_j$ para algum $c\in\mathbb R^{p+1}$, o produto interno de $r$ com $v$ é

\[ r^Tv = r^T\Big(\sum_{j=1}^{p+1}c_j\varphi_j\Big) = \sum_{j=1}^{p+1}c_j\,(r^T\varphi_j) = \sum_{j=1}^{p+1}c_j\cdot0 = 0, \]

por linearidade do produto interno — cada termo da soma já é zero pela equação normal, então a soma inteira é zero, para qualquer escolha de $c$. Ou seja: $r$ não é ortogonal só às colunas que geram $\mathcal S$, é ortogonal a todo vetor de $\mathcal S$, sem exceção. É exatamente essa propriedade — não uma coincidência do desenho — que faz de $\hat y=X\hat\beta$ a projeção ortogonal de $y$ sobre $\mathcal S$, e que a resposta do exercício já usou (via Pitágoras) para justificar por que nenhum outro ponto de $\mathcal S$ pode estar mais perto de $y$.

4 Bloco 2 — O Modelo de Ruído Gaussiano Homocedástico

Até aqui, tudo foi álgebra: minimizar uma soma de quadrados não pressupõe nenhuma distribuição de probabilidade — funciona mesmo que os dados não tenham vindo de nenhum “processo aleatório” reconhecível (ESL já observa isso, p. 45: “mínimos quadrados é intuitivamente satisfatório não importa como os dados surjam”). Mas, seguindo o mesmo padrão de todas as aulas anteriores (Revisão 1, Bloco 5), queremos ir além do critério algébrico e perguntar: que história estatística sobre como os dados foram gerados tornaria mínimos quadrados a escolha certa, não apenas conveniente?

Seguindo a regra desta disciplina de anunciar premissas antes de usá-las, o modelo assumido hoje é (PRML, §3.1.1, p. 140, tradução nossa):

“Como antes, assumimos que a variável-alvo $t$ é dada por uma função determinística $y(\mathbf x,\mathbf w)$ com ruído gaussiano aditivo, de forma que $t=y(\mathbf x,\mathbf w)+\epsilon$, onde $\epsilon$ é uma variável aleatória gaussiana de média zero com precisão (variância inversa) $\beta$. Assim podemos escrever $p(t\mid\mathbf x,\mathbf w,\beta)=\mathcal N(t\mid y(\mathbf x,\mathbf w),\beta^{-1})$.”

Traduzindo para a notação desta disciplina (usamos $\sigma^2$ no lugar da precisão $\beta$ do PRML, para não colidir com o $\beta$ que já reservamos para os coeficientes da reta — mais uma vez, uma colisão de símbolos entre livros diferentes, do tipo que a Revisão 1 já avisou existir), as premissas completas são:

Linearidade condicional: $\mathbb E[Y\mid X=x]=\beta^Tx$ — a média da resposta é exatamente a reta/hiperplano.
Ruído gaussiano aditivo: $Y=\beta^TX+\epsilon$, com $\epsilon\sim\mathcal N(0,\sigma^2)$.
Homocedasticidade: $\sigma^2$ é a mesma constante para todo valor de $x$ — o “tamanho típico” do ruído não muda com a renda, a idade do imóvel, ou qualquer outro atributo.
Independência entre observações: os erros $\epsilon_1,\ldots,\epsilon_N$ são mutuamente independentes.

Juntas, essas quatro premissas equivalem a dizer $Y\mid X=x \sim \mathcal N(\beta^Tx,\sigma^2)$ — uma gaussiana cuja média se desloca com $x$, mas cuja variância nunca muda.

Construindo a verossimilhança, passo a passo. Com $N$ observações $(x_i,y_i)$ e a premissa de independência (4), a densidade conjunta dos dados é o produto das densidades individuais (PRML, §3.1.1, p. 141, tradução nossa):

“Considere agora um conjunto de dados de entradas $X=\{\mathbf x_1,\ldots,\mathbf x_N\}$ com valores-alvo correspondentes $t_1,\ldots,t_N$. […] Assumindo que esses pontos de dados são obtidos independentemente da distribuição (3.8), obtemos a seguinte expressão para a função de verossimilhança, que é uma função dos parâmetros ajustáveis $\mathbf w$ e $\beta$, na forma $p(\mathbf t\mid X,\mathbf w,\beta)=\prod_{n=1}^N\mathcal N(t_n\mid\mathbf w^T\boldsymbol\phi(\mathbf x_n),\beta^{-1})$.”

Na notação de $\beta$-coeficientes e $\sigma^2$-variância desta aula:

\[ L(\beta,\sigma^2) = p(y_1,\ldots,y_N\mid X,\beta,\sigma^2) = \prod_{i=1}^N \mathcal N(y_i\mid\beta^Tx_i,\sigma^2) = \prod_{i=1}^N \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(y_i-\beta^Tx_i)^2}{2\sigma^2}\right\}. \]

Produtos de exponenciais são desconfortáveis de derivar; tomamos o logaritmo (uma função estritamente crescente, então o ponto de máximo não muda) para transformar o produto em soma:

\[ \ell(\beta,\sigma^2) = \ln L(\beta,\sigma^2) = \sum_{i=1}^N \left[-\tfrac12\ln(2\pi\sigma^2) - \frac{(y_i-\beta^Tx_i)^2}{2\sigma^2}\right] = -\frac N2\ln(2\pi) - N\ln\sigma - \frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-\beta^Tx_i)^2. \]

Note que $\sum_{i=1}^N(y_i-\beta^Tx_i)^2$ é exatamente $\text{RSS}(\beta)$ do Bloco 1 — a mesma quantidade, chegando por um caminho completamente diferente (uma história sobre ruído aleatório, não um critério algébrico arbitrário). Essa coincidência não é acidental: é o que o Bloco 3 vai provar.

A figura torna visível a diferença de perspectiva entre o Bloco 1 e o Bloco 2. No Bloco 1, a reta era “o ponto mais próximo” de $y$ dentro de um subespaço — uma afirmação puramente geométrica. Aqui, a mesma reta é a sequência de médias condicionais: para cada valor de renda $x$, o modelo afirma que os preços observados são amostras de uma gaussiana centrada em $\hat\beta^Tx$ com o mesmo desvio-padrão $\hat\sigma=0{,}8389$ em toda parte (as quatro “corcovas” desenhadas têm exatamente a mesma largura) — essa largura constante é, literalmente, a homocedasticidade desenhada.

Se a variância do ruído crescesse conforme a renda mediana aumenta — imóveis mais caros têm preços mais “espalhados” — o que exatamente, na construção da verossimilhança de hoje, deixaria de valer?

□ Se $\sigma^2$ dependesse de $x_n$ (heterocedasticidade), a verossimilhança conjunta ainda seria o produto das densidades individuais (assumindo observações independentes), mas cada fator teria sua própria variância $\sigma^2(x_n)$ em vez de uma variância comum — mudando a forma da log-verossimilhança final.
□ No limite em que $\sigma^2\to 0$, a densidade gaussiana $\mathcal N(y_n\mid\beta^Tx_n,\sigma^2)$ se concentra inteiramente sobre o valor predito $\beta^Tx_n$, e o modelo probabilístico se aproxima do caso determinístico $y=\beta^Tx$ sem ruído algum.
□ Num sensor de temperatura cujo erro de medição tem desvio-padrão constante independentemente da temperatura real medida, a suposição de homocedasticidade se aplicaria de forma genuína — e, uma vez verificada genuína para esse sensor, permaneceria válida para qualquer outro sensor do mesmo fabricante, sem necessidade de checagem individual.
□ Como a verossimilhança de hoje assume que os erros são gaussianos, qualquer conjunto de dados cujos erros não sejam exatamente gaussianos torna a estimativa de mínimos quadrados $\hat\beta$ inválida ou inutilizável.

5 Bloco 3 — O Teorema Central: OLS É MLE Sob Normalidade

Chegamos ao pagamento matemático da aula. Temos a log-verossimilhança do Bloco 2,

\[ \ell(\beta,\sigma^2) = -\frac N2\ln(2\pi) - N\ln\sigma - \frac{1}{2\sigma^2}\text{RSS}(\beta), \]

e queremos os valores de $\beta$ e $\sigma^2$ que a maximizam. A observação central — a mesma que o PRML nomeia explicitamente (§3.1.1, p. 141, tradução nossa) — é:

“Tendo escrito a função de verossimilhança, podemos usar máxima verossimilhança para determinar $\mathbf w$ e $\beta$. Considere primeiro a maximização em relação a $\mathbf w$. […] vemos que a maximização da função de verossimilhança sob uma distribuição de ruído gaussiano condicional para um modelo linear é equivalente a minimizar uma função de erro de soma de quadrados dada por $E_D(\mathbf w)$.”

A prova, passo a passo. Observe $\ell(\beta,\sigma^2)$ como função só de $\beta$, com $\sigma^2$ momentaneamente fixo: os dois primeiros termos ($-\frac N2\ln(2\pi)$ e $-N\ln\sigma$) não dependem de $\beta$ — são constantes para efeitos da maximização em $\beta$. O único termo que depende de $\beta$ é

\[ -\frac{1}{2\sigma^2}\text{RSS}(\beta), \]

e, como $\sigma^2>0$, o fator $\frac{1}{2\sigma^2}$ é uma constante positiva. Maximizar $-c\cdot\text{RSS}(\beta)$ para uma constante positiva $c$ é, por definição, minimizar $\text{RSS}(\beta)$. Ou seja:

\[ \hat\beta_{\text{MLE}} = \arg\max_\beta \ell(\beta,\sigma^2) = \arg\min_\beta \text{RSS}(\beta) = \hat\beta_{\text{OLS}}. \]

Isso não é uma coincidência numérica nem uma analogia — é uma identidade algébrica: o mesmo tipo de identidade que a Aula 3 já tinha provado para árvores de regressão ($\ell_\tau(y_\tau)$ gaussiana $\to$ minimizar $Q_\tau$), agora estabelecida para o modelo linear completo, com a mesma prova do PRML confirmando (p. 142): “resolvendo para $w$ obtemos $w_{\text{ML}}=(\Phi^T\Phi)^{-1}\Phi^Tt}$” — exatamente a mesma equação normal do Bloco 1, agora deduzida do gradiente da log-verossimilhança em vez do gradiente de RSS diretamente. Os dois caminhos (Bloco 1: minimizar RSS; Bloco 3: maximizar verossimilhança gaussiana) convergem, porque são algebricamente o mesmo problema.

Estimando $\sigma^2$. Com $\hat\beta_{\text{MLE}}=\hat\beta_{\text{OLS}}$ fixo, maximizamos $\ell$ em relação a $\sigma$: derivando $-N\ln\sigma-\frac{1}{2\sigma^2}\text{RSS}(\hat\beta)$ em relação a $\sigma$ e igualando a zero,

\[ -\frac N\sigma + \frac{\text{RSS}(\hat\beta)}{\sigma^3} = 0 \quad\Longrightarrow\quad \hat\sigma^2_{\text{MLE}} = \frac{\text{RSS}(\hat\beta)}{N}. \]

Como a Aula 3 já registrou para o caso gaussiano mais simples (uma única média, sem regressão), esse estimador é viesado para baixo: ele usa os mesmos dados para estimar $N$ coisas ($\beta$, via $\text{RSS}$ minimizado) e depois medir a dispersão restante, o que sistematicamente subestima a variância verdadeira. O estimador não-viesado divide por $N-p-1$ (graus de liberdade, descontando os $p{+}1$ parâmetros de $\beta$ já estimados) em vez de $N$.

Verificação numérica. Álgebra à parte, podemos checar o resultado numericamente: maximizar $\ell(\beta,\sigma^2)$ diretamente por busca numérica (sem usar a fórmula fechada em nenhum momento) e comparar com $\hat\beta_{\text{OLS}}$ do Bloco 1.

def neg_log_verossimilhanca(params, x, y):
    b0, b1, log_sigma = params
    sigma = np.exp(log_sigma)          # reparametriza p/ garantir sigma > 0
    pred = b0 + b1 * x
    n = len(y)
    ll = (-n/2*np.log(2*np.pi) - n*np.log(sigma)
          - np.sum((y - pred)**2) / (2*sigma**2))
    return -ll

resultado = optimize.minimize(
    neg_log_verossimilhanca, x0=[0.0, 0.0, 0.0], args=(x, y),
    method="Nelder-Mead",
    options={"xatol": 1e-10, "fatol": 1e-10, "maxiter": 40000, "maxfev": 40000},
)
b0_opt, b1_opt, log_sigma_opt = resultado.x
sigma_opt = np.exp(log_sigma_opt)

print(f"beta OLS (forma fechada) = ({beta_hat[0]:.8f}, {beta_hat[1]:.8f}),  sigma = {sigma_mle:.8f}")
print(f"beta MLE (busca numérica) = ({b0_opt:.8f}, {b1_opt:.8f}),  sigma = {sigma_opt:.8f}")
print(f"diferença máxima entre os dois caminhos: {max(abs(b0_opt-beta_hat[0]), abs(b1_opt-beta_hat[1]), abs(sigma_opt-sigma_mle)):.2e}")

beta OLS (forma fechada) = (0.47068209, 0.40756945),  sigma = 0.83890652
beta MLE (busca numérica) = (0.47068210, 0.40756945),  sigma = 0.83890653
diferença máxima entre os dois caminhos: 1.80e-08

A busca numérica (scipy.optimize.minimize, método Nelder-Mead, sem gradiente analítico, partindo de $\beta_0=\beta_1=0,\ \sigma=1$) encontra $\hat\beta=(0{,}47068210,\,0{,}40756945)$ e $\hat\sigma=0{,}83890653$ — idênticos à forma fechada até a oitava casa decimal (diferença máxima $\approx 1{,}8\times10^{-8}$, na faixa da própria precisão numérica do otimizador, não um erro sistemático). A prova algébrica do Bloco 3 não precisava dessa confirmação para ser válida, mas a confirmação numérica tem valor pedagógico próprio: mostra que o resultado teórico não é frágil a pequenas perturbações do procedimento de otimização, e que os mesmos números que apareceram “de graça” via álgebra linear no Bloco 1 reaparecem numa busca cega que nunca usou a fórmula fechada.

A superfície de log-verossimilhança, calculada numa grade de $150\times150$ pontos $(\beta_0,\beta_1)$ com $\sigma$ fixo no valor de MLE, tem um único pico — exatamente no ponto marcado com estrela, o mesmo $\hat\beta$ da forma fechada e da busca numérica. A superfície é uma parabolóide invertida (RSS é quadrática em $\beta$, e $\ell$ é RSS com sinal trocado e escalado), o que garante que não existe nenhum outro máximo local escondido em algum canto do espaço de parâmetros — uma propriedade que problemas de otimização mais gerais (redes neurais, por exemplo) não têm.

A busca numérica encontrou exatamente o mesmo $\hat\beta$ que a fórmula fechada, a menos de $10^{-8}$. Isso prova que maximizar a log-verossimilhança SEMPRE encontra o mínimo de RSS, para qualquer distribuição de ruído — ou é uma coincidência do caso gaussiano?

□ Se o ruído fosse Laplace (dupla-exponencial) em vez de gaussiano, maximizar a verossimilhança correspondente levaria a minimizar a soma dos valores absolutos dos resíduos, não a soma de quadrados — porque é a forma funcional específica da densidade gaussiana ($\propto\exp(-\cdot^2)$) que produz o termo quadrático.
□ No limite em que $N\to\infty$ com o modelo verdadeiro sendo exatamente linear e gaussiano, $\hat\beta_{\text{MLE}}$ e $\hat\sigma^2_{\text{MLE}}$ convergem para os valores populacionais verdadeiros, incluindo o viés de $\hat\sigma^2_{\text{MLE}}$ (que usa $N$ no denominador em vez de $N-p-1$), que desaparece assintoticamente.
□ Num problema de classificação binária ajustado por máxima verossimilhança sob um modelo Bernoulli (fora do escopo desta aula, mas o mesmo princípio), o objeto que se maximiza também terá, por construção do modelo, um termo cuja otimização coincide com minimizar alguma função de erro específica daquela distribuição, não necessariamente a soma de quadrados — e, por essa razão, comparar diretamente o valor numérico da log-verossimilhança máxima entre o modelo gaussiano desta aula e esse modelo Bernoulli diria qual dos dois descreve melhor seus respectivos dados.
□ Como a otimização numérica confirmou que o ponto de máximo da log-verossimilhança coincide com $\hat\beta_{\text{OLS}}$, conclui-se que qualquer método de otimização numérica (incluindo os que não convergem corretamente) chegaria ao mesmo resultado, tornando a forma fechada desnecessária na prática.

6 Síntese e Limitações

O modelo de hoje repousa sobre quatro premissas (Bloco 2): linearidade condicional, ruído gaussiano aditivo, homocedasticidade e independência. Vale perguntar, com a mesma honestidade que a Aula 4 exigiu para números de validação: essas premissas se sustentam nos próprios dados usados hoje? A resposta, olhando os resíduos reais do ajuste, é só parcialmente.

Achado real 1 — censura no alvo. MedHouseVal é artificialmente truncado em $5{,}00001$ (o valor máximo que a variável assume no dataset original, por decisão de quem o construiu) — $747$ das $16\,640$ observações de treino ($4{,}49\%$) estão exatamente nesse teto. Isso distorce qualquer estimativa de $\beta_1$: os imóveis mais caros de verdade — provavelmente concentrados entre as regiões de renda mais alta — têm seu valor real escondido atrás do teto, empurrando a inclinação estimada para baixo do valor que seria observado sem censura.

Achado real 2 — heterocedasticidade real. Dividindo as observações em quartis de MedInc e medindo a variância dos resíduos em cada quartil:

Quartil de `MedInc`	Renda média (US$10 mil)	Variância dos resíduos
1º (mais baixo)	$1{,}92$	$0{,}486$
2º	$2{,}99$	$0{,}653$
3º	$4{,}00$	$0{,}849$
4º (mais alto)	$6{,}28$	$0{,}825$

A variância quase dobra do 1º para o 3º quartil — uma violação genuína e mensurável da premissa de homocedasticidade do Bloco 2, não uma possibilidade hipotética. Isso não torna o modelo inútil (o Gauss-Markov garante que $\hat\beta_{\text{OLS}}$ continua não-viesado mesmo sem homocedasticidade), mas invalida a interpretação de $\hat\sigma$ como “um único tamanho de erro” em toda a faixa de renda, e enfraquece garantias de inferência exata (intervalos de confiança, testes de hipótese) que dependeriam dessa premissa.

A ponte para a Aula 7. A estrutura de hoje — assumir uma distribuição, construir sua verossimilhança, mostrar que maximizá-la equivale a minimizar algum erro específico daquela distribuição — não é exclusiva da gaussiana. A Aula 7 troca a Gaussiana por uma Bernoulli (alvo binário, não contínuo) e mostra que a mesma receita produz, no lugar da soma de quadrados, a entropia cruzada — a função de erro por trás da Regressão Logística. O “prato” muda; a “receita” (distribuição $\to$ verossimilhança $\to$ erro que a maximização revela) é a mesma que hoje.

censura: 747/16640 = 0.0449
quartil 1: renda média=1.92, var(resíduo)=0.486
quartil 2: renda média=2.99, var(resíduo)=0.653
quartil 3: renda média=4.00, var(resíduo)=0.849
quartil 4: renda média=6.28, var(resíduo)=0.825

7 Fechamento

Voltando ao roteiro de abertura, uma frase cada:

O que é “a melhor reta”: a que minimiza a soma de quadrados dos resíduos — elevar ao quadrado evita o cancelamento degenerado de somar resíduos com sinal, é diferenciável em toda parte, e penaliza desvios grandes desproporcionalmente mais.
A notação matricial e sua solução fechada: $\text{RSS}(\beta)=\lVert y-X\beta\rVert^2$ é minimizada por $\hat\beta=(X^TX)^{-1}X^Ty$ — as equações normais —, que é também a projeção ortogonal de $y$ sobre o subespaço gerado pelas colunas de $X$.
A história probabilística: assumir $Y\mid X=x\sim\mathcal N(\beta^Tx,\sigma^2)$ (homocedástico, erros independentes) permite construir a verossimilhança dos dados como um produto de gaussianas, e sua log-verossimilhança como uma soma.
Por que maximizar $\equiv$ minimizar soma de quadrados: porque o único termo da log-verossimilhança que depende de $\beta$ é $-\frac{1}{2\sigma^2}\text{RSS}(\beta)$, e maximizar isso, com $\sigma^2>0$ fixo, é minimizar $\text{RSS}(\beta)$ — uma identidade algébrica, confirmada numericamente a $10^{-8}$ nesta aula, não uma coincidência do caso gaussiano.

O que fica em aberto: o modelo de hoje assume ruído gaussiano homocedástico — a Seção de Limitações mostrou que os próprios dados usados hoje violam essa premissa (heterocedasticidade real, censura no alvo). A Aula 8 vai retomar $\hat\beta_{\text{OLS}}$ deste modelo e mostrar que adicionar uma penalidade (Ridge/Lasso) equivale a assumir uma priori sobre $\beta$ — o primeiro passo em direção ao raciocínio bayesiano. A Aula 9 vai decompor formalmente o erro esperado de qualquer estimador (incluindo o de hoje) em viés, variância e ruído irredutível — dando nome matemático ao trade-off que o viés de $\hat\sigma^2_{\text{MLE}}$ já insinuou. E a Aula 7, logo a seguir, troca a Gaussiana por uma Bernoulli para tratar alvos binários pela mesma receita.

Exercícios Soluções

Quartil de `MedInc`	Renda média (US$10 mil)	Variância dos resíduos
1º (mais baixo)	\(1{,}92\)	\(0{,}486\)
2º	\(2{,}99\)	\(0{,}653\)
3º	\(4{,}00\)	\(0{,}849\)
4º (mais alto)	\(6{,}28\)	\(0{,}825\)