Soluções — Regressão Linear e Máxima Verossimilhança

Aula 5 — Por Que Mínimos Quadrados É Máxima Verossimilhança Sob Ruído Gaussiano

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Aula Exercícios

Teste 1 — Geometria da Projeção e Resíduos

□ Se o vetor observado $y$ já estivesse exatamente dentro do subespaço gerado pelas colunas de $X$ (por exemplo, se os dados não tivessem ruído algum), a projeção $\hat y$ coincidiria com o próprio $y$, e o resíduo seria o vetor nulo.
□ Se o número de colunas de $X$ (incluindo o intercepto) fosse igual ao número de observações $N$, e essas colunas fossem linearmente independentes, o subespaço $\mathcal S$ ocuparia todo o espaço $\mathbb R^N$, e o ajuste por mínimos quadrados reproduziria $y$ exatamente, com resíduo nulo em todos os pontos.
□ Num algoritmo de recomendação que aproxima as avaliações de um usuário como combinação linear de “perfis latentes” pré-definidos, a mesma lógica de projeção ortogonal sobre o subespaço gerado pelos perfis garante que a aproximação encontrada terá erro zero sempre que houver pelo menos dois perfis latentes disponíveis.
□ Como o resíduo $y-\hat y$ é ortogonal a cada coluna de $X$ individualmente, ele é necessariamente ortogonal a qualquer vetor fora do subespaço $\mathcal S$ também.

(Resposta) Teste 1 — Geometria da Projeção e Resíduos

✔ Verdadeiro — A projeção ortogonal de um vetor sobre um subespaço que já o contém é o próprio vetor — não há “sobra” fora do subespaço para descartar, então o resíduo é nulo.
✔ Verdadeiro — $N$ colunas linearmente independentes em $\mathbb R^N$ geram o espaço inteiro; a projeção de qualquer $y\in\mathbb R^N$ sobre $\mathbb R^N$ é o próprio $y$ — é o caso degenerado de interpolação perfeita (zero graus de liberdade sobrando).
✗ Falso — Ter “pelo menos dois” perfis não garante que o vetor de avaliações esteja dentro do subespaço que eles geram — erro zero só ocorre se o vetor alvo pertencer exatamente a esse subespaço, o que depende da dimensão do subespaço relativa à dimensão do problema, não de uma contagem mínima arbitrária de perfis.
✗ Falso — Ortogonalidade às colunas de $X$ garante ortogonalidade a todo o subespaço $\mathcal S$ que elas geram (por linearidade) — mas nada garante ortogonalidade a um vetor arbitrário fora de $\mathcal S$, que pode ter componentes em qualquer direção.

Teste 2 — RSS, Equações Normais e Posto de X

□ Se todas as colunas de atributos de $X$ (exceto o intercepto) fossem multiplicadas por uma mesma constante $c\ne 0$ antes do ajuste, o vetor $\hat\beta$ mudaria (os coeficientes correspondentes seriam divididos por $c$), mas a previsão $\hat y=X\hat\beta$ e o RSS mínimo permaneceriam exatamente os mesmos.
□ No limite em que $X$ tem uma única coluna (só o intercepto, sem nenhum atributo), a equação normal $X^T(y-X\hat\beta)=0$ se reduz a dizer que $\hat\beta_0$ é exatamente a média amostral $\bar y$.
□ Num ajuste de regressão linear que busca prever o preço mediano de um imóvel (dataset California Housing) a partir da renda mediana da região, a mesma equação normal determinaria os coeficientes independentemente de qual atributo do dataset for usado como preditor — e a extrapolação da reta ajustada para valores de renda muito fora do intervalo observado no treino teria a mesma confiabilidade estatística que dentro do intervalo observado.
□ Como $\text{RSS}(\beta)$ é uma função quadrática (e portanto convexa) de $\beta$, ela tem sempre um único mínimo global estritamente, mesmo quando as colunas de $X$ são linearmente dependentes ($X^TX$ singular).

(Resposta) Teste 2 — RSS, Equações Normais e Posto de X

✔ Verdadeiro — Reescalar uma coluna por $c$ e dividir o coeficiente correspondente por $c$ deixa o produto $X\beta$ inalterado — a reta ajustada e a soma de quadrados mínima não dependem da escala escolhida para os atributos.
✔ Verdadeiro — Com $X$ sendo um vetor de uns, a equação normal vira $\mathbf 1^T(y-\hat\beta_0\mathbf 1)=0$, ou seja, $\sum(y_n-\hat\beta_0)=0$, cuja solução é exatamente $\hat\beta_0=\bar y$.
✗ Falso — A equação normal de fato não depende de qual atributo do dataset é usado como preditor — mas extrapolar para fora do intervalo onde os dados de treino existiram nunca tem a mesma confiabilidade estatística que interpolar dentro dele; não há garantia de que a relação linear observada continue válida fora da faixa observada.
✗ Falso — $\text{RSS}(\beta)$ é sempre convexa, mas só é estritamente convexa quando $X^TX$ é não-singular (posto completo). Quando $X^TX$ é singular, existe um subespaço inteiro de vetores $\beta$ que atingem o mesmo valor mínimo de RSS — o mínimo deixa de ser único, mesmo continuando global.

Teste 3 — Premissas do Modelo Gaussiano Homocedástico

□ Se assumíssemos que os erros $\epsilon_n$ são gaussianos mas NÃO independentes entre observações (por exemplo, erros correlacionados entre imóveis vizinhos geograficamente), a verossimilhança conjunta deixaria de ser simplesmente o produto das densidades marginais de cada observação.
□ Se a variância do ruído $\sigma^2$ fosse igual para todas as observações mas extremamente grande (tendendo a infinito), o modelo linear perderia praticamente toda sua capacidade preditiva, mesmo que $\beta$ estivesse corretamente especificado.
□ Num modelo que prevê o tempo de resposta de um servidor a partir da carga de requisições, supor ruído gaussiano homocedástico seria tão razoável quanto no caso de preços de imóveis, desde que a variabilidade do tempo de resposta realmente não dependa sistematicamente do nível de carga — e, uma vez feita essa suposição, ela nunca precisaria ser verificada empiricamente depois do ajuste, pois o próprio ajuste por mínimos quadrados a confirma automaticamente.
□ Como um modelo de regressão linear assume $Y\mid X\sim\mathcal N(\beta^TX,\sigma^2)$, isso implica que a distribuição marginal (não condicional) de $Y$ também deve ser gaussiana, para o modelo fazer sentido.

(Resposta) Teste 3 — Premissas do Modelo Gaussiano Homocedástico

✔ Verdadeiro — A fatoração da densidade conjunta como produto de densidades individuais é consequência direta da suposição de independência — sem ela, a densidade conjunta exigiria modelar a estrutura de correlação entre observações, não apenas suas marginais.
✔ Verdadeiro — Com $\sigma^2\to\infty$, a distribuição condicional de $Y$ dado $X$ se torna cada vez mais dispersa em torno da média correta $\beta^TX$ — o valor médio previsto continua certo, mas a incerteza em torno dele domina completamente qualquer previsão individual útil.
✗ Falso — A primeira parte é razoável (homocedasticidade é uma suposição plausível quando a variabilidade não depende sistematicamente da variável explicativa), mas a segunda não: o ajuste por mínimos quadrados não verifica homocedasticidade — ele simplesmente minimiza RSS independentemente de a suposição valer ou não. Confirmar (ou refutar) homocedasticidade exige inspecionar os resíduos depois do ajuste (como o próprio bloco de “Limitações” faz ao encontrar heterocedasticidade real no ajuste de preços de imóveis), nunca é uma garantia automática do procedimento de ajuste.
✗ Falso — O modelo só faz uma suposição sobre a distribuição condicional de $Y$ dado $X$. A distribuição marginal de $Y$ depende também de como $X$ está distribuído na população, e em geral não é gaussiana (é uma mistura de gaussianas ponderada pela distribuição de $X$) — a suposição do modelo não exige nada sobre essa marginal.

Teste 4 — Construção da Verossimilhança Conjunta

Sob o modelo $Y\mid X=x\sim\mathcal N(\beta^Tx,\sigma^2)$ com observações independentes, a log-verossimilhança dos $N$ dados é $\ell(\beta,\sigma^2)=-\frac N2\ln(2\pi)-N\ln\sigma-\frac{\text{RSS}(\beta)}{2\sigma^2}$, com $\text{RSS}(\beta)=\sum_n(y_n-\beta^Tx_n)^2$.

□ Se, em vez de tomar o logaritmo da verossimilhança, trabalhássemos diretamente com o produto de densidades $\prod_n\mathcal N(y_n\mid\beta^Tx_n,\sigma^2)$, maximizar esse produto em relação a $\beta$ ainda levaria exatamente ao mesmo $\hat\beta$ obtido via log-verossimilhança, porque o logaritmo é uma função estritamente crescente.
□ No caso extremo de $N=1$ (uma única observação), a “log-verossimilhança” ainda pode ser escrita pela mesma fórmula geral, mas maximizá-la em relação a $\beta$ (com mais de um parâmetro livre) não determina um único $\hat\beta$, porque há infinitas retas passando exatamente por um ponto.
□ Num modelo que assume que o tempo entre chegadas de clientes numa fila segue uma distribuição exponencial (não gaussiana), a mesma lógica de multiplicar densidades individuais (assumindo observações independentes) e tomar o logaritmo se aplicaria — ainda que a forma final da função a maximizar fosse diferente da gaussiana acima, o valor numérico do máximo obtido seria sempre diretamente comparável ao valor máximo de uma log-verossimilhança gaussiana ajustada a um problema de regressão, permitindo escolher qual dos dois modelos descreve melhor seus respectivos dados só comparando os números brutos.
□ Como a log-verossimilhança acima é $\ell(\beta,\sigma^2)=-\frac N2\ln(2\pi)-N\ln\sigma-\frac{\text{RSS}(\beta)}{2\sigma^2}$, maximizar $\ell$ em relação a $\beta$ e maximizar $\ell$ em relação a $\sigma^2$ são operações que precisam ser feitas simultaneamente, nunca uma depois da outra, porque os dois parâmetros aparecem na mesma expressão.

(Resposta) Teste 4 — Construção da Verossimilhança Conjunta

✔ Verdadeiro — Uma função estritamente crescente preserva a localização do máximo — maximizar $f(\beta)$ ou $\ln f(\beta)$ (com $f>0$) sempre produz o mesmo $\hat\beta$. O log só é usado por conveniência algébrica (transforma produto em soma), não porque muda o resultado.
✔ Verdadeiro — Com um único ponto e dois ou mais parâmetros livres ($\beta_0,\beta_1,\ldots$), existe uma família inteira de retas com RSS$=0$ passando exatamente por esse ponto — todas maximizam igualmente a log-verossimilhança, sem um único ótimo.
✗ Falso — A parte sobre multiplicar densidades e logaritmar é válida para qualquer família de distribuições — mas comparar valores brutos de log-verossimilhança máxima entre famílias distribucionais diferentes (gaussiana vs. exponencial) não é uma comparação válida sem correção; são escalas e normalizações distintas, não diretamente comparáveis pelo valor numérico bruto.
✗ Falso — É exatamente o oposto: para qualquer $\sigma^2>0$ fixo, maximizar $\ell$ em relação a $\beta$ equivale a minimizar $\text{RSS}(\beta)$ (o termo $1/2\sigma^2$ é apenas um fator multiplicativo positivo que não muda onde está o mínimo) — dando $\hat\beta_{\text{OLS}}$ independentemente de $\sigma^2$. Só depois, com $\hat\beta$ fixo, maximiza-se em relação a $\sigma^2$. A sequência funciona perfeitamente bem.

Teste 5 — O Teorema Central: OLS = MLE

□ Se a variância $\sigma^2$ fosse conhecida e fixa de antemão (não estimada), o valor de $\hat\beta$ que maximiza a log-verossimilhança ainda seria exatamente o mesmo $\hat\beta_{\text{OLS}}$, porque $\sigma^2$ entra na log-verossimilhança apenas como um fator multiplicativo positivo do termo que depende de $\beta$.
□ Se, por hipótese, $\text{RSS}(\hat\beta)=0$ para o $\hat\beta$ que minimiza a soma de quadrados (ajuste perfeito, sem nenhum resíduo), o estimador $\hat\sigma^2_{\text{MLE}}=\text{RSS}(\hat\beta)/N$ seria exatamente zero, e a log-verossimilhança avaliada nesse ponto tenderia a $+\infty$ conforme $\sigma\to0$ nessa mesma expressão, revelando uma degenerescência do modelo gaussiano nesse caso extremo.
□ Se, em outro domínio qualquer, alguém provar que maximizar uma verossimilhança assumida é algebricamente idêntico a minimizar uma soma de quadrados, essa prova por si só já implica que o ruído daquele modelo específico foi assumido gaussiano, porque é a densidade gaussiana (e nenhuma outra densidade comum) que produz esse termo quadrático especificamente na log-verossimilhança.
□ Como $\hat\beta_{\text{MLE}}=\hat\beta_{\text{OLS}}$ sob um modelo de regressão linear com ruído gaussiano homocedástico, conclui-se que máxima verossimilhança e mínimos quadrados são sempre a mesma coisa, para qualquer modelo estatístico, não apenas para regressão linear sob ruído gaussiano.

(Resposta) Teste 5 — O Teorema Central: OLS = MLE

✔ Verdadeiro — Para qualquer $\sigma^2>0$ fixo, o único termo de $\ell$ que depende de $\beta$ é $-\text{RSS}(\beta)/(2\sigma^2)$ — maximizar isso em relação a $\beta$ equivale a minimizar $\text{RSS}(\beta)$, independentemente do valor específico de $\sigma^2$.
✔ Verdadeiro — Com $\text{RSS}=0$, $\ell=-\frac N2\ln(2\pi)-N\ln\sigma$; conforme $\sigma\to0^+$, $\ln\sigma\to-\infty$, então $-N\ln\sigma\to+\infty$ — a log-verossimilhança diverge, um sintoma conhecido de degenerescência do ajuste perfeito no modelo gaussiano.
✔ Verdadeiro — É o mesmo mecanismo do teorema central desta aula rodado ao contrário: a forma exponencial-quadrática $\exp\{-(\cdot)^2/2\sigma^2\}$ é o que torna a log-verossimilhança gaussiana literalmente uma soma de quadrados com sinal trocado. Outras densidades comuns (Laplace, por exemplo) produzem outros termos (valor absoluto) — só a gaussiana produz especificamente o termo quadrático que colapsa em minimizar RSS.
✗ Falso — A equivalência é específica do ruído gaussiano aditivo em regressão linear — sob outra suposição de ruído (Laplace) ou outro tipo de modelo (regressão logística, por exemplo, com alvo binário), a máxima verossimilhança leva a minimizar uma função de erro diferente, não a soma de quadrados.

Teste 6 — Viés do MLE de $\sigma^2$

□ Se, em vez de dividir por $N$, dividíssemos $\text{RSS}(\hat\beta)$ por $N-2$ (número de observações menos o número de parâmetros do modelo — por exemplo, $2$ num ajuste de regressão linear simples, com intercepto e uma única inclinação), o estimador resultante teria valor esperado exatamente igual a $\sigma^2$ verdadeiro — mas deixaria de ser o estimador de máxima verossimilhança.
□ Conforme $N\to\infty$ (mantendo o número de parâmetros de $\beta$ fixo), a diferença relativa entre $\hat\sigma^2_{\text{MLE}}=\text{RSS}/N$ e o estimador não-viesado $\text{RSS}/(N-2)$ tende a zero, porque $N/(N-2)\to1$.
□ O mesmo padrão de viés — dividir por $N$ em vez de $N$ menos o número de parâmetros estimados — reaparece em qualquer estimador de variância obtido por máxima verossimilhança que primeiro estime uma média (ou, aqui, um hiperplano) a partir dos mesmos dados usados para medir a dispersão em torno dela; e por isso, na prática, é sempre preferível reportar o estimador não-viesado em vez do MLE, em qualquer aplicação, sem exceção.
□ Como $\hat\sigma^2_{\text{MLE}}$ é viesado para baixo, ele é necessariamente um estimador pior do que o estimador não-viesado $\text{RSS}/(N-2)$ em qualquer critério razoável de qualidade, incluindo o erro quadrático médio do próprio estimador de $\sigma^2$.

(Resposta) Teste 6 — Viés do MLE de $\sigma^2$

✔ Verdadeiro — É o estimador não-viesado clássico de $\sigma^2$ em regressão linear — corrige exatamente o viés introduzido por estimar $\beta$ a partir dos mesmos dados usados para medir a dispersão residual, mas o estimador de máxima verossimilhança é, por definição, $\text{RSS}/N$, não essa versão corrigida.
✔ Verdadeiro — A razão entre os dois estimadores é exatamente $N/(N-2)$ — conforme $N$ cresce com o número de parâmetros fixo, essa razão converge a $1$, e o viés relativo desaparece assintoticamente.
✗ Falso — A primeira parte (o padrão de viés é geral) é correta — é o mesmo fenômeno já visto para a variância gaussiana em problemas de estimação de densidade. Mas a conclusão de que o estimador não-viesado é “sempre preferível… sem exceção” é um exagero: viés não é o único critério de qualidade de um estimador (ver item seguinte, sobre erro quadrático médio).
✗ Falso — Viés é só um dos componentes do erro quadrático médio (MSE = viés² + variância). Um estimador viesado pode ter variância menor o bastante para ter MSE menor que a versão não-viesada — “viesado” não implica “pior em qualquer critério”, é uma generalização indevida do fato do viés isoladamente.

Teste 7 — Verificação Numérica e Otimização

□ Se uma otimização numérica (por exemplo, via algoritmo Nelder-Mead) da log-verossimilhança de um modelo de regressão linear gaussiano tivesse sido inicializada num ponto de partida muito distante de $\hat\beta_{\text{OLS}}$ (por exemplo, $\beta_0=100,\beta_1=-50$, quando o ótimo verdadeiro está perto da origem), o algoritmo ainda convergiria ao mesmo ponto ótimo, porque a log-verossimilhança gaussiana em função de $\beta$ é uma função côncava sem outros máximos locais.
□ Se uma grade (grid search) usada para visualizar a superfície de log-verossimilhança de um modelo de regressão linear gaussiano tivesse uma resolução extremamente grosseira (poucos pontos, muito espaçados), o pico da grade poderia ficar visivelmente deslocado do verdadeiro $\hat\beta_{\text{OLS}}$, mesmo que a forma fechada continuasse exata — e, por essa razão, sempre que uma forma fechada exata existir, o grid search se torna uma ferramenta cientificamente inútil, sem nenhum valor pedagógico ou de verificação.
□ Em problemas de otimização com muitos parâmetros (por exemplo, uma rede neural com milhões de pesos), a mesma ideia de verificar uma solução fechada contra uma busca numérica deixaria de ser prática simplesmente por causa do volume de contas — não porque o princípio de comparação deixe de fazer sentido.
□ Como uma otimização numérica confirmou o resultado da forma fechada num exemplo específico de ajuste, isso prova matematicamente (não apenas ilustra empiricamente) que $\hat\beta_{\text{MLE}}=\hat\beta_{\text{OLS}}$ para qualquer conjunto de dados sob o modelo gaussiano.

(Resposta) Teste 7 — Verificação Numérica e Otimização

✔ Verdadeiro — Para $\sigma$ fixo, $\ell(\beta)$ é uma parábola invertida (côncava) em $\beta$ — tem um único máximo global, sem máximos locais escondidos onde um otimizador possa ficar preso, independentemente de onde a busca comece.
✗ Falso — A primeira parte é correta (grades grosseiras introduzem erro de discretização), mas a conclusão é um exagero: um grid search continua tendo valor real de verificação/pedagógico (mostrar visualmente que a superfície tem um único pico exatamente onde a forma fechada aponta) mesmo quando uma forma fechada já está disponível.
✔ Verdadeiro — O princípio (comparar um resultado analítico contra uma busca numérica independente) continua logicamente válido em qualquer dimensão; o que muda é a viabilidade computacional de visualizar/varrer uma superfície com milhões de dimensões, uma limitação prática, não conceitual.
✗ Falso — A confirmação numérica vale para um dataset específico e um otimizador que convergiu corretamente — é uma ilustração empírica, não uma prova geral. A prova matemática de que a equivalência vale para qualquer conjunto de dados é a derivação algébrica do teorema central, não a checagem numérica.

Teste 8 — Limitações: Heterocedasticidade, Censura e Não-Linearidade

O alvo MedHouseVal do dataset California Housing é artificialmente censurado: todo imóvel cujo preço mediano real seria maior que $\$500\,001$ (a unidade do dataset é centenas de milhares de dólares, então o valor aparece como $5{,}00001$) é registrado com exatamente esse valor de teto — cerca de $4{,}49\%$ das observações são afetadas. Além disso, num ajuste de regressão linear de MedHouseVal a partir de MedInc nesse dataset, a variância dos resíduos cresce sistematicamente com MedInc (heterocedasticidade real, não apenas hipotética).

□ Se MedHouseVal não fosse artificialmente censurado em $5{,}00001$ (ou seja, se os $4{,}49\%$ de observações no teto tivessem seus valores reais, possivelmente maiores), o $\hat\beta_1$ estimado para MedInc provavelmente mudaria, porque essas observações censuradas concentram-se desproporcionalmente entre os imóveis de renda mais alta.
□ No extremo em que a censura afetasse 100% das observações (todos os valores exibidos como exatamente $5{,}00001$), a variância amostral de MedHouseVal seria zero, e o ajuste de mínimos quadrados encontraria $\hat\beta_1=0$.
□ Num estudo que mede o tempo de sobrevivência de pacientes após um tratamento, mas o estudo termina antes de alguns pacientes falecerem (censura à direita, análoga à censura de MedHouseVal no teto), a mesma distorção de ajustar mínimos quadrados diretamente sobre os tempos observados (ignorando a censura) se aplicaria, subestimando o verdadeiro tempo médio de sobrevivência — mas esse problema desapareceria automaticamente com uma amostra suficientemente grande, já que o viés de censura, ao contrário do viés de estimadores de variância, diminui conforme $N$ aumenta.
□ Como a variância dos resíduos de um ajuste de regressão linear cresce com MedInc (heterocedasticidade real, já confirmada empiricamente nesse ajuste), o modelo linear ajustado por mínimos quadrados se torna inútil para prever MedHouseVal, e nenhuma previsão feita a partir dele deveria ser usada.

(Resposta) Teste 8 — Limitações: Heterocedasticidade, Censura e Não-Linearidade

✔ Verdadeiro — Como a censura afeta principalmente a cauda de renda alta, “destelhar” esses valores mudaria justamente a relação entre MedInc alto e MedHouseVal, a região que mais influencia a inclinação estimada.
✔ Verdadeiro — Se $y$ é constante, $\text{Cov}(x,y)=0$ para qualquer $x$, e $\hat\beta_1=\text{Cov}(x,y)/\text{Var}(x)=0$ — não há variação em $y$ para nenhum atributo explicar.
✗ Falso — O viés de censura é sistemático (estrutural), não um efeito de variância amostral — aumentar $N$ reduz a incerteza em torno de uma estimativa, mas não corrige um viés que vem de ignorar uma distorção presente em cada observação censurada; o viés persiste independentemente do tamanho da amostra.
✗ Falso — Heterocedasticidade compromete a confiabilidade da quantificação de incerteza em torno das previsões (intervalos de confiança, testes de hipótese), não a validade do ponto central previsto — as previsões pontuais continuam informativas, só precisam ser interpretadas com o cuidado adicional de que a incerteza real varia com MedInc.