Soluções — Aula 3: Projeções Ortogonais e Subespaços

Gabarito de exercicios.qmd

Autor

Prof. Marcos Medeiros Raimundo

Aula Exercícios

Teste 1 — Sistemas sobredeterminados e a melhor aproximação

□ Se um sistema \(A\mathbf{x}=\mathbf{b}\) fosse subdeterminado (\(d>N\)) em vez de sobredeterminado, ainda haveria um sentido útil para “melhor aproximação” via projeção, mas ele coincidiria trivialmente com uma das infinitas soluções exatas, não com um ponto fora do espaço-coluna de \(A\).
□ No caso-limite em que \(\mathbf{y}\) está exatamente sobre o espaço-coluna de \(X\), a “melhor aproximação” \(\hat{\mathbf{y}}=X\hat{\mathbf{w}}\) coincide com \(\mathbf{y}\), e o problema de mínimos quadrados se reduz ao caso mais simples de um sistema linear com solução exata, sem necessidade de aproximação.
□ Num problema de avaliação de risco de crédito (dataset German Credit), com muito mais clientes registrados (equações) do que atributos considerados no modelo (incógnitas), a mesma lógica de “sistema sobredeterminado sem solução exata, resolvido por projeção” se aplicaria.
□ Como um sistema sobredeterminado não tem solução exata, isso implica que qualquer \(\mathbf{w}\) escolhido produzirá um erro de magnitude semelhante — a escolha de \(\mathbf{w}\) não afetaria significativamente a qualidade da aproximação.

(Resposta) Teste 1 — Sistemas sobredeterminados e a melhor aproximação

✔ Verdadeiro — No regime subdeterminado, se o sistema for solúvel, \(\mathbf{b}\) já está no espaço-coluna de \(A\) — logo a “melhor aproximação” (a projeção de \(\mathbf{b}\) sobre esse espaço) é \(\mathbf{b}\) mesmo, uma das infinitas soluções exatas existentes. A mecânica de minimizar a distância a um ponto fora do subespaço só é não-trivial no regime sobredeterminado, que é o caso desta aula.
✔ Verdadeiro — Se \(\mathbf{y}\in\text{col}(X)\), o ponto de \(\text{col}(X)\) mais próximo de \(\mathbf{y}\) é o próprio \(\mathbf{y}\) (distância zero) — o caso extremo em que a projeção é trivial e o sistema \(X\mathbf{w}=\mathbf{y}\) tem solução exata.
✔ Verdadeiro — A mecânica de projeção ortogonal não depende do domínio dos dados — só da estrutura \(N\gg d\) (mais equações que incógnitas). Qualquer sistema sobredeterminado, seja de preços de imóveis ou de demanda de energia, é resolvido pela mesma matemática de projeção ortogonal apresentada nesta aula.
✗ Falso — A ausência de solução exata não torna a escolha de \(\mathbf{w}\) irrelevante — pelo contrário, é exatamente por isso que existe uma noção precisa de “melhor” \(\mathbf{w}\) (o que minimiza \(\|\mathbf{y}-X\mathbf{w}\|\)), e \(\mathbf{w}\)’s distantes desse ótimo produzem erros muito maiores do que o \(\hat{\mathbf{w}}\) ajustado por mínimos quadrados.

Teste 2 — A intuição da sombra

□ Se a fonte de luz da analogia da sombra viesse de um ângulo oblíquo fixo (não perpendicular ao subespaço), o ponto de chegada no subespaço, em geral, não seria mais o ponto mais próximo do ponto original.
□ No caso-limite em que o subespaço \(U\) tem a mesma dimensão do espaço ambiente (\(U=V\)), a “sombra” de qualquer ponto sobre \(U\) coincide com o próprio ponto, para qualquer ponto escolhido.
□ A ideia de reduzir a dimensionalidade de dados de alta dimensão para visualização (ex.: reduzir os atributos de um dataset para 2 dimensões e plotar um gráfico de dispersão) usa, na essência, a mesma operação geométrica de projeção perpendicular definida acima.
□ Como a projeção perpendicular minimiza a distância ao subespaço, ela produz sempre o ponto de menor norma dentro do subespaço, entre todos os candidatos.

(Resposta) Teste 2 — A intuição da sombra

✔ Verdadeiro — Só a projeção perpendicular minimiza a distância — é a mesma geometria do Teorema de Pitágoras: a hipotenusa de um triângulo formado por um ângulo oblíquo é maior do que o cateto perpendicular. Uma luz oblíqua fixa produz, em geral, um ponto de chegada mais distante de \(\mathbf{y}\) do que a projeção ortogonal.
✔ Verdadeiro — Se \(U=V\), todo ponto do espaço já pertence a \(U\); logo sua “sombra” (o ponto de \(U\) mais próximo dele mesmo) é ele próprio, com resíduo nulo — não há nada fora de \(U\) para projetar.
✔ Verdadeiro — Técnicas de redução de dimensionalidade (como PCA) projetam vetores de alta dimensão sobre um subespaço de menor dimensão que retém o máximo de informação — a mesma operação geométrica da “sombra”, com o subespaço escolhido de forma a minimizar a perda de informação em agregado, não só para um único vetor.
✗ Falso — Minimizar a distância até \(\mathbf{y}\) e minimizar a norma do próprio ponto do subespaço são critérios completamente independentes. A projeção \(\hat{\mathbf{y}}\) pode ter norma grande ou pequena, dependendo de onde \(\mathbf{y}\) está — o único critério que importa é a proximidade a \(\mathbf{y}\), não o tamanho do ponto escolhido.

Teste 3 — Subespaços e o complemento ortogonal

□ Se \(U\) e \(W\) são dois subespaços distintos de mesma dimensão \(M\) dentro de um espaço \(V\) de dimensão \(D\), seus complementos ortogonais \(U^\perp\) e \(W^\perp\) têm, necessariamente, a mesma dimensão entre si (\(D-M\)), ainda que \(U^\perp \ne W^\perp\) como conjuntos.
□ No caso-limite \(M=D\) (o subespaço é o espaço inteiro), o complemento ortogonal se reduz ao subespaço trivial \(\{\mathbf{0}\}\).
□ Num sistema de recomendação por fatoração de matrizes, decompor o vetor de preferências de um usuário numa componente dentro do subespaço latente aprendido (um subespaço) e numa componente ortogonal a ele (o resíduo não explicado pelos fatores latentes) usa a mesma lógica de decomposição única \(V=U\oplus U^\perp\) definida acima.
□ Como todo vetor de \(V\) se decompõe de forma única em \(U\oplus U^\perp\), isso implica que essa decomposição é a única forma possível de escrever qualquer vetor de \(V\) como soma de dois vetores de \(V\).

(Resposta) Teste 3 — Subespaços e o complemento ortogonal

✔ Verdadeiro — A fórmula \(\dim(U^\perp)=D-\dim(U)\) depende só da dimensão de \(U\) e do espaço ambiente, não de qual subespaço específico \(U\) é. Dois subespaços diferentes de mesma dimensão \(M\) têm complementos ortogonais de mesma dimensão \(D-M\), mesmo sendo conjuntos distintos (a menos que \(U=W\)).
✔ Verdadeiro — Se \(U=V\) (dimensão \(M=D\)), o único vetor ortogonal a todo vetor de \(V\) é o próprio vetor nulo — logo \(U^\perp=\{\mathbf{0}\}\), de dimensão \(D-M=0\), consistente com a fórmula geral.
✔ Verdadeiro — Qualquer decomposição ortogonal de um espaço em “dentro de um subespaço” e “fora dele” segue exatamente a estrutura \(V=U\oplus U^\perp\): união disjunta (a menos do vetor nulo) e soma que recompõe o vetor original de forma única.
✗ Falso — A unicidade é específica da decomposição em \(U\) e seu complemento ortogonal \(U^\perp\) — não da decomposição em quaisquer dois vetores de \(V\) que somem o vetor original. Existem infinitas formas de escrever um vetor como soma de dois vetores arbitrários de \(V\) (basta escolher um deles livremente e o outro como a diferença); só a decomposição \(U\oplus U^\perp\) específica é única.

Teste 4 — Definição formal de projeção

□ Se o operador de projeção \(\pi:V\to U\) (com matriz \(P\)) satisfaz \(\pi^2=\pi\) (\(P^2=P\)), então, para qualquer vetor \(\mathbf{u}\) que já pertença ao subespaço \(U\), necessariamente \(\pi(\mathbf{u}) = \mathbf{u}\).
□ No caso-limite em que a matriz de projeção \(P_\pi\) é a matriz identidade, o subespaço \(U\) sobre o qual ela projeta é o espaço ambiente \(V\) inteiro.
□ Num sistema de compressão de embeddings via PCA que descarta certas componentes principais (mantendo só um subconjunto delas), a operação de manter as componentes retidas e descartar as demais pode ser descrita, de forma exata, por uma matriz de projeção \(P_\pi\) com \(P_\pi^2=P_\pi\).
□ Como toda matriz de projeção satisfaz \(P_\pi^2=P_\pi\), isso significa que qualquer matriz quadrada que satisfaça essa condição algébrica também é, necessariamente, simétrica.

(Resposta) Teste 4 — Definição formal de projeção

✔ Verdadeiro — Como \(\pi\) mapeia \(V\) sobre \(U\) (é sobrejetora em \(U\)), todo \(\mathbf{u}\in U\) pode ser escrito como \(\mathbf{u}=\pi(\mathbf{v})\) para algum \(\mathbf{v}\in V\). Aplicando o operador novamente: \(\pi(\mathbf{u})=\pi(\pi(\mathbf{v}))=\pi^2(\mathbf{v})=\pi(\mathbf{v})=\mathbf{u}\), exatamente devido à propriedade fundamental de idempotência \(\pi^2=\pi\) (ou em notação matricial, \(P^2=P\)). (ver Convenções em exercicios.qmd).
✔ Verdadeiro — \(P_\pi=I\) significa que \(P_\pi\mathbf{x}=\mathbf{x}\) para todo \(\mathbf{x}\) — ou seja, todo vetor já é sua própria projeção, o que só ocorre quando o subespaço de projeção é o espaço inteiro (\(U=V\)), o mesmo caso-limite do bloco anterior (subespaços e complemento ortogonal).
✔ Verdadeiro — “Manter algumas componentes e zerar as demais” é exatamente a definição de uma projeção sobre o subespaço gerado pelas componentes retidas — aplicar essa operação duas vezes dá o mesmo resultado que aplicá-la uma vez (\(\pi^2=\pi\)), a assinatura algébrica de toda projeção.
✗ Falso — Idempotência (\(P^2=P\)) e simetria são propriedades independentes. Existem projeções oblíquas — idempotentes, mas não simétricas — que projetam sobre um subespaço numa direção diferente da perpendicular. Só as projeções ortogonais (as desta aula, definidas via produto interno) são necessariamente simétricas; a definição geral de projeção (\(\pi^2=\pi\)) não exige isso.

Teste 5 — Derivação das Equações Normais

□ Se a condição de ortogonalidade fosse verificada apenas para algumas colunas de \(X\) (não todas), em vez de todas as \(d\) colunas, isso não seria suficiente, em geral, para garantir que o resíduo é ortogonal a todo o espaço-coluna de \(X\).
□ No caso-limite \(d=1\) (uma única coluna, isto é, \(X\) é um vetor-coluna \(\mathbf{x}\in\mathbb{R}^N\)), as Equações Normais \(X^TX\hat{\mathbf{w}}=X^T\mathbf{y}\) se reduzem a uma única equação escalar, \(\hat{w}=\dfrac{\mathbf{x}^T\mathbf{y}}{\mathbf{x}^T\mathbf{x}}\).
□ Num problema de estimar a verdadeira nota de qualidade de uma imagem (usada como rótulo de treino) a partir de \(N\) anotações redundantes de anotadores humanos (crowdsourcing, cada anotação sendo \(y_i = \theta + \text{ruído}\)), a mesma derivação das Equações Normais levaria a uma estimativa que é, essencialmente, a média das anotações.
□ Como as Equações Normais são obtidas impondo ortogonalidade coluna a coluna, isso implica que, se duas colunas de \(X\) forem ortogonais entre si, a equação normal correspondente a cada uma delas pode ser resolvida de forma totalmente independente da outra, sem nenhum termo cruzado.

(Resposta) Teste 5 — Derivação das Equações Normais

✔ Verdadeiro — A prova de que o resíduo é ortogonal a todo o espaço-coluna argumenta que basta checar a ortogonalidade coluna a coluna porque toda combinação linear das colunas herda a ortogonalidade — mas isso exige que a ortogonalidade valha para uma base completa de \(\text{col}(X)\) (todas as \(d\) colunas, se forem linearmente independentes). Checar só um subconjunto deixaria direções de \(\text{col}(X)\) sem garantia de ortogonalidade.
✔ Verdadeiro — Com \(d=1\), \(X^TX=\mathbf{x}^T\mathbf{x}\) é um escalar (positivo, se \(\mathbf{x}\ne\mathbf{0}\)), e \(X^T\mathbf{y}=\mathbf{x}^T\mathbf{y}\) também é escalar. Isolando \(\hat{w}\) obtemos exatamente a fórmula de projeção sobre uma reta — o caso unidimensional do qual a fórmula geral das Equações Normais é a generalização.
✔ Verdadeiro — Nesse problema, \(X\) é o vetor-coluna de todos os \(1\)’s (\(\mathbf{x}=\mathbf{1}\)), e a fórmula do item (b) dá \(\hat\theta=\dfrac{\mathbf{1}^T\mathbf{y}}{\mathbf{1}^T\mathbf{1}}=\dfrac{\sum_i y_i}{N}\) — exatamente a média aritmética das leituras.
✗ Falso — Ortogonalidade entre apenas duas colunas \(i\) e \(j\) zera só a entrada \((i,j)\) de \(X^TX\). Se \(X\) tiver outras colunas não ortogonais a \(i\) ou \(j\), as equações para \(\hat{w}_i\) e \(\hat{w}_j\) continuam acopladas através dessas outras colunas — só a ortogonalidade mútua entre todas as colunas (deixando \(X^TX\) inteiramente diagonal) desacopla completamente o sistema, não a ortogonalidade de um único par.

Teste 6 — Invertibilidade de \(X^TX\) e a pseudo-inversa

□ Se \(X\) tivesse posto deficiente (colunas linearmente dependentes), \(X^TX\) deixaria de ser invertível, mas isso não impediria, por si só, que existisse algum \(\hat{\mathbf{w}}\) satisfazendo as Equações Normais — apenas deixaria de haver um único.
□ No caso-limite em que \(X\) tem uma única coluna não-nula (\(d=1\), \(\mathbf{x}\ne\mathbf{0}\)), \(X^TX\) é sempre invertível (é um escalar positivo).
□ Num problema de regressão sobre um dataset com atributos linearmente dependentes (matriz de design \(X\) de posto deficiente), a pseudo-inversa \((X^TX)^{-1}X^T\) não pode ser calculada da forma usual, mas existem generalizações (pseudo-inversa de Moore-Penrose, via SVD) que contornam exatamente esse problema.
□ Como \((X^TX)^{-1}X^T\) é chamada de pseudo-inversa de \(X\), isso significa que ela satisfaz \(X\cdot(X^TX)^{-1}X^T = I\) (a identidade), do mesmo jeito que uma inversa de matriz quadrada de verdade.

(Resposta) Teste 6 — Invertibilidade de \(X^TX\) e a pseudo-inversa

✔ Verdadeiro — O sistema \(X^TX\hat{\mathbf{w}}=X^T\mathbf{y}\) é sempre consistente, mesmo com \(X^TX\) singular, porque \(X^T\mathbf{y}\) está sempre no espaço-linha de \(X^TX\) (um fato geral de álgebra linear: \(\text{col}(X^TX)=\text{col}(X^T)\)). Existem soluções — só não uma única, como no caso de multicolinearidade exata descrito nas Convenções (a coluna duplicada).
✔ Verdadeiro — \(X^TX=\mathbf{x}^T\mathbf{x}=\|\mathbf{x}\|^2>0\) sempre que \(\mathbf{x}\ne\mathbf{0}\) — um escalar positivo é trivialmente invertível (basta dividir por ele).
✔ Verdadeiro — A pseudo-inversa “ingênua” apresentada nesta aula (\((X^TX)^{-1}X^T\)) exige \(X^TX\) invertível; quando isso falha (posto deficiente), a pseudo-inversa de Moore-Penrose (definida via SVD, tema de aula futura) generaliza o conceito para qualquer matriz, cheia ou deficiente em posto.
✗ Falso — \(X\cdot(X^TX)^{-1}X^T = P_\pi\), a matriz de projeção sobre \(\text{col}(X)\) — não a identidade, a menos que \(N=d\) (caso em que \(\text{col}(X)\) já é o espaço inteiro). Em geral (\(N>d\), o caso desta aula), \(P_\pi\) tem posto \(d<N\), logo é necessariamente singular, nunca a identidade. “Pseudo” no nome existe justamente porque ela não tem todas as propriedades de uma inversa verdadeira.

Teste 7 — Aplicação numérica e verificação de ortogonalidade

□ Se, em vez de comparar \(\hat{\mathbf{w}}\) obtido pela fórmula fechada com o algoritmo lstsq (mínimos quadrados) de uma biblioteca numérica, comparássemos com uma resolução por eliminação de Gauss do sistema \(X^TX\hat{\mathbf{w}}=X^T\mathbf{y}\), esperaríamos, a menos de erro de arredondamento, o mesmo vetor.
□ No caso-limite em que \(\mathbf{y}\) é o vetor nulo, o \(\hat{\mathbf{w}}\) que resolve as Equações Normais (com \(X\) de posto completo) é necessariamente o vetor nulo também.
□ Num modelo de regressão que prevê o preço de um ativo financeiro a partir de indicadores técnicos (outro dataset, não o California Housing), verificar que o resíduo entre o valor previsto e o valor real é ortogonal aos atributos do modelo é um teste válido de correção, do mesmo jeito que se aplicaria ao ajuste do California Housing descrito acima.
□ Como o resíduo é ortogonal a cada coluna de \(X\), isso implica que o modelo captura toda a informação relevante contida nos dados disponíveis para prever \(\mathbf{y}\).

(Resposta) Teste 7 — Aplicação numérica e verificação de ortogonalidade

✔ Verdadeiro — Eliminação de Gauss, inversão explícita e lstsq resolvem a mesma equação matemática (as Equações Normais, ou o problema de mínimos quadrados equivalente); diferem apenas no algoritmo numérico usado, não no resultado exato.
✔ Verdadeiro — Com \(\mathbf{y}=\mathbf{0}\), \(X^T\mathbf{y}=\mathbf{0}\), e a equação fica \(X^TX\hat{\mathbf{w}}=\mathbf{0}\). Como \(X^TX\) é invertível (posto completo), a única solução desse sistema homogêneo é \(\hat{\mathbf{w}}=\mathbf{0}\).
✔ Verdadeiro — A verificação de ortogonalidade do resíduo é uma identidade algébrica geral, consequência das Equações Normais — vale para qualquer \(X\) e \(\mathbf{y}\), não é específica do exemplo do California Housing.
✗ Falso — Ortogonalidade do resíduo é garantida sempre que \(\hat{\mathbf{w}}\) resolve as Equações Normais, independentemente de quão informativos são os atributos escolhidos — como mostra o próprio exemplo do California Housing (ver Convenções em exercicios.qmd): resíduo ortogonal a cada coluna, mas \(R^2\approx 0{,}518\) (o modelo só explica pouco mais da metade da variação de MedHouseVal). Ortogonalidade garante otimalidade dentro do subespaço disponível, não suficiência dos atributos escolhidos.

Teste 8 — \(R^2\) e o que a ortogonalidade do resíduo garante

□ Se o \(R^2\) do ajuste fosse exatamente \(0\) (o modelo não explica nada da variação de \(\mathbf{y}\) além da média), o resíduo ainda seria ortogonal a cada coluna de \(X\), contanto que \(\hat{\mathbf{w}}\) resolva as Equações Normais.
□ No caso-limite \(R^2=1\) (ajuste perfeito), o resíduo \(\mathbf{y}-X\hat{\mathbf{w}}\) é o vetor nulo.
□ Num modelo de previsão de nota de estudantes usando só o número de horas de sono (um único atributo, claramente insuficiente para prever notas), seria possível obter um \(R^2\) baixo e, ainda assim, um resíduo perfeitamente ortogonal a essa única coluna — exatamente como ocorre no ajuste com os 4 atributos do California Housing descrito acima (\(R^2\approx0{,}518\) com resíduo ortogonal).
□ Como o resíduo é sempre ortogonal ao espaço-coluna de \(X\) quando \(\hat{\mathbf{w}}\) resolve as Equações Normais, um \(R^2\) baixo indica necessariamente um erro no cálculo de \(\hat{\mathbf{w}}\), não uma limitação dos atributos escolhidos.

(Resposta) Teste 8 — \(R^2\) e o que a ortogonalidade do resíduo garante

✔ Verdadeiro — A ortogonalidade do resíduo é uma consequência direta de \(\hat{\mathbf{w}}\) resolver as Equações Normais — não depende do valor de \(R^2\). Mesmo um ajuste inútil (\(R^2=0\), equivalente a prever sempre a média) mantém essa propriedade, se for o \(\hat{\mathbf{w}}\) ótimo dentro de \(\text{col}(X)\).
✔ Verdadeiro — \(R^2=1\) significa que toda a variação de \(\mathbf{y}\) é explicada pelo modelo, ou seja, a soma dos quadrados dos resíduos é zero — e a única forma de a soma de quadrados ser zero é o próprio vetor resíduo ser nulo.
✔ Verdadeiro — A mesma lógica do item (a) deste bloco se aplica a qualquer conjunto de atributos, incluindo um único atributo claramente insuficiente: a ortogonalidade do resíduo é garantida pela derivação matemática, não pelo poder explicativo do(s) atributo(s) escolhido(s).
✗ Falso — É exatamente o oposto do que o item (a) deste bloco já mostrou: com \(\hat{\mathbf{w}}\) corretamente calculado (verificado contra métodos numéricos independentes e via ortogonalidade do resíduo), o \(R^2\approx 0{,}518\) reflete uma limitação dos atributos disponíveis (só 4, faltando localização, qualidade da construção etc.), não um erro de cálculo — a ortogonalidade do resíduo é, na verdade, evidência de que o cálculo está correto, não de que o ajuste é bom.

Teste 9 — Posto e multicolinearidade exata

□ Se a coluna redundante fabricada no exemplo acima fosse \(-5\times\)AveRooms em vez de \(2\times\)AveRooms, o posto de \(X\) ainda cairia da mesma forma ao ser adicionada (permaneceria em 4, não subiria para 5).
□ No caso-limite em que todas as \(d\) colunas de \(X\) fossem múltiplos escalares de uma única coluna não-nula, o posto de \(X\) seria exatamente \(1\), independentemente do valor de \(d\).
□ Num dataset usado para prever demanda de energia elétrica em que um atributo de temperatura é reportado tanto em Celsius quanto em Fahrenheit (uma transformação linear afim exata da outra, não apenas um múltiplo escalar), a inclusão de ambas as colunas na matriz de design também produziria posto deficiente, pelo mesmo princípio da coluna duplicada exata descrita acima.
□ Como a coluna redundante fabricada não acrescenta nenhuma direção independente ao espaço-coluna de \(X\), isso implica que removê-la necessariamente reduz a qualidade das previsões do modelo ajustado.

(Resposta) Teste 9 — Posto e multicolinearidade exata

✔ Verdadeiro — Qualquer múltiplo escalar não-nulo de uma coluna já existente (positivo, negativo, fração) é uma combinação linear exata dessa coluna — não acrescenta nenhuma direção independente ao espaço-coluna. O valor específico do múltiplo (2, \(-5\), ou qualquer outro não-nulo) não importa para o efeito sobre o posto.
✔ Verdadeiro — Se todas as colunas são múltiplos de uma mesma direção, o espaço-coluna gerado é uma única reta — dimensão \(1\) — não importa quantas colunas (\(d\)) existam repetindo essencialmente a mesma informação.
✗ Falso — Celsius e Fahrenheit se relacionam por \(F=\frac{9}{5}C+32\) — uma transformação afim, com um deslocamento constante (\(+32\)), não uma relação puramente linear (múltiplo escalar) como \(2\times\)AveRooms. Como vetores-coluna, \(F_{\text{col}}\ne \lambda\, C_{\text{col}}\) para nenhum escalar \(\lambda\) (a menos que todas as entradas de \(C_{\text{col}}\) sejam iguais, caso degenerado); a dependência linear só apareceria se a matriz de design já tivesse uma coluna constante (intercepto). Sem esse intercepto, as colunas de Celsius e Fahrenheit são, em geral, linearmente independentes — o mecanismo não é “o mesmo princípio” da coluna duplicada exata.
✗ Falso — É o oposto: como a coluna redundante não acrescenta nenhuma direção nova, \(\text{col}(X)\) não muda ao removê-la — a projeção \(\hat{\mathbf{y}}\) (e portanto a qualidade das previsões) permanece exatamente a mesma. O que se perde ao remover é só a ambiguidade na distribuição do peso entre a coluna original e sua cópia, não capacidade preditiva.

Teste 10 — Quase-multicolinearidade e número de condição

□ Se, em vez de perturbar MedHouseVal em 1% do desvio-padrão, perturbássemos em 10 vezes esse valor (10% do desvio-padrão), a variação relativa esperada no peso de AveBedrms no par quase-dependente seria, ao menos aproximadamente, também maior do que a observada com a perturbação de 1% — o número de condição alto amplifica perturbações maiores tanto quanto amplifica as pequenas.
□ No caso-limite em que o número de condição de \(X^TX\) tende a infinito, \(X^TX\) se torna, no limite, singular (não invertível).
□ Num modelo de precificação de opções financeiras com duas variáveis de entrada quase redundantes (ex.: duas medidas de volatilidade calculadas por métodos ligeiramente diferentes), a mesma fragilidade numérica (pesos instáveis sob pequena perturbação dos dados) apareceria, mesmo com o posto de \(X\) tecnicamente completo.
□ Como o número de condição de \(X^TX\) com os 4 atributos completos (\(\approx 23\,460\)) é maior do que o do par isolado AveRooms/AveBedrms (\(\approx 420\)), isso implica que a previsão \(\hat{\mathbf{y}}=X\hat{\mathbf{w}}\) do modelo completo é proporcionalmente mais instável do que a previsão do modelo com só esse par de atributos.

(Resposta) Teste 10 — Quase-multicolinearidade e número de condição

✔ Verdadeiro — Para o sistema linear de mínimos quadrados, o erro em \(\hat{\mathbf{w}}\) decorrente de uma perturbação em \(\mathbf{y}\) é (aproximadamente) proporcional ao tamanho da perturbação, com o número de condição como fator de amplificação — dobrar ou multiplicar por 10 o tamanho do ruído tende a escalar proporcionalmente o efeito sobre \(\hat{\mathbf{w}}\), não a atenuá-lo.
✔ Verdadeiro — O número de condição de \(X^TX\) tende a infinito exatamente quando seu menor autovalor tende a zero — o limite em que a matriz se torna singular (determinante zero). É a mesma transição gradual entre o caso de quase-multicolinearidade (posto completo, mas mal-condicionada) e o caso de multicolinearidade exata (posto deficiente) descritos nas Convenções acima.
✔ Verdadeiro — O mecanismo da quase-multicolinearidade (quase-dependência entre colunas \(\Rightarrow\) \(X^TX\) mal-condicionada \(\Rightarrow\) pesos instáveis) não depende do domínio dos dados, só da estrutura de correlação entre atributos — o mesmo problema apareceria com qualquer par de atributos fortemente correlacionados, financeiro ou não.
✗ Falso — O número de condição mede a instabilidade da decomposição \(\hat{\mathbf{w}}\), não da projeção \(\hat{\mathbf{y}}\) em si — o padrão de “projeção estável, decomposição instável” visto no exemplo do California Housing (ver Convenções). Comparar números de condição entre modelos com números de atributos diferentes não permite concluir nada diretamente sobre a estabilidade das respectivas previsões \(\hat{\mathbf{y}}\).

Teste 11 — A matriz de projeção \(P_\pi\)

□ Se, em vez de projetar \(\mathbf{y}\) sobre \(\text{col}(X)\), quiséssemos projetar sobre um subespaço diferente gerado pelas colunas de outra matriz \(Z\) (mesmas dimensões de \(X\)), a matriz de projeção correspondente seria \(P_\pi'=Z(Z^TZ)^{-1}Z^T\), com a mesma propriedade \(P_\pi'^2=P_\pi'\).
□ No caso-limite em que as colunas de \(X\) já são ortonormais (\(X^TX=I\)), a matriz de projeção se simplifica para \(P_\pi=XX^T\).
□ Em compressão de imagem via PCA, manter apenas as \(k\) componentes principais mais informativas e descartar as demais pode ser descrito por uma matriz de projeção \(P_\pi\) com as mesmas propriedades (\(P_\pi^2=P_\pi\), simétrica) definidas acima.
□ Como \(P_\pi=X(X^TX)^{-1}X^T\in\mathbb{R}^{N\times N}\) e toda matriz quadrada invertível que satisfaz \(P^2=P\) só pode ser a identidade, isso implica que \(P_\pi\) só pode ser a matriz identidade quando \(X\) tem posto completo.

(Resposta) Teste 11 — A matriz de projeção \(P_\pi\)

✔ Verdadeiro — A derivação da matriz de projeção não depende de nenhuma particularidade de \(X\) — vale para qualquer matriz com colunas linearmente independentes. Substituir \(X\) por \(Z\) reproduz exatamente a mesma fórmula e a mesma propriedade de idempotência.
✔ Verdadeiro — Com \(X^TX=I\), a fórmula \(P_\pi=X(X^TX)^{-1}X^T\) se reduz a \(P_\pi=XI^{-1}X^T=XX^T\) — o caso particular em que a base do subespaço já é ortonormal.
✔ Verdadeiro — PCA projeta os dados sobre o subespaço gerado pelas \(k\) componentes principais — uma projeção ortogonal, com a mesma matriz de projeção idempotente e simétrica derivada nesta aula (com as componentes principais no papel das colunas de \(X\), assumidas ortonormais).
✗ Falso — A premissa “toda matriz quadrada invertível que satisfaz \(P^2=P\) só pode ser a identidade” é verdadeira, mas inaplicável a \(P_\pi\): quando \(N>d\) (o caso desta aula), \(P_\pi\) tem posto \(d<N\) — logo é singular, nunca invertível, e portanto nunca pode ser a identidade, independentemente do posto de \(X\). \(P_\pi\) só coincidiria com a identidade no caso degenerado \(N=d\) (quando \(\text{col}(X)\) já é o espaço inteiro).

Teste 12 — Síntese: da falta de solução ao número de condição

□ Se fosse possível calcular o número de condição de \(X^TX\) exatamente a partir da razão entre o maior e o menor autovalor de \(X^TX\), isso tornaria desnecessário o tipo de experimento de perturbação numérica descrito acima (perturbar MedHouseVal e observar a oscilação de \(\hat{\mathbf{w}}\)) para detectar fragilidade — mas o experimento de perturbação continuaria sendo uma forma válida de demonstrar o efeito prático dessa fragilidade.
□ No caso-limite em que \(X\) tem colunas mutuamente ortogonais e todas de norma \(1\) (uma base ortonormal do espaço-coluna), o número de condição de \(X^TX\) é exatamente \(1\) — o melhor condicionamento numérico possível.
□ Num pipeline de aprendizado de máquina em que os atributos de entrada são primeiro padronizados (média 0, desvio-padrão 1) antes do ajuste, essa etapa de pré-processamento pode, dependendo dos dados, influenciar o número de condição de \(X^TX\) resultante, mesmo sem alterar o posto de \(X\).
□ Como as Equações Normais fornecem uma fórmula fechada exata para \(\hat{\mathbf{w}}\) sempre que \(X\) tem posto completo, isso implica que essa fórmula é sempre o método numericamente mais recomendado para calcular \(\hat{\mathbf{w}}\) na prática, independentemente do número de condição de \(X^TX\).

(Resposta) Teste 12 — Síntese: da falta de solução ao número de condição

✔ Verdadeiro — Uma fórmula exata (via autovalores) substitui a necessidade de medir empiricamente o número de condição por perturbação repetida — mas não torna inválido usar a perturbação como demonstração pedagógica do efeito prático de um número de condição alto, que é exatamente o papel que ela teve no exemplo do California Housing descrito nas Convenções acima.
✔ Verdadeiro — Colunas ortonormais implicam \(X^TX=I\), cujos autovalores são todos iguais a \(1\); o número de condição (razão entre maior e menor autovalor) é \(1/1=1\), o valor mínimo possível — o caso oposto extremo à quase-singularidade discutida acima.
✔ Verdadeiro — Padronizar os atributos muda as escalas relativas das colunas de \(X\) (e, portanto, os autovalores de \(X^TX\)), sem mudar quais colunas são linearmente (in)dependentes — o posto é preservado, mas o número de condição pode melhorar ou piorar, dependendo da estrutura de correlação e escala originais dos dados.
✗ Falso — “Mais simples de descrever” não é o mesmo que “mais estável de calcular”. Quando \(X^TX\) está mal-condicionada (como no exemplo de quase-multicolinearidade acima), inverter \(X^TX\) diretamente amplifica erros numéricos; métodos que evitam formar \(X^TX\) explicitamente (decomposição \(QR\), SVD — temas futuros do curso) são numericamente mais recomendados nesse regime, mesmo resolvendo, em teoria, a mesma equação.