Exercícios — Aula 4: Autovalores, Autovetores e Matrizes Simétricas

Álgebra Linear e Otimização para Aprendizado de Máquina

Autor

Prof. Marcos Medeiros Raimundo

Aula Soluções

Convenções usadas nesta lista

Para \(A\in\mathbb{R}^{n\times n}\), \(\lambda\in\mathbb{R}\) é autovalor de \(A\) e \(\mathbf{x}\ne\mathbf{0}\) é autovetor associado se \(A\mathbf{x}=\lambda\mathbf{x}\) — geometricamente, \(A\) não muda a direção da reta gerada por \(\mathbf{x}\), só a reescala por \(\lambda\) (inverte o sentido se \(\lambda<0\)).
O núcleo (espaço-nulo) de \(A\) é \(\ker(A)=\{\mathbf{x}\in\mathbb{R}^n : A\mathbf{x}=\mathbf{0}\}\), um subespaço vetorial (contém a origem, fechado sob soma e sob multiplicação por escalar).
\(A\mathbf{x}=\lambda\mathbf{x}\iff(A-\lambda I)\mathbf{x}=\mathbf{0}\), que tem solução não-trivial se e só se \(\det(A-\lambda I)=0\). Os autovalores reais de \(A\) são as raízes reais do polinômio característico \(p_A(\lambda)=\det(A-\lambda I)\).
O autoespaço de \(\lambda\) é \(E_\lambda=\{\mathbf{x}\in\mathbb{R}^n : A\mathbf{x}=\lambda\mathbf{x}\}\) (inclui o vetor nulo, mesmo que \(\mathbf{0}\) não seja, por definição, chamado de autovetor) — é sempre um subespaço vetorial. A multiplicidade algébrica de \(\lambda\) é quantas vezes ele aparece como raiz de \(p_A\); a multiplicidade geométrica é \(\dim(E_\lambda)\); sempre geométrica \(\le\) algébrica.
Teorema Espectral Real: toda matriz simétrica \(A\in\mathbb{R}^{n\times n}\) (\(A=A^T\)) tem \(n\) autovalores reais (contados com multiplicidade) e admite uma base ortonormal de autovetores, isto é, \(A=Q\Lambda Q^T\) com \(Q\) ortogonal (\(Q^TQ=I\)) e \(\Lambda\) diagonal. Autovetores associados a autovalores distintos são automaticamente ortogonais entre si; dentro de um autoespaço de dimensão \(>1\) (autovalor repetido), uma base ortonormal desse autoespaço pode sempre ser construída (ex.: via Gram-Schmidt).
\(A\) simétrica é definida positiva (\(A\succ0\)) se \(\mathbf{x}^TA\mathbf{x}>0\) para todo \(\mathbf{x}\ne\mathbf{0}\) — equivalente a todos os autovalores estritamente positivos. É semidefinida positiva (\(A\succeq0\)) se \(\mathbf{x}^TA\mathbf{x}\ge0\) — equivalente a autovalores \(\ge0\) (permite autovalor zero).
O quociente de Rayleigh de \(A\) simétrica é \(R(\mathbf{x})=\dfrac{\mathbf{x}^TA\mathbf{x}}{\mathbf{x}^T\mathbf{x}}\) para \(\mathbf{x}\ne\mathbf{0}\); seu valor máximo é \(\lambda_{\max}(A)\) (atingido no autovetor de \(\lambda_{\max}\)) e seu valor mínimo é \(\lambda_{\min}(A)\).
Para \(A\) simétrica definida positiva, o número de condição é \(\text{cond}(A)=\lambda_{\max}(A)/\lambda_{\min}(A)\ge1\) — mede a sensibilidade numérica de sistemas lineares envolvendo \(A\) (quanto maior, mais frágil a \(A\mathbf{w}=\mathbf{b}\) é a pequenas perturbações em \(\mathbf{b}\)).
\(X\in\mathbb{R}^{N\times d}\) denota uma matriz de design (linhas = observações, colunas = atributos); \(X^TX\) é sempre simétrica semidefinida positiva, e é a matriz das Equações Normais do ajuste por mínimos quadrados (\(X^TX\hat{\mathbf{w}}=X^T\mathbf{y}\)).
A matriz de covariância empírica de um conjunto de atributos mede como os dados se espalham em cada direção; um autovalor pequeno indica pouca dispersão (quase nenhuma variância) na direção do autovetor correspondente — a base da técnica de PCA (Análise de Componentes Principais), que usa os autovetores de maior autovalor como as direções mais informativas dos dados.

Questões discursivas

Explique, com suas próprias palavras, por que a condição \(\det(A-\lambda I)=0\) (e não a equação de autovalor \(A\mathbf{x}=\lambda\mathbf{x}\) diretamente) é o alvo certo para encontrar os autovalores de uma matriz. Que propriedade de sistemas lineares homogêneos (relacionando existência de solução não-trivial de \((A-\lambda I)\mathbf{x}=\mathbf{0}\) ao determinante da matriz do sistema) torna essa equivalência possível?
A prova de que autovetores associados a autovalores distintos de uma matriz simétrica são ortogonais entre si usa a simetria de \(A\) em exatamente um passo da manipulação algébrica. Reproduza essa prova (partindo de \(A\mathbf{x}_1=\lambda_1\mathbf{x}_1\), \(A\mathbf{x}_2=\lambda_2\mathbf{x}_2\), \(\lambda_1\ne\lambda_2\), e comparando \(\mathbf{x}_1^TA\mathbf{x}_2\) calculado de duas formas) e aponte esse passo com precisão — o que aconteceria à conclusão se \(A\) não fosse simétrica?
Compare dois papéis que a matriz \(X^TX\) (ver Convenções acima) pode desempenhar: como a matriz das Equações Normais de um ajuste por mínimos quadrados, e como objeto de estudo desta aula (autovalores/autovetores, definitude, número de condição). Explique por que a simetria de \(X^TX\) — garantida para qualquer \(X\), mesmo retangular — é a peça que conecta os dois papéis.

Questões de Verdadeiro/Falso

Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).

Teste 1 — Autovalores e autovetores: a equação básica

□ Se \(\mathbf{x}\) é autovetor de \(A\) associado ao autovalor \(\lambda=0\), então \(\mathbf{x}\) pertence ao núcleo (espaço-nulo) de \(A\).
□ Uma matriz de rotação pura em \(\mathbb{R}^2\) por um ângulo de \(90°\) não tem nenhum autovetor real, porque nenhuma direção não-nula do plano é mapeada sobre si mesma (nem esticada, nem invertida) por essa rotação.
□ Num sistema dinâmico discreto \(\mathbf{x}_{k+1}=A\mathbf{x}_k\), se \(\mathbf{x}_0\) for exatamente um autovetor de \(A\) com autovalor \(\lambda\), então toda a trajetória futura \(\mathbf{x}_1,\mathbf{x}_2,\dots\) permanece sobre a mesma reta que \(\mathbf{x}_0\), só variando em magnitude por potências de \(\lambda\).
□ Como o autovetor associado a um autovalor não é único, a equação de autovalor \(A\mathbf{x}=\lambda\mathbf{x}\) admite, para qualquer \(A\) e qualquer \(\lambda\) real, pelo menos um autovetor não-nulo que a satisfaça.

Teste 2 — O polinômio característico

□ Se o polinômio característico de uma matriz \(A\in\mathbb{R}^{2\times 2}\) tiver uma raiz dupla (discriminante zero em Bhaskara), isso garante automaticamente que \(A\) tem apenas um autovetor linearmente independente associado a essa raiz.
□ Multiplicar uma matriz \(A\) inteira por um escalar \(c\ne 0\) (obtendo \(cA\)) preserva exatamente os mesmos autovetores de \(A\), mas multiplica cada autovalor por \(c\).
□ Numa cadeia de Markov usada em aprendizado por reforço, descrita por uma matriz de transição de estados \(3\times 3\), encontrar os autovalores dessa matriz via seu polinômio característico (grau 3) é uma aplicação legítima da mesma técnica de raízes do polinômio característico vista acima para matrizes \(2\times 2\).
□ Como \(\det(A-\lambda I)=0\) é a condição para autovalor, isso implica que \(\det(A)=0\) é condição necessária para que \(A\) tenha algum autovalor real.

Teste 3 — Não-unicidade e autoespaços

□ Se dois autovetores distintos, \(\mathbf{x}_1\) e \(\mathbf{x}_2\), de uma mesma matriz \(A\) (não necessariamente simétrica) estiverem associados ao mesmo autovalor \(\lambda\), então qualquer combinação linear não-nula \(c_1\mathbf{x}_1+c_2\mathbf{x}_2\) também é autovetor de \(A\) com esse mesmo autovalor \(\lambda\).
□ Se uma matriz \(A\in\mathbb{R}^{2\times 2}\) tivesse dois autovalores distintos, mas um deles com autoespaço de dimensão \(2\), isso seria matematicamente possível para essa matriz.
□ Num problema de classificação de imagens em que cada “direção” do espaço de atributos representasse uma característica visual, um autoespaço de dimensão maior que \(1\) significaria, na prática, que existe mais de uma direção de atributos igualmente “especial” (mesmo fator de escala) para a transformação em questão.
□ Como o vetor nulo nunca é considerado autovetor por definição, isso implica que um autoespaço \(E_\lambda\) nunca contém o vetor \(\mathbf{0}\).

Teste 4 — Teorema Espectral Real

□ Se duas matrizes simétricas \(A\) e \(B\) compartilhassem exatamente a mesma base ortonormal de autovetores (mesmo \(Q\) na decomposição espectral, com \(\Lambda\) possivelmente diferentes), então \(A\) e \(B\) comutariam, ou seja, \(AB=BA\).
□ O Teorema Espectral Real garante que toda matriz simétrica \(A\in\mathbb{R}^{n\times n}\) tem exatamente \(n\) autovalores distintos entre si.
□ Numa matriz Laplaciana de grafo usada em clustering espectral (sempre simétrica), o Teorema Espectral Real garante autovalores reais e autovetores ortogonais, ainda que esse contexto não tenha nenhuma relação direta com regressão ou projeção.
□ Se uma matriz \(A\) tivesse autovalores reais, mas seus autovetores associados a autovalores distintos não fossem ortogonais entre si, isso seria suficiente para concluir que \(A\) não é simétrica.

Teste 5 — Definitude positiva

□ Se uma matriz simétrica \(A\in\mathbb{R}^{n\times n}\) tiver exatamente um autovalor igual a zero e todos os demais estritamente positivos, então \(A\) é semidefinida positiva, mas não definida positiva.
□ A soma de duas matrizes simétricas definidas positivas de mesma dimensão, \(A+B\), é sempre definida positiva.
□ Num problema de otimização de portfólio financeiro, se a matriz de covariância dos retornos dos ativos não fosse definida positiva (algum autovalor exatamente zero), isso indicaria a existência de uma combinação de ativos com variância nula — um portfólio livre de risco a partir de ativos individualmente arriscados.
□ Como a forma quadrática \(\mathbf{x}^TA\mathbf{x}\) de uma matriz definida positiva nunca é negativa, isso implica que \(\mathbf{x}^TA\mathbf{x}=0\) é impossível para \(A\) definida positiva e \(\mathbf{x}\) não-nulo qualquer.

Teste 6 — Quociente de Rayleigh e número de condição

□ Se \(\mathbf{x}\) for exatamente um autovetor de \(A\) associado ao autovalor \(\lambda_{\max}(A)\), então o quociente de Rayleigh \(\mathbf{x}^TA\mathbf{x}/\mathbf{x}^T\mathbf{x}\) avaliado nesse \(\mathbf{x}\) é exatamente igual a \(\lambda_{\max}(A)\).
□ Se todos os autovalores de uma matriz simétrica definida positiva \(A\) dobrarem de valor (cada \(\lambda_i\to 2\lambda_i\)), o número de condição de \(A\) também dobra.
□ Num sistema de equações normais mal-condicionado por causa de dois atributos redundantes de um dataset (quase perfeitamente correlacionados), remover um dos dois atributos do modelo tende a aumentar o menor autovalor relativo de \(X^TX\) e, com isso, reduzir o número de condição.
□ Como o número de condição de uma matriz simétrica definida positiva é sempre maior ou igual a \(1\), isso implica que qualquer matriz com número de condição exatamente igual a \(1\) tem que ser, necessariamente, a matriz identidade.

Teste 7 — \(X^TX\): simetria e as duas faces desta aula

□ Se duas colunas de uma matriz de design \(X\) fossem exatamente ortogonais entre si (produto interno zero) e tivessem a mesma norma, a submatriz \(2\times 2\) correspondente de \(X^TX\) restrita a essas duas colunas seria um múltiplo escalar da identidade, com número de condição igual a \(1\).
□ Para qualquer matriz retangular \(X\in\mathbb{R}^{N\times d}\) com \(N\ne d\), a própria matriz \(X\) (não \(X^TX\)) sempre tem \(\min(N,d)\) autovalores reais, pela mesma lógica do polinômio característico aplicada a \(X^TX\).
□ Numa matriz de covariância genética (relacionando a expressão de vários genes numa amostra de pacientes), o mesmo raciocínio de autovalor pequeno \(\Rightarrow\) direção quase redundante entre variáveis se aplicaria, ainda que o domínio seja biológico, não imobiliário.
□ Como \(X^TX\) é sempre simétrica semidefinida positiva (independentemente do posto de \(X\)), isso implica que \(X^TX\) é sempre invertível, qualquer que seja \(X\).

Teste 8 — Covariância empírica e a semente de PCA

□ Se a matriz de covariância empírica de dois atributos tiver um dos autovalores muito próximo de zero, isso indica que os dados, nesse par de atributos, estão quase inteiramente concentrados ao longo de uma única direção no plano.
□ Padronizar cada atributo (subtrair a média, dividir pelo desvio-padrão) antes de calcular a covariância nunca muda a direção do autovetor principal, só a magnitude do autovalor associado.
□ Num dataset com atributos em escalas muito diferentes entre si (ex.: idade em anos e renda anual em milhares de reais, como no dataset German Credit), calcular a covariância bruta (sem padronizar) tende a produzir um autovetor principal dominado pelo atributo de maior variância numérica, não necessariamente o mais relevante para o problema.
□ Como a matriz de covariância é sempre semidefinida positiva, isso implica que a soma das variâncias de todos os atributos (o traço da matriz) é sempre igual à soma dos quadrados das covariâncias fora da diagonal.