Soluções — Aula 2: Representações Matriciais, Sistemas Lineares e Independência

Gabarito de exercicios.qmd

Autor

Prof. Marcos Medeiros Raimundo

Aula Exercícios

Teste 1 — A matriz de design

□ Se a matriz de design fosse transposta (linhas = atributos, colunas = observações), o produto que calcula as previsões, \(X\mathbf{w}\), ainda faria sentido dimensional sem qualquer outra mudança na definição de \(\mathbf{w}\in\mathbb{R}^d\).
□ No caso degenerado em que o dataset tem uma única observação (\(N=1\)), a matriz de design \(X\) se reduz a um vetor-linha, e o produto \(X\mathbf{w}\) ainda é bem definido e produz um único número (a previsão daquela observação).
□ Somar a coluna “renda média” com a coluna “número de cômodos” de um dataset produziria um número sem interpretação física direta, ainda que a operação de soma de vetores esteja matematicamente bem definida.
□ Se dois atributos tiverem escalas numéricas muito distintas (ex.: renda em dólares e número de cômodos), isso impede, por si só, que a matriz de design seja usada corretamente num produto matriz-vetor \(X\mathbf{w}\).

(Resposta) Teste 1 — A matriz de design

✗ Falso — Transpor \(X\) muda suas dimensões de \(N\times d\) para \(d\times N\); multiplicar essa matriz transposta por \(\mathbf{w}\in\mathbb{R}^d\) pela direita não é dimensionalmente compatível (\(d\times N\) vezes \(d\times 1\) não fecha) — a convenção linha=observação/coluna=atributo não é arbitrária, é o que torna \(X\mathbf{w}\) bem definido exatamente com \(\mathbf{w}\in\mathbb{R}^d\).
✔ Verdadeiro — Com \(N=1\), \(X\in\mathbb{R}^{1\times d}\) é literalmente o vetor de atributos daquela observação, como linha; \(X\mathbf{w}=\mathbf{x}_1^T\mathbf{w}\) é um escalar bem definido. O caso \(N=1\) não quebra a definição, só a torna trivial.
✔ Verdadeiro — Nada na álgebra linear proíbe somar entradas de unidades diferentes — a soma está bem definida como operação vetorial —, mas o resultado não corresponde a nenhuma grandeza física com significado (dólares + cômodos não é nada). É a distinção entre “operação bem definida” e “resultado interpretável”.
✗ Falso — A definição de \(X\mathbf{w}\) não exige nenhuma relação entre as escalas dos atributos — o produto está matematicamente bem definido independentemente da escala. Diferenças de escala podem afetar o condicionamento numérico do ajuste, mas não impedem a operação de estar definida.

Teste 2 — Definição formal de matriz e produto matricial

□ Se \(A\in\mathbb{R}^{m\times n}\) e \(B\in\mathbb{R}^{n\times k}\) com \(k=1\), o produto \(AB\) se reduz exatamente ao produto matriz-vetor \(A\mathbf{x}\), com \(\mathbf{x}=B\) visto como vetor-coluna.
□ Se a matriz de design \(X\) tivesse mais colunas do que linhas (\(d>N\)), o produto \(X\mathbf{w}\) com \(\mathbf{w}\in\mathbb{R}^d\) ainda estaria bem definido e produziria um vetor de previsões em \(\mathbb{R}^N\).
□ Trocar a ordem do produto matriz-vetor, calculando \(\mathbf{w}^T X^T\) em vez de \(X\mathbf{w}\), produz o mesmo conjunto de valores de previsão, ainda que como um vetor-linha em vez de vetor-coluna.
□ Como o produto \(AB\) só está definido quando o número de colunas de \(A\) é igual ao número de linhas de \(B\), isso significa que \(A\mathbf{x}\) e \(\mathbf{x}^TA\) nunca podem estar ambos definidos para a mesma matriz \(A\) e o mesmo vetor \(\mathbf{x}\).

(Resposta) Teste 2 — Definição formal de matriz e produto matricial

✔ Verdadeiro — O produto matriz-vetor é o caso particular \(k=1\) da fórmula geral de produto de matrizes. Testar esse limite confirma que o produto matriz-vetor não é uma operação à parte, é um caso especial do produto matricial geral.
✔ Verdadeiro — A definição do produto matriz-vetor só exige que o número de colunas de \(X\) (\(d\)) seja igual à dimensão de \(\mathbf{w}\) — não importa a relação entre \(N\) e \(d\). O produto está bem definido mesmo com \(d>N\) (o regime “subdeterminado”), mas a operação em si não quebra.
✔ Verdadeiro — Pela identidade \((AB)^T=B^TA^T\), temos \((X\mathbf{w})^T=\mathbf{w}^TX^T\) — os mesmos \(N\) números, só organizados como linha em vez de coluna. Testa se o aluno reconhece a transposição como preservando os valores, mudando só a forma.
✗ Falso — Se \(A\) for quadrada (\(n\times n\)) e \(\mathbf{x}\in\mathbb{R}^n\), tanto \(A\mathbf{x}\) (\(n\times n\) vezes \(n\times 1\)) quanto \(\mathbf{x}^TA\) (\(1\times n\) vezes \(n\times n\)) estão definidos simultaneamente — a afirmação de que “nunca podem estar ambos definidos” ignora esse caso comum.

Teste 3 — As duas leituras do produto matriz-vetor

□ Se a matriz \(A\) tivesse todas as suas colunas iguais entre si (idênticas), a leitura “por linha” de \(A\mathbf{x}\) deixaria de ser válida, mas a leitura “por coluna” continuaria válida.
□ No caso em que \(\mathbf{x}\) é o vetor da base canônica \(\mathbf{e}_j\) (uma única entrada igual a \(1\), as demais \(0\)), a leitura “por coluna” de \(A\mathbf{x}\) se reduz exatamente à \(j\)-ésima coluna de \(A\), isolada.
□ As duas leituras do produto matriz-vetor descrevem operações matematicamente diferentes, que apenas coincidem por coincidência numérica.
□ Se \(X\) é uma matriz de design e \(\mathbf{w}\) tem exatamente uma entrada não nula (só o peso de um único atributo), a leitura “por coluna” de \(X\mathbf{w}\) implica que o vetor de previsões é simplesmente um múltiplo escalar da coluna daquele atributo em \(X\).

(Resposta) Teste 3 — As duas leituras do produto matriz-vetor

✗ Falso — As duas leituras são identidades algébricas válidas para qualquer matriz \(A\), sem exceção. Colunas repetidas não invalidam a leitura por linha — o produto interno linha a linha continua bem definido independentemente de haver colunas iguais.
✔ Verdadeiro — \(A\mathbf{e}_j=\sum_l e_{jl}\mathbf{a}^{(l)}=\mathbf{a}^{(j)}\) — só o termo \(l=j\) sobrevive, com coeficiente 1. Confirma concretamente que a leitura “por coluna” é, de fato, a combinação linear pesada pelas entradas de \(\mathbf{x}\).
✗ Falso — As duas leituras não são operações diferentes que “coincidem por acaso” — são a mesma soma dupla reagrupada de duas formas (por linha, por coluna). É a mesma identidade algébrica, vista de dois ângulos, não uma coincidência numérica entre operações distintas.
✔ Verdadeiro — Com só um \(w_j\ne0\), a combinação linear \(\sum_j w_j\mathbf{x}^{(j)}\) se reduz a \(w_j\mathbf{x}^{(j)}\) — um múltiplo escalar daquela única coluna. Aplicação direta da leitura por coluna a um caso concreto.

Teste 4 — Regressão Linear Múltipla como sistema linear

Um modelo de Regressão Linear Múltipla, ajustado por \(N\) observações e \(d\) atributos, corresponde ao sistema linear \(X\mathbf{w}=\mathbf{y}\), em que \(X\in\mathbb{R}^{N\times d}\) é a matriz de design e \(\mathbf{y}\in\mathbb{R}^N\) é o vetor-alvo. Diz-se sobredeterminado quando \(N\gg d\) (muito mais observações do que parâmetros).

□ Se, em vez de \(N\gg d\), tivéssemos \(N=d\) exatamente e a matriz \(X\) tivesse posto completo, o sistema \(X\mathbf{w}=\mathbf{y}\) teria, genericamente, exatamente uma solução — nem sobredeterminado nem subdeterminado.
□ No limite em que \(d=1\) (um único atributo), o sistema \(X\mathbf{w}=\mathbf{y}\) sobredeterminado (\(N\gg 1\)) se reduz a encontrar um único escalar \(w\) que melhor “explica” \(N\) pontos \((x_i,y_i)\).
□ Um sistema sobredeterminado de reconhecimento facial, com muito mais pixels medidos (\(N\)) do que parâmetros de um modelo de regressão a estimar (\(d\)), enfrentaria, genericamente, o mesmo problema de “nenhuma solução exata” que um sistema sobredeterminado de preços de imóveis (muito mais bairros do que atributos).
□ Como um sistema sobredeterminado não tem, genericamente, solução exata, isso implica que a Regressão Linear Múltipla é uma técnica inútil nesse regime.

(Resposta) Teste 4 — Regressão Linear Múltipla como sistema linear

✔ Verdadeiro — Com \(N=d\) e posto completo, \(X\) é quadrada e invertível — o sistema tem exatamente uma solução por construção, o caso intermediário exato entre sobredeterminado (\(N>d\)) e subdeterminado (\(N<d\)).
✔ Verdadeiro — Com \(d=1\), \(X\) é um vetor-coluna e \(\mathbf{w}\) um escalar; o sistema sobredeterminado se reduz ao caso mais simples de regressão — ajustar \(y\approx wx\) com um só parâmetro, ainda sobredeterminado se \(N>1\).
✔ Verdadeiro — A conclusão “sobredeterminado genericamente não tem solução exata” é uma propriedade estrutural de \(N\gg d\) equações ruidosas — não depende do domínio da aplicação (preços de imóveis, reconhecimento facial, ou qualquer outro).
✗ Falso — É exatamente o oposto: a ausência de solução exata não é um beco sem saída, é o problema que motiva buscar a melhor solução aproximada (projeção ortogonal, Equações Normais). Regressão Linear Múltipla existe precisamente para lidar com esse regime.

Teste 5 — As três formas de solução de um sistema linear

□ Existe algum sistema sobredeterminado (mais equações que incógnitas) que tenha, mesmo assim, uma solução exata — não é uma impossibilidade lógica, só um evento não genérico.
□ No caso-limite em que \(m=0\) (sistema sem nenhuma equação), qualquer \(\mathbf{x}\in\mathbb{R}^n\) é, trivialmente, uma “solução” — o sistema tem infinitas soluções por vacuidade.
□ O sistema \(x_1+x_2=4\) e \(2x_1+2x_2=8\) (a segunda equação é a primeira multiplicada por \(2\), logo descreve a mesma reta) tem infinitas soluções, e esse conjunto-solução tem uma propriedade que o distingue do caso homogêneo \(x_1+x_2=0\): ele não passa pela origem, já que \(0+0\ne4\).
□ Um sistema linear real que admitisse exatamente duas soluções distintas \(\mathbf{x}_1\ne\mathbf{x}_2\) teria, na verdade, que ter infinitas soluções — incluindo toda combinação \(\lambda\mathbf{x}_1+(1-\lambda)\mathbf{x}_2\).

(Resposta) Teste 5 — As três formas de solução de um sistema linear

✔ Verdadeiro — “Genericamente” não é “sempre” — é possível construir um sistema sobredeterminado em que todas as equações extras sejam exatamente consistentes com a mesma solução (ex.: duplicar uma equação já existente). Raro em dados reais ruidosos, mas não impossível.
✔ Verdadeiro — Sem nenhuma restrição, todo o espaço \(\mathbb{R}^n\) satisfaz vacuamente o sistema — um caso degenerado, mas consistente com “nenhuma, uma, ou infinitas”, já que zero restrições é o extremo de “poucas restrições o bastante para não isolar um único ponto”.
✔ Verdadeiro — A reta \(x_1+x_2=4\) não passa por \((0,0)\), já que \(0+0\ne4\). O conjunto-solução de um sistema não homogêneo com infinitas soluções é uma reta/hiperplano deslocado da origem — diferente do caso homogêneo, cujo conjunto-solução é sempre um subespaço que contém a origem.
✔ Verdadeiro — Por linearidade, \(A(\lambda\mathbf{x}_1+(1-\lambda)\mathbf{x}_2)=\lambda\mathbf{b}+(1-\lambda)\mathbf{b}=\mathbf{b}\) — toda combinação afim de duas soluções também é solução. Se duas soluções distintas existem, essa família inteira (infinita) de combinações também são soluções — é exatamente por isso que “exatamente duas” nunca acontece.

Teste 6 — Sistemas homogêneos vs. não homogêneos

□ Se um sistema homogêneo \(A\mathbf{x}=\mathbf{0}\) tem apenas a solução trivial, então o sistema não homogêneo correspondente \(A\mathbf{x}=\mathbf{b}\), quando tem solução, tem exatamente uma solução (nunca infinitas).
□ No caso em que \(A\) é a matriz nula (\(A=\mathbf{0}\)), o sistema homogêneo \(A\mathbf{x}=\mathbf{0}\) tem \(\mathbb{R}^n\) inteiro como conjunto-solução, e o sistema não homogêneo \(A\mathbf{x}=\mathbf{b}\) com \(\mathbf{b}\ne\mathbf{0}\) não tem solução alguma.
□ O conjunto-solução de um sistema não homogêneo \(A\mathbf{x}=\mathbf{b}\), com \(\mathbf{b}\ne\mathbf{0}\), também é sempre um subespaço vetorial.
□ Se \(\mathbf{x}_1,\mathbf{x}_2\) são duas soluções distintas de \(A\mathbf{x}=\mathbf{b}\) com \(\mathbf{b}\ne\mathbf{0}\), a soma \(\mathbf{x}_1+\mathbf{x}_2\) também é, em geral, solução do mesmo sistema.

(Resposta) Teste 6 — Sistemas homogêneos vs. não homogêneos

✔ Verdadeiro — Se duas soluções distintas \(\mathbf{x}_1,\mathbf{x}_2\) de \(A\mathbf{x}=\mathbf{b}\) existissem, \(\mathbf{x}_1-\mathbf{x}_2\) seria solução não trivial de \(A\mathbf{x}=\mathbf{0}\) (por linearidade) — contradizendo a suposição de que só a trivial existe. Logo, unicidade do homogêneo implica unicidade do não homogêneo (quando solúvel).
✔ Verdadeiro — Com \(A=\mathbf{0}\), \(A\mathbf{x}=\mathbf{0}\) para qualquer \(\mathbf{x}\) (o subespaço-solução é tudo); mas \(A\mathbf{x}=\mathbf{0}\ne\mathbf{b}\) para qualquer \(\mathbf{x}\) e qualquer \(\mathbf{b}\ne\mathbf{0}\) — nenhuma solução. O caso mais extremo de “solução homogênea máxima, solução não homogênea vazia”.
✗ Falso — Todo subespaço contém a origem, mas \(\mathbf{x}=\mathbf{0}\) nunca satisfaz \(A\mathbf{x}=\mathbf{b}\) quando \(\mathbf{b}\ne\mathbf{0}\) (já que \(A\cdot\mathbf{0}=\mathbf{0}\ne\mathbf{b}\)). O conjunto-solução não homogêneo, quando existe e não é único, não pode ser um subespaço.
✗ Falso — \(A(\mathbf{x}_1+\mathbf{x}_2)=A\mathbf{x}_1+A\mathbf{x}_2=\mathbf{b}+\mathbf{b}=2\mathbf{b}\ne\mathbf{b}\) (a menos que \(\mathbf{b}=\mathbf{0}\)). O conjunto-solução não homogêneo não é fechado sob soma — a segunda propriedade de subespaço que falha, além de não conter a origem (item c).

Teste 7 — Combinações lineares e independência

□ Se um conjunto de vetores \(\{\mathbf{x}_1,\dots,\mathbf{x}_k\}\) é linearmente dependente, então necessariamente pelo menos um deles pode ser escrito como combinação linear dos demais.
□ Um conjunto formado por um único vetor não nulo, \(\{\mathbf{x}_1\}\) com \(\mathbf{x}_1\ne\mathbf{0}\), é sempre linearmente independente.
□ Se um dos atributos da matriz de design fosse literalmente o vetor nulo (uma coluna de zeros, ex.: um atributo binário que nunca é ativado em nenhuma amostra do dataset), essa coluna, junto com qualquer outra coluna não nula, formaria um conjunto linearmente dependente.
□ Como um conjunto de vetores linearmente independentes “não tem redundância”, isso significa que todo subconjunto de um conjunto linearmente dependente também deve ser linearmente dependente.

(Resposta) Teste 7 — Combinações lineares e independência

✔ Verdadeiro — Se existe combinação não trivial \(\sum\lambda_i\mathbf{x}_i=\mathbf{0}\) com algum \(\lambda_j\ne0\), isolando o termo \(j\): \(\mathbf{x}_j=-\frac{1}{\lambda_j}\sum_{i\ne j}\lambda_i\mathbf{x}_i\) — sempre é possível isolar um vetor com coeficiente não nulo e escrevê-lo em função dos outros.
✔ Verdadeiro — A única forma de \(\lambda_1\mathbf{x}_1=\mathbf{0}\) com \(\mathbf{x}_1\ne\mathbf{0}\) é \(\lambda_1=0\) — não há outros vetores para combinar, então é independente por definição, mesmo no caso degenerado de um único elemento.
✔ Verdadeiro — O vetor nulo, sozinho, já admite combinação não trivial que dá zero (\(\lambda\cdot\mathbf{0}=\mathbf{0}\) para qualquer \(\lambda\ne0\)) — qualquer conjunto que inclua o vetor nulo é automaticamente dependente, não importa quais outros vetores o acompanham.
✗ Falso — Um conjunto dependente pode conter subconjuntos independentes — ex.: \(\{\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_1+\mathbf{v}_2\}\) é dependente, mas o subconjunto \(\{\mathbf{v}_1,\mathbf{v}_2\}\) pode ser perfeitamente independente. “Ter redundância” descreve o conjunto todo, não implica que toda parte dele também seja redundante.

Teste 8 — Vetores em excesso e dependência forçada

Considere os vetores \(\mathbf{v}_1=(2,1)\), \(\mathbf{v}_2=(1,3)\) e \(\mathbf{v}_3=(4,9)\) em \(\mathbb{R}^2\), para os quais vale \(\mathbf{v}_3=0{,}6\,\mathbf{v}_1+2{,}8\,\mathbf{v}_2\) — uma combinação não trivial de \(\mathbf{v}_1,\mathbf{v}_2\) que reconstrói \(\mathbf{v}_3\) exatamente, logo os três vetores são linearmente dependentes.

□ Se \(\mathbf{v}_3\) tivesse sido escolhido de forma completamente aleatória (em vez do valor específico \((4,9)\) usado acima), o resultado — dependência linear entre os três vetores — ainda seria garantido.
□ \(d+1\) vetores quaisquer em \(\mathbb{R}^d\) são sempre linearmente dependentes.
□ É possível encontrar 5 vetores linearmente independentes em \(\mathbb{R}^3\).
□ Como o número máximo de vetores linearmente independentes em \(\mathbb{R}^d\) é \(d\), isso implica que qualquer conjunto de exatamente \(d\) vetores em \(\mathbb{R}^d\) é automaticamente linearmente independente.

(Resposta) Teste 8 — Vetores em excesso e dependência forçada

✔ Verdadeiro — O argumento (mais vetores que dimensões força dependência) vale para qualquer terceiro vetor em \(\mathbb{R}^2\), não só para o valor numérico específico usado — não é coincidência da escolha de \(\mathbf{v}_3\): em \(\mathbb{R}^2\) só há duas direções independentes possíveis.
✔ Verdadeiro — É a generalização direta do exemplo dos 3 vetores em \(\mathbb{R}^2\) para dimensão arbitrária \(d\): mais vetores do que dimensões disponíveis força dependência, sempre.
✗ Falso — O número máximo de vetores linearmente independentes em \(\mathbb{R}^3\) é 3 — a mesma lógica do item anterior, aplicada ao caso \(d=3\): 5 vetores (mais que \(d+1=4\)) forçam dependência com ainda mais folga.
✗ Falso — \(d\) ser o número máximo possível não garante que um conjunto específico de \(d\) vetores atinja esse máximo — é fácil construir \(d\) vetores dependentes em \(\mathbb{R}^d\) (ex.: repetir um vetor). “No máximo \(d\)” é um teto, não uma garantia para qualquer escolha de exatamente \(d\) vetores.

Teste 9 — Multicolinearidade em atributos de um dataset

Duas colunas de um dataset são ditas exatamente multicolineares quando uma é múltiplo escalar exato da outra — por exemplo, a mesma grandeza física medida em duas unidades diferentes, como “área em m²” e “área em pés²” (relacionadas por um fator de conversão fixo, \(1\text{m}^2\approx10{,}76\text{ pés}^2\)).

□ Se, em vez de “área em m²” e “área em pés²”, tivéssemos “área em m²” e “área em m² mais um ruído de medição aleatório e independente”, essas duas colunas formariam um par exatamente multicolinear (dependência linear exata).
□ No caso em que duas colunas de atributos são idênticas (não só proporcionais, mas exatamente iguais, ex.: o mesmo atributo duplicado por erro de importação de dados), elas são um caso particular de multicolinearidade exata, com fator de proporcionalidade igual a \(1\).
□ Duas colunas de um dataset financeiro, “salário anual” e “salário mensal” (uma sendo exatamente 12 vezes a outra, sem nenhuma variação adicional), formariam um par de colunas multicolineares exatas, pela mesma lógica do exemplo de área em m²/pés².
□ Como medir o mesmo atributo em duas unidades diferentes tipicamente produz colunas multicolineares exatas, isso significa que toda dupla de atributos fisicamente relacionados entre si (não necessariamente a mesma grandeza em unidades diferentes) também deve ser exatamente multicolinear.

(Resposta) Teste 9 — Multicolinearidade em atributos de um dataset

✗ Falso — Adicionar ruído independente rompe a relação linear exata entre as colunas — elas continuam fortemente correlacionadas (quase-multicolineares), mas não mais exatamente proporcionais. Qualquer ruído genuíno já torna a relação apenas aproximada, não uma dependência linear exata.
✔ Verdadeiro — Colunas idênticas satisfazem \(\mathbf{a}^{(j)}=1\cdot\mathbf{a}^{(i)}\), uma combinação linear (trivialmente) exata — o caso mais simples e mais comum de multicolinearidade exata na prática (erro de duplicação de coluna).
✔ Verdadeiro — É a mesma estrutura — duas colunas relacionadas por um fator de conversão fixo e exato (12, em vez de \(\approx10{,}76\) de m² para pés²) são linearmente dependentes por definição, independentemente do domínio.
✗ Falso — Relação física (ex.: número de cômodos e número de quartos de um imóvel) não é o mesmo que ser a mesma grandeza medida duas vezes. Atributos fisicamente relacionados podem ser fortemente correlacionados, mas não exatamente multicolineares (posto continua completo) — ver o bloco de quase-multicolinearidade abaixo.

Teste 10 — Posto de uma matriz

□ Se uma matriz \(A\in\mathbb{R}^{m\times n}\) tivesse todas as suas \(n\) colunas idênticas entre si (e \(n>1\)), seu posto seria exatamente \(1\), independentemente de \(m\) e \(n\).
□ O posto de uma matriz \(A\in\mathbb{R}^{m\times n}\) nunca pode ser maior que \(\min(m,n)\).
□ Uma matriz de design \(X\in\mathbb{R}^{N\times d}\) com \(N\gg d\) (o regime típico de aprendizado supervisionado com muitas observações e poucos atributos) tem, no melhor caso (posto completo), \(\text{rk}(X)=d\) — nunca \(N\), mesmo com \(N\) muito maior que \(d\).
□ Uma matriz é dita deficiente em posto quando seu posto é maior do que \(\min(m,n)\).

(Resposta) Teste 10 — Posto de uma matriz

✔ Verdadeiro — Colunas idênticas são todas múltiplas umas das outras — o número de colunas linearmente independentes entre elas é exatamente 1 (qualquer uma sozinha “gera” todas as outras). O posto é 1, não importa quantas colunas repetidas existam.
✔ Verdadeiro — É o teto estrutural implícito na própria definição de “posto completo” (\(\text{rk}(A)=\min(m,n)\) sendo o maior posto possível) — não há como ter mais colunas (ou linhas) independentes do que o menor dos dois números disponíveis.
✔ Verdadeiro — Com \(N\gg d\), \(\min(N,d)=d\), então o teto de posto completo é \(d\), não \(N\) — ter muito mais observações do que atributos não aumenta o número máximo de colunas independentes possíveis, limitado pelo menor dos dois (número de atributos).
✗ Falso — É logicamente impossível ter posto maior que \(\min(m,n)\) (item b) — deficiente em posto significa posto menor que \(\min(m,n)\), não maior. O item testa se o aluno confunde a direção da desigualdade que define deficiência.

Teste 11 — Posto e solvabilidade de sistemas lineares

□ Se \(\text{rk}(A)\ne\text{rk}([A|\mathbf{b}])\) para um sistema específico, isso implica necessariamente que \(\text{rk}([A|\mathbf{b}]) = \text{rk}(A)+1\), nunca uma diferença maior.
□ No caso em que \(\mathbf{b}=\mathbf{0}\) (sistema homogêneo), \(\text{rk}([A|\mathbf{0}]) = \text{rk}(A)\) sempre, e portanto o critério de solvabilidade é automaticamente satisfeito.
□ Um sistema \(A\mathbf{x}=\mathbf{b}\) em que \(A\) tem posto deficiente, mas \(\mathbf{b}\) está fora do espaço gerado pelas colunas de \(A\), não tem solução, mesmo que \(A\) tenha, tecnicamente, “várias direções redundantes” disponíveis.
□ Como posto deficiente pode indicar multicolinearidade exata, toda vez que um sistema \(A\mathbf{x}=\mathbf{b}\) não tem solução, a causa deve ser posto deficiente de \(A\).

(Resposta) Teste 11 — Posto e solvabilidade de sistemas lineares

✔ Verdadeiro — Acrescentar uma única coluna (\(\mathbf{b}\)) a uma matriz pode aumentar o posto em, no máximo, 1 — uma coluna nova contribui com, no máximo, uma nova direção independente. Se os postos diferem, a diferença só pode ser exatamente 1.
✔ Verdadeiro — Acrescentar uma coluna de zeros nunca aumenta o posto (a coluna nula é combinação linear trivial de qualquer conjunto de colunas) — por isso o sistema homogêneo sempre tem solução (ao menos a trivial), agora visto pela lente do critério de posto.
✔ Verdadeiro — Posto deficiente por si só não garante solubilidade — o critério exige que \(\mathbf{b}\) seja alcançável como combinação das colunas de \(A\). Ter colunas redundantes não ajuda se \(\mathbf{b}\) simplesmente não está no espaço gerado por elas.
✗ Falso — Um sistema pode não ter solução mesmo com \(A\) de posto completo — é o caso sobredeterminado típico de aprendizado supervisionado (\(N\gg d\), posto completo igual a \(d\), mas \(\mathbf{y}\) genericamente fora do espaço gerado pelas colunas). Posto deficiente é uma causa possível, não a única nem a mais comum nesse regime.

Teste 12 — Multicolinearidade exata vs. quase-multicolinearidade

No California Housing Dataset (ver convenções acima), os atributos AveRooms e AveBedrms têm correlação empírica \(0{,}865\) e a matriz de design formada pelos 4 atributos usuais tem posto completo igual a \(4\).

□ Se a correlação entre AveRooms e AveBedrms fosse exatamente \(1{,}0\) (em vez de \(0{,}865\)), o posto da matriz de design cairia de \(4\) para \(3\).
□ No limite em que a correlação entre dois atributos tende a \(1\) mas nunca a alcança exatamente (ex.: \(0{,}999999\)), o posto da matriz permanece tecnicamente completo, mas o sistema fica numericamente cada vez mais instável.
□ Quase-multicolinearidade pode causar instabilidade numérica no ajuste de um modelo, mesmo sem reduzir tecnicamente o posto da matriz.
□ Dois atributos de um dataset médico, “peso em kg” e “índice de massa corporal (IMC)”, fortemente correlacionados mas não exatamente proporcionais (o IMC depende também da altura), ilustrariam o mesmo tipo de quase-multicolinearidade discutido para AveRooms/AveBedrms, não uma multicolinearidade exata.

(Resposta) Teste 12 — Multicolinearidade exata vs. quase-multicolinearidade

✔ Verdadeiro — Correlação exatamente \(1\) entre duas colunas significa que uma é combinação linear exata da outra — dependência linear exata, reduzindo o posto em 1 (de 4 colunas independentes para 3).
✔ Verdadeiro — Por mais próxima de 1 que a correlação esteja, sem ser exatamente 1 as colunas permanecem, tecnicamente, linearmente independentes (posto completo) — mas a instabilidade numérica cresce sem limite conforme a correlação se aproxima do caso exato.
✔ Verdadeiro — Posto completo (tecnicamente correto) não é o mesmo que “bem-condicionado na prática” — os dois conceitos, posto e estabilidade numérica, medem coisas diferentes e podem divergir.
✔ Verdadeiro — Peso e IMC estão relacionados (IMC = peso/altura²) mas não são proporcionais um ao outro sem envolver uma terceira variável (altura) — a mesma categoria de “correlacionados, não exatamente dependentes” do exemplo AveRooms/AveBedrms.