Soluções — Aula 1: Espaços Vetoriais, Normas e Métricas

Gabarito de exercicios.qmd

Autor

Prof. Marcos Medeiros Raimundo

Aula Exercícios

Teste 1 — Vetores de características e suas operações

□ Considere um vetor de atualização em otimização \(\Delta\mathbf{w}=-\eta\nabla L(\mathbf w)\), onde \(\eta>0\) é a taxa de aprendizado e \(\nabla L(\mathbf w)\) é o vetor gradiente da função de perda. Se, por um erro de implementação, o sinal de \(\eta\) fosse trocado para negativo, o vetor de atualização passaria a apontar exatamente na mesma direção de \(\nabla L(\mathbf w)\).
□ Multiplicar um vetor de características \(\mathbf x\in\mathbb R^d\) por um escalar \(\alpha=0\) produz o vetor nulo, que deixa de estar associado a qualquer direção específica no espaço de características — a operação de escalonamento, portanto, deixa de estar definida nesse caso extremo.
□ Em um sistema de recomendação, o vetor de perfil de um usuário é atualizado a cada clique somando um vetor de “interesse” ao perfil atual, \(\mathbf p_{t+1}=\mathbf p_t+\mathbf c_t\). Essa soma acumula sinais ao longo do tempo exatamente da mesma forma que a soma \(\mathbf u+\mathbf v\) de dois vetores de características, mesmo que \(\mathbf p_t\) e \(\mathbf c_t\) vivam em um espaço de embeddings de alta dimensão em vez de \(\mathbb R^2\).
□ Como a soma de vetores segue a regra do paralelogramo e produz um vetor “maior” que cada parcela, é sempre verdade que \(\|\mathbf u+\mathbf v\|_2>\|\mathbf u\|_2\) e \(\|\mathbf u+\mathbf v\|_2>\|\mathbf v\|_2\), para quaisquer vetores não nulos \(\mathbf u,\mathbf v\in\mathbb R^d\).

(Resposta) Teste 1 — Vetores de características e suas operações

✔ Verdadeiro — Com \(\eta>0\), \(\Delta\mathbf w=-\eta\nabla L(\mathbf w)\) é o gradiente multiplicado pelo escalar negativo \(-\eta\), apontando em sentido oposto ao gradiente (direção de descida). Se \(\eta\) passa a ser negativo, \(-\eta\) passa a ser positivo, e \(\Delta\mathbf w=(-\eta)\nabla L(\mathbf w)\) é agora o gradiente multiplicado por um escalar positivo — mesma direção e sentido de \(\nabla L(\mathbf w)\). Dois “sinais trocados” (o de \(\eta\) e o já presente no \(-\) da fórmula) se cancelam.
✗ Falso — A operação \(\alpha\mathbf x\) está definida para todo \(\alpha\in\mathbb R\), incluindo \(\alpha=0\): o resultado é simplesmente o vetor nulo \(\mathbf 0\in\mathbb R^d\), um vetor válido. O erro do item é confundir “o vetor resultante perder uma direção geometricamente identificável” (verdade sobre o vetor nulo) com “a operação de multiplicação por escalar deixar de estar definida” (falso — ela está definida em todo \(\mathbb R^d\times\mathbb R\), sem exceção).
✔ Verdadeiro — A soma vetorial é definida componente a componente e não depende da dimensão do espaço nem da interpretação semântica das coordenadas — a mesma operação e a mesma leitura (“acúmulo/composição de sinais”) vista para \(\mathbf u+\mathbf v\in\mathbb R^2\) se aplica identicamente a vetores de perfil/interesse em \(\mathbb R^{768}\) ou qualquer outra dimensão.
✗ Falso — A regra do paralelogramo descreve a construção geométrica da soma, não garante que o resultado seja sempre “maior”. Contraexemplo: \(\mathbf u=[1,0]^T\), \(\mathbf v=[-0{,}9,0]^T\) (quase opostos). \(\|\mathbf u\|_2=1\), \(\|\mathbf v\|_2=0{,}9\), mas \(\mathbf u+\mathbf v=[0{,}1,0]^T\) com \(\|\mathbf u+\mathbf v\|_2=0{,}1\), menor que ambas as parcelas. Vetores que se cancelam parcialmente produzem uma soma de norma menor — a desigualdade triangular garante um limite superior (\(\|\mathbf u+\mathbf v\|_2\le\|\mathbf u\|_2+\|\mathbf v\|_2\)), nunca um limite inferior como o afirmado.

Teste 2 — Aprendizado supervisionado, a Hipótese de Suavidade e o \(k\)-NN

□ Se o hiperparâmetro \(k\) do \(k\)-NN for definido como \(k=N\) (igual ao número total de amostras de \(\mathcal D\)), a predição \(\hat y_{\text{novo}}\) para regressão (média dos \(k\) vizinhos) deixa de depender da posição da consulta \(\mathbf x_{\text{novo}}\), tornando-se constante para qualquer consulta.
□ Suponha que a Hipótese de Suavidade fosse completamente falsa para um determinado problema — isto é, pontos muito próximos em \(\mathbb R^d\) tivessem rótulos tão distintos entre si quanto pontos distantes. Nesse cenário, aumentar \(k\) (considerar mais vizinhos na votação/média) resolveria o problema, pois a agregação por votação/média sempre corrige rótulos ruidosos.
□ No \(k\)-NN, a fase de “treino” consiste apenas em armazenar o conjunto \(\mathcal D\), sem nenhuma otimização de parâmetros. Esse mesmo padrão — toda a “aprendizagem” reduzida a memorizar os dados, sem fase de ajuste de parâmetros — também descreve corretamente um classificador de regressão logística.
□ Como o \(k\)-NN é chamado de método “não paramétrico”, isso significa que ele não possui nenhum hiperparâmetro a ser escolhido, sendo aplicado sempre da mesma forma independentemente do conjunto de dados.

(Resposta) Teste 2 — Aprendizado supervisionado, a Hipótese de Suavidade e o \(k\)-NN

✔ Verdadeiro — Com \(k=N\), o conjunto \(\mathcal N_k(\mathbf x_{\text{novo}})\) sempre contém todas as amostras de \(\mathcal D\), independentemente de quais estejam de fato mais próximas de \(\mathbf x_{\text{novo}}\). A média \(\hat y_{\text{novo}}=\frac1k\sum_{i\in\mathcal N_k}y_i\) se reduz então à média global dos rótulos de treino, um valor fixo que não muda com \(\mathbf x_{\text{novo}}\) — o algoritmo degenera em um previsor constante.
✗ Falso — Votação/média por vizinhança só ajuda quando o ruído é um desvio em torno de um sinal local real — ou seja, quando a proximidade geométrica ainda carrega alguma informação sobre o rótulo. Se a Hipótese de Suavidade falha por completo, a proximidade no espaço de características não carrega nenhuma informação sobre o rótulo, e agregar mais vizinhos (aumentar \(k\)) apenas mistura ruído com ruído — não há sinal local a ser “corrigido” ou destacado. O problema é estrutural (falta de suavidade), não estatístico (excesso de ruído em torno de um sinal presente).
✗ Falso — A regressão logística é um método paramétrico: seu treino consiste em otimizar um vetor de pesos \(\mathbf w\) (tipicamente via gradiente descendente, minimizando uma função de perda), não em armazenar os dados de treino para consultá-los depois. Ao contrário do \(k\)-NN, uma vez treinada, a regressão logística pode classificar novos pontos usando só \(\mathbf w\), sem acesso a \(\mathcal D\). Confundir os dois é atribuir a propriedade “não paramétrico” (própria do \(k\)-NN) a um modelo estruturalmente diferente.
✗ Falso — “Não paramétrico” se refere a não assumir uma forma funcional fixa e de tamanho fixo para \(f\) — a complexidade efetiva do modelo cresce com o tamanho de \(\mathcal D\), em vez de ficar presa a um número fixo de parâmetros como \(\mathbf w\). Isso não é o mesmo que “sem hiperparâmetros”: o próprio \(k\) é um hiperparâmetro (a ser escolhido, por exemplo, por validação), assim como a métrica de distância usada para medir proximidade.

Teste 3 — Subespaços vetoriais e o teste de fechamento

□ O subconjunto \(U=\{\mathbf 0\}\), contendo apenas o vetor nulo de \(\mathbb R^d\), satisfaz as três condições de fechamento (conter a origem, ser fechado sob soma, ser fechado sob multiplicação por escalar) e portanto é, tecnicamente, um subespaço vetorial válido, ainda que trivial.
□ Considere o conjunto-solução de um sistema não homogêneo \(A\mathbf x=\mathbf b\) com \(\mathbf b\ne\mathbf 0\) fixo e solúvel, isto é, \(U=\{\mathbf x\in\mathbb R^n : A\mathbf x=\mathbf b\}\). Esse conjunto deixa de conter a origem (pois \(A\mathbf 0=\mathbf 0\ne\mathbf b\)), mas ainda assim permanece fechado sob soma: dados \(\mathbf x_1,\mathbf x_2\in U\), a soma \(\mathbf x_1+\mathbf x_2\) também satisfaz \(A(\mathbf x_1+\mathbf x_2)=\mathbf b\).
□ Considere o conjunto de todos os vetores de pesos \(\mathbf w\in\mathbb R^d\) de um classificador linear tais que o hiperplano de decisão \(\mathbf w^T\mathbf x=0\) passe exatamente por um ponto fixo \(\mathbf x_0\in\mathbb R^d\), \(\mathbf x_0\ne\mathbf 0\) — ou seja, \(U=\{\mathbf w\in\mathbb R^d : \mathbf w^T\mathbf x_0=0\}\). Esse conjunto \(U\) é um subespaço vetorial de \(\mathbb R^d\).
□ Como subespaços vetoriais devem ser “fechados” segundo as três condições acima, e o conjunto de vetores de características associados a exemplos de uma única classe \(y=1\), em um problema de classificação binária, corresponde a uma região geometricamente “fechada” (limitada) do espaço, esse conjunto é necessariamente um subespaço vetorial de \(\mathbb R^d\).

(Resposta) Teste 3 — Subespaços vetoriais e o teste de fechamento

✔ Verdadeiro — \(\mathbf 0\in U\) (a própria origem); \(\mathbf 0+\mathbf 0=\mathbf 0\in U\) (fechado sob soma); e \(\lambda\mathbf 0=\mathbf 0\in U\) para qualquer \(\lambda\in\mathbb R\) (fechado sob escalar). As três condições do teste de fechamento são satisfeitas trivialmente — \(\{\mathbf 0\}\) é o subespaço trivial (de dimensão \(0\)), um caso-limite legítimo, não uma exceção à definição.
✗ Falso — A primeira parte (não conter a origem) está correta. Mas a soma também falha: se \(\mathbf x_1,\mathbf x_2\in U\), então \(A(\mathbf x_1+\mathbf x_2)=A\mathbf x_1+A\mathbf x_2=\mathbf b+\mathbf b=2\mathbf b\), que é diferente de \(\mathbf b\) sempre que \(\mathbf b\ne\mathbf 0\) — logo \(\mathbf x_1+\mathbf x_2\notin U\) em geral. Um sistema não homogêneo com solução falha duas das três condições de fechamento (origem e soma), não apenas a primeira; a falha na origem já é sintoma de uma falha estrutural mais ampla, não um problema isolado.
✔ Verdadeiro — \(U\) é exatamente o conjunto de vetores ortogonais ao vetor fixo \(\mathbf x_0\). Verificando o teste de fechamento: \(\mathbf 0^T\mathbf x_0=0\), logo \(\mathbf 0\in U\); se \(\mathbf w_1^T\mathbf x_0=0\) e \(\mathbf w_2^T\mathbf x_0=0\), então \((\mathbf w_1+\mathbf w_2)^T\mathbf x_0=\mathbf w_1^T\mathbf x_0+\mathbf w_2^T\mathbf x_0=0\) (fechado sob soma); e \((\lambda\mathbf w_1)^T\mathbf x_0=\lambda(\mathbf w_1^T\mathbf x_0)=0\) (fechado sob escalar). É uma equação homogênea em \(\mathbf w\) (o análogo de \(A\mathbf x=\mathbf 0\) desta aula, com \(A=\mathbf x_0^T\)), por isso passa no teste — diferente do item (b), que era não homogêneo.
✗ Falso — O item explora uma ambiguidade de linguagem: “fechado” no sentido topológico (uma região limitada/compacta do espaço) não tem relação com “fechado” no sentido algébrico do teste de subespaço (fechado sob soma e escalar). Um aglomerado de pontos de uma classe é tipicamente limitado (não se estende ao infinito), mas a soma de dois pontos do aglomerado geralmente cai fora dele, e multiplicar um ponto do aglomerado por um escalar grande o leva para longe da região original — nenhuma das duas operações preserva pertencimento ao aglomerado. Os dois sentidos de “fechado” são conceitos distintos, não sinônimos.

Teste 4 — A Hipótese da Variedade (manifold) e sua relação com subespaços

□ Considere dados que vivem exatamente sobre a superfície de uma esfera em \(\mathbb R^3\) (uma variedade curva). Se, hipoteticamente, essa esfera tivesse raio tendendo a infinito (curvatura tendendo a zero), a região da variedade visitada por um conjunto finito de dados se tornaria aproximadamente um subespaço afim (o plano tangente local).
□ Como a Hipótese da Variedade afirma que dados de alta dimensão se concentram perto de uma variedade de dimensão intrínseca menor, isso implica que essa variedade é sempre um subespaço vetorial de dimensão reduzida, apenas embutido (mergulhado) em um espaço maior.
□ Um autoencoder é treinado para comprimir imagens de dígitos manuscritos (como o MNIST, originalmente vetores em \(\mathbb R^{784}\) para imagens \(28\times28\)) em um vetor latente de dimensão \(2\), com reconstrução precisa a partir desse vetor latente. Isso é coerente com a Hipótese da Variedade: os dígitos manuscritos residem próximos a uma variedade de dimensão intrínseca muito menor do que \(784\).
□ Suponha que uma variedade de dados seja perfeitamente plana (sem curvatura), mas não passe pela origem de \(\mathbb R^d\) — ou seja, seja um subespaço afim deslocado. Nesse caso, a soma de dois pontos quaisquer dessa variedade ainda permanece sobre a própria variedade, pois “ser plana” já garante, por si só, o fechamento sob adição exigido de um subespaço vetorial.

(Resposta) Teste 4 — A Hipótese da Variedade (manifold) e sua relação com subespaços

✔ Verdadeiro — A curvatura de uma esfera de raio \(r\) é proporcional a \(1/r\); quando \(r\to\infty\), a curvatura tende a zero e, localmente, a superfície esférica se aproxima cada vez mais do seu plano tangente — exatamente a propriedade “localmente plana, globalmente curva” das variedades descrita nesta aula, levada ao limite em que a curvatura global desaparece. Um conjunto finito de dados, confinado a uma região limitada dessa esfera de raio imenso, não teria curvatura perceptível, e a soma de dois de seus pontos ficaria aproximadamente dentro do plano tangente.
✗ Falso — A Hipótese da Variedade garante apenas que a dimensão intrínseca é menor que a dimensão ambiente — nada garante que a variedade seja plana (linear). O Swiss Roll desta aula é o contraexemplo direto: tem dimensão intrínseca \(2\) embutida em \(\mathbb R^3\), mas é uma superfície curva, não um subespaço vetorial (a soma de dois de seus pontos cai fora da superfície). Confundir “dimensão intrínseca menor” com “subespaço vetorial” ignora a distinção entre dimensão e curvatura, que é precisamente o ponto central desta seção da aula.
✔ Verdadeiro — Se uma compressão para apenas \(2\) dimensões latentes permite reconstrução precisa, isso é evidência direta de que a informação relevante das imagens (que formalmente vivem em \(\mathbb R^{784}\)) está concentrada perto de uma variedade de dimensão intrínseca muito menor — exatamente o que a Hipótese da Variedade prevê. O autoencoder, ao aprender esse mapeamento nãolinear para o espaço latente, é um exemplo concreto do “desamassamento” descrito nesta aula.
✗ Falso — Planicidade (ausência de curvatura) não é suficiente para o fechamento sob adição — é preciso também passar pela origem, como o próprio teste de fechamento desta aula exige explicitamente (“Origem: o vetor nulo deve estar no subconjunto”). Um subespaço afim \(\{\mathbf x_0+\mathbf v : \mathbf v\in V\}\) com \(\mathbf x_0\notin V\) é plano, mas a soma de dois de seus pontos, \((\mathbf x_0+\mathbf v_1)+(\mathbf x_0+\mathbf v_2)=2\mathbf x_0+(\mathbf v_1+\mathbf v_2)\), geralmente não pertence ao próprio conjunto (o termo deveria ser \(\mathbf x_0\), não \(2\mathbf x_0\)). É exatamente por isso que o código desta aula centraliza os dados do Swiss Roll na origem antes de discutir subespaços — planicidade sozinha não basta.

Teste 5 — Normas: \(L_1\), \(L_2\) e \(L_\infty\)

□ Para um vetor \(\mathbf x=[3,4]^T\in\mathbb R^2\), se generalizarmos para normas \(L_p\), \(\|\mathbf x\|_p=\left(\sum_i|x_i|^p\right)^{1/p}\), o valor \(\|\mathbf x\|_p\) converge para \(\max_i|x_i|=4\) à medida que \(p\to\infty\) — exatamente a definição de \(\|\mathbf x\|_\infty\) dada nesta aula.
□ As três propriedades que definem uma norma (homogeneidade absoluta, desigualdade triangular, positividade definida) foram enunciadas conjuntamente. Se uma função \(f:\mathbb R^d\to\mathbb R\) satisfizesse a desigualdade triangular e a positividade definida, mas violasse a homogeneidade absoluta (por exemplo, \(f(\lambda x)=\lambda^2\|x\|_2\) em vez de \(|\lambda|\|x\|_2\)), essa função ainda poderia ser chamada de norma, já que as duas propriedades restantes já garantem que ela mede corretamente o “tamanho” de um vetor.
□ Em regularização de modelos lineares (ex.: Lasso), a penalidade aplicada ao vetor de pesos \(\mathbf w\in\mathbb R^d\) é \(\|\mathbf w\|_1=\sum_{i=1}^d|w_i|\). Substituir essa penalidade por \(\|\mathbf w\|_\infty=\max_i|w_i|\) ainda produziria uma função de penalidade válida do ponto de vista da definição formal de norma, já que \(\|\cdot\|_\infty\) também satisfaz as três propriedades exigidas.
□ Como as normas \(L_1\) e \(L_2\) induzem bolas unitárias de formatos geometricamente diferentes (losango vs. círculo), um vetor \(\mathbf x\) com \(\|\mathbf x\|_1<\|\mathbf y\|_1\) necessariamente também satisfaz \(\|\mathbf x\|_2<\|\mathbf y\|_2\), para quaisquer \(\mathbf x,\mathbf y\in\mathbb R^d\), já que ambas as normas medem o mesmo conceito subjacente de “tamanho”.

(Resposta) Teste 5 — Normas: \(L_1\), \(L_2\) e \(L_\infty\)

✔ Verdadeiro — Para \(\mathbf x=[3,4]^T\), \(\|\mathbf x\|_p=(3^p+4^p)^{1/p}=4\left(1+(3/4)^p\right)^{1/p}\). Como \(3/4<1\), o termo \((3/4)^p\to0\) quando \(p\to\infty\), e a expressão tende a \(4\cdot1^{1/p}\cdot(\dots)\to4=\max(3,4)\). Esse é o motivo pelo qual a norma \(L_\infty\) definida nesta aula como \(\max_i|x_i|\) é chamada, mais formalmente, de “norma \(L_p\) com \(p=\infty\)”: ela é o caso-limite da família \(L_p\).
✗ Falso — A definição formal de norma exige as três propriedades simultaneamente, sem exceção — nenhuma dupla delas é suficiente. A função \(f(x)=\lambda^2\|x\|_2\) do exemplo, além disso, nem sequer respeitaria homogeneidade absoluta corretamente (o lado direito deveria escalar com \(|\lambda|\), não \(\lambda^2\), e \(\lambda^2\) é sempre não-negativo, o que já quebraria a proporcionalidade exigida para \(\lambda<0\)). Uma função que viola qualquer um dos três axiomas simplesmente não é uma norma, por definição — não existe uma versão “parcial” de norma.
✔ Verdadeiro — \(\|\cdot\|_\infty\) satisfaz homogeneidade absoluta (\(\max_i|\lambda w_i|=|\lambda|\max_i|w_i|\)), desigualdade triangular e positividade definida (é uma das três normas formalmente apresentadas nesta aula), logo é uma norma válida e poderia, em princípio, servir como penalidade — o efeito prático de regularização seria diferente do Lasso (\(L_1\), que induz esparsidade), mas a validade formal como norma não está em questão.
✗ Falso — Normas diferentes não preservam necessariamente a mesma ordenação entre vetores. Contraexemplo: \(\mathbf x=[3,0]^T\), \(\mathbf y=[2,2]^T\). \(\|\mathbf x\|_1=3<\|\mathbf y\|_1=4\), mas \(\|\mathbf x\|_2=3>\|\mathbf y\|_2=2\sqrt2\approx2{,}83\) — a ordem se inverte. Vetores que concentram a “massa” em uma única coordenada (como \(\mathbf x\)) têm \(L_1\) relativamente maior e \(L_2\) relativamente menor, comparados a vetores que espalham a mesma massa em várias coordenadas (como \(\mathbf y\)); as bolas unitárias de formatos diferentes são exatamente o sintoma geométrico dessa falta de ordenação universal.

Teste 6 — Definição formal de métrica e métrica induzida por norma

□ A definição de métrica exige não-negatividade (com \(d(x,y)=0\iff x=y\)), simetria e desigualdade triangular. Se uma função \(\rho:X\times X\to\mathbb R\) satisfizesse não-negatividade e desigualdade triangular, mas fosse assimétrica (\(\rho(x,y)\ne\rho(y,x)\) para alguns pares), ela ainda poderia ser usada para ordenar os vizinhos mais próximos de uma consulta fixa \(\mathbf x_{\text{novo}}\) no \(k\)-NN (fixando sempre o primeiro argumento como a consulta), mesmo não sendo tecnicamente uma métrica válida.
□ Toda função \(d:X\times X\to\mathbb R\) que satisfaça \(d(x,y)\ge0\) para quaisquer \(x,y\) e \(d(x,x)=0\) já pode ser chamada de métrica, pois não-negatividade e anulação na diagonal são exatamente os dois requisitos que caracterizam completamente o primeiro axioma — os demais axiomas (simetria, desigualdade triangular) seriam apenas propriedades adicionais desejáveis, não obrigatórias.
□ Em um sistema de busca de imagens, a “distância” entre dois embeddings \(\mathbf u,\mathbf v\in\mathbb R^{512}\) é definida como \(d(\mathbf u,\mathbf v)=\|\mathbf u-\mathbf v\|_2^2\) (a norma Euclidiana ao quadrado, sem a raiz). Essa função ainda satisfaz a desigualdade triangular \(d(u,z)\le d(u,y)+d(y,z)\) para quaisquer \(u,y,z\), herdando essa propriedade diretamente da norma \(L_2\), da mesma forma que \(d(x,y)=\|x-y\|_2\) satisfaz.
□ A métrica induzida pela norma \(L_\infty\) desta aula, \(d_\infty(\mathbf x,\mathbf y)=\|\mathbf x-\mathbf y\|_\infty=\max_i|x_i-y_i|\), satisfaz automaticamente os três axiomas de métrica, pelo mesmo argumento geral de que toda métrica induzida por uma norma válida herda essas três propriedades da norma que a define.

(Resposta) Teste 6 — Definição formal de métrica e métrica induzida por norma

✔ Verdadeiro — O \(k\)-NN só precisa comparar \(\rho(\mathbf x_{\text{novo}},\mathbf x_i)\) entre diferentes \(\mathbf x_i\in\mathcal D\), sempre com o primeiro argumento fixo em \(\mathbf x_{\text{novo}}\) — para isso, basta que \(\rho\) produza uma ordenação consistente dos \(\mathbf x_i\), não que \(\rho(\mathbf x_{\text{novo}},\mathbf x_i)=\rho(\mathbf x_i,\mathbf x_{\text{novo}})\). A assimetria só importa se o papel dos dois argumentos puder se inverter em algum uso posterior (por exemplo, comparar distâncias entre pares de pontos de treino). Isso distingue “ser tecnicamente uma métrica” de “ser utilizável para uma tarefa específica que não explora todos os axiomas”.
✗ Falso — Dois erros no mesmo item. Primeiro, o próprio primeiro axioma não é só “\(d(x,y)\ge0\) e \(d(x,x)=0\)” — ele exige a bicondicional completa \(d(x,y)=0\iff x=y\), isto é, também que \(d(x,y)=0\) implique \(x=y\) (não apenas que \(x=y\) implique \(d(x,y)=0\)); uma função pode zerar fora da diagonal e ainda assim satisfazer a versão fraca do item. Segundo, simetria e desigualdade triangular não são “desejáveis”: são axiomas exigidos pela definição formal de métrica apresentada nesta aula, tão obrigatórios quanto o primeiro.
✗ Falso — Elevar uma norma ao quadrado não preserva a desigualdade triangular em geral — o mesmo fenômeno algébrico discutido nesta aula para \(d_{\cos}\) e sua raiz \(\sqrt{2d_{\cos}}\). Contraexemplo simples na reta (embutida trivialmente em \(\mathbb R^{512}\), com as demais coordenadas nulas): \(u=0\), \(y=1\), \(z=2\). \(d(u,y)=1^2=1\), \(d(y,z)=1^2=1\), mas \(d(u,z)=2^2=4>1+1=2\). A desigualdade falha. A distância Euclidiana ao quadrado é útil computacionalmente (evita a raiz), mas não é, ela própria, uma métrica válida.
✔ Verdadeiro — Como \(\|\cdot\|_\infty\) é uma norma válida (satisfaz as três propriedades de norma, ver bloco anterior), a métrica \(d_\infty(\mathbf x,\mathbf y)=\|\mathbf x-\mathbf y\|_\infty\) herda automaticamente não-negatividade, simetria e desigualdade triangular da norma, exatamente pelo argumento geral \(d(x,y)=\|x-y\|\) apresentado nesta aula — não é preciso reverificar os três axiomas do zero para cada norma específica.

Teste 7 — Distância Euclidiana e a maldição da dimensionalidade

□ A “maldição da dimensionalidade” descrita para a distância Euclidiana implica que, em espaços de dimensão muito alta (\(d\gg1000\)), o algoritmo \(k\)-NN deixa de fazer qualquer sentido matemático, pois a distância entre quaisquer dois pontos passa a ser exatamente igual, tornando a operação de ordenação por distância mal definida.
□ Suponha que, em vez da soma usual de \(d\) termos quadráticos, a norma \(L_2\) fosse recalculada usando apenas duas coordenadas fixas de um vetor de altíssima dimensão (\(d=10\,000\)), ignorando as demais \(9\,998\) coordenadas. Nesse caso reduzido, o fenômeno de perda de contraste descrito para altíssima dimensão deixaria de se manifestar da mesma forma, pois o “colapso” de distâncias é, estruturalmente, um efeito do número de coordenadas somadas na norma, não do rótulo nominal da dimensão do espaço ambiente.
□ No dataset Breast Cancer Wisconsin (classificação de diagnóstico de tumores a partir de atributos contínuos), os atributos têm escalas bem diferentes — por exemplo, area_mean na casa das centenas e smoothness_mean na casa dos centésimos. Se o \(k\)-NN for aplicado sobre esses atributos sem nenhum reescalonamento (feature scaling), a distância Euclidiana entre dois pacientes será dominada pelos atributos de maior escala numérica, mesmo que atributos de escala menor sejam igualmente ou mais informativos para o diagnóstico.
□ No caso particular em que o espaço de características tem dimensão \(d=1\) (uma única variável numérica), a distância Euclidiana \(d_2(x,y)=\|x-y\|_2\) se reduz a \(|x-y|\), e o fenômeno de “colapso de distâncias” descrito para dimensões muito altas não se aplica, pois não há múltiplas coordenadas cujas contribuições possam se diluir estatisticamente.

(Resposta) Teste 7 — Distância Euclidiana e a maldição da dimensionalidade

✗ Falso — O fenômeno descrito nesta aula é que a razão entre a distância ao ponto mais próximo e ao mais distante tende a \(1\) (perda de contraste estatística), não que as distâncias se tornem exatamente iguais. A operação de ordenação continua matematicamente bem definida em qualquer dimensão; o problema é que ela se torna pouco informativa, já que a diferença relativa entre “vizinho próximo” e “vizinho distante” praticamente desaparece — um problema de utilidade prática, não de definição matemática.
✔ Verdadeiro — A concentração de medida por trás da maldição da dimensionalidade decorre da soma de muitos termos quase-independentes na definição \(\|\mathbf x-\mathbf y\|_2^2=\sum_{i=1}^d(x_i-y_i)^2\): quanto mais termos somados, mais a soma se concentra estatisticamente em torno de seu valor esperado (lei dos grandes números), achatando o contraste entre distâncias. Se a distância for recalculada usando só \(2\) das \(10\,000\) coordenadas, o efeito de concentração desaparece, porque ele depende de quantas coordenadas entram de fato na soma — o vetor “morar” em \(\mathbb R^{10\,000}\) nominalmente é irrelevante se a distância usada não soma todas as coordenadas.
✔ Verdadeiro — A norma \(L_2\) soma os quadrados das diferenças coordenada a coordenada; uma diferença de, digamos, \(50\) unidades em area_mean contribui com \(50^2=2\,500\) à soma, enquanto uma diferença de \(0{,}05\) em smoothness_mean contribui com apenas \(0{,}0025\) — a escala maior domina numericamente a soma, independentemente do quão informativo cada atributo seja para o diagnóstico. Isso é exatamente a “Sensibilidade à Magnitude” descrita nesta aula, aplicada a um dataset concreto de diagnóstico médico: sem reescalonar, o algoritmo efetivamente ignora atributos de escala pequena.
✔ Verdadeiro — Com \(d=1\), \(\|x-y\|_2=\sqrt{(x-y)^2}=|x-y|\), o valor absoluto usual. O fenômeno de concentração de medida da maldição da dimensionalidade depende, estruturalmente, de somar muitos termos quase-independentes (ver item (b) deste bloco); com uma única coordenada, não há soma de múltiplos termos, logo não há efeito de concentração a se manifestar — o caso \(d=1\) está no extremo oposto do regime \(d\gg1000\) discutido nesta aula.

Teste 8 — Similaridade e Distância do Cosseno: métrica ou quase-métrica?

□ Suponha, hipoteticamente, que a Desigualdade de Cauchy-Schwarz não fosse válida em \(\mathbb R^n\). Nesse cenário, a prova de não-negatividade de \(d_{\cos}(x,y)=1-\cos\theta\) — que depende de \(|\langle x,y\rangle|\le\|x\|_2\|y\|_2\) para limitar \(\cos\theta\) ao intervalo \([-1,1]\) — deixaria de ser válida como está, exigindo uma justificativa alternativa para garantir \(d_{\cos}(x,y)\ge0\).
□ Como \(d_{\cos}(x,y)=1-\cos\theta\) satisfaz não-negatividade e simetria (dois dos três axiomas de métrica), e essas duas propriedades já capturam a “essência” do que significa medir distância, \(d_{\cos}\) pode ser tratada como uma métrica válida para todos os efeitos práticos e teóricos, inclusive em provas formais que dependam da desigualdade triangular.
□ Em um algoritmo de agrupamento hierárquico aglomerativo aplicado a embeddings de texto, um passo do algoritmo depende de uma desigualdade do tipo “distância\((A,C)\le\) distância\((A,B)+\)distância\((B,C)\)” para garantir certas propriedades da árvore de fusões. Se \(d_{\cos}\) for usada diretamente como métrica de distância nesse algoritmo, contando com essa desigualdade, o resultado herda o mesmo risco identificado nesta aula: a garantia pode falhar exatamente pela mesma razão que \(d_{\cos}\) falha o axioma da desigualdade triangular.
□ No caso extremo em que dois vetores não nulos \(x,y\in\mathbb R^n\setminus\{\mathbf 0\}\) são exatamente paralelos e de mesmo sentido (\(x=cy\) para algum \(c>0\)), a distância do cosseno atinge seu valor mínimo possível, \(d_{\cos}(x,y)=0\) — consistente com o primeiro axioma de métrica, mesmo sendo \(d_{\cos}\), no geral, uma quase-métrica por falhar a desigualdade triangular.

(Resposta) Teste 8 — Similaridade e Distância do Cosseno: métrica ou quase-métrica?

✔ Verdadeiro — A demonstração desta aula deriva \(0\le d_{\cos}(x,y)\le2\) diretamente da Desigualdade de Cauchy-Schwarz (\(|\langle x,y\rangle|\le\|x\|_2\|y\|_2\Rightarrow-1\le\cos\theta\le1\)). Se essa desigualdade não valesse, o passo que limita \(\cos\theta\) ao intervalo \([-1,1]\) perderia sua justificativa, e a prova precisaria de outro argumento para garantir a não-negatividade — o item testa se o(a) aluno(a) reconhece a dependência lógica explícita entre os dois resultados, não apenas o resultado final.
✗ Falso — Esta é exatamente a armadilha central desta seção da aula: \(d_{\cos}\) satisfaz dois dos três axiomas, mas falha a desigualdade triangular — a aula demonstra isso com um contraexemplo concreto (vetores a \(0^\circ\), \(90^\circ\) e \(135^\circ\), onde \(d_{\cos}(x,z)\approx1{,}707>d_{\cos}(x,y)+d_{\cos}(y,z)\approx1{,}293\)). Satisfazer \(2\) de \(3\) axiomas não é suficiente para ser uma métrica — a definição exige os três, simultaneamente. Usar \(d_{\cos}\) em qualquer prova que dependa da desigualdade triangular é, portanto, inválido; o que se pode usar com essa garantia é a distância cordal \(\sqrt{2d_{\cos}}\) ou a distância angular \(\arccos(\cos\theta)\).
✔ Verdadeiro — Qualquer algoritmo (de agrupamento, busca, ou outro) que assuma implicitamente a desigualdade triangular para garantir alguma propriedade formal está exposto ao mesmo risco identificado para \(d_{\cos}\) nesta aula: como \(d_{\cos}\) não satisfaz esse axioma, garantias que dependem dele não valem automaticamente quando \(d_{\cos}\) é usada como métrica de distância. A recomendação prática desta aula — usar \(d_{\cos}\) livremente quando só a ordenação por similaridade importa (como em busca vetorial), mas com cautela quando um axioma formal de métrica é de fato necessário — se estende a qualquer técnica de ML na mesma situação, não só à busca por vizinhos.
✔ Verdadeiro — Se \(x=cy\) com \(c>0\), então \(\theta=0^\circ\), \(\cos\theta=1\), e \(d_{\cos}(x,y)=1-1=0\) — o valor mínimo possível, já que \(0\le d_{\cos}(x,y)\le2\) (ver demonstração desta aula). Esse caso-limite confirma que \(d_{\cos}\) respeita a parte do primeiro axioma que testa quando a “distância” se anula, mesmo sabendo que \(d_{\cos}\) não é uma métrica completa (por falhar a desigualdade triangular) — daí o nome “quase-métrica”: ela satisfaz alguns, mas não todos, os axiomas exigidos.