Aula 8: Redução para Visualização — MDS e t-SNE

Aprendizado Não Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-04

Revisão e Introdução

Revisão Cuidadosa: O Que a Aula 7 Deixou Pronto

O Paradigma da Reconstrução

PCA e PPCA (Aula 6): Projeção linear ótima que minimiza o erro médio \(\|\mathbf{x} - \tilde{\mathbf{x}}\|^2\).
Autoencoders e VAEs (Aula 7): Compressão em gargalos profundos não lineares com distribuição a priori \(p(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})\).

O objetivo anterior: Fidelidade de reconstrução global (\(\mathbf{z} \to \hat{\mathbf{x}} \approx \mathbf{x}\)) ou amostragem generativa.
O dilema desta aula: E se o objetivo for estritamente a visualização humana em 2D?

A Ruptura de Paradigma

Em 2 dimensões, é matematicamente impossível reconstruir 30 ou 784 variáveis sem perder a maior parte da informação. Se o critério for errar o mínimo nas distâncias globais, a estrutura de vizinhanças locais é completamente esmagada.

Ideia Central: Preservar Vizinhança \(\neq\) Preservar Distância

O Fenômeno de Concentração de Volume

Em \(\mathbb{R}^D\), o volume de uma esfera de raio \(r\) é proporcional a \(r^D\). Em \(\mathbb{R}^2\), é proporcional a \(r^2\).
Há “espaço de sobra” na alta dimensão para vizinhos múltiplos. Em 2D, falta área física para acomodá-los: surge o crowding problem.

MDS / PCA: Tentam manter distâncias euclidianas globais. Resultado: pontos distantes dominam a função de custo e esmagam os agrupamentos locais no centro.
t-SNE: Converte distâncias em probabilidades de vizinhança e introduz a cauda pesada de Student-\(t\) no mapa 2D.

O Efeito da Cauda Pesada

A cauda pesada permite empurrar aglomerados distantes para longe no plano, liberando o interior para revelar com extrema fidelidade quem é vizinho de quem.

Roteiro da Aula

O Dilema do Volume e o Crowding Problem: A geometria de esferas em \(\mathbb{R}^D\) versus \(\mathbb{R}^2\).
MDS e a Perda Stress: Tentativa de preservar distâncias métricas e o domínio das escalas longas.
Vizinhanças Probabilísticas (SNE): Conversão de distâncias em probabilidades gaussianas e a assimetria da divergência KL.
A Solução t-SNE (Student-\(t\)): A cauda pesada como alívio da pressão de confinamento e o balanço de forças.
Armadilhas de Interpretação e Cuidados Práticos: Perplexidade, distâncias espúrias entre clusters e ausência de projeção paramétrica.

Problema Motivador: O Esmagamento de Classes em 2D

O Teste Prático no MNIST (\(D=784 \to d=2\))

Projetar \(N=1.500\) dígitos em 2D sem supervisão por PCA, MDS e t-SNE.

PCA / MDS: As classes sobrepõem-se fortemente no centro. O critério global tenta acomodar todas as distâncias inter-dígitos e não sobra área no plano para separar os grupos.
t-SNE: Identifica e isola os 10 dígitos em aglomerados bem definidos.

Pausa Ativa 1: O Dilema da Projeção 2D

O Tetraedro no Plano

Se tivermos 4 pontos mutuamente equidistantes em \(\mathbb{R}^3\) (os vértices de um tetraedro regular tridimensional), é geometricamente possível posicioná-los em uma folha plana \(\mathbb{R}^2\) de modo que as 6 distâncias entre pares permaneçam exatamente iguais?

Dica para discussão: Quantos pontos mutuamente equidistantes cabem em um plano euclidiano? O que isso implica quando tentamos projetar 30 ou 784 dimensões em um gráfico 2D?

V ou F: Restrições Geométricas em Baixa Dimensão

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Em qualquer espaço euclidiano de dimensão \(d\), o número máximo de pontos mutuamente equidistantes é \(d+1\).
□ A PCA em 2 componentes preserva perfeitamente as distâncias de vizinhança local entre pontos próximos, pois maximiza a variância projetada.
□ Quando reduzimos a dimensionalidade de \(D\) para \(d \ll D\), a perda de informação geométrica é matematicamente inevitável a menos que os dados residam em uma variedade afim de dimensão \(\le d\).
□ O objetivo principal de algoritmos de visualização como t-SNE é permitir a reconstrução dos atributos originais \(\mathbf{x} \in \mathbb{R}^D\) a partir das coordenadas 2D \(\mathbf{y}\).

Pausa Ativa 1: Resposta

V ou F: Resposta

✔ V: Trata-se do simplex regular de dimensão \(d\) (em 1D são 2 pontos; em 2D, 3 de um triângulo equilátero; em 3D, 4 do tetraedro; em dimensão \(d\), \(d+1\)).
✗ F: A PCA busca dispersão global; ao projetar em 2D, pares distantes no espaço original em direções ortogonais aos eixos principais colapsam exatamente sobrepostos.
✔ V: Se a dimensão intrínseca dos dados for estritamente maior que \(d\), distâncias serão distorcidas ou haverá sobreposição forçada no plano.
✗ F: O objetivo do t-SNE é a exploração de vizinhanças locais; ele não é um modelo de reconstrução e não possui função decodificadora inversa.

Voltando à pergunta: No plano \(\mathbb{R}^2\), só cabem 3 pontos mutuamente equidistantes (um triângulo equilátero). O quarto ponto teria que ficar no baricentro, cuja distância aos vértices é \(1/\sqrt{3} \approx 0{,}58 \neq 1\). Em \(D\) dimensões, podemos ter \(D+1\) vizinhos equidistantes. É impossível manter todas as distâncias ao mesmo tempo em 2D; somos obrigados a escolher preservar a vizinhança local.

Intuição — O Dilema do Volume e o “Crowding Problem”

O Dilema do Volume e o Crowding Problem: \(\mathbb{R}^D\) vs. \(\mathbb{R}^2\)

O Volume da Hiperesfera

\[V_D(r) \propto r^D \quad \Longrightarrow \quad \text{Em 2D: } V_2(r) \propto r^2\]

Em alta dimensão (\(D=30, 784\)): O volume cresce exponencialmente. Cabem centenas de pontos a uma distância média \(r\) sem que eles interfiram entre si.
Em baixa dimensão (\(d=2\)): A área cresce apenas com \(r^2\). Faltam “vagas” geométricas para acomodar todos os vizinhos a distâncias moderadas.

O “Crowding Problem”

Se forçarmos as distâncias no mapa 2D a serem diretamente proporcionais às distâncias na alta dimensão, todos os pontos não mutuamente vizinhos competirão pela mesma área periférica limitada, gerando uma resultante de forças que esmaga tudo no centro.

Bloco 1: Preservando Distâncias Métricas — MDS e a Perda Stress

A Formulação Clássica do MDS: Preservação Global de Distâncias

O Critério do Stress (Kruskal, 1964)

\[\sigma_M(\mathbf{Y}) = \sum_{i < j} \left( \|\mathbf{x}_i - \mathbf{x}_j\| - \|\mathbf{y}_i - \mathbf{y}_j\| \right)^2\]

Objetivo: Encontrar coordenadas \(\mathbf{y}_1, \dots, \mathbf{y}_N \in \mathbb{R}^2\) que minimizem o erro entre distâncias originais e distâncias no mapa.
Teorema de Young-Householder: Se \(d_{ij}^{(X)}\) são distâncias euclidianas exatas e minimizamos a perda matricial via decomposição espectral da matriz duplamente centralizada \(\mathbf{B} = -\frac{1}{2}\mathbf{H}\mathbf{D}^{(2)}\mathbf{H}\), a solução coincide rigorosamente com a projeção PCA nos maiores autovetores.

Por Que o Stress Falha: A Tirania das Distâncias Longas

O Balanço Perverso de Erros

Erro local: \(d_{\text{real}} = 1{,}0 \to d_{\text{mapa}} = 2{,}0 \implies \text{Erro}^2 = (1 - 2)^2 = \mathbf{1{,}0}\) (destrói o cluster!).
Erro global: \(d_{\text{real}} = 50{,}0 \to d_{\text{mapa}} = 48{,}0 \implies \text{Erro}^2 = (50 - 48)^2 = \mathbf{4{,}0}\).

O otimizador é míope: Vale quatro vezes mais a pena ajustar a distância de dois pontos distantes em 4% do que preservar a coesão interna de um cluster em 100%.
Além disso: Há \(O(N^2)\) pares no total, e a esmagadora maioria são pares distantes entre clusters distintos.

Conclusão Metodológica

Métodos baseados em Stress métrico global são estruturalmente incapazes de resolver agrupamentos densos e curvados em duas dimensões.

Pausa Ativa 2: MDS e o Critério de Stress

Erro Absoluto vs. Erro Relativo no MDS

Se um algoritmo de redução de dimensionalidade minimiza \(\sum_{i<j} (d_{ij}^{(X)} - d_{ij}^{(Y)})^2\), qual dos seguintes desvios gera maior aumento na função de custo? - (A) Uma distância entre vizinhos imediatos que era \(0{,}5\) e virou \(2{,}5\). - (B) Uma distância entre pontos de clusters distintos que era \(40{,}0\) e virou \(37{,}0\).

Dica para discussão: Calcule as duas contribuições quadráticas e reflita sobre o impacto visual de cada uma no mapa 2D.

V ou F: Propriedades do MDS

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ O MDS clássico com centralização dupla aplicado sobre matriz de distâncias euclidianas fornece resultados idênticos aos scores da PCA linear.
□ Na função Stress quadrática, errar uma distância de \(100\) para \(90\) gera exatamente a mesma penalidade numérica que errar uma distância de \(11\) para \(1\).
□ O MDS requer obrigatoriamente as coordenadas originais \(\mathbf{X}\); ele não pode ser computado se recebermos apenas uma tabela de dissimilaridades arbitrárias entre indivíduos.
□ A função de custo do MDS prioriza a preservação de pequenas distâncias de vizinhança local em detrimento de distâncias de longa escala.

Pausa Ativa 2: Resposta

V ou F: Resposta

✔ V: Pelo teorema de Young-Householder-Torgerson, a centralização dupla da matriz de produtos internos e sua decomposição espectral recuperam a PCA.
✔ V: Em ambos os casos, \(|100-90| = 10\) e \(|11-1| = 10\). Ao quadrado, ambos contribuem com \((10)^2 = 100\), ignorando o fato de que um erro de \(10\) destrói uma vizinhança de tamanho \(1\).
✗ F: O MDS opera diretamente sobre a matriz de dissimilaridades \(D_{N \times N}\), sem requerer as coordenadas brutas no espaço original.
✗ F: É o inverso: os termos quadráticos associados a distâncias grandes dominam a soma, sacrificando as vizinhanças locais.

Voltando à pergunta: O caso (B) gera \((40 - 37)^2 = 9{,}0\), enquanto o caso (A) gera \((0{,}5 - 2{,}5)^2 = 4{,}0\). O algoritmo prefere tolerar que dois vizinhos se afastem em 400% do que permitir uma variação de 7,5% em pontos distantes.

Bloco 2: Vizinhanças Probabilísticas — SNE e Divergência KL

O Salto Conceitual do SNE: De Distâncias Métricas a Probabilidades

De Distância Rígida para Probabilidade de Vizinhança (Hinton & Roweis, 2002)

Em vez de fixar \(d_{ij} \in \mathbb{R}\), calculamos a probabilidade de \(\mathbf{x}_i\) escolher \(\mathbf{x}_j\) como vizinho: \[p_{j|i} = \frac{\exp(-\|\mathbf{x}_i - \mathbf{x}_j\|^2 / 2\sigma_i^2)}{\sum_{k \ne i} \exp(-\|\mathbf{x}_i - \mathbf{x}_k\|^2 / 2\sigma_i^2)}, \quad p_{i|i} = 0\]

Propriedade fundamental: A função exponencial decai tão rapidamente que pontos moderadamente distantes têm \(p_{j|i} \approx 0\).
Consequência: O modelo ignora olimpicamente distâncias absolutas entre pontos afastados; apenas os vizinhos próximos competem por probabilidade.

Calibração Local: O Hiperparâmetro Perplexidade

Definição Formal

\[\text{Perp}(P_i) = 2^{H(P_i)}, \quad H(P_i) = -\sum_{j \ne i} p_{j|i} \log_2 p_{j|i}\]

Interpretação: A perplexidade é o número efetivo de vizinhos próximos atribuído a cada ponto.
Adaptação automática à densidade local:
- Ponto em aglomerado denso \(\to\) muitos vizinhos colados \(\to\) \(\sigma_i\) encolhe.
- Ponto isolado/esparso \(\to\) vizinhos distantes \(\to\) \(\sigma_i\) cresce para alcançá-los.
Tipicamente calibrado entre \(5\) e \(50\).

Simetrização e a Função de Custo: Divergência KL

Probabilidades Conjuntas e Divergência KL

\[p_{ij} = \frac{p_{j|i} + p_{i|j}}{2N}, \quad C = \mathrm{KL}(P \parallel Q) = \sum_{i \ne j} p_{ij} \ln \frac{p_{ij}}{q_{ij}}\]

Note a direção da divergência: é \(\mathrm{KL}(P \parallel Q)\), e não \(\mathrm{KL}(Q \parallel P)\).
Por ser não simétrica, a ordem dos termos define exatamente quais tipos de erro geométrico o modelo penaliza ou tolera.

A Assimetria da KL: Falso Afastamento vs. Falsa Aproximação

O Mecanismo da KL: \(p_{ij} \ln(p_{ij} / q_{ij})\)

Caso 1: Falso Afastamento (\(p_{ij}\) alto, \(q_{ij}\) baixo):
- Dois vizinhos na alta dimensão colocados longe no mapa 2D.
- Penalidade: \(0{,}10 \times \ln(1000) \approx \mathbf{+0{,}69}\) \(\longrightarrow\) Custo astronômico!
Caso 2: Falsa Aproximação (\(p_{ij} \approx 0\), \(q_{ij}\) alto):
- Dois pontos distantes colocados juntos no mapa 2D.
- Penalidade: \(10^{-6} \times \ln(10^{-6} / 0{,}05) \approx \mathbf{0}\) \(\longrightarrow\) Penalidade nula!

Efeito Prático

O SNE foca 100% de sua energia em não separar vizinhos. Ele não se importa com a distância exata entre clusters distantes.

Pausa Ativa 3: Vizinhanças Probabilísticas e a Assimetria da KL

O Comportamento da Divergência KL

Por que a formulação \(\mathrm{KL}(P \parallel Q)\) tolera que dois clusters não relacionados se aproximem no mapa 2D, mas proíbe terminantemente que um cluster homogêneo seja partido ao meio? O que mudaria se minimizássemos a divergência inversa \(\mathrm{KL}(Q \parallel P)\)?

Dica para discussão: Analise o fator que multiplica o logaritmo em cada caso quando \(p_{ij}=0\) ou \(q_{ij}=0\).

V ou F: SNE e Perplexidade

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ A variância \(\sigma_i^2\) do kernel gaussiano de cada ponto \(\mathbf{x}_i\) no SNE é única e universal para todas as amostras do conjunto de dados.
□ Em regiões de alta densidade de dados, o valor de \(\sigma_i\) encontrado pelo algoritmo para uma dada perplexidade fixa será menor do que em regiões esparsas.
□ A divergência \(\mathrm{KL}(P \parallel Q)\) penaliza com o mesmo rigor o erro de afastar vizinhos e o erro de aproximar pontos distantes.
□ A Perplexidade pode ser interpretada operacionalmente como o número efetivo de vizinhos próximos que cada ponto tenta manter em sua vizinhança probabilística.

Pausa Ativa 3: Resposta

V ou F: Resposta

✗ F: \(\sigma_i\) é calibrado individualmente para cada ponto via busca binária sobre a entropia da distribuição condicional.
✔ V: Em regiões densas, uma vizinhança geométrica estreita já acumula a entropia estipulada pela perplexidade.
✗ F: A KL é assimétrica; o erro de afastar vizinhos (\(p_{ij}\) alto, \(q_{ij}\) baixo) gera penalidade enorme, enquanto aproximar distantes (\(p_{ij} \approx 0\)) tem custo quase nulo.
✔ V: Por ser \(2^{H(P_i)}\), para uma distribuição uniforme sobre \(K\) vizinhos a perplexidade é exatamente \(K\).

Voltando à pergunta: Quando \(p_{ij} \approx 0\) (pontos de clusters diferentes), o termo \(p_{ij} \ln(p_{ij}/q_{ij})\) zera, não importando o valor de \(q_{ij}\). Já se minimizássemos \(\mathrm{KL}(Q \parallel P) = \sum q_{ij} \ln(q_{ij}/p_{ij})\), o algoritmo sofreria custo infinito se \(q_{ij} > 0\) e \(p_{ij} = 0\), tornando-se obsessivo em afastar pontos mesmo à custa de espalhar vizinhos.

Bloco 3: A Solução da Cauda Pesada — t-SNE

Por Que o SNE Original Ainda Sofria de Crowding em 2D

O Conflito Gaussiana-Gaussiana

Na alta dimensão, há milhares de pares a distâncias intermediárias cuja soma de probabilidades \(\sum p_{ij}\) é expressiva.
No plano 2D, a gaussiana \(\exp(-\|\mathbf{y}_i - \mathbf{y}_j\|^2)\) decai extremamente rápido.

Para que a probabilidade \(q_{ij}\) no mapa corresponda à probabilidade \(p_{ij}\) de alta dimensão, a distância euclidiana \(\|\mathbf{y}_i - \mathbf{y}_j\|\) precisaria ser moderada.
Mas em 2D não há espaço circular suficiente para acomodar centenas de pontos a distâncias moderadas sem que eles colidam.

O Resultado

Os aglomerados continuavam aglutinados no centro do mapa, incapazes de se desprenderem uns dos outros.

A Solução t-SNE: A Distribuição Student-\(t\)

O Kernel Student-\(t\) de 1 Grau de Liberdade (Cauchy)

\[q_{ij} = \frac{(1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2)^{-1}}{\sum_{k \ne l} (1 + \|\mathbf{y}_k - \mathbf{y}_l\|^2)^{-1}}\]

Gaussiana: decai como \(\exp(-d^2)\) (cauda ultra-leve).
Student-\(t\): decai como \(1/d^2\) (cauda pesada / lei de potência).

Como a Cauda Pesada Alivia a Pressão

Para produzir a mesma probabilidade baixa \(q_{ij} = p_{ij}\), a distância \(\|\mathbf{y}_i - \mathbf{y}_j\|\) pode ser muito maior. Os clusters não relacionados são empurrados para longe no plano, liberando espaço para que a microestrutura de cada cluster se desdobre livremente.

O Gradiente da Perda: Atração por Mola e Repulsão Global

Equação Fundamental do Gradiente (van der Maaten & Hinton, 2008)

\[\frac{\partial C}{\partial \mathbf{y}_i} = 4 \sum_{j \ne i} \underbrace{(p_{ij} - q_{ij})}_{\text{desbalanço}} \underbrace{(1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2)^{-1}}_{\text{amortecimento}} (\mathbf{y}_i - \mathbf{y}_j)\]

Se \(p_{ij} > q_{ij}\) (Atração): Atua como uma mola elástica puxando os vizinhos verdadeiros para perto.
Se \(q_{ij} > p_{ij}\) (Repulsão): Atua como repulsão eletrostática empurrando pontos não correlacionados para longe.

O Equilíbrio Físico

O mapa final estabiliza quando a atração local dos verdadeiros vizinhos cancela exatamente a pressão de repulsão do restante do conjunto.

Pausa Ativa 4: O “Crowding Problem” e a Cauda Pesada de Student-\(t\)

Por Que a Student-\(t\) Alivia o Confinamento?

Se a probabilidade \(p_{ij}\) calculada no espaço de alta dimensão vale \(0{,}01\), explique por que a distância euclidiana \(\|\mathbf{y}_i - \mathbf{y}_j\|\) necessária para igualar \(q_{ij} = 0{,}01\) é muito maior sob a curva da Student-\(t\) do que sob uma curva gaussiana no mapa 2D. O que acontece com os clusters no mapa como consequência disso?

Dica para discussão: Compare a inclinação e a altura da cauda das duas funções para distâncias moderadas no gráfico anterior.

V ou F: t-SNE e o Kernel de Cauchy

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ A distribuição \(t\)-Student com 1 grau de liberdade coincide matematicamente com a distribuição de Cauchy padrão.
□ Para distâncias \(d = \|\mathbf{y}_i - \mathbf{y}_j\| \gg 1\), a probabilidade não normalizada sob o kernel do t-SNE decai com \(1/d^2\), enquanto sob a Gaussiana ela decai com \(\exp(-d^2)\).
□ O t-SNE utiliza a distribuição \(t\)-Student tanto no espaço original de alta dimensão (\(p_{ij}\)) quanto no mapa 2D (\(q_{ij}\)).
□ O gradiente do t-SNE pode ser fisicamente interpretado como forças de atração ao longo de vizinhanças e forças de repulsão entre todos os pares de pontos.

Pausa Ativa 4: Resposta

V ou F: Resposta

✔ V: A função densidade da \(t\)-Student com \(\nu=1\) é \(f(t) \propto (1 + t^2)^{-1}\), que é exatamente a distribuição de Cauchy.
✔ V: \((1 + d^2)^{-1} \approx d^{-2}\) para \(d\) grande, caracterizando cauda pesada de lei de potência.
✗ F: O t-SNE usa a Gaussiana na alta dimensão (\(P\)) e a \(t\)-Student apenas no espaço de projeção de baixa dimensão (\(Q\)).
✔ V: O gradiente decompõe-se exatamente em atração quando \(p_{ij} > q_{ij}\) e repulsão quando \(q_{ij} > p_{ij}\).

Voltando à pergunta: Como a Student-\(t\) tem cauda pesada, para atingir uma probabilidade moderada como \(0{,}01\) o valor de \(d\) pode ser consideravelmente maior do que na Gaussiana (onde a curva despenca rapidamente para zero). Isso permite que clusters diferentes fiquem afastados no mapa 2D sem sofrer penalidade na divergência KL, liberando espaço central.

Bloco 4: Cuidados Práticos e as 4 Armadilhas de Interpretação

A Calibração Prática e o Impacto da Perplexidade

O Espectro de Granularidade

Perp muito baixa (\(\le 5\)): Cada ponto só enxerga seus vizinhos imediatos. Clusters reais quebram-se em dezenas de pequenas ilhas artificiais.
Perp ideal (\(30\) a \(50\)): Equilíbrio entre microestrutura local e macroestrutura de grupos.
Perp muito alta (\(\to N\)): A vizinhança torna-se global e uniforme. O t-SNE perde sensibilidade local e converge para uma nuvem indiferenciada.

As 4 Falácias Clássicas de Interpretação do t-SNE

1. Distâncias entre clusters NÃO medem distâncias reais

Quando \(p_{ij} \approx 0\), não há força de atração entre os grupos. A distância inter-cluster no mapa é mero artefato da repulsão no plano e da inicialização.

2. Tamanho visual NÃO reflete densidade ou variância

Como \(\sigma_i\) se adapta localmente via perplexidade, clusters densos são “inflados” e clusters esparsos são “comprimidos” no mapa.

3. t-SNE pode encontrar clusters em RUÍDO PURO

Flutuações estocásticas em amostras finitas podem ser organizadas em ilhas aparentes. Nunca conclua existência de clusters apenas olhando o t-SNE.

4. NÃO é um modelo preditivo paramétrico

Não existe função \(\mathbf{y} = f(\mathbf{x})\). Não é possível projetar um ponto novo de teste sem reotimizar todo o conjunto.

Pausa Ativa 5: As 4 Armadilhas de Interpretação do t-SNE

Diagnóstico de Interpretação

Um bioinformata executa o t-SNE sobre dados de expressão gênica e observa que o “Cluster A” tem um diâmetro visual de \(5\text{ cm}\) e o “Cluster B” tem um diâmetro de apenas \(1\text{ cm}\). Além disso, a distância entre os centros dos dois clusters no gráfico é de \(15\text{ cm}\).

Ele escreve em seu relatório: “O Cluster A apresenta variância genética cinco vezes maior que o Cluster B, e a grande separação espacial comprova que essas duas populações celulares são filogeneticamente muito distantes”. O que está metodologicamente incorreto nessa afirmação?

V ou F: Armadilhas do t-SNE

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Executar o t-SNE com perplexidade excessivamente baixa tende a quebrar clusters reais contínuos em múltiplos subaglomerados artificiais desconectados.
□ Dado um novo ponto de teste \(\mathbf{x}_{\text{novo}} \in \mathbb{R}^D\), podemos determinar sua posição \(\mathbf{y}_{\text{novo}} \in \mathbb{R}^2\) aplicando diretamente uma matriz de pesos ou fórmula analítica aprendida pelo t-SNE padrão.
□ Ao aplicar o t-SNE sobre dados gerados por uma distribuição uniforme homogênea sem nenhuma estrutura de agrupamento, é garantido que o mapa 2D jamais formará ilhas ou falsos aglomerados.
□ Múltiplas execuções do t-SNE com diferentes sementes aleatórias podem produzir mapas rotacionados ou com posições relativas de clusters diferentes, preservando ainda assim as vizinhanças locais.

Pausa Ativa 5: Resposta

V ou F: Resposta

✔ V: Com perplexidade muito baixa, cada ponto só tenta acomodar seus 1 ou 2 vizinhos imediatos, quebrando a variedade contínua.
✗ F: O t-SNE clássico é não paramétrico; ele não aprende uma função de mapeamento indutivo \(\mathbb{R}^D \to \mathbb{R}^2\).
✗ F: Flutuações aleatórias em amostras finitas de ruído puro podem ser organizadas pelo t-SNE em agrupamentos visuais enganosos.
✔ V: A função de custo da divergência KL é altamente não convexa e invariante a rotações e translações globais.

Voltando à pergunta: Ambas as conclusões são falácias clássicas. A área do cluster no mapa reflete a adaptação local de \(\sigma_i\) via perplexidade (não a variância genética), e a distância de \(15\text{ cm}\) entre os clusters reflete apenas a repulsão eletrostática no plano após \(p_{ij}\) anular-se (não a distância filogenética real).

Fechamento

Retomando as 5 Perguntas da Aula

Crowding Problem: Gargalo de volume entre \(r^D\) e \(r^2\).
Viés do Stress (MDS): Distâncias longas dominam a soma quadrática e esmagam vizinhanças locais.
SNE e Divergência KL: Modelagem probabilística onde afastar vizinhos custa caro e aproximar distantes custa quase zero.
Student-\(t\) no t-SNE: Cauda pesada empurra aglomerados distantes para a periferia e abre espaço para a microestrutura.
Armadilhas do t-SNE: Distâncias inter-cluster espúrias, áreas distorcidas, alucinação em ruído e ausência de fórmula paramétrica.

O Que Fica em Aberto e Limitações do t-SNE

Limitações do t-SNE

Escalabilidade \(O(N^2)\): Exige aproximações como Barnes-Hut (\(O(N \log N)\)) ou FIt-SNE para grandes volumes de dados.
Perda da Estrutura Global: As relações macroscópicas entre aglomerados distantes são embaralhadas.

Alternativas modernas: O UMAP (McInnes et al., 2018) busca conciliar a preservação de vizinhança local com continuidade global através de geometria simplética e fuzzy.

Ponte para a Parte 3: Aula 9

O Que Vem a Seguir

Encerramento da Parte 2: Exploramos PCA, PPCA, Autoencoders, VAEs e t-SNE.
Início da Parte 3: Descoberta de estruturas e padrões em larga escala sem supervisão.

Aula 9: Modelos Gráficos Probabilísticos (PGMs) e Mineração de Itens Frequentes.
Como transformar regras de associação empíricas em grafos probabilísticos direcionados e isolar variáveis de confusão latentes.

Exercícios Soluções