Aula 1: Modelos Generativos Paramétricos e Detecção de Anomalias

Aprendizado Não Supervisionado

Slides Lista de aulas

1 Abertura — modelar dados sem rótulos

Todo o curso de Aprendizado Supervisionado parte de um par \((\mathbf{x}, y)\): um vetor de características e um rótulo a prever. Aqui não há \(y\) — só \(\mathbf{x}_1,\dots,\mathbf{x}_N \in \mathbb{R}^d\). A pergunta deixa de ser “que função prevê \(y\) a partir de \(\mathbf{x}\)” e passa a ser mais básica: que forma esses dados têm?

Essa pergunta parece vaga, mas tem uma primeira resposta operacional direta, e é o assunto desta aula: profiling. Descrever o comportamento típico de uma população — a forma que a maioria dos pontos assume — para depois reconhecer o que se desvia dela. Um sensor de temperatura e um de vibração de uma máquina, por exemplo, variam juntos sob operação normal. Quando um ponto novo chega, a pergunta é: ele se parece com o que já vimos?

O caminho desta aula, em uma frase: assumir uma família teórica conhecida para os dados, ajustá-la, e usar a verossimilhança do modelo ajustado para decidir o que é típico e o que não é.

2 Distribuição Empírica vs. Teórica

O objeto mais honesto que se pode construir a partir dos dados é a distribuição empírica: o próprio histograma, ou a nuvem de pontos. Ela nunca está “errada” — é literalmente o que foi observado. Mas tem dois problemas práticos: é ruidosa (poucos dados numa região dão uma estimativa tremendamente instável), e não diz nada sobre pontos que nunca foram observados.

A aposta desta aula é trocar ruído por estrutura: assumir que os dados vieram de uma família teórica conhecida, com poucos parâmetros. O preço é que a suposição pode estar errada — um tema que volta na aula inteira, e no fechamento (Bloco 7).

3 A Gaussiana Multivariada: Forma e Parâmetros

A distribuição Gaussiana (ou normal) multivariada, para um vetor \(\mathbf{x}\in\mathbb{R}^d\), é (PRML, eq. 2.43, p. 78):

\[ \mathcal{N}(\mathbf{x}\mid\boldsymbol\mu,\Sigma) = \frac{1}{(2\pi)^{d/2}}\frac{1}{|\Sigma|^{1/2}} \exp\left\{-\frac12(\mathbf{x}-\boldsymbol\mu)^T\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)\right\}. \]

Dois parâmetros bastam: \(\boldsymbol\mu\in\mathbb{R}^d\) (o centro) e \(\Sigma\in\mathbb{R}^{d\times d}\) (a forma). \(\Sigma\) é simétrica e positiva definida; seus autovetores dão a orientação dos eixos de densidade constante, e seus autovalores dão o comprimento desses eixos — as curvas de nível da Gaussiana são elipsoides centrados em \(\boldsymbol\mu\) (PRML, pp. 80–81, Figura 2.7).

NotaPor que a Gaussiana é a escolha natural (citado, não provado aqui)

Duas razões clássicas, ambas em PRML §2.3, p. 78: (1) é a distribuição de entropia máxima dada média e covariância fixas — a suposição menos comprometida possível além desses dois momentos; (2) pelo Teorema Central do Limite, a soma de muitas variáveis aleatórias tende a uma Gaussiana, o que a torna plausível como modelo de ruído agregado ou de medições que resultam de muitos efeitos pequenos somados. Nenhuma das duas provas é feita aqui — ambas voltam com mais detalhe em cursos futuros.

4 Ajuste por Máxima Verossimilhança

Dado um conjunto \(\mathbf{x}_1,\dots,\mathbf{x}_N\) assumido i.i.d. de \(\mathcal{N}(\boldsymbol\mu,\Sigma)\), a máxima verossimilhança dá (PRML §2.3.4, eqs. 2.118–2.122, pp. 93–94):

\[ \hat{\boldsymbol\mu} = \frac1N\sum_{n=1}^N \mathbf{x}_n, \qquad \hat\Sigma_{\text{ML}} = \frac1N\sum_{n=1}^N(\mathbf{x}_n-\hat{\boldsymbol\mu})(\mathbf{x}_n-\hat{\boldsymbol\mu})^T. \]

ImportanteArmadilha prática: \(\hat\Sigma_{\text{ML}}\) é viesada, e precisa de \(N>d\)

Duas coisas para anunciar antes que a turma descubra sozinha. Primeira: \(\mathbb{E}[\hat\Sigma_{\text{ML}}] = \frac{N-1}{N}\Sigma\) — subestima a covariância verdadeira (PRML, eqs. 2.123–2.124, p. 94). A correção padrão divide por \(N-1\) em vez de \(N\): \(\tilde\Sigma = \frac{1}{N-1}\sum_n(\mathbf{x}_n-\hat{\boldsymbol\mu})(\mathbf{x}_n-\hat{\boldsymbol\mu})^T\) (PRML, eq. 2.125, p. 94) — é exatamente o np.cov padrão do NumPy. Segunda, mais grave: se \(N \le d\), \(\hat\Sigma\) não é invertível (posto no máximo \(N-1\), precisa de posto \(d\)). Sem \(\Sigma^{-1}\), não há distância de Mahalanobis, não há verossimilhança bem definida — o resto da aula trava. Guarde isso: é exatamente a maldição da dimensionalidade que abre a Aula 2.

5 Da Verossimilhança à Distância de Mahalanobis

Comparar \(p(\mathbf{x})\) com um limiar é equivalente a comparar o termo que está no expoente — a única parte que depende de \(\mathbf{x}\). Essa quantidade é a distância de Mahalanobis (PRML, eq. 2.44, p. 80):

\[ D_M(\mathbf{x})^2 = (\mathbf{x}-\hat{\boldsymbol\mu})^T\hat\Sigma^{-1}(\mathbf{x}-\hat{\boldsymbol\mu}), \]

que “reduz à distância Euclidiana quando \(\Sigma\) é a identidade” (PRML, p. 80) — mas em geral não é a Euclidiana, e a diferença é o ponto todo desta aula. \(\Sigma^{-1}\) estica o espaço nas direções de baixa variância e comprime nas de alta variância: um deslocamento ao longo do eixo de alta correlação “custa pouco” em Mahalanobis, mesmo que pareça grande em unidades brutas; um deslocamento perpendicular a esse eixo “custa muito”, mesmo que pareça pequeno.

Dois pontos novos tornam isso concreto — nenhum dos dois é o típico “outlier evidente”:

O ponto B está longe do centro em unidades brutas (ao longo da crista de alta correlação), mas sua distância de Mahalanobis é modesta — é exatamente o tipo de desvio que a correlação prevê. O ponto C está próximo do centro em unidades brutas, mas fora da crista — sua distância de Mahalanobis é maior, porque ele quebra a relação entre as duas variáveis, não porque esteja “longe” no sentido ingênuo. Guarde os dois: o próximo bloco transforma essas distâncias em probabilidades, e o contraste entre B e C é exatamente onde a suposição de independência entre dimensões vai errar em direções opostas.

6 Da Posição ao \(p\)-valor

6.1 Do limiar fixo ao escore contínuo

Se \(\mathbf{x}\sim\mathcal{N}(\boldsymbol\mu,\Sigma)\), então \(D_M(\mathbf{x})^2 \sim \chi^2_d\) — soma de \(d\) quadrados de normais padrão independentes, que é a própria definição da qui-quadrado. (Este resultado é estatística multivariada clássica; não está em PRML ou DLFC — verificação: \(\mathbf{Y}=\Sigma^{-1/2}(\mathbf{X}-\boldsymbol\mu)\sim\mathcal{N}(0,I_d)\), logo \(\mathbf{Y}^T\mathbf{Y}=\sum_i Y_i^2 = D_M(\mathbf{X})^2 \sim \chi^2_d\) por definição.)

Em vez de só “dentro/fora” de um limiar fixo, isso permite definir o escore de anomalia como um \(p\)-valor:

\[ p(\mathbf{x}) = P\big(D_M(\mathbf{X}')^2 \ge D_M(\mathbf{x})^2 \mid \mathbf{X}'\sim\mathcal{N}(\hat{\boldsymbol\mu},\hat\Sigma)\big) = 1 - F_{\chi^2_d}\big(D_M(\mathbf{x})^2\big), \]

literalmente: qual a probabilidade de um ponto do modelo ajustado ser tão extremo, ou mais, quanto \(\mathbf{x}\). O limiar fixo é o caso particular \(p(\mathbf{x}) < \alpha\); o \(p\)-valor ordena todos os pontos por quão surpreendentes eles são, em vez de só separá-los em duas caixas.

AvisoArmadilha de interpretação

\(p(\mathbf{x})\) pequeno não significa “probabilidade de \(\mathbf{x}\) pertencer à distribuição verdadeira”. Significa “probabilidade de um ponto do modelo ajustado ser tão extremo quanto \(\mathbf{x}\)”. É uma afirmação sobre o modelo, condicional a ele estar certo — não é uma afirmação sobre a origem de \(\mathbf{x}\). Se o modelo estiver errado (Bloco 7), o \(p\)-valor também estará.

6.2 Conjunta vs. por dimensão — o mesmo trade-off do Naive Bayes, agora em teste de hipótese

Calcular \(D_M\) exige estimar e inverter \(\hat\Sigma\) — \(d(d+1)/2\) parâmetros, caro e instável quando \(N\) não é \(\gg d\) (a armadilha do Bloco 4). A alternativa mais barata: supor independência entre dimensões (PRML discute exatamente essa restrição — \(\Sigma\) diagonal — em §2.3, p. 84, como uma forma de “tornar a inversão da matriz de covariância uma operação muito mais rápida”, ao custo de “limitar a capacidade do modelo de capturar correlações interessantes nos dados”). Sob essa suposição, calcula-se um \(p\)-valor por dimensão, \(p_i(x_i) = P(|Z_i|\ge|z_i|)\) usando só a marginal \(\mathcal{N}(\hat\mu_i,\hat\sigma_i^2)\) — \(d\) parâmetros, não \(d(d+1)/2\) — e combinam-se os \(d\) \(p\)-valores independentes pelo teste de Fisher, \(-2\sum_i\ln p_i(x_i) \sim \chi^2_{2d}\) (também estatística clássica, não coberta por PRML/DLFC — combinação padrão de \(p\)-valores independentes).

O gráfico mostra o erro nas duas direções. No ponto B, cada coordenada isolada já parece grande (o teste por dimensão dá um \(p\)-valor baixo), mas a combinação é exatamente o que a correlação prevê — o teste conjunto reconhece isso e dá um \(p\)-valor bem maior: falso alarme do teste por dimensão. No ponto C, cada coordenada isolada parece perfeitamente normal (o teste por dimensão dá um \(p\)-valor alto, tranquilizador), mas a combinação quebra a correlação — o teste conjunto enxerga isso e dá um \(p\)-valor baixo: anomalia real que o teste por dimensão deixa passar. Nenhum dos dois testes está “certo” em geral; a suposição de independência é uma escolha, com um preço que depende de onde a anomalia acontece — a mesma lição do preço da suposição de independência do Naive Bayes, agora em teste de hipótese em vez de classificação.

7 Armadilhas e Ponte para a Aula 2

Dois jeitos de essa receita quebrar, nenhum deles resolvido nesta aula:

1. Dados genuinamente multimodais. Se a população real tem duas subpopulações distintas (por exemplo, dois regimes de operação da máquina), uma única Gaussiana ajustada é uma média cega entre os dois modos — o ajuste “funciona” no sentido de que a matemática produz \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) válidos, e mesmo assim a descrição resultante mente sobre a forma real dos dados.
2. Outliers no próprio conjunto de ajuste. \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) são médias — poucos pontos extremos os deslocam e inflam \(\hat\Sigma\), o que aumenta o limiar e esconde exatamente o que se queria detectar. Isso não é resolvido aqui; é um problema de robustez (estimadores robustos de locação/escala) fora do escopo desta aula.

Ponte para a Aula 2

Toda a aula assumiu que uma única forma paramétrica — a Gaussiana — descreve os dados. A Aula 2 relaxa essa suposição pelo lado não-paramétrico: em vez de assumir uma família, estimar a densidade diretamente dos vizinhos mais próximos (\(k\)-NN) e suavizar com Estimação de Densidade por Kernel (KDE). O preço dessa liberdade — a maldição da dimensionalidade, já anunciada no Bloco 4 — é o assunto de lá.

8 Exercícios

8.1 Questões discursivas

1. A distribuição empírica “nunca está errada” — é literalmente o que foi observado. Explique, com suas próprias palavras, por que isso não a torna a melhor ferramenta para descrever o comportamento típico de uma população, e por que a aula prefere apostar numa família teórica (a Gaussiana) mesmo correndo o risco de a suposição estar errada.

2. Usando a interpretação geométrica de \(\hat\Sigma^{-1}\) (que estica o espaço nas direções de baixa variância e comprime nas de alta variância), explique por que o ponto B (longe do centro em unidades brutas, mas ao longo da “crista” de alta correlação) termina menos anômalo que o ponto C (perto do centro em unidades brutas, mas fora da crista) segundo a distância de Mahalanobis. O que aconteceria com esse contraste se a correlação entre os dois sensores fosse exatamente zero?

3. A aula nomeia duas rachaduras não resolvidas na receita de ajuste Gaussiano (multimodalidade; outliers no próprio conjunto de ajuste) e uma terceira, mais estrutural (\(N\le d\)), que abre a Aula 2. Escolha UMA das duas rachaduras não resolvidas (multimodalidade OU outliers) e explique, usando os objetos matemáticos concretos desta aula (\(\hat{\boldsymbol\mu}\), \(\hat\Sigma\), distância de Mahalanobis ou \(p\)-valor), exatamente como essa rachadura se manifesta nos números — não só em palavras.

8.2 Questões de Verdadeiro/Falso

Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).

NotaProfiling sem rótulos e distribuição empírica vs. teórica

• □ Se decidíssemos usar diretamente a distribuição empírica (sem ajustar nenhuma família teórica) para decidir o que é típico, o resultado seria imune ao problema de ruído em regiões com poucos dados — já que a distribuição empírica é “literalmente o que foi observado”.
• □ No limite em que o número de observações \(N\) tende a infinito, a diferença prática entre usar a distribuição empírica diretamente e ajustar uma família teórica (Gaussiana) tende a desaparecer completamente, mesmo se a verdadeira distribuição dos dados não for Gaussiana.
• □ Um sistema de detecção de fraude em cartões de crédito que descreve o comportamento “típico” de um usuário a partir do histórico de transações, para depois flagar desvios, está aplicando a mesma lógica de profiling desta aula, mesmo sem envolver sensores de temperatura ou vibração.
• □ Como a distribuição empírica “nunca está errada” (é literalmente o que foi observado), isso significa que ela é sempre a melhor escolha para descrever o comportamento típico de uma população, superior a qualquer família teórica ajustada.

NotaA Gaussiana multivariada: parâmetros e geometria

• □ Se \(\Sigma\) fosse a matriz identidade em vez de uma matriz geral positiva definida, as curvas de nível de densidade constante da Gaussiana multivariada deixariam de ser elipsoides orientados e se tornariam círculos (ou esferas) centrados em \(\boldsymbol\mu\).
• □ No limite em que um dos autovalores de \(\Sigma\) tende a zero (mantendo os demais fixos), as elipses de densidade constante da Gaussiana degeneram numa figura de dimensão menor (por exemplo, de uma elipse para um segmento de reta, em duas dimensões).
• □ Ao descrever a distribuição conjunta de altura e peso de uma população adulta com uma Gaussiana bivariada, os autovetores de \(\hat\Sigma\) ainda dariam a orientação dos eixos de densidade constante e os autovalores ainda dariam o comprimento desses eixos, exatamente como no exemplo de temperatura/vibração desta aula.
• □ Como \(\Sigma\) precisa ser simétrica e positiva definida, qualquer matriz simétrica com todas as entradas positivas automaticamente satisfaz essa exigência e pode servir como matriz de covariância válida.

NotaPor que a Gaussiana (entropia máxima e Teorema Central do Limite)

• □ Se abandonássemos a suposição de que os dados vêm de uma soma de muitos efeitos pequenos e independentes (a justificativa do Teorema Central do Limite), a razão de “máxima entropia dada média e covariância fixas” ainda seria, por si só, uma justificativa independente e válida para escolher a Gaussiana.
• □ No limite em que se conhece muito mais sobre a distribuição dos dados do que apenas a média e a covariância (por exemplo, sabe-se de antemão que a distribuição tem duas modas distintas), o argumento de máxima entropia deixa de recomendar a Gaussiana como a escolha menos comprometida.
• □ Um erro de medição resultante da soma de muitos ruídos pequenos e independentes (erro de instrumento, flutuação térmica, arredondamento etc.) é um caso em que a justificativa do Teorema Central do Limite para usar uma Gaussiana se aplica, mesmo fora do contexto de sensores de uma máquina.
• □ Como a Gaussiana é a distribuição de entropia máxima dada média e covariância fixas, isso implica que ela é sempre a distribuição mais provável de ter gerado qualquer conjunto de dados observado.

NotaAjuste por máxima verossimilhança

• □ Se, em vez de \(\hat\Sigma_{\text{ML}} = \frac1N\sum_n(\ldots)\), dividíssemos por \(N-1\) desde o início, o estimador resultante deixaria de ser viesado.
• □ No limite em que \(N\to\infty\), a diferença relativa entre \(\hat\Sigma_{\text{ML}}\) (dividido por \(N\)) e \(\tilde\Sigma\) (dividido por \(N-1\)) tende a zero.
• □ Um analista que ajusta \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) a partir de uma amostra de retornos financeiros diários, em vez de leituras de sensores, obteria o mesmo tipo de viés sistemático em \(\hat\Sigma_{\text{ML}}\) descrito nesta aula, pela mesma razão matemática.
• □ Como \(\hat\Sigma_{\text{ML}}\) subestima a covariância verdadeira, isso significa que \(\hat{\boldsymbol\mu}\) (a média amostral) também é, necessariamente, um estimador viesado da média verdadeira.

NotaA armadilha \(N\le d\)

• □ Se, em vez de \(N\le d\), a condição fosse \(N>d\) mas ainda assim \(N\) próximo de \(d\) (por exemplo, \(N=d+1\)), \(\hat\Sigma_{\text{ML}}\) seria tecnicamente invertível, mas isso não impediria a estimativa de covariância de ser pouco confiável.
• □ No caso-limite em que \(d=1\) (um único sensor, não dois), a exigência \(N>d\) se reduz a \(N>1\) — bastam pelo menos 2 observações para \(\hat\Sigma_{\text{ML}}\) ser, em princípio, calculável e não trivialmente nula.
• □ Um cientista de dados que tenta ajustar uma Gaussiana multivariada a um conjunto de apenas 5 amostras de pacientes, cada uma com 20 exames diferentes (\(d=20\)), enfrentaria exatamente o mesmo problema de posto insuficiente em \(\hat\Sigma_{\text{ML}}\) descrito nesta aula para os sensores da máquina.
• □ Como o problema de \(N\le d\) é sobre a matriz \(\hat\Sigma\) não ser invertível, isso significa que \(\hat{\boldsymbol\mu}\) também deixa de ser calculável nesse regime.

NotaA distância de Mahalanobis

• □ Se \(\Sigma\) fosse a matriz identidade, a distância de Mahalanobis calculada com essa matriz coincidiria exatamente com a distância Euclidiana usual.
• □ No caso-limite em que a variância ao longo de uma direção específica tende a zero (mantendo as demais fixas), um deslocamento nessa direção, mesmo minúsculo em unidades brutas, faz a distância de Mahalanobis tender a infinito.
• □ Num contexto de avaliação de crédito com duas variáveis fortemente correlacionadas (renda e limite do cartão), um cliente com valores atípicos mas que respeitam a correlação usual entre as duas variáveis teria uma distância de Mahalanobis menor do que um cliente com valores dentro da faixa normal de cada variável isoladamente, mas que quebra essa correlação — pela mesma lógica dos pontos B e C desta aula.
• □ Como a distância de Mahalanobis “estica” o espaço nas direções de baixa variância, isso significa que ela sempre atribui distâncias maiores a pontos mais distantes em unidades Euclidianas brutas.

NotaOs pontos B e C: geometria da crista

• □ Se o ponto C, em vez de se deslocar ao longo do eixo de baixa variância, tivesse se deslocado a mesma distância Euclidiana ao longo do eixo de alta variância (a crista), sua distância de Mahalanobis resultante seria menor do que a calculada originalmente para C.
• □ Se as variâncias de temperatura e vibração fossem exatamente iguais e a correlação entre elas fosse zero, não haveria mais diferença entre “longe na crista” e “fora da crista” — qualquer direção de deslocamento produziria a mesma distância de Mahalanobis para um mesmo deslocamento Euclidiano.
• □ Num modelo com três variáveis fortemente correlacionadas entre si (por exemplo, três medidas relacionadas do tamanho de um objeto), a mesma lógica dos pontos B e C se generalizaria: um ponto que respeita a relação de correlação entre as três teria Mahalanobis pequena mesmo se distante em unidades brutas, e um ponto que quebra essa relação teria Mahalanobis grande mesmo perto em unidades brutas.
• □ Como o ponto B está mais longe do centro em distância Euclidiana do que o ponto C, isso implica necessariamente que B deveria ser considerado mais anômalo do que C por qualquer critério razoável de anomalia.

NotaDo limiar fixo ao \(p\)-valor

• □ Se, em vez de comparar \(D_M(\mathbf{x})^2\) a um limiar fixo, sempre reportássemos o \(p\)-valor \(p(\mathbf{x})=1-F_{\chi^2_d}(D_M(\mathbf{x})^2)\), ainda seria possível recuperar exatamente a mesma decisão binária “típico/anômalo” do limiar fixo, escolhendo o \(\alpha\) apropriado.
• □ No caso-limite em que \(D_M(\mathbf{x})^2\to 0\) (o ponto exatamente na média ajustada \(\hat{\boldsymbol\mu}\)), o \(p\)-valor \(p(\mathbf{x})\) tende a \(1\).
• □ Se, em outro contexto (não sensores de máquina), \(D_M(\mathbf{x})^2\) ainda seguisse \(\chi^2_d\) sob o modelo ajustado, a mesma fórmula \(p(\mathbf{x})=1-F_{\chi^2_d}(D_M(\mathbf{x})^2)\) poderia ser usada para converter a distância num \(p\)-valor, independentemente do domínio da aplicação.
• □ Como o \(p\)-valor ordena os pontos por “quão surpreendentes” eles são, isso significa que ele não pode mais ser usado para tomar uma decisão binária de “típico vs. anômalo” — a única forma de decidir seria olhando o ranking completo dos pontos.

NotaA armadilha de interpretação do \(p\)-valor

• □ Se o modelo ajustado (\(\hat{\boldsymbol\mu}\), \(\hat\Sigma\)) estivesse severamente errado (por exemplo, ajustado a partir de dados de um regime de operação diferente do real), o \(p\)-valor calculado ainda seria uma medida confiável da probabilidade de \(\mathbf{x}\) pertencer à verdadeira distribuição dos dados.
• □ No caso extremo em que o modelo ajustado é uma aproximação perfeita da distribuição verdadeira dos dados (nenhum erro de especificação), a distinção entre “probabilidade de um ponto do modelo ajustado ser tão extremo quanto x” e “probabilidade de x vir da distribuição verdadeira” desaparece — as duas interpretações coincidem.
• □ Um sistema de triagem de spam que calcula um “\(p\)-valor” de quão atípico um e-mail é, comparado a um modelo ajustado de e-mails legítimos, sofreria exatamente da mesma armadilha de interpretação descrita nesta aula, caso o modelo ajustado não represente bem os e-mails legítimos reais.
• □ Como um \(p\)-valor pequeno indica que um ponto é estatisticamente surpreendente sob o modelo ajustado, isso significa, sem mais suposições, que esse ponto certamente não pertence à população de interesse.

NotaConjunta vs. por dimensão

• □ Se as duas variáveis (temperatura e vibração) fossem, de fato, estatisticamente independentes uma da outra, o teste “por dimensão” (que assume independência) produziria, em geral, resultados muito parecidos com o teste “conjunto” (Mahalanobis).
• □ No caso-limite em que a correlação entre as duas variáveis é exatamente \(1\) (correlação perfeita), o teste “por dimensão” (que ignora a correlação) cometeria o maior erro possível de sobre ou subestimação do \(p\)-valor, comparado ao teste conjunto.
• □ No Naive Bayes de Aprendizado Supervisionado, a mesma suposição de independência entre atributos é feita para simplificar o cálculo, ao custo de “limitar a capacidade do modelo de capturar correlações interessantes nos dados” — exatamente a mesma tensão custo/benefício discutida nesta aula para o teste por dimensão.
• □ Como o teste conjunto (Mahalanobis) usa mais parâmetros (\(d(d+1)/2\) em vez de \(d\)), ele é sempre estritamente mais preciso do que o teste por dimensão, para qualquer conjunto de dados e qualquer tamanho de amostra \(N\).

NotaMultimodalidade

• □ Se a população real de fato tivesse duas subpopulações bem distintas (dois regimes de operação), mas ajustássemos, ainda assim, uma única Gaussiana, os parâmetros \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) resultantes seriam matematicamente inválidos (não calculáveis).
• □ No caso-limite em que as duas subpopulações estão extremamente distantes uma da outra (bem separadas), a Gaussiana única ajustada teria uma variância muito inflada, mas a média ajustada \(\hat{\boldsymbol\mu}\) ainda cairia, aproximadamente, entre as duas subpopulações — numa região onde poucos dados reais efetivamente existem.
• □ Um modelo de detecção de anomalias em transações financeiras que mistura, sem saber, transações de dois perfis de cliente muito diferentes (por exemplo, pessoa física e pessoa jurídica) sofreria do mesmo problema de multimodalidade descrito nesta aula para os regimes de operação da máquina.
• □ Como o ajuste Gaussiano “funciona” no sentido de produzir \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) válidos mesmo com dados multimodais, isso significa que a descrição resultante da população é necessariamente confiável para decidir o que é típico ou anômalo.

NotaOutliers no ajuste e ponte para a Aula 2

• □ Se os outliers estivessem presentes apenas no conjunto de teste (pontos novos avaliados), mas não no conjunto usado para ajustar \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\), o problema de \(\hat\Sigma\) inflada descrito nesta aula não ocorreria.
• □ No caso-limite em que só um único ponto do conjunto de ajuste é um outlier extremo, entre milhares de pontos típicos, o efeito desse único ponto sobre \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) tenderia a ser desprezível.
• □ A Aula 2 relaxa a suposição de forma única (Gaussiana) usando \(k\)-NN e KDE, mas essa mudança, por si só, não resolve o problema de outliers no ajuste — a mesma vulnerabilidade a outliers poderia, em princípio, aparecer também em estimadores não-paramétricos de densidade, não sendo uma exclusividade do modelo Gaussiano.
• □ Como a Aula 2 vai abandonar a suposição de forma paramétrica (Gaussiana), isso significa que ela também vai automaticamente resolver o problema da maldição da dimensionalidade que a exigência \(N>d\) desta aula já anunciou.

8.3 Aviso

As questões de Verdadeiro/Falso e discursivas ficam sem solução neste arquivo — são para resolução autônoma do aluno, fora do horário de aula.