Exercícios — Aula 1: Modelos Generativos Paramétricos e Detecção de Anomalias
Aprendizado Não Supervisionado
Marcos M. Raimundo — Instituto de Computação, UNICAMP
18 de setembro de 2026
Vários itens abaixo usam, como exemplo ilustrativo recorrente, duas variáveis contínuas fortemente correlacionadas — a temperatura e a vibração de um equipamento, que sobem e descem juntas sob operação normal. É apenas um exemplo para tornar os cenários concretos: nenhum item exige ter visto esse exemplo antes, e toda a informação necessária para resolver cada item está no próprio enunciado (ou no preâmbulo do bloco a que pertence).
Questões discursivas
A distribuição empírica de um conjunto de dados — o próprio histograma, ou a nuvem de pontos observada — “nunca está errada”: é literalmente o que foi observado. Explique, com suas próprias palavras, por que isso não a torna a melhor ferramenta para descrever o comportamento típico de uma população, e por que pode valer a pena, mesmo assim, apostar numa família teórica de distribuições (como a Gaussiana) para descrever esses dados, correndo o risco de a suposição estar errada.
Considere um modelo Gaussiano bivariado ajustado a duas variáveis fortemente correlacionadas — por exemplo, a temperatura e a vibração de um equipamento, que sobem e descem juntas sob operação normal. Usando a interpretação geométrica de \(\hat\Sigma^{-1}\) (que estica o espaço nas direções de baixa variância e comprime nas de alta variância), explique por que um ponto B — longe do centro em unidades brutas, mas deslocado ao longo do eixo de alta variância (a “crista” de correlação) — termina menos anômalo, pela distância de Mahalanobis, do que um ponto C — perto do centro em unidades brutas, mas deslocado ao longo do eixo de baixa variância, fora dessa crista. O que aconteceria com esse contraste se a correlação entre as duas variáveis fosse exatamente zero?
O ajuste de uma Gaussiana multivariada por máxima verossimilhança tem, além da exigência estrutural \(N>d\) para que \(\hat\Sigma\) seja invertível, (pelo menos) duas outras fragilidades que não desaparecem só por essa condição estar satisfeita: (1) multimodalidade — se a população real tiver mais de um subgrupo distinto, uma única Gaussiana ajustada produz uma média cega entre eles; e (2) sensibilidade a outliers no próprio conjunto usado para o ajuste, que deslocam \(\hat{\boldsymbol\mu}\) e inflam \(\hat\Sigma\). Escolha UMA dessas duas fragilidades (multimodalidade OU outliers) e explique, usando os objetos matemáticos concretos (\(\hat{\boldsymbol\mu}\), \(\hat\Sigma\), distância de Mahalanobis ou \(p\)-valor), exatamente como essa fragilidade se manifesta nos números — não só em palavras.
Questões de Verdadeiro/Falso
Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).
- □ Se decidíssemos usar diretamente a distribuição empírica (sem ajustar nenhuma família teórica) para decidir o que é típico, o resultado seria imune ao problema de ruído em regiões com poucos dados — já que a distribuição empírica é “literalmente o que foi observado”.
- □ No limite em que o número de observações \(N\) tende a infinito, a diferença prática entre usar a distribuição empírica diretamente e ajustar uma família teórica (Gaussiana) tende a desaparecer completamente, mesmo se a verdadeira distribuição dos dados não for Gaussiana.
- □ Um sistema de detecção de fraude em cartões de crédito que descreve o comportamento “típico” de um usuário a partir do histórico de transações, para depois flagar desvios, está aplicando a mesma lógica de profiling — descrever o comportamento típico de uma população para depois reconhecer o que se desvia dela — mesmo sem envolver sensores de temperatura ou vibração.
- □ Como a distribuição empírica “nunca está errada” (é literalmente o que foi observado), isso significa que ela é sempre a melhor escolha para descrever o comportamento típico de uma população, superior a qualquer família teórica ajustada.
- □ Se \(\Sigma\) fosse a matriz identidade em vez de uma matriz geral positiva definida, as curvas de nível de densidade constante da Gaussiana multivariada deixariam de ser elipsoides orientados e se tornariam círculos (ou esferas) centrados em \(\boldsymbol\mu\).
- □ No limite em que um dos autovalores de \(\Sigma\) tende a zero (mantendo os demais fixos), as elipses de densidade constante da Gaussiana degeneram numa figura de dimensão menor (por exemplo, de uma elipse para um segmento de reta, em duas dimensões).
- □ Ao descrever a distribuição conjunta de altura e peso de uma população adulta com uma Gaussiana bivariada, os autovetores de \(\hat\Sigma\) ainda dariam a orientação dos eixos de densidade constante e os autovalores ainda determinariam o comprimento desses eixos — exatamente como aconteceria ao modelar duas outras variáveis correlacionadas, como as leituras de temperatura e vibração de um equipamento, com uma Gaussiana bivariada.
- □ Como \(\Sigma\) precisa ser simétrica e positiva definida, qualquer matriz simétrica com todas as entradas positivas automaticamente satisfaz essa exigência e pode servir como matriz de covariância válida.
- □ Se abandonássemos a suposição de que os dados vêm de uma soma de muitos efeitos pequenos e independentes (a justificativa do Teorema Central do Limite), a razão de “máxima entropia dada média e covariância fixas” ainda seria, por si só, uma justificativa independente e válida para escolher a Gaussiana.
- □ No limite em que se conhece muito mais sobre a distribuição dos dados do que apenas a média e a covariância (por exemplo, sabe-se de antemão que a distribuição tem duas modas distintas), o argumento de máxima entropia deixa de recomendar a Gaussiana como a escolha menos comprometida.
- □ Um erro de medição resultante da soma de muitos ruídos pequenos e independentes (erro de instrumento, flutuação térmica, arredondamento etc.) é um caso em que a justificativa do Teorema Central do Limite para usar uma Gaussiana se aplica, mesmo fora do contexto de sensores de uma máquina.
- □ Como a Gaussiana é a distribuição de entropia máxima dada média e covariância fixas, isso implica que ela é sempre a distribuição mais provável de ter gerado qualquer conjunto de dados observado.
- □ Se, em vez de \(\hat\Sigma_{\text{ML}} = \frac1N\sum_{n=1}^N(\mathbf{x}_n-\hat{\boldsymbol\mu})(\mathbf{x}_n-\hat{\boldsymbol\mu})^T\), dividíssemos por \(N-1\) desde o início, o estimador resultante deixaria de ser viesado.
- □ No limite em que \(N\to\infty\), a diferença relativa entre \(\hat\Sigma_{\text{ML}}\) (dividido por \(N\)) e \(\tilde\Sigma\) (dividido por \(N-1\)) tende a zero.
- □ Ao ajustar o estimador de máxima verossimilhança \(\hat\Sigma_{\text{ML}}\) sob o modelo de retornos financeiros diários i.i.d., a subestimação da covariância pelo fator \((N-1)/N\) é uma consequência unicamente da matemática do ajuste, e não uma característica intrínseca de retornos financeiros — a mesma subestimação ocorreria.
- □ Como \(\hat\Sigma_{\text{ML}}\) subestima a covariância verdadeira, isso significa que \(\hat{\boldsymbol\mu}\) (a média amostral) também é, necessariamente, um estimador viesado da média verdadeira.
Nos itens abaixo, \(N\) é o número de observações e \(d\) é o número de variáveis (a dimensão) usadas para estimar \(\hat\Sigma_{\text{ML}} = \frac1N\sum_{n=1}^N(\mathbf{x}_n-\hat{\boldsymbol\mu})(\mathbf{x}_n-\hat{\boldsymbol\mu})^T\). Essa matriz tem posto no máximo \(N-1\) e só é invertível — condição necessária para calcular a distância de Mahalanobis — se seu posto for igual a \(d\), ou seja, se \(N>d\).
- □ Se, em vez de \(N\le d\), a condição fosse \(N>d\) mas ainda assim \(N\) próximo de \(d\) (por exemplo, \(N=d+1\)), \(\hat\Sigma_{\text{ML}}\) seria tecnicamente invertível, mas isso não impediria a estimativa de covariância de ser pouco confiável.
- □ No caso-limite em que \(d=1\) (uma única variável observada, não duas), a exigência \(N>d\) se reduz a \(N>1\) — bastam pelo menos 2 observações para \(\hat\Sigma_{\text{ML}}\) ser, em princípio, calculável e não trivialmente nula.
- □ Um cientista de dados que tenta ajustar uma Gaussiana multivariada a um conjunto de apenas 5 amostras de pacientes, cada uma com 20 exames diferentes (\(d=20\)), enfrentaria exatamente o mesmo problema estrutural: o posto de \(\hat\Sigma_{\text{ML}}\) seria, no máximo, \(4\) — insuficiente para o posto \(20\) necessário para que a matriz seja invertível.
- □ Como o problema de \(N\le d\) é sobre a matriz \(\hat\Sigma\) não ser invertível, isso significa que \(\hat{\boldsymbol\mu}\) também deixa de ser calculável nesse regime.
- □ Se \(\Sigma\) fosse a matriz identidade, a distância de Mahalanobis calculada com essa matriz coincidiria exatamente com a distância Euclidiana usual.
- □ No caso-limite em que a variância ao longo de uma direção específica tende a zero (mantendo as demais fixas), um deslocamento nessa direção, mesmo minúsculo em unidades brutas, faz a distância de Mahalanobis tender a infinito.
- □ Considere um contexto de avaliação de crédito com duas variáveis fortemente correlacionadas (renda e limite do cartão). Dois clientes têm o mesmo desvios conjunto (L2) em relação à renda e limite médios, mas um cliente possui valores, mesmo que atípicos, mas que respeitam a correlação usual entre as duas variáveis teria uma distância de Mahalanobis menor do que um cliente com limite mais próximo da faixa normal, mas que quebra a correlação com a renda.
- □ Como a distância de Mahalanobis “estica” o espaço nas direções de baixa variância, isso significa que ela sempre atribui distâncias maiores a pontos mais distantes em unidades Euclidianas brutas.
Considere um modelo Gaussiano bivariado ajustado às leituras de dois sensores de um equipamento — temperatura e vibração — que sobem e descem juntos sob operação normal, de modo que a nuvem de pontos se estica ao longo de uma direção de alta correlação (a “crista”) e quase não varia na direção perpendicular a ela. O ponto B foi construído a 2 desvios-padrão do centro ao longo do eixo de alta variância (dentro da crista); o ponto C foi construído a 3 desvios-padrão do centro ao longo do eixo de baixa variância (perpendicular à crista, quebrando a correlação usual entre os dois sensores). Apesar de B ficar numericamente mais longe do centro em distância Euclidiana bruta do que C, sua distância de Mahalanobis — que comprime a direção de alta variância e estica a de baixa variância — é menor do que a de C.
- □ Se o ponto C, em vez de se deslocar ao longo do eixo de baixa variância, tivesse se deslocado a mesma distância Euclidiana ao longo do eixo de alta variância (a crista), sua distância de Mahalanobis resultante seria menor do que a calculada originalmente para C.
- □ Se as variâncias de temperatura e vibração fossem exatamente iguais e a correlação entre elas fosse zero, não haveria mais diferença entre “longe na crista” e “fora da crista” — qualquer direção de deslocamento produziria a mesma distância de Mahalanobis para um mesmo deslocamento Euclidiano.
- □ Num modelo com três variáveis fortemente correlacionadas entre si (por exemplo, três medidas relacionadas do tamanho de um objeto), a mesma lógica dos pontos B e C se generalizaria: um ponto que respeita a relação de correlação entre as três teria Mahalanobis pequena mesmo se distante em unidades brutas, e um ponto que quebra essa relação teria Mahalanobis grande mesmo perto em unidades brutas.
- □ Como o ponto B está mais longe do centro em distância Euclidiana do que o ponto C, isso implica necessariamente que B deveria ser considerado mais anômalo do que C por qualquer critério razoável de anomalia.
- □ Se, em vez de comparar \(D_M(\mathbf{x})^2\) a um limiar fixo, sempre reportássemos o \(p\)-valor \(p(\mathbf{x})=1-F_{\chi^2_d}(D_M(\mathbf{x})^2)\), ainda seria possível recuperar exatamente a mesma decisão binária “típico/anômalo” do limiar fixo, escolhendo o \(\alpha\) apropriado.
- □ No caso-limite em que \(D_M(\mathbf{x})^2\to 0\) (o ponto exatamente na média ajustada \(\hat{\boldsymbol\mu}\)), o \(p\)-valor \(p(\mathbf{x})\) tende a \(1\).
- □ Se, em outro contexto (não sensores de máquina), \(D_M(\mathbf{x})^2\) ainda seguisse \(\chi^2_d\) sob o modelo ajustado, a mesma fórmula \(p(\mathbf{x})=1-F_{\chi^2_d}(D_M(\mathbf{x})^2)\) poderia ser usada para converter a distância num \(p\)-valor, independentemente do domínio da aplicação.
- □ Como o \(p\)-valor ordena os pontos por “quão surpreendentes” eles são, isso significa que ele não pode mais ser usado para tomar uma decisão binária de “típico vs. anômalo” — a única forma de decidir seria olhando o ranking completo dos pontos.
- □ Se o modelo ajustado (\(\hat{\boldsymbol\mu}\), \(\hat\Sigma\)) estivesse severamente errado (por exemplo, ajustado a partir de dados de um regime de operação diferente do real), o \(p\)-valor calculado ainda seria uma medida confiável da probabilidade de \(\mathbf{x}\) pertencer à verdadeira distribuição dos dados.
- □ No caso extremo em que o modelo ajustado é uma aproximação perfeita da distribuição verdadeira dos dados (nenhum erro de especificação), a distinção entre “probabilidade de um ponto do modelo ajustado ser tão extremo quanto x” e “probabilidade de amostrar um evento tão extremo quanto x na realidade” desaparece — as duas interpretações coincidem.
- □ Um sistema de triagem de spam que calcula um “\(p\)-valor” de quão atípico um e-mail é, comparado a um modelo ajustado de e-mails legítimos, sofreria exatamente da mesma armadilha de interpretação — confundir “improvável sob o modelo ajustado” com “improvável sob a distribuição real de e-mails legítimos” — caso o modelo ajustado não represente bem os e-mails legítimos reais.
- □ Como um \(p\)-valor pequeno indica que um ponto é estatisticamente surpreendente sob o modelo ajustado, isso significa, em modo geral, que esse ponto é também surpreendente na hipótese analisada.
- □ Se as duas variáveis fossem, de fato, estatisticamente independentes uma da outra, o teste “por dimensão” (que assume independência) produziria, em geral, resultados muito parecidos com o teste “conjunto” (Mahalanobis).
- □ No caso-limite em que a correlação entre as duas variáveis tende a \(1\) (correlação perfeita), o teste “por dimensão” (que ignora a correlação) cometeria o maior erro possível de sobre ou subestimação do \(p\)-valor, comparado ao teste conjunto.
- □ No Naive Bayes de Aprendizado Supervisionado, a mesma suposição de independência entre atributos é feita para simplificar o cálculo, ao custo de limitar a capacidade do modelo de capturar correlações interessantes nos dados — exatamente a mesma tensão custo/benefício do teste por dimensão contra o teste conjunto.
- □ Como o teste conjunto (Mahalanobis) usa mais parâmetros (\(d(d+1)/2\) em vez de \(d\)), ele é sempre estritamente mais preciso do que o teste por dimensão, para qualquer conjunto de dados e qualquer tamanho de amostra \(N\).
- □ Se a população real de fato tivesse duas subpopulações bem distintas (dois regimes de operação), mas ajustássemos, ainda assim, uma única Gaussiana, os parâmetros \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) resultantes seriam matematicamente inválidos (não calculáveis).
- □ No caso-limite em que as duas subpopulações estão extremamente distantes uma da outra (bem separadas), a Gaussiana única ajustada teria uma variância muito inflada, mas a média ajustada \(\hat{\boldsymbol\mu}\) ainda cairia, aproximadamente, entre as duas subpopulações — numa região onde poucos dados reais efetivamente existem.
- □ Um modelo de detecção de anomalias em transações financeiras que mistura, sem saber, transações de dois perfis de cliente muito diferentes (por exemplo, pessoa física e pessoa jurídica) sofreria do mesmo problema: uma única Gaussiana ajustada aos dois perfis juntos produziria uma média cega entre eles, sem descrever bem nenhum dos dois grupos.
- □ Como o ajuste Gaussiano “funciona” no sentido de produzir \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) válidos mesmo com dados multimodais, isso significa que a descrição resultante da população é necessariamente confiável para decidir o que é típico ou anômalo.
- □ Se os outliers estivessem presentes apenas no conjunto de teste (pontos novos avaliados), mas não no conjunto usado para ajustar \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\), o efeito de outliers deslocarem a média e inflarem a covariância estimadas não ocorreria.
- □ No caso-limite em que só um único ponto do conjunto de ajuste é um outlier extremo, entre milhares de pontos típicos, o efeito desse único ponto sobre \(\hat{\boldsymbol\mu}\) e \(\hat\Sigma\) tenderia a ser desprezível, na ordem apenas de \(\mathcal{O}(1/N)\).
- □ A Aula 2 relaxa a suposição de forma única (Gaussiana) usando \(k\)-NN e KDE, mas essa mudança, por si só, não resolve o problema de outliers no ajuste — a mesma vulnerabilidade a outliers poderia, em princípio, aparecer também em estimadores não-paramétricos de densidade, não sendo uma exclusividade do modelo Gaussiano.
- □ Como a Aula 2 vai abandonar a suposição de forma paramétrica (Gaussiana), isso significa que ela também vai automaticamente resolver o problema da maldição da dimensionalidade que a exigência de \(N>d\) para a invertibilidade de \(\hat\Sigma\) (vista acima) já anunciou.