Soluções — Aula 11: Máquinas de Vetores de Suporte (SVM)

Supervised Learning

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

6 de novembro de 2026

Aula Exercícios

Dica

Este documento contém o gabarito completo e comentado das questões de Verdadeiro/Falso e as resoluções passo a passo das questões discursivas da Aula 11.

Resoluções das questões discursivas

Questão 1: Dedução do Problema Dual de Wolfe e Caracterização das Condições KKT

Item a:
O problema primal da SVM linear para dados linearmente separáveis busca minimizar a energia quadrática \(\|\mathbf{w}\|^2/2\) sujeita a \(N\) restrições lineares afins de desigualdade da forma \(g_i(\mathbf{w}, b) = 1 - y_i(\mathbf{w}^T \mathbf{x}_i + b) \le 0\) para \(i = 1, \dots, N\).

Introduzindo um multiplicador de Lagrange não negativo \(\alpha_i \ge 0\) para cada restrição, a função Lagrangeana primal \(\mathcal{L}(\mathbf{w}, b, \boldsymbol{\alpha})\) é expressa por:

\[\mathcal{L}(\mathbf{w}, b, \boldsymbol{\alpha}) = \frac{1}{2} \|\mathbf{w}\|^2 - \sum_{i=1}^N \alpha_i \Big[ y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1 \Big]\]

com \(\alpha_i \ge 0\).

Item b:
Para encontrar o ponto de sela do Lagrangeano, calculamos as derivadas parciais em relação às variáveis primais \((\mathbf{w}, b)\) e as igualamos a zero:

  1. Gradiente em relação ao vetor de pesos \(\mathbf{w}\): \[\nabla_{\mathbf{w}} \mathcal{L} = \mathbf{w} - \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i = \mathbf{0} \implies \mathbf{w} = \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i\] Isso prova que o vetor normal ótimo \(\mathbf{w}\) é formalmente uma combinação linear dos vetores de entrada dos dados de treino, ponderados por seus multiplicadores de Lagrange e rótulos de classe.

  2. Derivada em relação ao bias \(b\): \[\frac{\partial \mathcal{L}}{\partial b} = -\sum_{i=1}^N \alpha_i y_i = 0 \implies \sum_{i=1}^N \alpha_i y_i = 0\] Essa equação impõe que os multiplicadores da classe positiva e da classe negativa devem se equilibrar rigorosamente: \(\sum_{y_i = +1} \alpha_i = \sum_{y_j = -1} \alpha_j\).

Item c:
Substituindo \(\mathbf{w} = \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i\) e a condição \(\sum_{i=1}^N \alpha_i y_i = 0\) na expressão de \(\mathcal{L}\):

\[\mathcal{L} = \frac{1}{2} \left(\sum_{i=1}^N \alpha_i y_i \mathbf{x}_i\right)^T \left(\sum_{j=1}^N \alpha_j y_j \mathbf{x}_j\right) - \sum_{i=1}^N \alpha_i y_i \left(\sum_{j=1}^N \alpha_j y_j \mathbf{x}_j\right)^T \mathbf{x}_i - b \underbrace{\left(\sum_{i=1}^N \alpha_i y_i\right)}_{=0} + \sum_{i=1}^N \alpha_i\]

Reagrupando os termos quadráticos duplos:

\[\mathcal{L} = \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \mathbf{x}_i^T \mathbf{x}_j - \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \mathbf{x}_i^T \mathbf{x}_j + \sum_{i=1}^N \alpha_i\]

\[\mathcal{Q}(\boldsymbol{\alpha}) = \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \langle \mathbf{x}_i, \mathbf{x}_j \rangle\]

Assim, o problema dual de Wolfe consiste em:

\[\max_{\boldsymbol{\alpha}} \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \langle \mathbf{x}_i, \mathbf{x}_j \rangle \quad \text{sujeito a } \alpha_i \ge 0, \, \forall i \quad \text{e} \quad \sum_{i=1}^N \alpha_i y_i = 0\]

Item d:
Pelo Teorema de Karush-Kuhn-Tucker (KKT), as soluções ótimas satisfazem a condição de folga complementar:

\[\alpha_i^* \Big[ y_i\big((\mathbf{w}^*)^T \mathbf{x}_i + b^*\big) - 1 \Big] = 0, \quad \forall i = 1, \dots, N\]

Se uma observação \(i\) possui margem funcional estritamente maior que 1, isto é, \(y_i(\mathbf{w}^T \mathbf{x}_i + b) > 1\), então o termo entre colchetes é estritamente positivo, o que força compulsoriamente \(\alpha_i^* = 0\). Esse ponto é completamente irrelevante para a soma de \(\mathbf{w}\) e para a fronteira.

Por outro lado, apenas as observações com \(\alpha_i^* > 0\) participam da representação do hiperplano; para estas, o termo entre colchetes anula-se: \(y_i(\mathbf{w}^T \mathbf{x}_i + b) = 1\). Esses são os Vetores de Suporte, que repousam exatamente sobre as superfícies limítrofes da margem canônica.

Para qualquer vetor de suporte \(j \in \text{SV}\), multiplicando ambos os lados de \(\mathbf{w}^T \mathbf{x}_j + b = y_j\) por \(y_j\) (pois \(y_j \in \{-1, +1\} \implies y_j^2 = 1\)):

\[b = y_j - \mathbf{w}^T \mathbf{x}_j = y_j - \sum_{i \in \text{SV}} \alpha_i y_i \langle \mathbf{x}_i, \mathbf{x}_j \rangle\]

Na prática computacional, toma-se a média aritmética desse valor sobre todos os vetores de suporte para minimizar erros numéricos de arredondamento.

Questão 2: Equivalência Formal entre Margem Suave com Variáveis de Folga e a Perda Hinge Regularizada

Item a:
No problema primal da margem suave, para vetores fixos \(\mathbf{w}\) e \(b\), o objetivo depende de \(\boldsymbol{\xi}\) através de \(C \sum_{i=1}^N \xi_i\). Como \(C > 0\), minimizar essa soma equivale a minimizar cada \(\xi_i\) individualmente sob as restrições:

\[\xi_i \ge 0 \quad \text{e} \quad \xi_i \ge 1 - y_i(\mathbf{w}^T \mathbf{x}_i + b)\]

O menor número real que é simultaneamente maior ou igual a zero e maior ou igual a uma quantidade \(u \in \mathbb{R}\) é exatamente o operador máximo entre 0 e \(u\):

\[\xi_i^* = \max\Big(0, \, 1 - y_i(\mathbf{w}^T \mathbf{x}_i + b)\Big)\]

Item b:
Substituindo \(\xi_i^*\) diretamente na função objetivo primal \(\frac{1}{2}\|\mathbf{w}\|^2 + C \sum_{i=1}^N \xi_i\):

\[\min_{\mathbf{w}, b} \frac{1}{2}\|\mathbf{w}\|^2 + C \sum_{i=1}^N \max\Big(0, \, 1 - y_i(\mathbf{w}^T \mathbf{x}_i + b)\Big)\]

Dividindo toda a expressão pela constante positiva \(C > 0\) (o que preserva rigorosamente a localização do minimizador ótimo):

\[\min_{\mathbf{w}, b} \sum_{i=1}^N \max\Big(0, \, 1 - y_i(\mathbf{w}^T \mathbf{x}_i + b)\Big) + \frac{1}{2C}\|\mathbf{w}\|^2\]

Definindo a função de perda Hinge \(L_{\text{hinge}}(y, f(\mathbf{x})) = \max(0, 1 - y f(\mathbf{x}))\) e o parâmetro de regularização Ridge \(\lambda = \frac{1}{2C}\), obtemos a forma canônica de Minimização do Risco Empírico Regularizado:

\[\min_{\mathbf{w}, b} \sum_{i=1}^N L_{\text{hinge}}\big(y_i, \mathbf{w}^T \mathbf{x}_i + b\big) + \lambda \|\mathbf{w}\|^2\]

Item c:
Comparação analítica das propriedades de perda: 1. Convexidade: Ambas as perdas são funções convexas em relação à margem funcional \(z = y f(\mathbf{x})\), garantindo ausência de mínimos locais espúrios. 2. Diferenciabilidade: A perda logística \(L_{\text{log}}(z) = \log_2(1 + e^{-z})\) é infinitamente diferenciável (\(\mathcal{C}^\infty\)) em todo \(\mathbb{R}\). A perda Hinge \(\max(0, 1 - z)\) é contínua e diferenciável por partes, mas possui uma quina não diferenciável no ponto \(z = 1\), onde a derivada sofre salto descontínuo de \(-1\) para \(0\) (requerendo subgradientes). 3. Indução de Esparsidade: Para qualquer ponto com margem de segurança \(z \ge 1\), a perda Hinge é identicamente nula e possui derivada zero: \(\frac{d L_{\text{hinge}}}{dz} = 0\). Portanto, o subgradiente anula-se e o multiplicador dual correspondente torna-se rigorosamente zero (\(\alpha_i = 0\)), induzindo esparsidade exata no vetor \(\boldsymbol{\alpha}\). Em contrapartida, a derivada da perda logística \(-\frac{e^{-z}}{1 + e^{-z}}\) aproxima-se assintoticamente de zero mas nunca se anula para valores finitos de \(z\), obrigando cada amostra da base a exercer tração sobre os parâmetros e impedindo a esparsidade.

Questão 3: O Kernel RBF Gaussiano como Produto Interno em Espaço de Hilbert de Dimensão Infinita

Item a:
Expandindo o quadrado do binômio na função exponencial:

\[(x - z)^2 = x^2 - 2xz + z^2\]

Substituindo na definição do kernel com \(\gamma = 1/2\):

\[k(x, z) = \exp\left(-\frac{1}{2}(x^2 - 2xz + z^2)\right) = \exp\left(-\frac{1}{2}x^2\right) \cdot \exp\left(-\frac{1}{2}z^2\right) \cdot \exp(xz)\]

Item b:
A expansão em série de potências de Taylor da função exponencial em torno da origem é dada por:

\[\exp(u) = \sum_{m=0}^\infty \frac{u^m}{m!}\]

Aplicando essa identidade ao termo cruzado \(u = xz\):

\[\exp(xz) = \sum_{m=0}^\infty \frac{(xz)^m}{m!} = \sum_{m=0}^\infty \frac{x^m z^m}{m!} = \sum_{m=0}^\infty \left(\frac{x^m}{\sqrt{m!}}\right) \left(\frac{z^m}{\sqrt{m!}}\right)\]

Multiplicando essa soma pelos fatores exponenciais dependentes exclusivamente de \(x\) e de \(z\):

\[k(x, z) = \exp\left(-\frac{1}{2}x^2\right) \exp\left(-\frac{1}{2}z^2\right) \sum_{m=0}^\infty \left(\frac{x^m}{\sqrt{m!}}\right) \left(\frac{z^m}{\sqrt{m!}}\right)\]

\[\mathcal{k}(x, z) = \sum_{m=0}^\infty \left( \exp\left(-\frac{1}{2}x^2\right) \frac{x^m}{\sqrt{m!}} \right) \cdot \left( \exp\left(-\frac{1}{2}z^2\right) \frac{z^m}{\sqrt{m!}} \right)\]

Definindo para cada \(m \in \{0, 1, 2, \dots\}\) a função coordenada:

\[\phi_m(x) = \exp\left(-\frac{1}{2}x^2\right) \frac{x^m}{\sqrt{m!}}\]

obtemos exatamente:

\[k(x, z) = \sum_{m=0}^\infty \phi_m(x) \phi_m(z) = \langle \phi(x), \phi(z) \rangle_{\ell^2}\]

onde o vetor de mapeamento não linear é:

\[\phi(x) = e^{-x^2/2} \left[ 1, \, x, \, \frac{x^2}{\sqrt{2!}}, \, \frac{x^3}{\sqrt{3!}}, \, \dots, \, \frac{x^m}{\sqrt{m!}}, \, \dots \right]^T\]

Item c:
Como a expansão em série de Taylor da exponencial possui uma infinidade enumerável de monômios não nulos (\(m = 0, 1, 2, \dots, \infty\)), o vetor \(\phi(x)\) possui infinitas coordenadas no espaço de sequências de quadrado somável \(\ell^2\). Portanto, a dimensão do espaço de atributos \(\mathcal{H}\) é formalmente infinita.

Calcular e armazenar explicitamente um vetor de dimensão infinita é fisicamente impossível em qualquer computador. No entanto, graças ao Truque do Kernel, a SVM necessita apenas de avaliar o produto interno \(\langle \phi(x), \phi(z) \rangle\), que é computado de forma fechada e exata avaliando a função elementar \(\exp(-\frac{1}{2}(x - z)^2)\) no espaço escalar original em tempo \(O(1)\). Isso contorna completamente a maldição da dimensionalidade.

Questão 4: Calibração de Probabilidades de Platt e o Tubo de Insensibilidade da SVR

Item a:
A SVM maximiza a margem geométrica e produz um escore funcional determinístico \(f(\mathbf{x}) = \sum_{i \in \text{SV}} \alpha_i y_i k(\mathbf{x}_i, \mathbf{x}) + b \in (-\infty, +\infty)\), cuja magnitude reflete distância ortogonal escalonada, e não probabilidade condicional.

O método de Platt Scaling (1999) ajusta uma sigmoide logística paramétrica sobre os escores:

\[P(Y = +1 \mid \mathbf{x}) = \frac{1}{1 + \exp\big(A f(\mathbf{x}) + B\big)}\]

onde os coeficientes \(A, B \in \mathbb{R}\) são estimados minimizando a perda de entropia cruzada binária.

Se calcularmos os escores \(f(\mathbf{x}_i)\) nas próprias amostras de treinamento e ajustarmos a sigmoide sobre eles, ocorre vazamento de dados (data leakage): como a SVM já otimizou agressivamente a separação no treino, os escores \(f(\mathbf{x}_i)\) apresentam separação artificialmente perfeita em relação aos rótulos reais. A regressão logística tenderá a estimar \(|A| \to \infty\), saturando as probabilidades calibradas em 0 e 1 e gerando um classificador perigosamente superconfiante que falhará em dados novos.

Item b:
Para neutralizar esse viés de otimismo, Platt propôs o protocolo de validação cruzada out-of-fold: 1. O conjunto de treinamento é particionado em \(K\) partes (tipicamente \(K = 5\) ou \(10\)). 2. Para cada parte \(k \in \{1, \dots, K\}\), uma SVM é treinada nos \(K-1\) folds restantes e utilizada para inferir escores de decisão estritamente nas amostras do fold retido \(k\). 3. Ao final das \(K\) iterações, obtém-se um vetor de escores contínuos \(f_{\text{oof}}(\mathbf{x}_i)\) onde cada observação foi avaliada por um modelo que nunca teve acesso a ela durante a otimização de margem. 4. Os parâmetros \(A\) e \(B\) da sigmoide são então ajustados por Máxima Verossimilhança sobre esses escores out-of-fold, garantindo uma curva de calibração fidedigna e sem contaminação.

Item c:
Na Support Vector Regression (\(\varepsilon\)-SVR), a perda insensível \(L_\varepsilon(y, f(\mathbf{x})) = \max(0, |y - f(\mathbf{x})| - \varepsilon)\) constrói um cilindro ou faixa de tolerância de espessura \(2\varepsilon\) centrada na curva \(f(\mathbf{x})\): - Qualquer resíduo com \(|y_i - f(\mathbf{x}_i)| \le \varepsilon\) sofre custo de erro igual a zero e não demanda esforço do modelo (\(\alpha_i = \alpha_i^* = 0\)). - Apenas observações que violam a fronteira do tubo (\(|y_i - f(\mathbf{x}_i)| > \varepsilon\)) tornam-se vetores de suporte da regressão.

Comportamento assintótico em função de \(\varepsilon\): - Quando \(\varepsilon \to 0\): O tubo colapsa para uma linha de espessura nula, transformando a perda na norma \(L_1\) absoluta pura \(|y - f(\mathbf{x})|\). Como resíduos empíricos contínuos quase nunca são exatamente zero, praticamente todas as \(N\) amostras violam o tubo. O número de vetores de suporte dispara para \(N_{\text{SV}} \approx N\), destruindo a esparsidade do modelo. - Quando \(\varepsilon \to \infty\): O tubo alarga-se indefinidamente até englobar todas as amostras de treinamento em seu interior (\(|y_i - f(\mathbf{x}_i)| \le \varepsilon, \, \forall i\)). Todos os multiplicadores tornam-se nulos (\(\alpha_i = \alpha_i^* = 0\)), resultando em nenhum vetor de suporte ativo (\(N_{\text{SV}} = 0\)) e colapsando o preditor em uma constante trivial.

Gabarito dos testes conceituais (Verdadeiro ou Falso)

Teste 1: A Geometria da Margem Máxima e Escala Canônica

  • ✗ F: A distância euclidiana ortogonal é expressa por \(d = \frac{|\mathbf{w}^T \mathbf{x} + b|}{\|\mathbf{w}\|}\). Multiplicando \(\mathbf{w}\) e \(b\) por \(\kappa = 2\), temos \(\frac{|2\mathbf{w}^T \mathbf{x} + 2b|}{\|2\mathbf{w}\|} = \frac{2|\mathbf{w}^T \mathbf{x} + b|}{2\|\mathbf{w}\|} = d\). A distância física permanece estritamente invariante.
  • ✔ V: Sob a convenção canônica \(\min_i y_i(\mathbf{w}^T \mathbf{x}_i + b) = 1\), a distância de cada hiperplano de suporte à fronteira central é \(\frac{1}{\|\mathbf{w}\|}\); a distância total entre os suportes positivo e negativo é \(\gamma = \frac{2}{\|\mathbf{w}\|}\).
  • ✔ V: Maximizar \(\frac{2}{\|\mathbf{w}\|}\) equivale a minimizar \(\|\mathbf{w}\|\), o que por monotonicidade equivale a minimizar a forma quadrática estritamente convexa \(\frac{1}{2}\|\mathbf{w}\|^2\), imune a mínimos locais sob restrições lineares.
  • ✗ F: A formulação de margem rígida exige viabilidade do sistema de inequações \(y_i(\mathbf{w}^T \mathbf{x}_i + b) \ge 1\). Se os dados não forem linearmente separáveis (ou apresentarem sobreposição de classes), a região viável é vazia e o problema não admite solução finita.

Teste 2: Dualidade de Lagrange e Condições KKT

  • ✔ V: O problema primal possui função objetivo quadrática estritamente convexa e restrições afins. Desde que haja viabilidade linear (separabilidade), a condição de qualificação de Slater é satisfeita, garantindo dualidade forte e salto de dualidade nulo (zero duality gap).
  • ✔ V: A condição de estacionariedade de primeira ordem impõe \(\nabla_{\mathbf{w}} \mathcal{L} = \mathbf{w} - \sum \alpha_i y_i \mathbf{x}_i = \mathbf{0}\), demonstrando diretamente que \(\mathbf{w} \in \operatorname{span}(\mathbf{x}_1, \dots, \mathbf{x}_N)\).
  • ✔ V: A equação de folga complementar KKT \(\alpha_i [y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1] = 0\) obriga que, se \(y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1 > 0\), o multiplicador seja compulsoriamente nulo (\(\alpha_i = 0\)).
  • ✗ F: Amostras posicionadas bem no interior da respectiva classe satisfazem a desigualdade estrita \(y_i(\mathbf{w}^T \mathbf{x}_i + b) > 1\), possuindo \(\alpha_i = 0\). Como não participam da definição de \(\mathbf{w}\) nem de \(b\), sua inclusão não altera os parâmetros do hiperplano ótimo.

Teste 3: Margem Suave e o Hiperparâmetro \(C\)

  • ✔ V: As variáveis de folga \(\xi_i \ge 0\) relaxam as restrições para \(y_i(\mathbf{w}^T \mathbf{x}_i + b) \ge 1 - \xi_i\), tornando o programa quadrático viável para qualquer conjunto de dados com rótulos consistentes.
  • ✗ F: Para \(0 < \xi_i \le 1\), o ponto penetrou na margem de segurança, mas seu escore de decisão satisfaz \(y_i(\mathbf{w}^T \mathbf{x}_i + b) \ge 0\); ele está classificado corretamente. Erro de classificação ocorre estritamente quando \(\xi_i > 1\).
  • ✔ V: Pela derivação do Lagrangeano com as restrições \(\xi_i \ge 0\) e seus multiplicadores \(\mu_i \ge 0\), temos \(\alpha_i + \mu_i = C \implies \alpha_i \le C\). Como \(\alpha_i \ge 0\), surge a restrição em caixa \(0 \le \alpha_i \le C\).
  • ✗ F: Quando \(C \to 0\), a penalidade pelas folgas torna-se minúscula, permitindo que o modelo priorize a minimização de \(\|\mathbf{w}\|^2\). Isso resulta em margens muito largas (\(\gamma \to \infty\)), elevado número de violações, alto viés estrutural e baixa variância (risco de underfitting).

Teste 4: A Conexão com a Perda Hinge

  • ✔ V: O valor ótimo da folga é \(\xi_i^* = \max(0, 1 - y_i f(\mathbf{x}_i))\). Substituir no primal e reescalar por \(C\) revela a minimização da perda Hinge somada à penalidade \(L_2\) de norma \(\|\mathbf{w}\|^2/(2C)\).
  • ✔ V: Para \(z \ge 1\), a perda Hinge é identicamente plana com derivada zero. Isso anula a tração do gradiente e zera o multiplicador dual \(\alpha_i = 0\), conferindo esparsidade exata à SVM.
  • ✗ F: A perda Hinge é estritamente convexa (é o supremo pontual de duas funções afins: \(0\) e \(1-z\)). Portanto, sua minimização sob regularização convexa preserva a convexidade global.
  • ✔ V: Para \(z = y f(\mathbf{x}) = -3\), o valor da perda é \(\max(0, 1 - (-3)) = \max(0, 4) = 4\).

Teste 5: O Truque do Kernel e o Teorema de Mercer

  • ✗ F: O Teorema de Mercer exige que a matriz de Gram \(K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)\) seja semidefinida positiva (PSD); se houver autovalores negativos, a função não corresponde a um produto interno em espaço de Hilbert e a otimização perde a garantia de convexidade.
  • ✔ V: A formulação dual opera unicamente sobre o produto interno \(\langle \phi(\mathbf{x}_i), \phi(\mathbf{x}_j) \rangle\). Substituir esse produto por \(k(\mathbf{x}_i, \mathbf{x}_j)\) permite trabalhar no espaço \(\mathcal{H}\) sem nunca instanciar \(\phi(\mathbf{x})\).
  • ✔ V: Para \(\mathbf{x} = [x_1, x_2]^T\) e \(\mathbf{z} = [z_1, z_2]^T\), expandir \((\mathbf{x}^T \mathbf{z} + 1)^2\) gera termos \(1\), \(2x_1 z_1\), \(2x_2 z_2\), \(x_1^2 z_1^2\), \(x_2^2 z_2^2\) e \(2x_1 x_2 z_1 z_2\), correspondendo a termos constantes, lineares, quadráticos puros e cruzados.
  • ✗ F: A classificação requer avaliar \(f(\mathbf{x}) = \sum_{i \in \text{SV}} \alpha_i y_i k(\mathbf{x}_i, \mathbf{x}) + b\). A complexidade é \(O(N_{\text{SV}} \cdot d)\), dependendo apenas da quantidade de vetores de suporte e da dimensão original \(d\), e não de \(\dim(\mathcal{H})\).

Teste 6: O Kernel RBF Gaussiano e Hiperparâmetros

  • ✔ V: Conforme provado na Questão Discursiva 3, a expansão em série de potências da exponencial \(\exp(\mathbf{x}^T \mathbf{z})\) induz um mapeamento para o espaço de sequências infinitas \(\ell^2\).
  • ✗ F: Quando \(\gamma \to \infty\), o raio da função de base radial \(\sigma = \frac{1}{\sqrt{2\gamma}} \to 0\). A influência de cada vetor de suporte torna-se microscópica, criando pequenas ilhas circulares fechadas ao redor de cada ponto de treino, gerando sobreajuste extremo (alta variância).
  • ✔ V: Pela teoria dos kernels gaussianos (Teorema de Bochner/Schoenberg), a matriz gerada por \(\exp(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2)\) para pontos distintos é sempre simétrica e estritamente definida positiva (logo, também semidefinida positiva).
  • ✔ V: À medida que a distância euclidiana \(\|\mathbf{x}_i - \mathbf{x}_j\|\) tende ao infinito, o expoente \(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2\) tende a \(-\infty\), fazendo \(\exp(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2) \to 0\).

Teste 7: Calibração Probabilística via Platt Scaling

  • ✗ F: O escore \(f(\mathbf{x})\) é puramente uma medida geométrica com sinal em \((-\infty, +\infty)\) sem vínculo direto com distribuições de probabilidade nem calibração populacional.
  • ✔ V: Platt (1999) propôs estimar \(P(Y=+1 \mid \mathbf{x}) = \frac{1}{1 + \exp(A f(\mathbf{x}) + B)}\) utilizando os parâmetros \(A\) e \(B\) ajustados via regressão logística univariada sobre os escores \(f(\mathbf{x})\).
  • ✗ F: Ajustar sobre os escores de treino contamina o modelo por vazamento de dados (leakage), gerando probabilidades severamente superestimadas devido à maximização prévia da margem no treino.
  • ✔ V: A validação cruzada out-of-fold garante que a sigmoide seja ajustada sobre escores obtidos em amostras que foram excluídas durante o cálculo dos vetores de suporte, emulando dados novos de teste.

Teste 8: Support Vector Regression (\(\varepsilon\)-SVR) e Boas Práticas

  • ✔ V: Dentro do tubo de insensibilidade \(|y_i - f(\mathbf{x}_i)| \le \varepsilon\), o erro sofre custo de perda zero, mantendo as folgas nulas e os multiplicadores \(\alpha_i = \alpha_i^* = 0\).
  • ✔ V: A condição KKT impõe que apenas instâncias que tocam a borda do tubo ou residem fora dele possuem multiplicadores não nulos, conferindo esparsidade à representação de \(f(\mathbf{x})\).
  • ✗ F: A margem e o kernel baseiam-se na métrica euclidiana \(\|\mathbf{x}_i - \mathbf{x}_j\| = \sqrt{\sum_k (x_{ik} - x_{jk})^2}\). Variáveis em ordens de grandeza maiores dominarão os cálculos de distância; portanto, a padronização (Z-score) é imprescindível.
  • ✔ V: Se \(\varepsilon\) for tão grande que todas as amostras fiquem contidas dentro do tubo, nenhuma amostra viola a tolerância. Logo, todos os \(\alpha_i = \alpha_i^* = 0\), resultando em \(N_{\text{SV}} = 0\) e função constante \(f(\mathbf{x}) = b\).