Aula 11: Máquinas de Vetores de Suporte (SVM)

Supervised Learning

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-25

Revisão e Ruptura de Paradigma

A Tese do Curso e o Paradigma Probabilístico

• A Trilogia Probabilística (Aulas 1 a 10): \[\text{Distribuição Assumida} \implies \text{Log-Verossimilhança} \implies \text{Risco de Bayes}\]

• O Foco em Todo o Espaço:
  • Regressão Logística: ajusta \(p(y=1 \mid \mathbf{x}) = \sigma(\mathbf{w}^T \mathbf{x})\) gastando capacidade nos pontos fáceis e nos difíceis.
  • Gradient Tree Boosting: minimiza a deviance no espaço funcional para calibrar \(\log\)-odds globais.

A Pergunta de Vladimir Vapnik

“Se o seu objetivo prático é apenas tomar uma decisão binária de classificação (\(y \in \{-1, +1\}\)), por que resolver o problema infinitamente mais difícil e mal-posto de estimar densidades ou probabilidades em todo o espaço de entrada?”

A Ruptura de Vapnik: O Princípio de Conservação da Capacidade

• Paradigma Verossimilhança:
  • Modela \(p(y \mid \mathbf{x})\) globalmente.
  • Cada ponto exerce atração gravitacional nos parâmetros via gradiente.
  • Sensível à maldição da dimensionalidade.

• Paradigma da Margem Máxima (SVM):
  • Foca exclusivamente na fronteira.
  • Ignora pontos situados bem no interior das classes.
  • Garantias de generalização baseadas na margem geométrica, independentes da dimensão \(d\) do espaço.

O Dilema dos Infinitos Hiperplanos

Com separabilidade linear, infinitas retas separam os dados com acurácia de treino de \(100\%\). Apenas uma maximiza a folga geométrica de segurança.

Roteiro da Aula

1. Margem Máxima Canônica: Por que maximizar a margem equivale a minimizar \(\frac{1}{2}\|\mathbf{w}\|^2\)?
2. Dualidade e KKT: De onde surge a esparsidade matemática dos vetores de suporte?
3. Margem Suave e Perda Hinge: Como relaxar a separabilidade e qual a relação com o hiperparâmetro \(C\)?
4. O Truque do Kernel: Como operar em espaços de dimensão infinita sem projetar explicitamente os pontos?
5. Calibração de Platt e SVR: Como recuperar probabilidades \(P(y=1 \mid \mathbf{x})\) e formular regressão esparsa.

Problema Motivador: Breast Cancer Wisconsin

• Observações Cruciais do Gráfico:
  • O Hiperplano A passa perigosamente próximo a tumores malignos: qualquer ruído de medição gerará falso negativo.
  • O Hiperplano B passa rente a nódulos benignos.
  • A SVM de Margem Máxima constrói o corredor simétrico central mais espaçoso possível.

Propriedade da Esparsidade

Observe os círculos pretos: apenas os pontos destacados definem o hiperplano e as margens. Se removermos todos os outros pontos do gráfico, a solução final permanece estritamente idêntica!

Pausa 1: A Ruptura com a Verossimilhança

Pergunta aberta provocadora

Em uma aplicação de diagnóstico médico, a Regressão Logística estima que um novo paciente tem probabilidade estimada \(\hat{p} = 0{,}51\) de apresentar nódulo maligno, enquanto uma SVM Linear treinada no mesmo conjunto classifica o paciente como benigno com escore de margem \(f(\mathbf{x}) = +0{,}85\). Explique conceitualmente por que esses dois modelos lineares podem produzir decisões divergentes mesmo tendo acesso aos mesmos dados.

Julgamento de V ou F

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Em conjuntos de dados linearmente separáveis, o algoritmo de Máxima Verossimilhança da Regressão Logística sem regularização converge para parâmetros finitos e atinge a margem máxima exata da SVM.
• □ A distância geométrica euclidiana de um ponto \(\mathbf{x}\) ao hiperplano \(\mathbf{w}^T \mathbf{x} + b = 0\) depende inversamente da norma euclidiana \(\|\mathbf{w}\|\).
• □ Ao contrário da Regressão Logística, na qual cada observação do dataset exerce influência sobre o gradiente da função de perda, a SVM de margem rígida depende estritamente das amostras que repousam sobre as margens.
• □ A teoria de VC (Vapnik-Chervonenkis) estabelece que a capacidade de generalização de um classificador linear de margem máxima depende exclusivamente da dimensionalidade \(d\) do espaço de entrada, e não da razão entre o diâmetro dos dados e a largura da margem.

Pausa 1: A Ruptura com a Verossimilhança — Resposta

Julgamento de V ou F — Resposta

• ✗ F: Na separabilidade linear perfeita, a verossimilhança da regressão logística não possui máximo finito (\(\|\mathbf{w}\| \to \infty\) para empurrar as probabilidades para 0 e 1), exigindo regularização \(L_2\); a SVM, por sua vez, resolve diretamente o hiperplano de margem máxima finita.
• ✔ V: A distância ortogonal é expressa por \(\frac{|\mathbf{w}^T \mathbf{x} + b|}{\|\mathbf{w}\|}\), sendo inversamente proporcional à norma \(\|\mathbf{w}\|\).
• ✔ V: Pela propriedade das condições KKT, pontos com margem estritamente maior que 1 possuem multiplicadores nulos (\(\alpha_i = 0\)), não exercendo nenhum efeito sobre o hiperplano.
• ✗ F: A cota de erro de Vapnik independe diretamente de \(d\); ela é governada pela razão \((R/\gamma)^2\), onde \(R\) é o raio da esfera que envolve os dados e \(\gamma\) é a margem geométrica.

Voltando à pergunta: A Regressão Logística é influenciada por todos os pontos do dataset (inclusive amostras distantes que puxam a média condicional), enquanto a SVM foca exclusivamente na geometria local dos pontos fronteiriços. Em regiões de fronteira delicadas, o centro de gravidade das nuvens globais pode deslocar o limiar logístico para longe do corredor de máxima folga geométrica.

Bloco 1: Margem Máxima e Problema Dual (Hard Margin)

A Geometria do Hiperplano Canônico

• Definição do Hiperplano: \[\mathbf{w}^T \mathbf{x} + b = 0\] onde \(\mathbf{w}\) é o vetor ortogonal à fronteira e \(b/\|\mathbf{w}\|\) é a distância da origem ao hiperplano.

• Distância Euclidiana Ortogonal de um Ponto \(\mathbf{x}_i\): \[d_i = \frac{y_i(\mathbf{w}^T \mathbf{x}_i + b)}{\|\mathbf{w}\|}\]

Invariância de Escala

Note que multiplicar \(\mathbf{w}\) e \(b\) por um escalar positivo \(\kappa > 0\) gera exatamente o mesmo hiperplano geométrico e a mesma distância física \(d_i\), pois \(\frac{\kappa(\mathbf{w}^T \mathbf{x} + b)}{\kappa\|\mathbf{w}\|} = \frac{\mathbf{w}^T \mathbf{x} + b}{\|\mathbf{w}\|}\).

Fixação da Escala Canônica e o Problema Primal

• Escala Canônica: Fixamos \(\min_{i} y_i(\mathbf{w}^T \mathbf{x}_i + b) = 1\).

• A Margem Geométrica Total: \[\gamma = \frac{2}{\|\mathbf{w}\|}\]

O Problema Primal Quadrático Convexo

\[\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \quad \text{sujeito a } y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1 \ge 0, \quad \forall i=1, \dots, N\] - Função objetivo convexa quadrática estrita. - Restrições lineares afins de desigualdade. - Mínimo global único, solucionável via Otimização Convexa (Programação Quadrática).

Geometria do Hiperplano e Margem Canônica

O Lagrangeano Primal e as Condições de Ponto de Sela

• O Lagrangeano Primal: \[\mathcal{L}(\mathbf{w}, b, \boldsymbol{\alpha}) = \frac{1}{2} \|\mathbf{w}\|^2 - \sum_{i=1}^N \alpha_i \big[ y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1 \big], \quad \alpha_i \ge 0\]

• Estacionariedade em \(\mathbf{w}\): \[\nabla_{\mathbf{w}} \mathcal{L} = \mathbf{0} \implies \mathbf{w} = \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i\]

• Estacionariedade em \(b\): \[\frac{\partial \mathcal{L}}{\partial b} = 0 \implies \sum_{i=1}^N \alpha_i y_i = 0\]

O Problema Dual de Wolfe

O Problema Dual de Wolfe

\[\max_{\boldsymbol{\alpha}} \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \langle \mathbf{x}_i, \mathbf{x}_j \rangle\] \[\text{sujeito a } \alpha_i \ge 0, \quad \forall i=1, \dots, N \quad \text{e} \quad \sum_{i=1}^N \alpha_i y_i = 0\]

• Três Propriedades Extraordinárias do Dual:
  1. A otimização opera sobre \(N\) multiplicadores \(\alpha_i\), independente do número de atributos \(d\).
  2. O objetivo é puramente côncavo quadrático: todo máximo local é o máximo global único.
  3. Os dados interagem apenas via produto interno \(\langle \mathbf{x}_i, \mathbf{x}_j \rangle\) (a porta de entrada para o Truque do Kernel!).

As Condições KKT e a Esparsidade

• Condição de Folga Complementar KKT: \[\alpha_i \big[ y_i(\mathbf{w}^T \mathbf{x}_i + b) - 1 \big] = 0\]

• A Dicotomia da Esparsidade:
  • Se \(y_i(\mathbf{w}^T \mathbf{x}_i + b) > 1 \implies \boldsymbol{\alpha_i = 0}\) (ponto descartado!).
  • Se \(\boldsymbol{\alpha_i > 0} \implies y_i(\mathbf{w}^T \mathbf{x}_i + b) = 1\) (Vetor de Suporte!).

A Regra de Classificação Esparsa

\[f(\mathbf{x}) = \operatorname{sign}\left( \sum_{i \in \text{SV}} \alpha_i y_i \langle \mathbf{x}_i, \mathbf{x} \rangle + b \right)\] O modelo armazena apenas os vetores de suporte. Todo o restante da base de treinamento pode ser completamente descartado após a otimização!

Pausa 2: Dualidade e Esparsidade dos Vetores de Suporte

Pergunta aberta provocadora

Imagine que após treinar uma SVM de margem rígida em um banco com \(N = 100.000\) transações financeiras, identificamos que exatamente 42 amostras são vetores de suporte (\(\alpha_i > 0\)). Se um operador acidentalmente deletar \(50.000\) observações do conjunto de treino que possuíam \(\alpha_i = 0\) e retreinar a SVM do zero nas \(50.000\) restantes, o que acontecerá com os parâmetros \((\mathbf{w}, b)\) do hiperplano final?

Julgamento de V ou F

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ O vetor de pesos \(\mathbf{w}\) da SVM é expresso exclusivamente como uma combinação linear das amostras de treino que constituem vetores de suporte.
• □ No problema dual de Wolfe, a função objetivo depende da dimensão \(d\) do espaço de entrada unicamente através do custo computacional de calcular os produtos internos \(\langle \mathbf{x}_i, \mathbf{x}_j \rangle\).
• □ As condições KKT de folga complementar garantem que qualquer ponto com \(\alpha_i > 0\) possui distância ortogonal estritamente maior que \(1/\|\mathbf{w}\|\) em relação ao hiperplano separador.
• □ O valor do termo independente \(b\) é determinado unicamente pelo multiplicador de Lagrange \(\alpha_i\) de maior magnitude.

Pausa 2: Dualidade e Esparsidade — Resposta

Julgamento de V ou F — Resposta

• ✔ V: Como \(\alpha_i = 0\) para todos os pontos fora das margens, \(\mathbf{w} = \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i = \sum_{i \in \text{SV}} \alpha_i y_i \mathbf{x}_i\).
• ✔ V: O espaço \(\mathbb{R}^d\) é encapsulado na matriz de Gram \(G_{ij} = \langle \mathbf{x}_i, \mathbf{x}_j \rangle\), cujo tamanho é \(N \times N\), independente de \(d\).
• ✗ F: Pela folga complementar, se \(\alpha_i > 0\), o ponto repousa exatamente sobre a margem canônica, tendo distância perpendicular exatamente igual a \(1/\|\mathbf{w}\|\).
• ✗ F: O bias \(b\) pode ser calculado a partir de qualquer vetor de suporte individual via \(y_j - \mathbf{w}^T \mathbf{x}_j\); na prática, toma-se a média aritmética sobre todos os vetores de suporte.

Voltando à pergunta: Os parâmetros \((\mathbf{w}, b)\) permanecerão estritamente inalterados. Como as \(50.000\) amostras deletadas tinham \(\alpha_i = 0\), suas restrições já estavam inativas no ótimo global. A remoção de restrições inativas em um problema convexo preserva rigorosamente a mesma solução ótima.

Bloco 2: Margem Suave (Soft Margin) e a Perda Hinge

Variáveis de Folga e Dados Não Separáveis

• O Dilema da Realidade: Dados biomédicos possuem ruído e sobreposição. A margem rígida torna o problema de otimização inviável.

• Relaxação via Variáveis de Folga \(\xi_i \ge 0\): \[y_i(\mathbf{w}^T \mathbf{x}_i + b) \ge 1 - \xi_i\]

• Os Três Regimes de Folga:
  1. \(\xi_i = 0\): Ponto seguro (na margem ou além dela).
  2. \(0 < \xi_i \le 1\): Ponto correto, mas invadiu o corredor da margem.
  3. \(\xi_i > 1\): Ponto com erro de classificação (\(y_i \neq \hat{y}_i\)).

O Problema Primal Soft Margin e o Hiperparâmetro \(C\)

Formulação Primal Soft Margin

\[\min_{\mathbf{w}, b, \boldsymbol{\xi}} \frac{1}{2}\|\mathbf{w}\|^2 + C \sum_{i=1}^N \xi_i \quad \text{s.a. } y_i(\mathbf{w}^T \mathbf{x}_i + b) \ge 1 - \xi_i, \, \xi_i \ge 0\]

• O Papel do Hiperparâmetro \(C\) (Tradeoff Viés-Variância):
  • \(C\) Grande: Penalidade severa por invasão de margem \(\to\) Margem estreita, baixo viés, alta variância (risco de overfitting).
  • \(C\) Pequeno: Alta tolerância a invasões \(\to\) Margem ampla, alto viés, baixa variância (risco de underfitting).

O Dual com Restrições em Caixa (Box Constraints)

• O Dual com Restrições em Caixa: \[\max_{\boldsymbol{\alpha}} \sum_{i=1}^N \alpha_i - \frac{1}{2}\sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \langle \mathbf{x}_i, \mathbf{x}_j \rangle\] \[\text{sujeito a } \mathbf{0 \le \alpha_i \le C} \quad \text{e} \quad \sum_{i=1}^N \alpha_i y_i = 0\]

• Os Três Status dos Multiplicadores de Lagrange:
  1. \(\alpha_i = 0 \implies \xi_i = 0\): Ponto além da margem (inativo).
  2. \(0 < \alpha_i < C \implies \xi_i = 0\): Vetor de Suporte Livre, exatamente sobre a margem (\(y_i f(\mathbf{x}_i) = 1\)). Usado para calcular \(b\)!
  3. \(\alpha_i = C \implies \xi_i > 0\): Vetor de Suporte Preso no Teto, dentro da margem ou classificado incorretamente.

Impacto Empírico de \(C\) no Breast Cancer

A Equivalência com a Perda Hinge (Hinge Loss)

• A Dedução da Folga Ótima: \[\xi_i = \max\big(0, 1 - y_i f(\mathbf{x}_i)\big)\]

A SVM como Risco Regularizado

\[\min_{\mathbf{w}, b} \underbrace{\sum_{i=1}^N \max\big(0, 1 - y_i f(\mathbf{x}_i)\big)}_{\text{Perda Hinge Empírica}} + \underbrace{\lambda \|\mathbf{w}\|^2}_{\text{Regularizador } L_2}\] onde \(\lambda = \frac{1}{2C}\).

• Por que a Hinge Loss Gera Esparsidade? Para qualquer ponto com margem funcional \(y_i f(\mathbf{x}_i) \ge 1\), a perda Hinge é identicamente zero e sua derivada é zero. O gradiente da perda anula-se, tornando esses pontos invisíveis!

Comparação de Funções de Perda

Pausa 3: Margem Suave, Perda Hinge e o Hiperparâmetro \(C\)

Pergunta aberta provocadora

Compare a curva da Perda Hinge com a curva da Perda Logística para \(z = y \cdot f(\mathbf{x}) \ge 2\). O que acontece com o gradiente de cada função nessa região e como esse comportamento matemático explica por que a SVM possui soluções esparsas enquanto a Regressão Logística é obrigada a manter coeficientes dependentes de todas as amostras?

Julgamento de V ou F

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Na formulação de margem suave, um ponto com variável de folga \(\xi_i = 0{,}6\) foi classificado incorretamente pela SVM.
• □ Configurar o hiperparâmetro \(C\) para um valor excessivamente elevado reduz a margem geométrica e eleva o risco de sobreajuste (overfitting).
• □ No problema dual com restrições em caixa, os vetores de suporte livres (aqueles com \(0 < \alpha_i < C\)) situam-se exatamente sobre a margem e possuem folga \(\xi_i = 0\).
• □ A perda Hinge é estritamente diferenciável em todo o seu domínio \(\mathbb{R}\), o que permite o uso de descida de gradiente clássica sem necessidade de subgradientes.

Pausa 3: Margem Suave e Perda Hinge — Resposta

Julgamento de V ou F — Resposta

• ✗ F: Para \(0 < \xi_i \le 1\), o ponto penetrou na margem de segurança, mas ainda se encontra do lado correto da fronteira (\(y_i f(\mathbf{x}_i) \ge 0\)); erro de classificação ocorre apenas se \(\xi_i > 1\).
• ✔ V: \(C \to \infty\) penaliza qualquer violação de margem, aproximando o modelo da margem rígida com alta variância e menor tolerância a ruídos.
• ✔ V: Pela condição de KKT \((\alpha_i + \mu_i = C\) e \(\mu_i \xi_i = 0\)), se \(\alpha_i < C\), temos \(\mu_i > 0\), o que obriga \(\xi_i = 0\).
• ✗ F: A perda Hinge possui uma quina não diferenciável no ponto \(z = 1\), exigindo métodos de otimização baseados em subgradientes ou formulação quadrática com restrições.

Voltando à pergunta: Para \(z \ge 1\), a perda Hinge torna-se estritamente horizontal com derivada identicamente nula (\(\frac{d L}{dz} = 0\)), tornando esses pontos neutros no problema dual (\(\alpha_i = 0\)). Já a perda logística \(\ln(1 + e^{-z})\) aproxima-se assintoticamente de zero mas nunca é exatamente nula, gerando gradientes infinitesimais que continuam atraindo o hiperplano para todos os pontos do dataset.

Bloco 3: O Truque do Kernel e Fronteiras Não-Lineares

A Limitação da Linearidade e Espaços de Alta Dimensão

• O Dilema da Não-Linearidade: Hiperplanos lineares falham diante de padrões complexos, anéis concêntricos ou manifolds entrelaçados.

• O Princípio de Cover (1965): Projetar \(\mathbf{x} \in \mathbb{R}^d\) em um espaço \(\mathcal{H}\) de altíssima dimensão \(\phi(\mathbf{x})\) converte problemas não-lineares em linearmente separáveis.

O Desafio Computacional

Se \(\mathcal{H}\) tiver dimensão \(D = 10^6\) ou dimensão infinita, como calcular e armazenar \(\phi(\mathbf{x})\) sem estourar o tempo e a memória da máquina?

O Truque do Kernel e o Teorema de Mercer

O Truque do Kernel (Kernel Trick)

Substituímos o produto interno no espaço transformado \(\mathcal{H}\) por uma função escalar direta nos dados originais: \[k(\mathbf{x}, \mathbf{z}) = \langle \phi(\mathbf{x}), \phi(\mathbf{z}) \rangle_{\mathcal{H}}\]

• Teorema de Mercer: Para que \(k(\mathbf{x}, \mathbf{z})\) seja um kernel válido, a matriz de Gram \(K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)\) deve ser simétrica e semidefinida positiva: \[\mathbf{v}^T K \mathbf{v} \ge 0, \quad \forall \mathbf{v} \in \mathbb{R}^N\]

• Vantagem: Otimizamos um hiperplano linear em \(\mathcal{H}\) pagando apenas o custo aritmético de avaliar \(k(\mathbf{x}, \mathbf{z})\) no espaço de entrada original \(\mathbb{R}^d\)!

Catálogo de Kernels: Linear, Polinomial e RBF Gaussiano

• 1. Kernel Linear: \[k(\mathbf{x}, \mathbf{z}) = \mathbf{x}^T \mathbf{z}\] Ideal para problemas com dimensionalidade maciça (\(d \gg N\)).

• 2. Kernel Polinomial: \[k(\mathbf{x}, \mathbf{z}) = (\gamma \mathbf{x}^T \mathbf{z} + r)^{d}\] Captura interações combinatórias entre os atributos originais.

• 3. Kernel RBF Gaussiano (Radial Basis Function): \[k(\mathbf{x}, \mathbf{z}) = \exp(-\gamma \|\mathbf{x} - \mathbf{z}\|^2)\] O kernel padrão para problemas tabulares e fronteiras suaves e não lineares.

O Kernel RBF e o Espaço de Dimensão Infinita

O Kernel RBF Opera em Dimensão Infinita!

\[\exp(xz) = \sum_{k=0}^\infty \frac{(xz)^k}{k!} = \sum_{k=0}^\infty \frac{x^k}{\sqrt{k!}} \frac{z^k}{\sqrt{k!}}\] \[\phi(x) = e^{-x^2/2} \left[ 1, \, x, \, \frac{x^2}{\sqrt{2}}, \, \dots, \, \frac{x^k}{\sqrt{k!}}, \, \dots \right]^T \in \ell^2\]

• O Papel de \(\gamma = \frac{1}{2\sigma^2}\):
  • \(\gamma\) Pequeno (\(\sigma\) grande): Gaussiana larga \(\to\) A influência de cada vetor de suporte se estende para longe \(\to\) Fronteira quase linear e suave (alto viés).
  • \(\gamma\) Grande (\(\sigma\) pequeno): Gaussiana estreita \(\to\) O suporte atua apenas localmente \(\to\) Cria pequenas “ilhas circulares” ao redor de cada ponto \(\to\) Sobreajuste severo (alta variância).

Impacto do Hiperparâmetro \(\gamma\) no Breast Cancer

Pausa 4: O Truque do Kernel e a Geometria de Hilbert

Pergunta aberta provocadora

Um analista de dados afirma: “Já que o Kernel RBF projeta os dados em um espaço de dimensão infinita, qualquer conjunto de dados com \(N\) observações se tornará linearmente separável; logo, podemos dispensar as variáveis de folga \(\xi_i\) e usar sempre \(C \to \infty\).” Explique o erro conceitual dessa afirmação e descreva o que acontecerá com a fronteira de decisão se os dados contiverem rótulos com ruído.

Julgamento de V ou F

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Para que uma função \(k(\mathbf{x}, \mathbf{z})\) seja um kernel válido pelo Teorema de Mercer, é estritamente necessário que os autovalores da matriz de Gram sejam todos estritamente negativos.
• □ No Kernel RBF Gaussiano \(k(\mathbf{x}, \mathbf{z}) = \exp(-\gamma \|\mathbf{x} - \mathbf{z}\|^2)\), o valor do produto interno atinge seu máximo quando os vetores são idênticos (\(\mathbf{x} = \mathbf{z}\)), decaindo para zero conforme a distância euclidiana tende ao infinito.
• □ Aumentar excessivamente o hiperparâmetro \(\gamma\) da RBF força o modelo a criar ilhas de decisão isoladas em torno dos vetores de suporte individuais, provocando sobreajuste severo.
• □ Ao utilizar o Truque do Kernel com a RBF, o tempo computacional para avaliar a fronteira de decisão em um novo ponto de teste depende linearmente da dimensão infinita do espaço de Hilbert.

Pausa 4: O Truque do Kernel — Resposta

Julgamento de V ou F — Resposta

• ✗ F: O Teorema de Mercer exige que a matriz de Gram seja semidefinida positiva (PSD); logo, todos os seus autovalores devem ser maiores ou iguais a zero (\(\lambda_i \ge 0\)).
• ✔ V: Para \(\mathbf{x} = \mathbf{z}\), temos \(\|\mathbf{x} - \mathbf{z}\| = 0 \implies \exp(0) = 1\); à medida que \(\|\mathbf{x} - \mathbf{z}\| \to \infty\), o termo tende exponencialmente a zero.
• ✔ V: Com \(\gamma \to \infty\), o raio de vizinhança Gaussiana colapsa, decorando pontos de treino em ilhas microscópicas.
• ✗ F: O tempo de inferência é \(O(N_{\text{SV}} \cdot d)\), dependendo apenas do número de vetores de suporte e da dimensão original \(d \in \mathbb{R}^d\), jamais da dimensão do espaço de Hilbert implícito.

Voltando à pergunta: Embora a RBF em dimensão infinita consiga separar qualquer conjunto sem pontos duplicados, forçar \(C \to \infty\) em dados ruidosos fará o hiperplano criar túneis e ilhas estreitas contorcendo-se para isolar cada amostra ruidosa. Isso destrói a margem geométrica de segurança e anula a capacidade de generalização no conjunto de teste.

Bloco 4: Calibração de Platt e Support Vector Regression

O Escore da SVM e a Ausência de Probabilidades

• O Escore Determinístico da SVM: \[f(\mathbf{x}) = \sum_{i \in \text{SV}} \alpha_i y_i k(\mathbf{x}_i, \mathbf{x}) + b \in \mathbb{R}\] Gera apenas classes discretas via \(\operatorname{sign}(f(\mathbf{x}))\).

• A Demanda Clínica por Probabilidades: Em triagens médicas de câncer, um paciente com \(f(\mathbf{x}) = +0{,}02\) não pode receber o mesmo tratamento preventivo que alguém com \(f(\mathbf{x}) = +4{,}50\).

O Erro Ingênuo

Não basta aplicar a função sigmoide padrão \(\sigma(f(\mathbf{x})) = \frac{1}{1 + e^{-f(\mathbf{x})}}\), pois a escala de \(f(\mathbf{x})\) não reflete a razão de \(\log\)-odds populacional.

Calibração de Platt (1999)

A Formulação de Platt (1999)

\[P(Y = +1 \mid \mathbf{x}) = \frac{1}{1 + \exp\big(A \cdot f(\mathbf{x}) + B\big)}\] - Ajusta uma sigmoide sobre o escore contínuo \(f(\mathbf{x})\).

• Protocolo Out-of-Fold: Para evitar sobreajuste e obter probabilidades calibradas confiáveis, os escores de treino devem ser gerados via K-fold out-of-fold, garantindo que a sigmoide avalie apenas pontos que a SVM não viu no treino de margem.

• No scikit-learn: Implementado via CalibratedClassifierCV(estimator=SVC(), method='sigmoid', cv=5).

Curva de Calibração: Escore vs. Probabilidade de Platt

Extensão para Regressão: Support Vector Regression (\(\varepsilon\)-SVR)

• A Perda \(\varepsilon\)-Insensível: \[L_\varepsilon(y, f(\mathbf{x})) = \max\big(0, |y - f(\mathbf{x})| - \varepsilon\big)\]

• O Tubo de Tolerância de Vapnik:
  • Erros menores que \(\varepsilon\) têm custo zero.
  • O modelo não tenta ajustar o ruído microscópico de fundo.

Esparsidade na Regressão

Apenas as observações que violam o tubo de raio \(\varepsilon\) tornam-se vetores de suporte da regressão!

O Tubo de Tolerância da SVR em Diagrama

Pausa 5: Calibração de Platt e o Tubo da SVR

Pergunta aberta provocadora

Na Support Vector Regression (\(\varepsilon\)-SVR), o cientista decide configurar o raio do tubo \(\varepsilon = 0\). O que acontece com a esparsidade da solução resultante? O modelo ainda desfrutará da propriedade de ignorar observações não informativas?

Julgamento de V ou F

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ No método de Platt Scaling, estimar a sigmoide diretamente sobre os escores calculados na base de treino sem validação cruzada out-of-fold produz probabilidades confiáveis e imunes a viés de sobreajuste.
• □ Na Support Vector Regression (\(\varepsilon\)-SVR), qualquer amostra de treino cujo erro absoluto \(|y_i - f(\mathbf{x}_i)|\) seja menor ou igual a \(\varepsilon\) possui multiplicadores de Lagrange nulos e não atua como vetor de suporte.
• □ O escore contínuo da SVM \(f(\mathbf{x})\) fornece nativamente uma probabilidade a posteriori calibrada de classe, tornando redundante qualquer calibração adicional.
• □ Na \(\varepsilon\)-SVR, aumentar o valor de \(\varepsilon\) reduz o número total de vetores de suporte do modelo, tornando a representação da função mais esparsa.

Pausa 5: Calibração de Platt e SVR — Resposta

Julgamento de V ou F — Resposta

• ✗ F: Ajustar nos escores de treino contamina a sigmoide pelo sobreajuste da margem da SVM; o protocolo out-of-fold é indispensável para evitar estimativas de probabilidade severamente infladas.
• ✔ V: Dentro do tubo de tolerância de raio \(\varepsilon\), a perda é identicamente zero, de modo que suas variáveis de folga são nulas e \(\alpha_i = \alpha_i^* = 0\).
• ✗ F: O escore \(f(\mathbf{x})\) é uma distância geométrica sem vínculo probabilístico direto; a calibração de Platt é necessária para projetá-lo no intervalo \([0, 1]\) com validade de calibração empírica.
• ✔ V: À medida que \(\varepsilon\) cresce, mais pontos são encapsulados pelo interior do tubo com resíduo zero, diminuindo a quantidade de amostras que necessitam de suporte.

Voltando à pergunta: Se configurarmos \(\varepsilon = 0\), a perda \(\varepsilon\)-insensível degenera na perda em valor absoluto (\(L_1\)), e todos os pontos com resíduo não exatamente nulo se tornarão vetores de suporte. A esparsidade é completamente destruída, e o modelo perde sua principal vantagem geométrica sobre outros estimadores.

Fechamento da Aula

Retomando as Cinco Perguntas Centrais

1. Margem Máxima: \(\max \frac{2}{\|\mathbf{w}\|} \iff \min \frac{1}{2}\|\mathbf{w}\|^2\), garantindo mínimo global único via otimização convexa.
2. Esparsidade KKT: \(\alpha_i = 0\) para todos os pontos além da margem; o modelo final retém apenas os vetores de suporte.
3. Margem Suave: Equivalência exata entre variáveis de folga \(\xi_i\) e a perda Hinge regularizada com teto \(0 \le \alpha_i \le C\).
4. Truque do Kernel: Avaliação de produtos internos em espaços de Hilbert \(\mathcal{H}\) (inclusive de dimensão infinita na RBF) sem computar \(\phi(\mathbf{x})\).
5. Calibração e SVR: Platt Scaling recupera \(P(Y=1 \mid \mathbf{x})\) via validação out-of-fold; o tubo \(\varepsilon\)-insensível induz esparsidade na regressão.

Quadro Comparativo de Algoritmos Supervisionados

Propriedade	Regressão Logística	Gradient Boosting	SVM Linear	SVM Kernel RBF	SVR (\(\varepsilon\)-insensível)
Alvo Principal	Probabilidade \(p(y \mid \mathbf{x})\)	\(\log\)-odds populacional	Hiperplano de margem	Hiperplano em \(\mathcal{H}\)	Tubo esparso \(\varepsilon\)
Função de Perda	Entropia Cruzada	Deviance / Quadrática	Perda Hinge	Perda Hinge com Kernel	\(\varepsilon\)-insensível
Esparsidade	Nenhuma (\(\forall i\) pesa)	Nenhuma	Exata em dados	Exata em dados	Exata em dados
Capacidade Não Linear	Apenas via features	Muito alta (árvores)	Nenhuma (linear pura)	Infinita (Hilbert)	Infinita (Hilbert)
Calibração Nativa	Sim (direta na sigmoide)	Sim (na deviance)	Não (Platt Scaling)	Não (Platt Scaling)	N/A (regressão)
Escalonamento	Recomendável	Dispensável	Obrigatório!	Obrigatório!	Obrigatório!

Ponte para a Aula 12: Do Kernel Fixo ao Deep Learning

• A Fronteira do Paradigma de Kernels:
  • A SVM RBF projeta em dimensão infinita, mas a transformação \(\phi(\mathbf{x})\) é fixada a priori por uma fórmula analítica estática.

• O Próximo Salto Conceitual: E se o próprio algoritmo pudesse aprender o mapeamento de atributos ótimo através de sucessivas camadas parametrizadas?

Próxima Aula — Aula 12

Redes Neurais Artificiais e Aprendizado de Representações: Do Perceptron de Rosenblatt ao Perceptron Multicamadas (MLP), diferenciação automática reversa (Backpropagation) e a transição para o Aprendizado Profundo (Deep Learning).