Regressão Logística e Modelos Lineares Generalizados (GLMs)
Aula 6 — Classificação Paramétrica, Entropia Cruzada e a Família Exponencial
2026-09-21
Propriedades Matemáticas da Sigmoide (2)
- Fronteira de Decisão: \[\sigma(\mathbf{w}^T\mathbf{x}) = 0{,}5 \iff \mathbf{w}^T\mathbf{x} = 0\] A fronteira que separa as decisões de classe no espaço de entrada é sempre um hiperplano linear.
Exemplo de Fronteira de Decisão
Fronteira \(p=0{,}5\): Definida por \(-4{,}9134 + 0{,}0431 \cdot \text{idade} + 0{,}0478 \cdot \text{horas} = 0\).
Newton vs. Descida de Gradiente
- Descida de gradiente (GD): \(\mathbf{w}^{(\text{novo})} = \mathbf{w}^{(\text{antigo})} - \eta\, X^T(\boldsymbol\mu - \mathbf{y})\) — usa só o gradiente, sem a curvatura \(H\).
- Passo fixo \(\eta = 1/L\), com \(L = \lambda_{\max}(X^T X)/4\) (a sigmoide tem derivada \(\le 1/4\); dedução nossa) garante descida monótona da perda.
- Dois cenários: atributos brutos (escalas muito diferentes) e padronizados (média 0, desvio-padrão 1).
- Medida de comparação: norma do gradiente por iteração, a mesma da tabela do IRLS.
def sigmoide(a):
return 0.5 * (1.0 + np.tanh(a / 2.0)) # sigmoide estavel numericamente
def descida_gradiente(X, y, n_iter):
L = np.linalg.eigvalsh(X.T @ X)[-1] / 4.0 # constante de Lipschitz do gradiente
w = np.zeros(X.shape[1])
normas = []
for _ in range(n_iter):
grad = X.T @ (sigmoide(X @ w) - y)
normas.append(np.linalg.norm(grad))
w = w - grad / L # passo fixo eta = 1/L
return np.array(normas)
# Atributos padronizados (o intercepto permanece como coluna de uns)
X_pad = X_mat.copy()
X_pad[:, 1:] = (X_mat[:, 1:] - X_mat[:, 1:].mean(axis=0)) / X_mat[:, 1:].std(axis=0)
n_iter_gd = 200
normas_gd_bruto = descida_gradiente(X_mat, y_vec, n_iter_gd)
normas_gd_pad = descida_gradiente(X_pad, y_vec, n_iter_gd)
normas_newton = [gnorm for _, _, _, gnorm in tabela_convergencia]
def iteracoes_ate(normas, tol):
idx = np.flatnonzero(np.asarray(normas) < tol)
return int(idx[0]) if idx.size else f"> {len(normas) - 1}"
comparacao = pd.DataFrame({
"Método": ["Newton (IRLS)", "GD, atributos padronizados", "GD, atributos brutos"],
"Iterações até ‖∇‖ < 1e-4": [iteracoes_ate(n, 1e-4) for n in (normas_newton, normas_gd_pad, normas_gd_bruto)],
"Iterações até ‖∇‖ < 1e-8": [iteracoes_ate(n, 1e-8) for n in (normas_newton, normas_gd_pad, normas_gd_bruto)],
f"‖∇‖ após {n_iter_gd} iterações": [
f"{normas_newton[-1]:.1e} (parou em {len(normas_newton) - 1})",
f"{normas_gd_pad[-1]:.1e}",
f"{normas_gd_bruto[-1]:.1e}",
],
})
display(comparacao.set_index("Método"))
fig, ax = plt.subplots(figsize=(8, 4.5))
ax.semilogy(range(len(normas_newton)), normas_newton, "o-", color=COR_AZUL, lw=2.2, label="Newton (IRLS)")
ax.semilogy(range(n_iter_gd), normas_gd_pad, "-", color=COR_LARANJA, lw=2.2, label="GD, atributos padronizados")
ax.semilogy(range(n_iter_gd), normas_gd_bruto, "-", color=COR_VERM, lw=2.2, label="GD, atributos brutos")
ax.set_xlabel("Iteração")
ax.set_ylabel(r"Norma do gradiente $\|\nabla E(\mathbf{w})\|$")
ax.set_title("Convergência: Newton vs. Descida de Gradiente (Adult Census)")
ax.set_xlim(-1, 100)
ax.legend()
plt.tight_layout()
plt.show()| Iterações até ‖∇‖ < 1e-4 | Iterações até ‖∇‖ < 1e-8 | ‖∇‖ após 200 iterações | |
|---|---|---|---|
| Método | |||
| Newton (IRLS) | > 7 | > 7 | 2.5e+00 (parou em 7) |
| GD, atributos padronizados | > 199 | > 199 | 2.2e+00 |
| GD, atributos brutos | > 199 | > 199 | 3.3e+02 |
O Teorema da Ligação Canônica
- O Teorema: Para qualquer distribuição da Família Exponencial com ligação canônica \(\eta = \mathbf{w}^T\mathbf{x}\), a derivada da perda é sempre: \[\nabla E(\mathbf{w}) = \sum_{n=1}^N (\mu_n - y_n)\mathbf{x}_n = X^T(\boldsymbol\mu - \mathbf{y})\]
- Significado Teórico: O cancelamento algébrico visto na Regressão Logística não foi um acidente fortuito! É uma propriedade universal da Família Exponencial.
