Exercícios — Regressão Logística e Modelos Lineares Generalizados (GLMs)

Aula 6 — Classificação Paramétrica, Entropia Cruzada e a Família Exponencial

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Questões discursivas

No aprendizado supervisionado para classificação binária, o modelo de Regressão Logística modela a probabilidade a posteriori de classe como uma função sigmoide aplicada a uma combinação linear das características: \(p(Y=1\mid\mathbf{x}) = \sigma(\mathbf{w}^T\mathbf{x}) = \frac{1}{1 + e^{-\mathbf{w}^T\mathbf{x}}}\). Explique a relação direta entre essa formulação e o conceito de razão de chances (odds ratio). Em seguida, considere um modelo ajustado com duas variáveis (\(x_1 = \text{idade}\) em anos e \(x_2 = \text{horas semanais}\) trabalhadas) cujos coeficientes estimados foram \(\hat{w}_1 = 0{,}040\) e \(\hat{w}_2 = 0{,}050\). Interprete o significado prático exato desses dois coeficientes em termos da variação percentual nas chances de um indivíduo pertencer à classe positiva.
A derivação do estimador de Máxima Verossimilhança para a Regressão Logística sob a distribuição de Bernoulli independente conduz à função de perda de Entropia Cruzada Binária: \[E(\mathbf{w}) = -\sum_{n=1}^N \left[ y_n \ln \mu_n + (1 - y_n)\ln(1 - \mu_n) \right], \quad \text{onde } \mu_n = \sigma(\mathbf{w}^T\mathbf{x}_n)\] Demonstre passo a passo por que o vetor gradiente \(\nabla E(\mathbf{w})\) assume a forma simplificada \(\sum_{n=1}^N (\mu_n - y_n)\mathbf{x}_n = X^T(\boldsymbol\mu - \mathbf{y})\), explicitando como a derivada da função sigmoide \(\sigma'(a) = \sigma(a)(1 - \sigma(a))\) interage algebricamente com a derivada da função de perda. Compare essa expressão com o gradiente da soma de resíduos quadráticos (RSS) da regressão linear e explique a analogia conceitual entre os dois resultados.
Quando os dados de treinamento de um problema de classificação binária são linearmente separáveis (ou seja, existe um hiperplano \(\mathbf{w}^T\mathbf{x} = 0\) que classifica perfeitamente todas as observações com \(100\%\) de acurácia), o estimador de Máxima Verossimilhança clássico da regressão logística exibe uma patologia assintótica severa. Descreva detalhadamente o que ocorre com a magnitude do vetor de pesos \(\|\mathbf{w}\|\), com as probabilidades previstas \(\mu_n\) e com a matriz Hessiana \(H = X^T R X\) durante o processo de otimização nesse cenário. Como a introdução de uma penalização \(L_2\) (regularização Ridge) resolve analiticamente essa limitação?

Questões de Verdadeiro/Falso

Cada bloco de 4 itens trata do mesmo tema e é autocontido. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).

Teste 1 — Limites do Modelo de Probabilidade Linear (Mínimos Quadrados em Classificação)

Considere a tentativa de utilizar o estimador de Mínimos Quadrados Ordinários (OLS) da regressão linear para resolver um problema de classificação binária com alvos \(y_n \in \{0, 1\}\).

□ Se uma observação com rótulo \(y_n = 1\) estiver muito distante da fronteira de decisão e a reta de regressão linear previr um valor contínuo \(\hat{y}_n = 1{,}50\), o resíduo quadrático resultante \((1 - 1{,}50)^2 = 0{,}25\) penaliza a função de custo OLS, induzindo uma rotação indesejada na fronteira de decisão mesmo sendo uma previsão correta e convicta.
□ No limite em que o tamanho amostral \(N \to \infty\), o ajuste por mínimos quadrados ordinários sobre alvos \(y_n \in \{0, 1\}\) garante que todas as previsões da reta permaneçam estritamente confinadas ao intervalo \([0, 1]\), pois a lei dos grandes números elimina os erros de extrapolação.
□ Em um sistema de diagnóstico clínico que utiliza regressão linear sobre desfechos binários (doença presente ou ausente), a variância dos resíduos é inerentemente heterocedástica, pois a variância teórica de uma variável binária com média \(\mu(\mathbf{x})\) é dada por \(\mu(\mathbf{x})(1 - \mu(\mathbf{x}))\), violando a premissa de homocedasticidade de Gauss-Markov.
□ Se aplicarmos uma função degrau simples que atribui a classe \(1\) sempre que a reta linear for maior que \(0{,}5\), os parâmetros ótimos obtidos por mínimos quadrados coincidem exatamente com os parâmetros obtidos por máxima verossimilhança de Bernoulli.

Teste 2 — A Função Sigmoide Logística e a Razão de Chances

Considere a função sigmoide logística \(\sigma(a) = \frac{1}{1 + e^{-a}}\), onde \(a = \mathbf{w}^T\mathbf{x} = w_0 + w_1 x_1 + \dots + w_D x_D\) é a ativação linear.

□ Se a ativação linear for nula (\(a = \mathbf{w}^T\mathbf{x} = 0\)), a probabilidade prevista pela sigmoide é exatamente \(0{,}50\), o que define a fronteira geométrica de decisão de classe como um hiperplano no espaço original dos atributos.
□ No caso limite em que a ativação linear tende a \(+\infty\), a derivada da função sigmoide \(\sigma'(a) = \sigma(a)(1 - \sigma(a))\) atinge seu valor máximo absoluto, tornando os gradientes em regiões de alta certeza extremamente grandes e acelerando o aprendizado.
□ Em um estudo epidemiológico modelado por regressão logística, se o coeficiente associado ao consumo diário de sódio (\(x_1\)) for \(\hat{w}_1 = \ln(2) \approx 0{,}693\), isso significa que para cada unidade a mais de sódio consumida, as chances (odds) de desenvolver hipertensão são multiplicadas por 2, mantendo as demais variáveis constantes.
□ A propriedade de simetria \(\sigma(-a) = 1 - \sigma(a)\) implica que se invertermos as convenções dos rótulos (trocando a classe \(1\) pela classe \(0\) e vice-versa), o novo vetor de parâmetros ótimos terá exatamente a mesma direção e os mesmos sinais do vetor original.

Teste 3 — Verossimilhança de Bernoulli e Perda de Entropia Cruzada

Considere a função de perda de Entropia Cruzada Binária \(E(\mathbf{w}) = -\sum_{n=1}^N [y_n \ln \mu_n + (1 - y_n)\ln(1 - \mu_n)]\) derivada da verossimilhança conjunta de \(N\) observações independentes com \(y_n \in \{0, 1\}\) e \(\mu_n = \sigma(\mathbf{w}^T\mathbf{x}_n)\).

□ Se o modelo previr \(\mu_n = 0{,}001\) para uma observação cujo rótulo verdadeiro é \(y_n = 1\), a perda pontual atribuída a esse indivíduo é de \(-\ln(0{,}001) \approx 6{,}91\) nats, crescendo assintoticamente para \(+\infty\) conforme \(\mu_n \to 0\).
□ No caso de uma amostra com \(N\) pontos em que todas as observações pertencem exclusivamente à classe \(1\) (\(y_n = 1\) para todo \(n\)), a função de perda de entropia cruzada se reduz a \(-\sum_{n=1}^N \ln \mu_n\), sendo minimizada quando a ativação linear \(\mathbf{w}^T\mathbf{x}_n \to +\infty\).
□ Em um modelo de triagem de crédito com severo desbalanceamento de classes, a perda de entropia cruzada binária clássica atribui automaticamente um peso \(50\) vezes maior aos erros da classe minoritária para compensar sua baixa frequência empírica.
□ A função de erro de entropia cruzada binária é matematicamente equivalente à minimização da divergência de Kullback-Leibler entre a distribuição empírica dos dados e a distribuição paramétrica de Bernoulli prevista pelo modelo.

Teste 4 — Gradiente e Propriedades de Convexidade

Considere o vetor gradiente \(\nabla E(\mathbf{w}) = \sum_{n=1}^N (\mu_n - y_n)\mathbf{x}_n = X^T(\boldsymbol\mu - \mathbf{y})\) e a matriz Hessiana \(H = \nabla^2 E(\mathbf{w}) = X^T R X\), onde \(R_{nn} = \mu_n(1 - \mu_n)\).

□ Se para uma observação particular a probabilidade prevista for exatamente igual ao rótulo observado (\(\mu_n = y_n = 1\) ou \(\mu_n = y_n = 0\)), a contribuição desse ponto específico para o vetor gradiente global é estritamente nula.
□ Se a matriz de projeto \(X \in \mathbb{R}^{N \times D}\) tiver posto coluna completo e todas as probabilidades previstas estiverem no intervalo aberto \(0 < \mu_n < 1\), a forma quadrática \(\mathbf{v}^T H \mathbf{v}\) é estritamente positiva para qualquer \(\mathbf{v} \ne \mathbf{0}\), assegurando que a função de perda não possui mínimos locais.
□ Em um cenário de classificação em alta dimensão onde o número de atributos \(D\) é estritamente maior que o número de observações \(N\) (\(D > N\)), a matriz Hessiana \(H = X^T R X \in \mathbb{R}^{D \times D}\) é estritamente definida positiva e admite inversão analítica sem necessidade de regularização.
□ Como a função sigmoide é estritamente crescente, igualar o gradiente da entropia cruzada a zero (\(\nabla E(\mathbf{w}) = \mathbf{0}\)) resulta em um sistema de equações lineares cuja solução fechada pode ser calculada diretamente por inversão matricial em uma única etapa.

Teste 5 — O Método de Newton-Raphson e o Algoritmo IRLS

Considere o algoritmo Iteratively Reweighted Least Squares (IRLS) baseado na atualização de Newton-Raphson: \(\mathbf{w}^{(\text{novo})} = \mathbf{w}^{(\text{antigo})} - H^{-1}\nabla E(\mathbf{w}) = (X^T R X)^{-1}X^T R \mathbf{z}\), onde \(\mathbf{z} = X\mathbf{w}^{(\text{antigo})} - R^{-1}(\boldsymbol\mu - \mathbf{y})\).

□ A cada iteração do IRLS, os pesos atribuídos às observações na matriz diagonal \(R\) são maiores para os pontos situados próximos à fronteira de decisão (onde \(\mu_n \approx 0{,}5\)) do que para os pontos situados distantes da fronteira (onde \(\mu_n \to 0\) ou \(\mu_n \to 1\)).
□ Se multiplicarmos uma coluna de atributos de \(X\) por uma constante positiva \(c > 0\), o algoritmo de Newton-Raphson requer exatamente o mesmo número de iterações para convergir, pois a direção de Newton é invariante a transformações afins lineares dos atributos.
□ Em um problema de roteamento de redes que utiliza regressão logística para prever congestionamento, se a inicialização dos pesos for \(\mathbf{w}^{(0)} = \mathbf{0}\), a matriz \(R\) inicial tem todos os elementos diagonais idênticos a \(0{,}25\), fazendo com que o primeiro passo do IRLS coincida com uma regressão por mínimos quadrados ordinários reescalada.
□ O algoritmo IRLS possui taxa de convergência puramente linear, exigindo centenas de iterações para atingir precisão de seis casas decimais mesmo em problemas com pequeno número de parâmetros.

Teste 6 — Modelos Lineares Generalizados (GLMs) e a Família Exponencial

Considere o arcabouço dos Modelos Lineares Generalizados (Nelder & Wedderburn, 1972) com densidade na forma da Família Exponencial \(p(y\mid \eta, s) = h(y, s)\exp\left(\frac{\eta y - b(\eta)}{s}\right)\), preditor linear \(a = \mathbf{w}^T\mathbf{x}\) e função de ligação \(\eta = g(\mu)\).

□ A função de ligação canônica é definida como aquela que iguala o parâmetro natural canônico \(\eta\) diretamente à combinação linear dos atributos: \(\eta = \mathbf{w}^T\mathbf{x}\).
□ No caso da distribuição Gaussiana com variância conhecida e fixa \(\sigma^2\), o parâmetro natural é \(\eta = \mu\), o que faz com que a função de ligação canônica seja a identidade, recuperando a Regressão Linear por Mínimos Quadrados Ordinários como um caso particular de GLM.
□ Em um modelo de Regressão de Poisson para contagem de acessos a um servidor (\(Y \in \{0, 1, 2, \dots\}\)), a função de ligação canônica é a função logit, produzindo um preditor linear idêntico ao da regressão logística.
□ O Teorema da Ligação Canônica garante que para qualquer distribuição da Família Exponencial, desde que adotada a ligação canônica, o gradiente do negativo da log-verossimilhança assume universalmente a forma \(X^T(\boldsymbol\mu - \mathbf{y})\).

Teste 7 — A Patologia da Separação Linear Perfeita no MLE

Considere o ajuste de um modelo de regressão logística por Máxima Verossimilhança quando o conjunto de treinamento é linearmente separável, isto é, existe \(\mathbf{w}^*\) tal que \(\mathbf{w}^{*T}\mathbf{x}_n > 0\) se \(y_n = 1\) e \(\mathbf{w}^{*T}\mathbf{x}_n < 0\) se \(y_n = 0\).

□ Se multiplicarmos o vetor separador \(\mathbf{w}^*\) por um escalar \(k \to +\infty\), a probabilidade prevista \(\mu_n\) para cada ponto de treino da classe \(1\) converge para \(1{,}0\), e a função de perda de entropia cruzada converge para zero absoluto.
□ No limite de separação perfeita, como a perda é minimizada apenas quando \(\|\mathbf{w}\| \to \infty\), o estimador de máxima verossimilhança padrão não atinge um ponto de mínimo finito no espaço \(\mathbb{R}^D\), gerando instabilidade numérica por saturação da matriz Hessiana.
□ Em um conjunto de dados perfeitamente separável, a fronteira geométrica de decisão onde a probabilidade prevista é \(p = 0{,}5\) deixa de existir no espaço de entrada, pois a função sigmoide colapsa em uma constante.
□ A ocorrência de separabilidade perfeita no treinamento assegura que o modelo de máxima verossimilhança terá generalização ótima e variância nula em novos dados de teste futuros.

Teste 8 — Generalização Multiclasse e a Função Softmax

Considere a extensão da regressão logística para classificação com \(K > 2\) classes discretas através do modelo multinomial com função de ativação Softmax: \(p(C_k \mid \mathbf{x}) = \frac{e^{\mathbf{w}_k^T\mathbf{x}}}{\sum_{j=1}^K e^{\mathbf{w}_j^T\mathbf{x}}}\).

□ A função Softmax é a generalização multivariada natural da função sigmoide logística, garantindo que as probabilidades estimadas para as \(K\) classes sejam estritamente positivas e somem exatamente \(1{,}0\) para qualquer vetor de entrada \(\mathbf{x}\).
□ Se adicionarmos um vetor constante arbitrário \(\mathbf{c}\) a todos os vetores de pesos \(\mathbf{w}_k\) (\(\mathbf{w}_k' = \mathbf{w}_k + \mathbf{c}\) para todo \(k=1,\dots,K\)), as probabilidades previstas pela função Softmax para todas as classes permanecem rigorosamente inalteradas.
□ No limite em que a diferença de ativação entre uma classe particular e as demais tende a \(+\infty\), a saída da Softmax aproxima-se de uma função degrau arg max determinística que atribui probabilidade \(1{,}0\) à classe vencedora.
□ Como existem \(K\) classes, as fronteiras de decisão par a par que separam duas classes quaisquer \(k\) e \(j\) no espaço dos atributos são curvas hiperbólicas não-lineares de segunda ordem.