Soluções — Aula 7: Convexidade e a Matriz Hessiana

Gabarito de exercicios.qmd

Autor

Prof. Marcos Medeiros Raimundo — Instituto de Computação, UNICAMP

Data de Publicação

5 de outubro de 2026

Aula Exercícios

Teste 1 — Conjuntos convexos

□ O conjunto \(\{\mathbf{x}\in\mathbb{R}^n\mid\|\mathbf{x}\|=1\}\) (a esfera unitária) é convexo.
□ O conjunto das matrizes simétricas \(n\times n\) semidefinidas positivas é convexo.
□ Para um conjunto de treino \(\{(\mathbf{x}_i,y_i)\}_{i=1}^N\) com \(y_i\in\{-1,+1\}\), o conjunto dos pesos \(\{\mathbf{w}\in\mathbb{R}^d\mid y_i\mathbf{w}^T\mathbf{x}_i\ge1\ \text{para todo } i\}\) é convexo.
□ Se \(C_1\) e \(C_2\) são não convexos, então \(C_1\cap C_2\) é não convexo.

(Resposta) Teste 1 — Conjuntos convexos

✗ Falso — \(\mathbf{x}\) e \(-\mathbf{x}\) estão na esfera, mas o ponto médio é \(\mathbf{0}\), com norma \(0\ne1\). Um contraexemplo basta. Quem marcou V confundiu a esfera com a bola \(\|\mathbf{x}\|\le1\).
✔ Verdadeiro — Se \(A,B\succeq0\), então \(\mathbf{z}^T(\theta A+(1-\theta)B)\mathbf{z}=\theta\,\mathbf{z}^TA\mathbf{z}+(1-\theta)\,\mathbf{z}^TB\mathbf{z}\ge0\) para todo \(\mathbf{z}\); a combinação também é simétrica.
✔ Verdadeiro — Cada restrição \(y_i\mathbf{w}^T\mathbf{x}_i\ge1\) define um semiespaço em \(\mathbf{w}\), e o conjunto é a interseção de \(N\) semiespaços, que é convexa (inclusive quando é vazia).
✗ Falso — \(C_1=[0,1]\cup[2,3]\) e \(C_2=[0,1]\cup[4,5]\) são não convexos, e \(C_1\cap C_2=[0,1]\) é convexo. A interseção preserva convexidade, mas não preserva a falta dela.

Teste 2 — Funções convexas pela definição

□ \(f(x)=\sqrt{|x|}\) é convexa em \(\mathbb{R}\).
□ Se \(f:\mathbb{R}\to\mathbb{R}\) é convexa, então \(g(x)=f(2x+1)\) também é.
□ \(f(x)=x^3\), com \(\mathrm{dom}\,f=[0,\infty)\), é convexa.
□ O produto de duas funções convexas em \(\mathbb{R}\) é sempre convexo.

(Resposta) Teste 2 — Funções convexas pela definição

✗ Falso — Com \(x=0\), \(y=1\) e \(\theta=\tfrac12\): \(f(\tfrac12)=\sqrt{0{,}5}\approx0{,}71\), maior que \(\tfrac12f(0)+\tfrac12f(1)=0{,}5\). A corda fica abaixo do gráfico.
✔ Verdadeiro — \(g(\theta x+(1-\theta)y)=f\big(\theta(2x+1)+(1-\theta)(2y+1)\big)\le\theta f(2x+1)+(1-\theta)f(2y+1)\): compor com uma função afim preserva convexidade.
✔ Verdadeiro — O domínio é convexo e \(f''(x)=6x\ge0\) nele. A mesma regra em \(\mathbb{R}\) não é convexa: convexidade depende do domínio, não só da regra.
✗ Falso — \(f_1(x)=x\) (afim, logo convexa) e \(f_2(x)=x^2\) dão \(x^3\), que não é convexa em \(\mathbb{R}\). Soma e multiplicação por \(\alpha\ge0\) preservam convexidade; produto, não.

Teste 3 — Epígrafe, gráfico e subníveis

□ Se \(f\) é convexa, então o seu gráfico \(\{(\mathbf{x},f(\mathbf{x}))\}\) é um conjunto convexo.
□ Se \(f\) é convexa, então o subnível \(\{\mathbf{x}\in\mathrm{dom}\,f\mid f(\mathbf{x})\le c\}\) é convexo para todo \(c\in\mathbb{R}\).
□ Se todos os subníveis de \(f\) são convexos, então \(f\) é convexa.
□ A perda hinge média de um SVM linear, \(\frac1N\sum_{i=1}^N\max\{0,\,1-y_i\mathbf{w}^T\mathbf{x}_i\}\), é convexa em \(\mathbf{w}\), embora não seja diferenciável em todo ponto.

(Resposta) Teste 3 — Epígrafe, gráfico e subníveis

✗ Falso — Para \(f(x)=x^2\), \((-1,1)\) e \((1,1)\) estão no gráfico, mas o ponto médio \((0,1)\) não (\(f(0)=0\)). O conjunto convexo é a epígrafe; o gráfico só é convexo quando \(f\) é afim.
✔ Verdadeiro — Se \(f(\mathbf{x})\le c\) e \(f(\mathbf{y})\le c\), então \(f(\theta\mathbf{x}+(1-\theta)\mathbf{y})\le\theta c+(1-\theta)c=c\). Equivalentemente, é o corte de \(\mathrm{epi}\,f\) na altura \(t=c\).
✗ Falso — \(f(x)=\sqrt{|x|}\) tem subníveis \([-c^2,c^2]\), que são intervalos, e não é convexa (a corda entre \(0\) e \(1\) fica abaixo do gráfico). Subníveis convexos é uma propriedade mais fraca que epígrafe convexa.
✔ Verdadeiro — Cada parcela é o máximo de duas funções afins em \(\mathbf{w}\); sua epígrafe é a interseção de duas epígrafes convexas. A soma com pesos \(\tfrac1N\ge0\) preserva convexidade. Diferenciabilidade não entra no argumento.

Teste 4 — A condição de primeira ordem

□ Se \(f\) é convexa e diferenciável, o hiperplano tangente ao gráfico em qualquer ponto nunca fica acima do gráfico, em nenhum ponto do domínio.
□ Se \(f\) é convexa e diferenciável, com \(\mathrm{dom}\,f=\mathbb{R}^n\), e \(\nabla f(\mathbf{x}_0)\ne\mathbf{0}\), então \(\mathbf{x}_0\) não é minimizador global de \(f\).
□ Na regressão logística, cuja perda (entropia cruzada média) é convexa e diferenciável nos pesos, um ponto em que o gradiente é exatamente nulo é um minimizador global.
□ Se \(f\) é diferenciável e não convexa, então nenhum ponto de gradiente nulo é minimizador global de \(f\).

(Resposta) Teste 4 — A condição de primeira ordem

✔ Verdadeiro — É a condição de primeira ordem: \(f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x})(\mathbf{y}-\mathbf{x})\) para todo \(\mathbf{y}\), não só perto de \(\mathbf{x}\).
✔ Verdadeiro — Andando um passo pequeno na direção \(-\nabla f(\mathbf{x}_0)^T\), a derivada direcional é \(-\|\nabla f(\mathbf{x}_0)\|^2<0\), então \(f\) diminui. Não há restrição de domínio que impeça o passo.
✔ Verdadeiro — É o Corolário: com \(\nabla f(\mathbf{x}^\star)=\mathbf{0}\), a condição de primeira ordem dá \(f(\mathbf{y})\ge f(\mathbf{x}^\star)\) para todo \(\mathbf{y}\). O resultado vale para qualquer função convexa diferenciável, não só para a perda quadrática.
✗ Falso — Convexidade é suficiente para que gradiente nulo implique mínimo global, não necessária para que um mínimo global exista. \(f(x)=x^4-2{,}5x^2+0{,}6x\) não é convexa e atinge o mínimo global num ponto de derivada nula.

Teste 5 — A Hessiana e a curvatura ao longo de uma reta

□ Se \(g(t)=f(\mathbf{x}+t\mathbf{v})\), então \(g''(0)=\mathbf{v}^T\nabla^2f(\mathbf{x})\mathbf{v}\).
□ Para \(f(x_1,x_2)=x_1x_2\), a Hessiana é constante e \(f\) é convexa.
□ Se \(\nabla^2f(\mathbf{x})\) tem um autovalor negativo, existe uma direção \(\mathbf{v}\) tal que \(t\mapsto f(\mathbf{x}+t\mathbf{v})\) tem segunda derivada negativa em \(t=0\).
□ A Hessiana de uma função \(f:\mathbb{R}^n\to\mathbb{R}\) duas vezes continuamente diferenciável pode ser qualquer matriz \(n\times n\), inclusive não simétrica.

(Resposta) Teste 5 — A Hessiana e a curvatura ao longo de uma reta

✔ Verdadeiro — Pela regra da cadeia, \(g'(t)=\nabla f(\mathbf{x}+t\mathbf{v})\mathbf{v}\) e, derivando de novo, \(g''(t)=\mathbf{v}^T\nabla^2f(\mathbf{x}+t\mathbf{v})\mathbf{v}\).
✗ Falso — A Hessiana é \(\begin{bmatrix}0&1\\1&0\end{bmatrix}\) em todo ponto, constante, mas com autovalores \(1\) e \(-1\): indefinida. \(f\) é uma sela. Hessiana constante não quer dizer semidefinida positiva.
✔ Verdadeiro — Tome \(\mathbf{v}\) autovetor unitário do autovalor \(\mu<0\): \(g''(0)=\mathbf{v}^T\nabla^2f(\mathbf{x})\mathbf{v}=\mu<0\).
✗ Falso — Com derivadas segundas contínuas, \(\partial^2f/\partial x_i\partial x_j=\partial^2f/\partial x_j\partial x_i\) (teorema de Schwarz): a Hessiana é sempre simétrica.

Teste 6 — A condição de segunda ordem

□ \(f(x)=1/x^2\), com \(\mathrm{dom}\,f=\mathbb{R}\setminus\{0\}\), tem \(f''(x)>0\) em todo o domínio e, mesmo assim, não é convexa.
□ Se \(\nabla^2f(\mathbf{x})\succ0\) para todo \(\mathbf{x}\) num domínio aberto e convexo, então \(f\) é estritamente convexa.
□ Se \(f\) é estritamente convexa e duas vezes diferenciável, então \(\nabla^2f(\mathbf{x})\succ0\) em todo \(\mathbf{x}\).
□ A função softplus, \(f(x)=\log(1+e^x)\), usada como ativação em redes neurais, é convexa em \(\mathbb{R}\).

(Resposta) Teste 6 — A condição de segunda ordem

✔ Verdadeiro — A condição de segunda ordem exige domínio convexo, e \(\mathbb{R}\setminus\{0\}\) não é: \(-1\) e \(1\) estão nele, mas \(0\) não.
✔ Verdadeiro — Pela expansão de Taylor com resto de Lagrange, a curvatura \(\mathbf{v}^T\nabla^2f\,\mathbf{v}>0\) ao longo de todo segmento faz a desigualdade da definição ser estrita.
✗ Falso — \(f(x)=x^4\) é estritamente convexa e \(f''(0)=0\). Hessiana definida positiva em todo ponto é suficiente para convexidade estrita, não necessária.
✔ Verdadeiro — \(f'(x)=\sigma(x)=1/(1+e^{-x})\) e \(f''(x)=\sigma(x)\big(1-\sigma(x)\big)>0\) em todo \(\mathbb{R}\), que é convexo.

Teste 7 — Quadráticas e pontos críticos

Nos itens abaixo, \(f(\mathbf{x})=\tfrac12\mathbf{x}^TP\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\) em \(\mathbb{R}^2\), com \(P\) simétrica.

□ Se \(P\succeq0\) é singular, \(f\) pode não ter nenhum minimizador.
□ Se \(P\) tem autovalores \(2\) e \(-3\), \(f\) tem exatamente um ponto crítico, e ele é uma sela.
□ Se \(P\) tem autovalores \(2\) e \(0\), então \(f\) tem infinitos minimizadores.
□ Se \(P\succ0\) e \(\mathbf{x}^\star\) é o minimizador, então \(f(\mathbf{x})-f(\mathbf{x}^\star)=\tfrac12(\mathbf{x}-\mathbf{x}^\star)^TP(\mathbf{x}-\mathbf{x}^\star)\) para todo \(\mathbf{x}\).

(Resposta) Teste 7 — Quadráticas e pontos críticos

✔ Verdadeiro — Com \(P=\begin{bmatrix}2&0\\0&0\end{bmatrix}\) e \(\mathbf{q}=(0,1)\), \(f=x_1^2+x_2\), que vai a \(-\infty\) quando \(x_2\to-\infty\). \(f\) é convexa, mas não tem ponto crítico.
✔ Verdadeiro — \(P\) é invertível, então \(\nabla f=\mathbf{x}^TP+\mathbf{q}^T=\mathbf{0}\) tem solução única \(\mathbf{x}^\star=-P^{-1}\mathbf{q}\). Pela expansão exata, \(f\) sobe ao longo de um autovetor e desce ao longo do outro.
✗ Falso — Depende de \(\mathbf{q}\). Se \(\mathbf{q}\) tem componente no núcleo de \(P\), não há minimizador (item 1). Só quando \(\mathbf{q}\) é ortogonal ao núcleo aparece o vale plano, com uma reta de minimizadores.
✔ Verdadeiro — Para quadráticas, a expansão de Taylor de segunda ordem é exata, e o termo de primeira ordem some porque \(\nabla f(\mathbf{x}^\star)=\mathbf{0}\).

Teste 8 — A perda quadrática

□ \(\nabla^2L(\boldsymbol\beta)=2X^TX\) para todo \(\boldsymbol\beta\), qualquer que seja \(\mathbf{y}\).
□ Se \(X\) tem posto coluna completo, \(L\) tem exatamente um minimizador.
□ Se \(X\) tem posto incompleto, \(L\) não tem minimizador.
□ Numa regressão polinomial de grau \(10\) (com intercepto) ajustada a apenas \(5\) pontos, \(X^TX\) é definida positiva.

(Resposta) Teste 8 — A perda quadrática

✔ Verdadeiro — \(\nabla L=2(X\boldsymbol\beta-\mathbf{y})^TX\) é afim em \(\boldsymbol\beta\); derivando de novo, \(\mathbf{y}\) desaparece e sobra a constante \(2X^TX\).
✔ Verdadeiro — Posto completo dá \(\mathcal{N}(X)=\{\mathbf{0}\}\), então \(\mathbf{v}^T(2X^TX)\mathbf{v}=2\|X\mathbf{v}\|^2>0\) para \(\mathbf{v}\ne\mathbf{0}\): \(L\) é estritamente convexa, e \(X^TX\) invertível dá o minimizador pelas equações normais.
✗ Falso — O minimizador sempre existe: a projeção de \(\mathbf{y}\) no espaço-coluna é atingida por algum \(\boldsymbol\beta^\star\) (Aula 3). Posto incompleto tira a unicidade, não a existência: os minimizadores são \(\boldsymbol\beta^\star+\mathcal{N}(X)\).
✗ Falso — \(X\) tem \(5\) linhas e \(11\) colunas, então posto no máximo \(5<11\) e \(\mathcal{N}(X)\ne\{\mathbf{0}\}\): \(X^TX\) é singular, só semidefinida.

Teste 9 — A regularização Ridge

□ Para todo \(\lambda>0\), o menor autovalor de \(\nabla^2L_\lambda=2(X^TX+\lambda I)\) é pelo menos \(2\lambda\).
□ Se \(X^TX\) tem autovalores \(\mu_{\max}>\mu_{\min}>0\), então \(\mathrm{cond}(X^TX+\lambda I)\) diminui quando \(\lambda\) cresce.
□ Quando \(X\) tem posto incompleto e \(\lambda>0\), a solução Ridge \(\boldsymbol\beta_\lambda\) é um dos minimizadores \(\boldsymbol\beta^\star+\mathcal{N}(X)\) de \(L\), escolhido para desempatar.
□ Na regressão logística com penalidade \(\lambda\|\mathbf{w}\|^2\) e \(\lambda>0\), o objetivo é estritamente convexo, mesmo quando os dados são linearmente separáveis.

(Resposta) Teste 9 — A regularização Ridge

✔ Verdadeiro — Os autovalores de \(X^TX\) são \(\mu_i\ge0\), e os de \(2(X^TX+\lambda I)\) são \(2(\mu_i+\lambda)\ge2\lambda\).
✔ Verdadeiro — \(\mathrm{cond}=(\mu_{\max}+\lambda)/(\mu_{\min}+\lambda)\), cuja derivada em \(\lambda\) é \((\mu_{\min}-\mu_{\max})/(\mu_{\min}+\lambda)^2<0\).
✗ Falso — Em geral \(\boldsymbol\beta_\lambda\) nem minimiza \(L\): a perda de treino é maior do que a mínima, como na tabela da aula. A Ridge troca ajuste de treino por norma menor, e só se aproxima do conjunto de minimizadores de \(L\) quando \(\lambda\to0^+\).
✔ Verdadeiro — A entropia cruzada é convexa e \(\lambda\|\mathbf{w}\|^2\) é estritamente convexa; a soma é estritamente convexa. Sem a penalidade, dados separáveis fazem a perda decrescer sem atingir mínimo.