Aula 7: Convexidade e a Matriz Hessiana

Álgebra Linear e Otimização para Aprendizado de Máquina

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-09-30

Revisão e Introdução

Da Aula 6: O Que Já Temos

Gradiente = vetor-linha das parciais; derivada ao longo de \(\mathbf{v}\): \(\nabla f(\mathbf{x})\,\mathbf{v}\) (regra da cadeia em \(g(t)=f(\mathbf{x}+t\mathbf{v})\)).
Problema-fio: \(L(\boldsymbol\beta)=\|X\boldsymbol\beta-\mathbf{y}\|^2\), com \(\nabla_{\boldsymbol\beta}L=2(X\boldsymbol\beta-\mathbf{y})^TX\) (via \(J_{\mathbf r}=X\)).

Ponto crítico: \(\nabla f=\mathbf{0}\) — parado em primeira ordem. A Aula 6 terminou com a ressalva: pode ser mínimo, máximo ou sela.

Das Aulas 4 e 5: Formas Quadráticas

\(A\succeq0\): \(\mathbf{v}^TA\mathbf{v}\ge0\) para todo \(\mathbf{v}\); \(A\succ0\): \(>0\) para \(\mathbf{v}\ne\mathbf{0}\).
Rayleigh (Aula 4): \(\lambda_{\min}(A)\le\dfrac{\mathbf{v}^TA\mathbf{v}}{\mathbf{v}^T\mathbf{v}}\le\lambda_{\max}(A)\) \(\Rightarrow\) o sinal em todas as direções está nos autovalores.

Equações normais \(X^TX\hat{\boldsymbol\beta}=X^T\mathbf{y}\) (Aula 3): solução única se \(X\) tem posto coluna completo (Aula 2).
Aula 5: \(\text{cond}(X^TX)\approx 23\,460{,}5\) — par quase colinear AveRooms/AveBedrms.

Ideia Central e Roteiro

Ideia central: o gradiente diz se a função está parada; a Hessiana (segunda ordem) diz que forma ela tem em volta. Hessiana \(\succeq0\) em todo ponto \(\Rightarrow\) função convexa \(\Rightarrow\) todo ponto crítico é mínimo global.

O que é convexidade, e por que ela transforma “gradiente nulo” em “mínimo global”?
Como medir curvatura em várias variáveis? (Hessiana)
A perda da regressão linear é convexa? E quando o mínimo não é único?
Por que a Ridge garante minimizador único?

Problema Motivador: A Mesma Perda, Infinitas Soluções

Nova coluna, de boa-fé: AveOtherRooms \(=\) AveRooms \(-\) AveBedrms (cômodos que não são quartos). Posto de \(X_5\): \(4\) (de 5 colunas). Com \(\mathbf{n}=(0,0,-1,1,1)\): \(X_5\mathbf{n}=\mathbf{0}\).

\(t\)	coef. de `AveRooms`, `AveBedrms`, `AveOtherRooms`	\(L\)
\(0\)	\(0{,}135\), \(0{,}459\), \(-0{,}324\)	\(10\,299{,}39\)
\(10\)	\(-9{,}865\), \(10{,}459\), \(9{,}676\)	\(10\,299{,}39\)
\(100\)	\(-99{,}865\), \(100{,}459\), \(99{,}676\)	\(10\,299{,}39\)

Importante

np.linalg.solve devolve uma resposta sem erro, com \(\text{cond}(X_5^TX_5)\approx2{,}1\cdot 10^{17}\). Pergunta da aula: como saber se um ponto crítico é mínimo, único e global?

Pausa Ativa — Coeficientes que Empatam

Entre os infinitos \(\boldsymbol\beta\) com exatamente a mesma perda, algum é “o certo”? O que isso diz sobre interpretar coeficientes de uma regressão?

Pense no que significa “um quarto a mais, mantidas as demais colunas fixas” quando AveOtherRooms é definida a partir de AveRooms e AveBedrms.

Pontos críticos e colunas redundantes

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Se \(\nabla L(\boldsymbol\beta)=\mathbf{0}\) para uma perda \(L\) qualquer, então \(\boldsymbol\beta\) é necessariamente um minimizador de \(L\).
□ Num modelo linear em que uma coluna é a mesma renda registrada em reais e outra em milhares de reais, os coeficientes deixam de ser únicos, mas as predições \(X\boldsymbol\beta\) de todos os minimizadores coincidem.
□ Se np.linalg.solve devolve uma resposta sem erro para \(X^TX\boldsymbol\beta=X^T\mathbf{y}\), então esse sistema tinha solução única.
□ Acrescentar a \(X\) uma coluna que é combinação linear das demais pode diminuir o menor valor atingível da perda de treino.

Coeficientes que Empatam — Resposta

Pontos críticos e colunas redundantes — Resposta

✗ Gradiente nulo também ocorre em máximos e selas; mínimo exige informação de segunda ordem.
✔ Se \(X\mathbf{n}=\mathbf{0}\), então \(X(\boldsymbol\beta^\star+t\mathbf{n})=X\boldsymbol\beta^\star\): as predições são as mesmas.
✗ Com \(\text{cond}\approx2{,}1\cdot 10^{17}\) o solver devolve uma das infinitas soluções, escolhida pelo arredondamento.
✗ O espaço-coluna não muda, logo a melhor aproximação de \(\mathbf{y}\) (projeção, Aula 3) e a perda mínima também não.

Voltando à pergunta: nenhum é “o certo” pelos dados. A perda só enxerga \(X\boldsymbol\beta\), e todas as soluções dão as mesmas predições. “Um quarto a mais com o resto fixo” nem é possível, porque mudar AveBedrms muda AveOtherRooms. Escolher entre elas exige um critério fora da perda — é o que a Ridge fará no Bloco 4.

Intuição — Tigela, Sela e Vale Plano

Três Quadráticas, Três Formas

\(f(\mathbf{x})=\tfrac12\mathbf{x}^TP\mathbf{x}\), ponto crítico na origem. Só muda o sinal dos autovalores de \(P\):

Tigela (\(2,\,1\)): sobe em toda direção — mínimo único e global.
Sela (\(2,\,-1\)): sobe numa direção, desce na outra — gradiente nulo, mas não é mínimo.
Vale plano (\(2,\,0\)): constante ao longo do fundo — mínimo existe, não é único (o Problema Motivador, em 5D).

Bloco 1: Convexidade e a Condição de Primeira Ordem

Conjuntos

Definição (conjunto, subconjunto, compreensão)

Um conjunto \(C\) é uma coleção de elementos: \(\mathbf{x}\in C\) ou \(\mathbf{x}\notin C\). \(C\subseteq D\) se todo elemento de \(C\) está em \(D\). Em \(\mathbb{R}^n\): \(C=\{\mathbf{x}\in\mathbb{R}^n\mid P(\mathbf{x})\}\).

Exemplos da aula: semiespaço \(\{\mathbf{x}\mid\mathbf{a}^T\mathbf{x}\le b\}\), bola \(\{\mathbf{x}\mid\|\mathbf{x}-\mathbf{c}\|\le r\}\), núcleo \(\mathcal{N}(X)\), conjunto dos minimizadores.

Segmento: \([\mathbf{x},\mathbf{y}]=\{\theta\mathbf{x}+(1-\theta)\mathbf{y}\mid\theta\in[0,1]\}\); cada ponto dele é uma combinação convexa de \(\mathbf{x}\) e \(\mathbf{y}\) (\(\theta=1\): \(\mathbf{x}\); \(\theta=0\): \(\mathbf{y}\)).

Conjunto Convexo

Definição (Boyd, §2.1.4, p. 23; MathML, Def. 7.2, p. 236)

\(C\) é convexo se \(\mathbf{x},\mathbf{y}\in C\) e \(\theta\in[0,1]\) \(\Rightarrow\) \(\theta\mathbf{x}+(1-\theta)\mathbf{y}\in C\).

\(C\) é não convexo se existem \(\mathbf{x},\mathbf{y}\in C\) e \(\theta\in[0,1]\) com \(\theta\mathbf{x}+(1-\theta)\mathbf{y}\notin C\).

Provar que é convexo: argumento para todos os pares e todos os \(\theta\).
Provar que não é: basta um contraexemplo.

Interseção de convexos é convexa (Boyd, §2.3.1, p. 36); a união, nem sempre: \([0,1]\cup[2,3]\) não contém \(\tfrac32\).

Provando e Refutando

Semiespaço (Boyd, §2.2.1, p. 27): \(\mathbf{a}^T(\theta\mathbf{x}+(1-\theta)\mathbf{y})=\theta\,\mathbf{a}^T\mathbf{x}+(1-\theta)\,\mathbf{a}^T\mathbf{y}\le\theta b+(1-\theta)b=b\) (usa \(\theta,\,1-\theta\ge0\)).

Bola (Boyd, §2.2.2, p. 30): \(\|\theta(\mathbf{x}-\mathbf{c})+(1-\theta)(\mathbf{y}-\mathbf{c})\|\le\theta\|\mathbf{x}-\mathbf{c}\|+(1-\theta)\|\mathbf{y}-\mathbf{c}\|\le r\) (desigualdade triangular).

Anel \(\{1\le\|\mathbf{x}\|\le2\}\): \((\tfrac32,0)\) e \((-\tfrac32,0)\) estão nele; o ponto médio \(\mathbf{0}\) não. Não convexo.

Convexos e Não Convexos em \(\mathbb{R}^2\)

Função e Gráfico

Definição (função; MathML, §5, pp. 139–140; gráfico: Boyd, §3.1.7, p. 75)

\(f:D\to\mathbb{R}\), \(D\subseteq\mathbb{R}^n\), associa a cada \(\mathbf{x}\in D\) exatamente um \(f(\mathbf{x})\in\mathbb{R}\). \(D=\mathrm{dom}\,f\). Gráfico: \(\{(\mathbf{x},f(\mathbf{x}))\mid\mathbf{x}\in\mathrm{dom}\,f\}\subseteq\mathbb{R}^{n+1}\).

Função \(=\) domínio \(+\) regra. Escrevemos \(f:\mathbb{R}^n\to\mathbb{R}\) mesmo com \(\mathrm{dom}\,f\subsetneq\mathbb{R}^n\) (como o Boyd).
\(1/x^2\) em \((0,\infty)\) é convexa; em \(\mathbb{R}\setminus\{0\}\) não é: o domínio nem é convexo (Boyd, Remark 3.1, p. 71).

Função Convexa

Definição (Boyd, §3.1.1, p. 67)

\(f\) convexa: \(\mathrm{dom}\,f\) convexo e \(f(\theta\mathbf{x}+(1-\theta)\mathbf{y})\le\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\) para todos \(\mathbf{x},\mathbf{y}\in\mathrm{dom}\,f\), \(\theta\in[0,1]\).

Estritamente convexa: \(<\) para \(\mathbf{x}\ne\mathbf{y}\), \(0<\theta<1\). Côncava: \(-f\) convexa. Não convexa: domínio não convexo, ou existe um caso com \(>\).

Corda acima do gráfico; “às vezes chamada de desigualdade de Jensen” (Boyd, §3.1.8, p. 77, tradução livre).
O domínio precisa ser convexo para que \(\theta\mathbf{x}+(1-\theta)\mathbf{y}\in\mathrm{dom}\,f\).

Convexa ou Não? Provando e Refutando

\(x^2\): \(\theta x^2+(1-\theta)y^2-(\theta x+(1-\theta)y)^2=\theta(1-\theta)(x-y)^2\ge0\) — estritamente convexa.
\(x^3\): \(x=-1\), \(y=0\), \(\theta=\tfrac12\) dá \(-\tfrac18>-\tfrac12\) — não convexa.

Afins são convexas e côncavas; \(\alpha f\) (\(\alpha\ge0\)) e somas de convexas são convexas (Boyd, §3.2.1, p. 79).

Epígrafe

Definição (Boyd, §3.1.7, p. 75)

\[ \mathrm{epi}\,f=\{(\mathbf{x},t)\in\mathbb{R}^n\times\mathbb{R}\mid\mathbf{x}\in\mathrm{dom}\,f,\ f(\mathbf{x})\le t\}\subseteq\mathbb{R}^{n+1}. \]

“Epi” \(=\) “acima”: tudo o que fica sobre o gráfico; o gráfico é a borda inferior.
A ponte: uma função de \(\mathbb{R}^n\) vira um conjunto de \(\mathbb{R}^{n+1}\).
\(f(\mathbf{x})=\mathbf{a}^T\mathbf{x}+b\): \(\mathrm{epi}\,f=\{(\mathbf{x},t)\mid\mathbf{a}^T\mathbf{x}-t\le-b\}\) é um semiespaço.

Epígrafe: Convexa e Não Convexa

Epígrafe Convexa \(\iff\) Função Convexa

Teorema (Boyd, §3.1.7, p. 75 — enunciado sem prova; a prova é nossa)

\(f\) é convexa \(\iff\) \(\mathrm{epi}\,f\) é um conjunto convexo.

Dois pontos do gráfico estão na epígrafe; o segmento entre eles em \(\mathbb{R}^{n+1}\) é a corda. “Corda acima do gráfico” \(=\) “corda dentro da epígrafe”.

Ferramenta dos dois sentidos — combinação coordenada a coordenada: \[ \theta(\mathbf{x},s)+(1-\theta)(\mathbf{y},t)=\big(\theta\mathbf{x}+(1-\theta)\mathbf{y},\ \theta s+(1-\theta)t\big).\qquad(*) \]

Prova (\(\Rightarrow\)): \(f\) Convexa \(\Rightarrow\) Epígrafe Convexa

Tome \((\mathbf{x},s),(\mathbf{y},t)\in\mathrm{epi}\,f\), \(\theta\in[0,1]\), \(\mathbf{z}=\theta\mathbf{x}+(1-\theta)\mathbf{y}\).

Passo 1 — hipótese: \(\mathbf{x},\mathbf{y}\in\mathrm{dom}\,f\), \(f(\mathbf{x})\le s\), \(f(\mathbf{y})\le t\).

Passo 2 — domínio: \(\mathrm{dom}\,f\) convexo \(\Rightarrow\) \(\mathbf{z}\in\mathrm{dom}\,f\).

Passo 3 — altura: convexidade de \(f\), depois \(\theta\ge0\) e \(1-\theta\ge0\): \[ f(\mathbf{z})\le\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\le\theta s+(1-\theta)t. \]

Passo 4: por \((*)\), a combinação é \((\mathbf{z},\theta s+(1-\theta)t)\in\mathrm{epi}\,f\). Epígrafe convexa.

Prova (\(\Leftarrow\)): Epígrafe Convexa \(\Rightarrow\) \(f\) Convexa

Tome \(\mathbf{x},\mathbf{y}\in\mathrm{dom}\,f\), \(\theta\in[0,1]\), \(\mathbf{z}=\theta\mathbf{x}+(1-\theta)\mathbf{y}\).

Passo 1 — gráfico \(\subseteq\) epígrafe: \((\mathbf{x},f(\mathbf{x})),\,(\mathbf{y},f(\mathbf{y}))\in\mathrm{epi}\,f\).

Passo 2 — epígrafe convexa e \((*)\): \(\big(\mathbf{z},\ \theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\big)\in\mathrm{epi}\,f\).

Passo 3 — ler a definição de \(\mathrm{epi}\,f\): \(\mathbf{z}\in\mathrm{dom}\,f\) (domínio convexo) e \(f(\mathbf{z})\le\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\). \(\blacksquare\)

A convexidade do domínio vem de graça — por isso a definição de função convexa a exige.

Consequência: Máximo de Convexas

\(f=\max\{f_1,f_2\}\), com \(f_1,f_2\) convexas. Como \(\max\{a,b\}\le t\iff a\le t\) e \(b\le t\): \[ \mathrm{epi}\,f=\mathrm{epi}\,f_1\cap\mathrm{epi}\,f_2 . \]

Teorema \(\Rightarrow\) epígrafes convexas \(\Rightarrow\) interseção convexa \(\Rightarrow\) teorema \(\Rightarrow\) \(f\) convexa (Boyd, §3.2.3, pp. 80–81).

\(|x|=\max\{x,-x\}\) e a perda hinge \(\max\{0,\,1-z\}\) são convexas sem conta — e não são diferenciáveis em todo ponto.

Condição de Primeira Ordem

Teorema (Boyd, §3.1.3, eq. 3.2, p. 69)

\(f\) diferenciável, \(\mathrm{dom}\,f\) aberto e convexo. \(f\) é convexa \(\iff\) \(f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x})\,(\mathbf{y}-\mathbf{x})\) para todos \(\mathbf{x},\mathbf{y}\).

Gradiente-linha (Aula 6): \(\nabla f(\mathbf{x})(\mathbf{y}-\mathbf{x})\) já é escalar — o Boyd escreve \(\nabla f(\mathbf{x})^T(\mathbf{y}-\mathbf{x})\) (gradiente-coluna).
A tangente (Taylor de 1ª ordem) nunca superestima \(f\), em nenhum ponto: informação local \(\Rightarrow\) cota global.

Prova (\(\Rightarrow\))

Passo 1 — convexidade, \(0<t\le1\): \(f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\le(1-t)f(\mathbf{x})+t\,f(\mathbf{y})\).

Passo 2 — subtrair \(f(\mathbf{x})\), dividir por \(t\): \[ \frac{f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-f(\mathbf{x})}{t}\le f(\mathbf{y})-f(\mathbf{x}). \]

Passo 3 — \(t\to0^+\): com \(g(t)=f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\), o lado esquerdo \(\to g'(0)=\nabla f(\mathbf{x})(\mathbf{y}-\mathbf{x})\) (regra da cadeia, Aula 6). Logo \(f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x})(\mathbf{y}-\mathbf{x})\).

Prova (\(\Leftarrow\))

Passo 1 — hipótese duas vezes, a partir de \(\mathbf{z}=\theta\mathbf{x}+(1-\theta)\mathbf{y}\): \[ f(\mathbf{x})\ge f(\mathbf{z})+\nabla f(\mathbf{z})(\mathbf{x}-\mathbf{z}),\qquad f(\mathbf{y})\ge f(\mathbf{z})+\nabla f(\mathbf{z})(\mathbf{y}-\mathbf{z}). \]

Passo 2 — pesos \(\theta\) e \(1-\theta\), somar: \[ \theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\ge f(\mathbf{z})+\nabla f(\mathbf{z})\big(\theta\mathbf{x}+(1-\theta)\mathbf{y}-\mathbf{z}\big). \]

Passo 3: \(\theta\mathbf{x}+(1-\theta)\mathbf{y}-\mathbf{z}=\mathbf{0}\) \(\Rightarrow\) \(\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y})\ge f(\mathbf{z})\): convexa. \(\blacksquare\)

O Resultado Central do Bloco

Importante

Corolário (Boyd, p. 69). \(f\) convexa, diferenciável, \(\nabla f(\mathbf{x}^\star)=\mathbf{0}\) \(\Rightarrow\) \(f(\mathbf{y})\ge f(\mathbf{x}^\star)+\mathbf{0}\,(\mathbf{y}-\mathbf{x}^\star)=f(\mathbf{x}^\star)\) para todo \(\mathbf{y}\): minimizador global.

Função convexa: sem selas, sem mínimos locais “falsos” (em problemas convexos, ótimo local \(=\) global: Boyd, §4.2.2, p. 138).
Na figura: à esquerda, corda acima e tangente abaixo; à direita (dois vales), a corda cruza o gráfico e a tangente no vale mais alto não é cota inferior.

Pausa Ativa — Dois Minimizadores?

Uma função convexa pode ter dois minimizadores globais diferentes? E o que acontece com os pontos do segmento entre eles?

Aplique a definição com \(\theta=\tfrac12\) aos dois minimizadores e compare com o valor mínimo.

A classe das funções convexas

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Toda função afim \(f(\mathbf{x})=\mathbf{a}^T\mathbf{x}+b\) é convexa e côncava ao mesmo tempo.
□ Se \(\mathrm{epi}\,f\) é um conjunto convexo, \(\mathrm{dom}\,f\) pode mesmo assim não ser convexo.
□ Somar a uma perda de treino convexa uma penalidade convexa sobre os parâmetros produz uma função objetivo convexa.
□ Uma função convexa e diferenciável pode ter um ponto de gradiente nulo que não seja minimizador global.

Dois Minimizadores? — Resposta

A classe das funções convexas — Resposta

✔ Para afins, a desigualdade da definição vale com igualdade, então vale para \(f\) e para \(-f\).
✗ Se \((\mathbf{x},s),(\mathbf{y},t)\in\mathrm{epi}\,f\), a combinação \((\mathbf{z},\cdot)\) está em \(\mathrm{epi}\,f\), logo \(\mathbf{z}\in\mathrm{dom}\,f\): a epígrafe convexa já obriga o domínio a ser convexo.
✔ Soma de convexas é convexa (Boyd, §3.2.1).
✗ É exatamente o Corolário: gradiente nulo em função convexa \(\Rightarrow\) minimizador global.

Voltando à pergunta: pode, mas então todo o segmento entre eles também é minimizador. Com \(m\) o valor mínimo, a definição dá \(f(\tfrac12\mathbf{a}+\tfrac12\mathbf{b})\le\tfrac12m+\tfrac12m=m\), e nada fica abaixo de \(m\): o conjunto de minimizadores é convexo (o vale plano da Intuição). Só a convexidade estrita proíbe isso (Bloco 4).

Bloco 2: A Hessiana e a Condição de Segunda Ordem

A Matriz Hessiana

Definição (MathML, §5.7, pp. 164–165)

\(\big[\nabla^2 f(\mathbf{x})\big]_{ij}=\dfrac{\partial^2 f}{\partial x_i\,\partial x_j}(\mathbf{x})\) — matriz \(n\times n\) das derivadas de segunda ordem.

Linha a linha: o Jacobiano do gradiente (Aula 6).
\(f\) duas vezes continuamente diferenciável \(\Rightarrow\) \(\frac{\partial^2 f}{\partial x_i\partial x_j}=\frac{\partial^2 f}{\partial x_j\partial x_i}\) (MathML, eq. 5.146; Teorema de Schwarz/Clairaut) \(\Rightarrow\) Hessiana simétrica: vale tudo da Aula 4.
“A Hessiana mede a curvatura da função localmente” (MathML, p. 165, tradução livre).

Curvatura ao Longo de uma Reta

\(g(t)=f(\mathbf{x}+t\mathbf{v})\):

Passo 1 — regra da cadeia: \(g'(t)=\nabla f(\mathbf{x}+t\mathbf{v})\,\mathbf{v}=\sum_i\frac{\partial f}{\partial x_i}(\mathbf{x}+t\mathbf{v})\,v_i\).

Passo 2 — de novo, em cada parcial: \[ g''(t)=\sum_{i}\sum_{j}\frac{\partial^2 f}{\partial x_j\,\partial x_i}(\mathbf{x}+t\mathbf{v})\,v_jv_i=\mathbf{v}^T\nabla^2 f(\mathbf{x}+t\mathbf{v})\,\mathbf{v}. \]

Importante

\(\mathbf{v}^T\nabla^2f\,\mathbf{v}\) = curvatura na direção \(\mathbf{v}\). Por Rayleigh (\(\|\mathbf{v}\|=1\)): entre \(\lambda_{\min}\) e \(\lambda_{\max}\) da Hessiana — autovalores são as curvaturas extremas; autovetores, as direções.

Condição de Segunda Ordem

Teorema (Boyd, §3.1.4, p. 71; MathML, §7.3, p. 237)

\(f\) duas vezes continuamente diferenciável, \(\mathrm{dom}\,f\) aberto e convexo: \(f\) convexa \(\iff\nabla^2 f(\mathbf{x})\succeq0\) para todo \(\mathbf{x}\).

Prova nossa (o Boyd a deixa como Exercício 3.8), com Taylor em 1 variável com resto de Lagrange: \(g(1)=g(0)+g'(0)+\tfrac12g''(\xi)\), \(\xi\in(0,1)\).

(\(\Leftarrow\)) Com \(\mathbf{v}=\mathbf{y}-\mathbf{x}\): \[ f(\mathbf{y})=f(\mathbf{x})+\nabla f(\mathbf{x})(\mathbf{y}-\mathbf{x})+\underbrace{\tfrac12(\mathbf{y}-\mathbf{x})^T\nabla^2f(\mathbf{x}+\xi\mathbf{v})(\mathbf{y}-\mathbf{x})}_{\ge0\ (\succeq0)} \] \(\Rightarrow\) condição de 1ª ordem \(\Rightarrow\) convexa.

Condição de Segunda Ordem: a Volta

(\(\Rightarrow\)) \(f\) convexa; \(g(t)=f(\mathbf{x}+t\mathbf{v})\).

Passo 1: \(g\) é convexa (combinações convexas de pontos da reta ficam na reta).

Passo 2: 1ª ordem em \((s,t)\) e \((t,s)\): \(g(s)\ge g(t)+g'(t)(s-t)\) e \(g(t)\ge g(s)+g'(s)(t-s)\). Somando: \((g'(s)-g'(t))(s-t)\ge0\) — \(g'\) não decrescente.

Passo 3: \(g''(0)\ge0\), isto é, \(\mathbf{v}^T\nabla^2f(\mathbf{x})\mathbf{v}\ge0\) para todo \(\mathbf{v}\). \(\blacksquare\)

Aviso

\(\nabla^2f\succ0\) em todo ponto \(\Rightarrow\) estritamente convexa, mas não a recíproca: \(x^4\) é estritamente convexa com \(f''(0)=0\). E o domínio convexo é indispensável: \(1/x^2\) em \(\{x\ne0\}\) tem \(f''>0\) e não é convexa (Boyd, p. 71).

Quadráticas: Taylor Exata

\(f(\mathbf{x})=\tfrac12\mathbf{x}^TP\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\), \(P\) simétrica:

Passo 1 — expandir: \(f(\mathbf{x}+\mathbf{v})=\tfrac12(\mathbf{x}+\mathbf{v})^TP(\mathbf{x}+\mathbf{v})+\mathbf{q}^T(\mathbf{x}+\mathbf{v})+r\).

Passo 2 — distribuir; simetria \(\mathbf{v}^TP\mathbf{x}=\mathbf{x}^TP\mathbf{v}\): \[ f(\mathbf{x}+\mathbf{v})=f(\mathbf{x})+(\mathbf{x}^TP+\mathbf{q}^T)\,\mathbf{v}+\tfrac12\mathbf{v}^TP\mathbf{v} \] \(\Rightarrow\nabla f(\mathbf{x})=\mathbf{x}^TP+\mathbf{q}^T\), \(\nabla^2f=P\) constante. Convexa \(\iff P\succeq0\); estritamente \(\iff P\succ0\) (Boyd, Ex. 3.2).

No ponto crítico, exatamente \(f(\mathbf{x}^\star+\mathbf{v})=f(\mathbf{x}^\star)+\tfrac12\mathbf{v}^TP\mathbf{v}\):

\(P\succ0\): tigela (minimizador único);
autovalores de sinais opostos: sela;
\(P\succeq0\) com autovalor \(0\): vale plano, minimizadores \(\mathbf{x}^\star+\mathcal{N}(P)\).

Para \(f\) geral, a leitura vale localmente se a Hessiana é PD ou indefinida (teste da 2ª derivada, citado sem prova); se só PSD, a 2ª ordem não decide (\(\pm x^4\)).

Pausa Ativa — Lendo a Hessiana num Ponto Crítico

Num ponto crítico, a Hessiana tem autovalores \(3\) e \(-1\). O que acontece com \(f\) quando você dá um passo pequeno ao longo de cada autovetor?

Para uma quadrática, \(f(\mathbf{x}^\star+\mathbf{v})=f(\mathbf{x}^\star)+\tfrac12\mathbf{v}^TP\mathbf{v}\); use \(\mathbf{v}=\varepsilon\,\mathbf{u}_i\), com \(\mathbf{u}_i\) autovetor unitário.

Hessiana e convexidade

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Se \(\nabla^2f(\mathbf{x}_0)\succ0\) num único ponto \(\mathbf{x}_0\), então \(f\) é convexa em todo o domínio.
□ \(f(x)=x^4\) é estritamente convexa, embora \(f''(0)=0\).
□ Para \(f(\mathbf{x})=\tfrac12\mathbf{x}^TP\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\) com \(P\) simétrica, a Hessiana é \(P\) em todos os pontos.
□ Para uma perda duas vezes continuamente diferenciável em relação aos pesos de uma rede, trocar a ordem das derivadas parciais pode mudar a Hessiana.

Lendo a Hessiana — Resposta

Hessiana e convexidade — Resposta

✗ O teorema exige \(\nabla^2 f\succeq0\) em todo ponto; num ponto só, no máximo se conclui algo local.
✔ É o contraexemplo do Boyd: PD em todo ponto é suficiente para convexidade estrita, mas não necessário.
✔ Pela expansão exata, o termo quadrático é \(\tfrac12\mathbf{v}^TP\mathbf{v}\), qualquer que seja \(\mathbf{x}\).
✗ Com derivadas segundas contínuas vale a simetria (MathML, eq. 5.146): a Hessiana é a mesma.

Voltando à pergunta: \(f(\mathbf{x}^\star+\varepsilon\mathbf{u}_1)=f(\mathbf{x}^\star)+\tfrac32\varepsilon^2\) (sobe) e \(f(\mathbf{x}^\star+\varepsilon\mathbf{u}_2)=f(\mathbf{x}^\star)-\tfrac12\varepsilon^2\) (desce): é uma sela, e o autovetor do autovalor negativo é uma direção de fuga. Para \(f\) não quadrática, o mesmo vale para \(\varepsilon\) pequeno.

Bloco 3: A Perda Quadrática do Problema-Fio

A Hessiana de \(L(\boldsymbol\beta)\) — Rota 1

Passo 1 — gradiente como coluna (Aula 6): \((\nabla_{\boldsymbol\beta}L)^T=2X^T(X\boldsymbol\beta-\mathbf{y})=2X^TX\boldsymbol\beta-2X^T\mathbf{y}\).

Passo 2 — Jacobiano de função afim \(M\boldsymbol\beta+\mathbf{c}\) é \(M\) (como \(J_{\mathbf r}=X\) na Aula 6): \[ \nabla^2_{\boldsymbol\beta}L=2X^TX \quad\text{(constante em }\boldsymbol\beta). \]

A Hessiana de \(L(\boldsymbol\beta)\) — Rota 2

Passo 1: \(\mathbf{r}=X\boldsymbol\beta-\mathbf{y}\) \(\Rightarrow\) \(L(\boldsymbol\beta+\mathbf{v})=\|\mathbf{r}+X\mathbf{v}\|^2\).

Passo 2 — \(\|\mathbf{a}+\mathbf{b}\|^2=\|\mathbf{a}\|^2+2\mathbf{a}^T\mathbf{b}+\|\mathbf{b}\|^2\): \[ L(\boldsymbol\beta+\mathbf{v})=\underbrace{\|\mathbf{r}\|^2}_{L(\boldsymbol\beta)}+\underbrace{2\mathbf{r}^TX}_{\nabla_{\boldsymbol\beta}L}\,\mathbf{v}+\tfrac12\,\mathbf{v}^T\underbrace{(2X^TX)}_{\nabla^2_{\boldsymbol\beta}L}\,\mathbf{v} \]

Importante

Curvatura na direção \(\mathbf{v}\): \(\mathbf{v}^T(2X^TX)\mathbf{v}=2\|X\mathbf{v}\|^2\ge0\) — sempre convexa, nula exatamente quando \(X\mathbf{v}=\mathbf{0}\).

Proposição: Quando o Minimizador é Único

Proposição (convexidade da perda quadrática)

\(L\) é convexa. (1) Posto coluna completo \(\Rightarrow 2X^TX\succ0\) \(\Rightarrow\) minimizador único (equações normais). (2) Caso contrário, minimizadores \(=\boldsymbol\beta^\star+\mathcal{N}(X)\).

(1): \(\mathcal{N}(X)=\{\mathbf{0}\}\) (Aula 2) \(\Rightarrow 2\|X\mathbf{v}\|^2>0\) para \(\mathbf{v}\ne\mathbf{0}\); Bloco 2 (unicidade) \(+\) Corolário do Bloco 1 (global).
1. \(\supseteq\): \(X\mathbf{n}=\mathbf{0}\Rightarrow L(\boldsymbol\beta^\star+\mathbf{n})=\|X\boldsymbol\beta^\star-\mathbf{y}\|^2=L(\boldsymbol\beta^\star)\).

1. \(\subseteq\): dois minimizadores anulam o gradiente \(\Rightarrow X^TX(\boldsymbol\beta-\boldsymbol\beta^\star)=\mathbf{0}\); multiplicando por \((\boldsymbol\beta-\boldsymbol\beta^\star)^T\): \(\|X(\boldsymbol\beta-\boldsymbol\beta^\star)\|^2=0\) \(\Rightarrow\boldsymbol\beta-\boldsymbol\beta^\star\in\mathcal{N}(X)\). \(\blacksquare\)

O Vale Plano no Problema-Fio

Matriz	autovalores de \(X^TX\)	\(\text{cond}\)
\(X\) (4 colunas)	\(747{,}3\), \(52\,666{,}0\), \(273\,990{,}3\), \(17\,530\,938{,}8\)	\(23\,460{,}5\)
\(X_5\) (+ `AveOtherRooms`)	\(8{,}3\cdot 10^{-11}\), \(1\,397{,}0\), \(55\,648{,}4\), \(410\,291{,}5\), \(17\,779\,973{,}3\)	\(2{,}1\cdot 10^{17}\)

\(X\): estritamente convexa, minimizador único — mas uma tigela \(23\,461\) vezes mais íngreme numa direção que na outra (importa na Aula 8).
\(X_5\): autovalor \(\approx0\) na direção \(\mathbf{n}\) — o vale plano. No corte abaixo (por \(\boldsymbol\beta^\star\), ao longo de \(\mathbf{n}\) e do autovetor do menor autovalor positivo), as curvas de nível são retas paralelas a \(\mathbf{n}\).

Pausa Ativa — Curvatura Constante

A Hessiana da perda quadrática não depende de \(\boldsymbol\beta\). Que consequência prática isso tem para verificar convexidade, e por que isso deixa de valer numa rede neural com camadas ocultas?

Compare “checar \(\nabla^2L\succeq0\) em um ponto” com “checar em todos os pontos” quando a Hessiana muda, ou não, com os parâmetros.

A geometria da perda quadrática

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ \(\mathbf{v}^T(2X^TX)\mathbf{v}=0\) exatamente para os vetores \(\mathbf{v}\) com \(X\mathbf{v}=\mathbf{0}\).
□ Se o número de linhas \(N\) é maior que o de colunas \(d\), a Hessiana \(2X^TX\) é necessariamente definida positiva.
□ Quando \(X\) tem posto incompleto, o conjunto dos minimizadores de \(\|X\boldsymbol\beta-\mathbf{y}\|^2\) é sempre um subespaço vetorial (contém \(\boldsymbol\beta=\mathbf{0}\)).
□ Treinar só a última camada linear de uma rede, com as camadas anteriores congeladas e perda quadrática, é um problema convexo nos pesos dessa camada.

Curvatura Constante — Resposta

A geometria da perda quadrática — Resposta

✔ \(\mathbf{v}^T(2X^TX)\mathbf{v}=2\|X\mathbf{v}\|^2\), que é zero se, e somente se, \(X\mathbf{v}=\mathbf{0}\).
✗ \(X_5\) tem \(N=16640\) linhas e 5 colunas e mesmo assim \(X_5^TX_5\) é singular: o que importa é o posto.
✗ É o conjunto afim \(\boldsymbol\beta^\star+\mathcal{N}(X)\); só contém \(\mathbf{0}\) se \(\mathbf{0}\) já for minimizador.
✔ Com as camadas anteriores fixas, as ativações viram uma matriz \(X\) fixa e a perda é quadrática nos pesos da última camada.

Voltando à pergunta: com Hessiana constante, checar \(2X^TX\succeq0\) uma vez vale para todo \(\boldsymbol\beta\), e a convexidade sai de graça. Numa rede com camadas ocultas, a Hessiana depende dos pesos: ela pode ser PSD perto de um ponto e indefinida perto de outro, e a condição de segunda ordem exige checar todos — é por isso que redes profundas não herdam a garantia.

Bloco 4: A Regularização Ridge Fecha o Vale

A Hessiana da Ridge

\(L_\lambda(\boldsymbol\beta)=\|X\boldsymbol\beta-\mathbf{y}\|^2+\lambda\|\boldsymbol\beta\|^2\), \(\lambda>0\).

Passo 1 — penalidade é quadrática: \(\lambda\boldsymbol\beta^T\boldsymbol\beta=\tfrac12\boldsymbol\beta^T(2\lambda I)\boldsymbol\beta\) \(\Rightarrow\) Hessiana \(2\lambda I\) (Bloco 2).

Passo 2 — Hessiana da soma: \(\nabla^2L_\lambda=2X^TX+2\lambda I=2(X^TX+\lambda I)\).

Passo 3 — autovalores deslocados: \(X^TX\mathbf{u}=\mu\mathbf{u}\Rightarrow(X^TX+\lambda I)\mathbf{u}=(\mu+\lambda)\mathbf{u}\).

Importante

Mesmos autovetores; autovalores \(\mu+\lambda\ge\lambda>0\) \(\Rightarrow\) Hessiana definida positiva para qualquer posto de \(X\). Na direção \(\mathbf{n}\) do vale, a curvatura vai de \(0\) a \(2\lambda\).

Existe, e é Único

Lema. Estritamente convexa \(\Rightarrow\) no máximo um minimizador: se \(\mathbf{a}\ne\mathbf{b}\) tivessem valor \(m\), \(f(\tfrac12\mathbf{a}+\tfrac12\mathbf{b})<m\). \(\blacksquare\) (Existência é outra história: \(e^x\) é estritamente convexa sem mínimo.)

Passo 1 — gradiente: \(\nabla L_\lambda=2(X\boldsymbol\beta-\mathbf{y})^TX+2\lambda\boldsymbol\beta^T\).

Passo 2 — zerar e transpor: \((X^TX+\lambda I)\boldsymbol\beta=X^T\mathbf{y}\).

Passo 3 — existência: autovalores \(\ge\lambda>0\) \(\Rightarrow\) invertível \(\Rightarrow\boldsymbol\beta_\lambda=(X^TX+\lambda I)^{-1}X^T\mathbf{y}\), minimizador global (Corolário, Bloco 1). Passo 4 — unicidade: Lema. \(\blacksquare\)

Ridge no Problema-Fio

\(\lambda\)	menor / maior autovalor	\(\text{cond}\)	coef. `AveRooms`, `AveBedrms`, `AveOtherRooms`	perda de treino
\(0\)	\(8{,}3\cdot 10^{-11}\) / \(1{,}8\cdot 10^{7}\)	\(2{,}1\cdot 10^{17}\)	não únicos	\(10\,299{,}39\)
\(1\)	\(1{,}00\) / \(1{,}8\cdot 10^{7}\)	\(1{,}8\cdot 10^{7}\)	\(0{,}1353\), \(0{,}4587\), \(-0{,}3233\)	\(10\,299{,}39\)
\(100\)	\(100{,}00\) / \(1{,}8\cdot 10^{7}\)	\(1{,}8\cdot 10^{5}\)	\(0{,}1249\), \(0{,}4261\), \(-0{,}3012\)	\(10\,301{,}82\)

Menor autovalor: de \(0\) para \(\approx\lambda\), como previsto.
Um só vetor de coeficientes: entre os que empatavam, a penalidade escolhe o de menor \(\|\boldsymbol\beta\|^2\).
A perda de treino sobe com \(\lambda\): a unicidade vem de um critério fora dos dados. Se ele ajuda a prever casas novas é assunto de Aprendizado Supervisionado.

Pausa Ativa — O Que a Ridge Escolhe

A Ridge “fecha” o vale plano. Isso significa que ela descobre qual combinação de AveRooms, AveBedrms e AveOtherRooms é a verdadeira?

Pense no critério que a penalidade usa para desempatar os \(\boldsymbol\beta^\star+t\mathbf{n}\), e se esse critério tem algo a ver com casas.

Ridge, autovalores e unicidade

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Os autovetores de \(X^TX+\lambda I\) são os mesmos de \(X^TX\).
□ Com \(\lambda>0\), a perda Ridge tem minimizador único mesmo quando \(X\) tem mais colunas que linhas (\(d>N\)), como num modelo de texto com milhares de palavras e poucas centenas de documentos.
□ Aumentar \(\lambda\) sempre diminui a perda de treino \(\|X\boldsymbol\beta_\lambda-\mathbf{y}\|^2\).
□ Trocar a penalidade \(\lambda\|\boldsymbol\beta\|^2\) por \(\lambda\|\boldsymbol\beta\|_1\) preserva a garantia de Hessiana definida positiva em todo ponto.

O Que a Ridge Escolhe — Resposta

Ridge, autovalores e unicidade — Resposta

✔ \((X^TX+\lambda I)\mathbf{u}=(\mu+\lambda)\mathbf{u}\): mesmos autovetores, autovalores deslocados.
✔ Com \(d>N\), \(X^TX\) tem posto no máximo \(N<d\) e é singular, mas \(X^TX+\lambda I\) tem autovalores \(\ge\lambda>0\).
✗ Ela aumenta (ou mantém): a Ridge troca ajuste de treino por norma menor, como na tabela.
✗ \(|\beta_j|\) não é duas vezes diferenciável em \(0\) e, onde é, tem segunda derivada nula: a penalidade \(L_1\) não acrescenta curvatura.

Voltando à pergunta: não. Os dados não distinguem os \(\boldsymbol\beta^\star+t\mathbf{n}\): todos dão as mesmas predições. A Ridge desempata com um critério nosso, o de menor \(\|\boldsymbol\beta\|^2\), que tem a ver com estabilidade numérica e com evitar coeficientes enormes, não com a “verdade” sobre quartos. A convexidade estrita garante que o problema tem uma resposta, não que a resposta tem significado causal.

Fechamento

Retomando as Quatro Perguntas

Convexidade: corda acima do gráfico \(\iff\) tangente nunca superestima; gradiente nulo \(\Rightarrow f(\mathbf{y})\ge f(\mathbf{x}^\star)\) para todo \(\mathbf{y}\).

Curvatura: Hessiana simétrica; \(\mathbf{v}^T\nabla^2f\,\mathbf{v}\) = curvatura em \(\mathbf{v}\); \(\nabla^2f\succeq0\) em todo ponto \(\iff\) convexa.

Regressão linear: Hessiana \(2X^TX\), curvatura \(2\|X\mathbf{v}\|^2\ge0\) — sempre convexa; minimizador único \(\iff\) posto coluna completo; senão, \(\boldsymbol\beta^\star+\mathcal{N}(X)\).

Ridge: \(+2\lambda I\) na Hessiana, autovalores \(+\lambda\), estritamente convexa e \(X^TX+\lambda I\) invertível: existe e é único. O desempate é critério nosso.

O Que Fica em Aberto e Ponte para a Aula 8

Não convexas: em redes com camadas ocultas a Hessiana depende dos pesos e pode ser indefinida — selas e vales distintos.
Como chegar lá: garantimos que o mínimo é único, não como alcançá-lo quando resolver o sistema é caro, nem o efeito de \(\text{cond}\approx23\,460{,}5\) num método iterativo.

Dica

Aula 8 — descida do gradiente: passos contra o gradiente (Aula 6). A convexidade garante que gradiente nulo é mínimo global; os autovalores da Hessiana dizem que passo usar e quantos passos serão necessários — e o número de condição mede o ziguezague numa tigela alongada.

Exercícios Soluções