Árvores de Decisão — Particionamento Guloso

Aula 3 — Fundamentos Estatísticos do Aprendizado Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-08-26

Proposta da Aula

O Preço da Forma Fixa

• Aulas 1–2: fronteira gaussiana e Naive Bayes fixam a forma da fronteira antes de ver os dados — a família (reta, hiperplano) é escolhida a priori; só os parâmetros vêm da amostra.

• E se os próprios dados decidissem a forma da fronteira, sem suposição paramétrica alguma?

• A tentação é tratar isso como pura heurística — “corte até ficar homogêneo”. Esta aula argumenta o contrário: o critério de corte é o mesmo princípio de máxima verossimilhança de sempre, aplicado a um modelo diferente — constante por partes, cuja forma nasce do próprio particionamento.

Três Perguntas de Hoje

• 1. O que, exatamente, uma árvore está estimando?

• 2. Por que “reduzir a impureza” é, por baixo do capô, uma maximização de verossimilhança?

• 3. Que preço se paga por essa liberdade — é sempre bom negócio?

Árvores Como Estimação Não-Paramétrica

Cinco Regiões, Quatro Cortes

Sequência de perguntas binárias, cada uma testando uma única variável contra um limiar.

A Árvore Por Trás da Partição

Não é um modelo probabilístico gráfico — não representa uma conjunta com dependências entre variáveis, como as redes de outras partes do curso. É, simplesmente, uma função determinística (dado o treino) que mapeia \(\mathbf{x}\) a uma região, e a região a uma constante.

A Inversão de Papéis

• Aulas 1–2: \(\mathbf{x}\) entrava numa fórmula fixa (gaussiana, produto de Bernoullis) cujos parâmetros vinham dos dados, mas cuja forma funcional era escolhida por nós, de antemão.

• Árvore: a própria forma — quantas regiões, onde ficam os cortes — é aprendida dos dados. Estimativa não-paramétrica de \(p(\mathcal{C}_k\mid\mathbf{x})\) ou de \(\mathbb{E}[t\mid\mathbf{x}]\).

• “Não-paramétrico” não é “sem parâmetro” — é “o número de parâmetros efetivos cresce com os dados, em vez de ser fixado a priori”.

• Os próximos dois blocos: o critério que decide onde cortar — primeiro em regressão, depois em classificação.

Modelos Generativos vs. Preditivos

• Aulas 1–2 (generativo): ajusta \(p(\mathbf{x}\mid\mathcal{C}_k)\) por classe (a densidade condicional), multiplica pela priori \(\pi_k\), obtém a posteriori pelo Teorema de Bayes. Modela como os dados são gerados; a decisão é consequência derivada disso.

• Árvore (preditivo): em nenhum momento existe uma densidade de \(\mathbf{x}\) — nem geral, nem por classe. Cada folha estima direto a posteriori, \[\hat p(\mathcal{C}_k\mid\mathbf{x}\in\mathcal{R}_\tau) = n_{\tau k}/N_\tau,\] sem nunca passar por uma densidade condicional de classe.

• É o primeiro modelo preditivo (discriminativo, em sentido amplo) do curso e não-paramétrico.

Paramétrico vs. Não-Paramétrico

• Paramétrico: indexado por \(\theta\in\mathbb{R}^d\), \(d\) fixo, escolhido antes de ver os dados e que não cresce com \(N\). Gaussiana da Aula 1 (\(d=2\)), Naive Bayes da Aula 2: por maior que seja \(N\), o número de parâmetros ajustados não muda.

• Não-paramétrico: a complexidade efetiva — os graus de liberdade que de fato se ajustam aos dados — cresce com \(N\). Numa árvore, esse papel é o número de folhas: sem limite de profundidade, nada impede a árvore de crescer conforme mais dados chegam.

• Não é “sem parâmetro nenhum” — é “sem número fixo de parâmetros”.

Verossimilhança e MLE, Formalmente

\[L(\theta;\mathcal{D}) = p(\mathcal{D}\mid\theta) = \prod_{n=1}^N p(\mathbf{x}_n\mid\theta) \qquad \hat\theta_{\text{MLE}} = \arg\max_\theta \ln L(\theta;\mathcal{D})\]

• Note que a densidade \(p(\mathbf{x}\mid\theta)\) varia \(\mathbf{x}\) com \(\theta\) fixo. Mas a verossimilhança, \(L(\theta;\mathcal{D})\) varia \(\theta\) com os dados fixos. Logaritmo troca produtório por somatório sem mudar o \(\arg\max\).

• Exemplo canônico — gaussiana: \(\hat\mu_{\text{MLE}}=\bar x\) (a média amostral); \(\hat\sigma^2_{\text{MLE}}=\frac{1}{N}\sum(x_n-\bar x)^2\) — repare no \(N\) no denominador, não \(N-1\): enviesado para baixo em amostras finitas (vamos ver melhor em seguida).

• Este é o mecanismo por trás da média como previsão de folha (Bloco 2) e da proporção empírica como previsão de classe (Bloco 4) — mesma lógica, verossimilhança diferente.

Pergunta

O que muda, na prática, entre “escolher uma família de curvas” e “deixar a partição emergir dos dados”?

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. No limite em que o número de pontos de treino tende a infinito, tanto um modelo paramétrico corretamente especificado quanto uma árvore convergem para a fronteira verdadeira — mas o modelo paramétrico, por ter menos a estimar, tende a precisar de menos dados para chegar perto dela.
2. Se, em vez de uma família paramétrica de baixa dimensão, escolhêssemos uma família paramétrica muito flexível (por exemplo, um polinômio de grau altíssimo), a distinção entre “forma fixa” e “forma que emerge dos dados” desapareceria, já que ambas passam a se ajustar a quase qualquer formato.
3. Num problema de previsão de safra agrícola em que a relação entre chuva e produtividade é conhecida por seguir aproximadamente uma curva em forma de sino, escolher uma família paramétrica que já capture esse formato (em vez de uma árvore) tende a exigir menos dados para um bom ajuste.
4. Como uma árvore não assume nenhuma família paramétrica específica, conclui-se que ela nunca introduz nenhum viés sobre a forma da fronteira, ao contrário de um modelo paramétrico.

Pergunta — Resposta

O que muda, na prática, entre “escolher uma família de curvas” e “deixar a partição emergir dos dados”?

1. Verdadeiro — com a família certa, o modelo paramétrico converge mais rápido (menos parâmetros para estimar); a árvore também converge, mas precisa “descobrir” a mesma forma por conta própria.
2. Falso — flexibilidade não é o mesmo que não-paramétrico: um polinômio de grau altíssimo ainda tem dimensão fixa, decidida antes de ver os dados; só o número de folhas de uma árvore cresce com \(N\).
3. Verdadeiro — é o próprio argumento de abertura da aula: forma fixa correta é mais barata em dados quando a forma já é conhecida.
4. Falso — a árvore tem um viés próprio, geométrico (cortes alinhados aos eixos), não ausência de viés — assunto da Seção de Limites, mais adiante.

Árvores de Regressão: Verossimilhança Gaussiana

Intuição → Formalismo: o Que Prever numa Folha?

• Intuição: um só número para representar vários, minimizando o erro quadrático total — o candidato óbvio é a média.

• Formalismo: não é só intuição. Se \(\mathcal{R}_\tau\) tem \(N_\tau\) pontos e alvos \(t_n\), o \(y_\tau\) que minimiza \[Q_\tau = \sum_{\mathbf{x}_n\in\mathcal{R}_\tau}(t_n-y_\tau)^2\] é exatamente a média amostral, \[y_\tau = \frac{1}{N_\tau}\sum_{\mathbf{x}_n\in\mathcal{R}_\tau} t_n\] (derivada de \(Q_\tau\) igualada a zero — mínimos quadrados de sempre).

• Afirmação mais forte: essa receita é, ela mesma, uma maximização de verossimilhança — não uma escolha arbitrária de função de perda. Vamos verificar.

De \(\ell_\tau\) a \(Q_\tau\), Sem Pular Nada

Assumimos, em cada região terminal \(\mathcal{R}_\tau\), que os alvos seguem uma Gaussiana com média \(y_\tau\) e variância \(\sigma^2\): \[ p(t_n\mid \mathbf{x}_n\in\mathcal{R}_\tau, y_\tau,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\!\left(-\frac{(t_n-y_\tau)^2}{2\sigma^2}\right). \]

1. Para os \(N_\tau\) pontos da folha (i.i.d.), a verossimilhança é o produto dessas densidades, e aplicamos o log para transformar produto em soma: \[ \ell_\tau(y_\tau) = \log L_\tau(y_\tau) = \sum_{\mathbf{x}_n\in\mathcal{R}_\tau}\log p(t_n\mid y_\tau,\sigma^2) = \ell_\tau(y_\tau) = -\frac{N_\tau}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum(t_n-y_\tau)^2\]

2. O primeiro termo não tem \(y_\tau\) — é constante para a maximização.

3. \(\frac{1}{2\sigma^2}>0\): maximizar \(-\frac{1}{2\sigma^2}(\cdot)\) = minimizar \((\cdot)\). Logo \(\arg\max_{y_\tau}\ell_\tau = \arg\min_{y_\tau} Q_\tau\).

4. \(\frac{dQ_\tau}{dy_\tau}=0 \;\Rightarrow\; y_\tau=\frac{1}{N_\tau}\sum t_n\) — a média, de novo, agora vinda de uma suposição probabilística explícita.

Verificação: MLE Gaussiano numa Folha

O máximo da log-verossimilhança cai exatamente na média amostral — não é coincidência: prever a média numa folha é o MLE sob um modelo gaussiano com variância compartilhada, não uma convenção arbitrária.

Crescimento Guloso: Busca Exaustiva por Limiar

Se a partição já está dada, o \(y_\tau\) ótimo é trivial. O problema difícil é a partição em si: otimizar a estrutura inteira de uma vez é inviável — o número de árvores possíveis explode combinatorialmente.

Saída prática, gulosa: comece com um único nó; a cada passo, busque exaustivamente sobre (a) qual variável cortar e (b) que limiar usar, calcule o \(Q\) resultante nas duas folhas geradas, escolha o menor.

Essa busca é míope por construção: escolhe o corte que minimiza \(Q\) agora, sem olhar o que ele habilita (ou impede) nos próximos níveis. O Bloco 4 volta a este ponto.

Mais Folhas, Melhor Ajuste — Sempre em Degraus

Com poucas folhas, a árvore mal acompanha a curva; com mais folhas, ela aproxima bem — mas nunca deixa de ser uma função em degraus, descontínua nos limiares. Guarde essa observação para o Bloco 5.

Pergunta

Se duas folhas de uma árvore de regressão têm o mesmo número de pontos, a que tem maior soma de quadrados residuais \(Q_\tau\) tem, necessariamente, maior variância dos alvos dentro dela?

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. No limite em que duas folhas têm exatamente a mesma variância mas números de pontos muito diferentes (uma com 10 pontos, outra com 10.000), a folha maior terá, necessariamente, \(Q_\tau\) muito maior, mesmo com variância idêntica.
2. Se, em vez de comparar duas folhas com o mesmo \(N_\tau\), comparássemos duas folhas com \(N_\tau\) diferentes, a folha de maior \(Q_\tau\) ainda teria, necessariamente, maior variância amostral.
3. Ao comparar a dispersão de dois grupos de pacientes num estudo médico, um com 50 e outro com 500, a soma dos quadrados dos desvios (análoga a \(Q_\tau\)) não é uma métrica justa para comparar “quão dispersos” os grupos são, a menos que se normalize pelo tamanho de cada grupo.
4. Como \(Q_\tau\) e a variância amostral \(\hat\sigma^2=Q_\tau/N_\tau\) diferem só por uma constante quando \(N_\tau\) é fixo, conclui-se que minimizar \(Q_\tau\) ao comparar candidatos de corte diferentes (que geram folhas de tamanhos diferentes) é equivalente a minimizar a variância média resultante.

Pergunta — Resposta

Se duas folhas de uma árvore de regressão têm o mesmo número de pontos, a que tem maior soma de quadrados residuais \(Q_\tau\) tem, necessariamente, maior variância dos alvos dentro dela?

1. Verdadeiro — \(Q_\tau=N_\tau\hat\sigma^2\); com variância fixa, \(Q_\tau\) escala proporcionalmente a \(N_\tau\).
2. Falso — é exatamente a condição “mesmo \(N_\tau\)” que garante a equivalência; com tamanhos diferentes, uma folha grande de baixa variância pode ter \(Q_\tau\) maior que uma pequena de alta variância.
3. Verdadeiro — a soma bruta de quadrados cresce com o tamanho do grupo; só a versão normalizada (dividida por \(N\)) mede dispersão de forma comparável entre grupos de tamanhos diferentes.
4. Falso — a “constante” que liga \(Q_\tau\) e variância muda de candidato para candidato (cada um gera \(N_{\text{esq}}\), \(N_{\text{dir}}\) diferentes); minimizar a soma de \(Q\) não é o mesmo problema que minimizar alguma variância média não-ponderada.

O Algoritmo

1. Comece com uma única região (todos os pontos).

2. Para cada folha atual × cada variável × cada limiar candidato, calcule \(Q\). Escolha o mínimo entre todas as combinações.

3. Corte ali. Repita, até um critério de parada.

Guloso em dois sentidos: o limiar dentro de uma folha, e qual folha aprofundar a cada rodada — a busca é entre todas as folhas abertas ao mesmo tempo, não só dentro de uma escolhida de antemão.

Dados Reais: California Housing

California Housing — preço mediano de imóvel por região, 8 atributos contínuos. Dois cuidados de tratamento:

Amostra de 500 pontos sorteados do treino (16.640 disponíveis) — grande o bastante para uma forma interessante, pequeno o bastante para caber numa tabela.

Restrição a 2 das 8 variáveis (MedInc, HouseAge) — só para desenhar a partição em 2D. Uma árvore de produção buscaria sobre as 8; o algoritmo em si não muda em nada.

print(f"N={len(t_ch)}, variáveis={NOMES_VAR}")
print(f"Q da raiz: {np.sum((t_ch - t_ch.mean())**2):.1f}")

N=500, variáveis=['MedInc', 'HouseAge']
Q da raiz: 616.3

Splits 1–4: Raiz, os Dois Filhos, e um Neto

4 cortes reais, sobre dados reais: raiz (MedInc≤4.90) → os dois filhos (MedInc≤2.72 e MedInc≤6.50) → o neto de maior redução de \(Q\) (HouseAge≤35.5, dentro de RL) — 5 folhas ao todo.

O Quinto Corte: Quem Vence?

Com as 5 folhas abertas, o algoritmo testa melhor_corte em cada uma e compara a redução de \(Q\) que cada corte ofereceria.

RLb nem entra (só 19 pontos, sem par de $$10 dos dois lados). Entre as demais, LR vence — maior redução de \(Q\), não a folha mais nova nem a de maior \(Q\) inicial.

Pergunta

Por que o algoritmo escolhe cortar a folha LR no quinto passo, e não a folha com o maior \(Q\) atual, nem a que acabou de nascer no quarto corte?

Escreva sua resposta e compare com um colega antes de avançar (2 min).

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. Se o critério fosse “sempre aprofundar a folha com mais pontos”, o quarto corte (a divisão de RL) não teria acontecido, pois LL (132 pontos) e LR (255 pontos) tinham mais pontos do que RL (113 pontos).
2. Se RLb tivesse exatamente \(2\times\text{MIN\_POR\_FOLHA}\) pontos no total, isso já garantiria a existência de um limiar candidato válido para cortá-la.
3. Se a busca do quinto corte considerasse as 8 variáveis originais do California Housing em vez de só 2, a redução de \(Q\) do vencedor jamais poderia ser menor do que a observada com 2 variáveis.
4. Como LR tinha o maior \(Q\) inicial entre as cinco folhas e também venceu, conclui-se que, em geral, escolher a folha de maior \(Q\) atual é equivalente a escolher a de maior redução possível.

Por que LR, e Não Outra Folha? — Resposta

Dica

1. Verdadeiro — RL venceu por maior redução, não por ser a maior; o critério “mais pontos” teria escolhido errado.
2. Falso — ter pontos suficientes no total não garante que exista um limiar que separe exatamente \(\ge\) MIN de cada lado.
3. Verdadeiro — mais variáveis candidatas só pode manter ou melhorar o máximo encontrado, nunca piorar.
4. Falso — foi coincidência desta folha; o próprio quarto corte (RL vencendo LL/LR, maiores) já contradiz a regra geral.

Teoria da Informação: Medindo Probabilidade

Teoria da Informação: Medindo Probabilidade

• Aulas 1–2: conjunta, condicional, marginal, independência — vocabulário qualitativo.

• Falta um número para “o quanto”: quanto uma distribuição é incerta? Quanto duas variáveis se afastam de ser independentes?

• Teoria da informação = medir probabilidade em unidades de incerteza — a régua que a árvore de classificação vai usar para decidir onde cortar.

Entropia: Quanto uma Distribuição Surpreende

• Surpresa de um resultado: \(s(x) = -\ln p(x)\) — zero se certo, grande se raro.

• Entropia = surpresa média: \(H(X) = -\sum_x p(x)\ln p(x)\).

• \(H=0\): determinística. \(H\) máxima: uniforme.

for p in [0.10, 0.50, 0.90]:
    print(f"p={p:.2f}   H(p)={H(p):.4f} nats")

p=0.10   H(p)=0.3251 nats
p=0.50   H(p)=0.6931 nats
p=0.90   H(p)=0.3251 nats

• Convenção: \(\ln\) (nats), não \(\log_2\) (bits) — mesma escala do Bloco 4 adiante.

Entropia Condicional: o que Sobra Depois de Observar

• Conjunta: \(H(X,Y) = -\sum_{x,y} p(x,y)\ln p(x,y)\).

• Para um valor fixo \(X=x\), a incerteza de \(Y\) é a entropia da distribuição condicional \(p(y\mid x)\): \[H(Y\mid X=x) = -\sum_y p(y\mid x)\ln p(y\mid x)\]

• Condicional (média): \(H(Y\mid X) = \sum_x p(x)\,H(Y\mid X=x)\) — incerteza média que sobra sobre \(Y\), sabendo \(X\).

• Regra da cadeia: \(H(X,Y) = H(X) + H(Y\mid X)\) — o análogo, em incerteza, de \(p(x,y)=p(x)p(y\mid x)\).

• Independência \(\Rightarrow H(Y\mid X)=H(Y)\):

Como \(p(y\mid x)=p(y)\) para todo \(x\) (Aula 2) \(\Rightarrow H(Y\mid X=x)=H(Y)\) para todo \(x\) (mesma distribuição, mesma entropia).

• \[H(Y\mid X) = \sum_x p(x)\,H(Y\mid X=x) = \sum_x p(x)\,H(Y) = H(Y)\]

Uma média em que todo termo já vale \(H(Y)\) — a média inteira também vale. Observar \(X\) não ajuda em nada.

Informação Mútua

\(I(X;Y) = H(Y) - H(Y\mid X)\) — quanto observar \(X\) reduz a incerteza sobre \(Y\).

Forma equivalente: \(I(X;Y) = \sum_{x,y} p(x,y)\ln\dfrac{p(x,y)}{p(x)p(y)}\).

\[ I(X;Y) = 0 \iff p(x,y)=p(x)p(y) \iff X,Y \text{ independentes (Aula 2)} \]

\(I(X;Y)\geq 0\) sempre — nunca negativa (desigualdade de Jensen).

O Ganho de Informação da Aula 2 é Informação Mútua

Aula 2: “grátis” (\(G\)) e “ganhador” (\(W\)) eram condicionalmente independentes dada a classe, mas \(p(G{=}1,W{=}1)=0{,}255\) vs. \(p(G{=}1)p(W{=}1)=0{,}136\) — dependentes, célula a célula.

Agora podemos medir a dependência inteira, num único número, em nats:

print(f"I(G;W) = {I_GW:.4f} nats")

I(G;W) = 0.1406 nats

\(I(G;W) > 0\) confirma, com um número o que o que a Aula 2 discutiu.

Quem Diz Mais Sobre a Classe?

A pergunta mais relevante para uma árvore não é “\(G\) e \(W\) dependem entre si?”, é “dizem algo sobre a classe?” — \(I(G;\mathcal{C})\) e \(I(W;\mathcal{C})\).

“Grátis” reduz quase o dobro da incerteza sobre a classe — apesar de \(W\) ter, sozinha, menos entropia própria (\(H(W)<H(G)\)). Esse número é o ganho de informação — \(I(\text{variável};\text{classe})\) — o critério que a próxima seção usa para escolher onde cortar.

Pergunta

Se uma variável candidata a corte tem entropia própria \(H(X)\) baixa (ela já é bem previsível), isso garante que ela também é pouco informativa sobre a classe, \(I(X;\mathcal{C})\) baixo?

Pense no exemplo de “ganhador” antes de responder.

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. \(I(X;\mathcal{C})\) nunca pode ser maior que \(H(X)\), porque não é possível reduzir mais incerteza sobre a classe do que a própria variável carrega.
2. Ter \(H(X)\) baixo garante \(I(X;\mathcal{C})\) baixo, já que uma variável pouco incerta não tem “espaço” para informar muito.
3. No exemplo de “grátis” e “ganhador”, \(H(W) < H(G)\) e ainda assim \(I(W;\mathcal{C}) < I(G;\mathcal{C})\) — a variável de entropia menor também informou menos sobre a classe, mas isso é coincidência do exemplo, não uma implicação geral.
4. \(I(X;\mathcal{C})=0\) é compatível com \(H(X)\) alto — por exemplo, se \(X\) for uniforme e completamente independente da classe.

Pergunta — Resposta

Se uma variável candidata a corte tem entropia própria \(H(X)\) baixa, isso garante \(I(X;\mathcal{C})\) também baixo?

1. Verdadeiro — \(I(X;\mathcal{C}) = H(X) - H(X\mid\mathcal{C}) \le H(X)\), já que \(H(X\mid\mathcal{C})\geq 0\).
2. Falso — é o item (a) que limita \(I\) por cima; \(H(X)\) baixo não impede \(I(X;\mathcal{C})\) de ser relativamente alto (só limita seu teto).
3. Verdadeiro — a implicação geral não existe; o exemplo apenas ilustra um caso em que a ordem coincidiu.
4. Verdadeiro — entropia própria alta e informação mútua nula podem conviver perfeitamente (é o caso de independência total).

Árvores de Classificação: Verossimilhança Categórica, Entropia e Gini

O Que uma Folha de Classificação Prevê

• Não um número — uma distribuição sobre classes: \(\hat p_{\tau k} = n_{\tau k}/N_\tau\), a proporção empírica de cada classe entre os \(N_\tau\) pontos da folha.

• Mesma pergunta do Bloco 2, agora para uma distribuição categórica: qual \(p_{\tau k}\) maximiza a verossimilhança dos dados da folha?

• Mesmo padrão: o máximo bate exatamente com a proporção empírica — o MLE categórico, verificado a seguir.

A Conexão Central: Impureza = Log-Verossimilhança

Substituindo \(\hat p_{\tau k}\) na log-verossimilhança da folha: \[\ell_\tau(\hat p_\tau) = -N_\tau\, H(\hat p_\tau)\] onde \(H(p)=-\sum_k p_k\ln p_k\) é a entropia da distribuição de classes na folha.

\[\textbf{maximizar log-verossimilhança} \equiv \textbf{minimizar entropia}\]

É exatamente o critério mais comum para cortar uma árvore de classificação — só que costuma ser apresentado como “reduzir a impureza”, sem essa conexão com verossimilhança explicitada. Mesma equivalência do Bloco 2 (mínimos quadrados = MLE gaussiano), agora do lado categórico.

Ganho de Informação = Informação Mútua, Localmente

• Para um corte \(s\) que separa os \(N_\tau\) pontos em \(N_{\text{esq}}\) e \(N_{\text{dir}}\), o ganho de informação é \[IG(\tau,s) = H(\hat p_\tau) - \left[\frac{N_{\text{esq}}}{N_\tau}H(\hat p_{\text{esq}}) + \frac{N_{\text{dir}}}{N_\tau}H(\hat p_{\text{dir}})\right].\]

• Compare com o Bloco 4: \(I(X;Y)=H(Y)-H(Y\mid X)\). O termo entre colchetes é \(H(\mathcal{C}\mid S)\) — a entropia condicional da classe dado \(S\), o indicador de lado do corte. Logo \[IG(\tau,s) = I(S;\mathcal{C}).\]

• A busca gulosa dos Blocos 2–3 — “teste variável e limiar, escolha o que reduz mais o erro” — em classificação é, sem metáfora, “escolha o que maximiza a informação mútua com a classe”. Por isso o critério tem o nome que tem.

Entropia e Gini: Mesmo Formato

Índice de Gini: \(G(p)=\sum_k p_{\tau k}(1-p_{\tau k})\) — a probabilidade de errar classificando um ponto sorteado da folha com um segundo rótulo, também sorteado segundo \(p_\tau\). Interpretação própria, não uma conexão de verossimilhança tão direta quanto a entropia; mesmo formato geral, computacionalmente mais barato (sem logaritmo).

Uma formulação sem o sinal negativo, em algumas fontes, descreve “máximo em \(p=0{,}5\)” — só consistente com a convenção padrão (com o sinal). Usamos a padrão aqui.

Diagnóstico: Dois Splits, Mesma Taxa de Erro?

Split 1: (300,100) | (100,300) — 400 pontos cada.

Split 2: (400,200) | (0,200) — a direita é pura.

Antes de calcular: mesma qualidade, olhando só a taxa de erro?

O Contraexemplo, Resolvido

Nó pai: entropia=0.6931  gini=0.5000
Split 1: erro=0.2500  entropia=0.5623 (IG=0.1308)  gini=0.3750 (ganho=0.1250)
Split 2: erro=0.2500  entropia=0.4774 (IG=0.2158)  gini=0.3333 (ganho=0.1667)

Mesma taxa de erro (0,25) — mas o Split 2 tem o maior ganho de informação (\(IG\approx0{,}216\) contra \(0{,}131\) nats). A taxa de erro bruta é cega a essa diferença: só olha quem “ganha a maioria”, não o quão desequilibrada é essa maioria.

Entropia/Gini são diferenciáveis e mais sensíveis à composição interna da folha — por isso preferidas para crescer; a taxa de erro bruta, mais grosseira, fica reservada para podar.

Julgue V ou F: entropia, Gini e taxa de erro para crescer/podar árvores

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. Se todas as decisões de corte usassem a taxa de erro bruta como critério de crescimento, o Split 2 do contraexemplo desta aula (folha direita pura) não teria vantagem alguma sobre o Split 1.
2. No limite em que uma folha tem uma única classe presente, o ganho de informação de um corte que produz duas folhas puras é igual à própria entropia do nó pai.
3. Num conjunto de diagnóstico médico com 95% de pacientes saudáveis e 5% doentes, o nó representando toda a base já tem entropia baixa mesmo sem nenhum corte, simplesmente pela composição das classes.
4. Como Gini e entropia têm o mesmo formato geral (zero nas bordas, máximo em \(p=0{,}5\)), qualquer corte preferido pela entropia é necessariamente também preferido pelo Gini.

Julgue V ou F: entropia, Gini e taxa de erro — Resposta

Dica

1. Verdadeiro — erro bruto empata as duas em 0,25; é cego à pureza que o Split 2 alcança.
2. Verdadeiro — a média ponderada dos filhos vai a zero, então \(IG=H(\text{pai})-0\).
3. Verdadeiro — entropia baixa vem da composição desbalanceada, não de algum corte já ter sido feito.
4. Falso — mesma forma não garante mesma ordem de preferência entre candidatos (verificado numericamente: existem pares de splits em que Gini e entropia discordam sobre qual é melhor).

Custo vs. Complexidade: a Poda de Árvores

Custo vs. Complexidade

Todo modelo até aqui foi ajustado do mesmo jeito: cresça até explicar o treino o melhor possível. Um modelo com liberdade suficiente reduz o erro de treino a quase zero — memorizando a amostra, não o padrão.

Não se quer o modelo que erra menos no treino — se quer o que erra menos em dados novos.

Essa tensão — custo (erro de treino) vs. complexidade (graus de liberdade) — reaparece o curso inteiro (regularização, seleção de modelo, vício-variância da Aula 4). Em árvores, o nome é custo-complexidade; o mecanismo é a poda.

Crescer Demais, Depois Podar

Empiricamente: nenhum corte disponível reduz o erro de forma perceptível, mas algumas divisões depois, uma redução substancial aparece. Parar cedo (“pare quando o próximo corte não ajudar”) perde esse ganho adiado.

Prática: crescer uma árvore grande, sem preocupação com overfitting, e depois podar de volta por custo-complexidade: \[C(T) = \underbrace{\sum_\tau Q_\tau(T)}_{\text{custo}} + \underbrace{\lambda|T|}_{\text{complexidade}}\]

\(\lambda=0\): puro custo, a árvore completa sempre vence. \(\lambda\) grande: penaliza fortemente a complexidade, poda forte. Não há um \(\lambda\) “correto” universal — depende do ruído nos dados e é escolhido empiricamente.

Treino vs. Validação

Treino: os dados usados para ajustar tudo — cortes, médias, proporções de folha.

Validação: reservada desde o início, nunca usada para ajustar nada — só para medir, depois de pronta, o quão bem a árvore se sai.

Medir erro nos mesmos dados do ajuste é uma estimativa otimista — o caso extremo é a própria árvore completa, que pode chegar a \(100\%\) de acerto no treino sem dizer nada sobre dados novos.

Aqui: a versão mais simples possível — uma única divisão \(60\%/40\%\), sorteada uma vez. Desperdiça dados e depende de qual divisão saiu no sorteio; a Aula 4 resolve os dois problemas reamostrando repetidamente.

Poda em Ação

A acurácia de treino só piora conforme \(\lambda\) cresce e a árvore encolhe (menos capacidade de memorizar). A de validação tem um ponto ótimo no meio — nem a árvore completa (overfitting), nem a excessivamente podada (underfitting).

Pergunta

Por que “pare quando o próximo corte não reduzir muito o erro” é uma estratégia de parada ruim?

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. No limite em que todo corte candidato, em qualquer nível, sempre reduz o erro por uma quantidade pequena mas positiva, um critério de “pare quando a redução for menor que um limiar fixo” eventualmente para a árvore, mesmo que cortes futuros muito bons ainda estivessem disponíveis mais adiante.
2. Se o critério de parada, em vez de olhar só o próximo corte, pudesse olhar dois níveis à frente (checando se algum neto de um corte candidato produz uma redução grande, mesmo que o corte imediato não produza), esse critério ainda sofreria do mesmo tipo de miopia, só que adiada por um nível.
3. Num algoritmo de busca em jogos como xadrez, um jogador que só avalia a qualidade imediata de cada lance pode recusar um sacrifício de peça que parece ruim agora mas abre caminho para xeque-mate poucas jogadas depois — o mesmo tipo de miopia do critério de parada por corte único.
4. Como crescer a árvore por completo e depois podar evita a miopia do critério de parada por corte único, conclui-se que a árvore completa, antes da poda, já é a estrutura ótima entre todas as árvores possíveis com aquele número final de folhas.

Pergunta — Resposta

Por que “pare quando o próximo corte não reduzir muito o erro” é uma estratégia de parada ruim?

1. Verdadeiro — o critério só enxerga o ganho imediato; uma sequência de ganhos pequenos cruza o limiar e para a árvore, mesmo que um ganho grande estivesse logo depois.
2. Verdadeiro — olhar mais um nível adia o problema, não o resolve: sempre existe algum corte bom o suficiente à frente para escapar do horizonte de busca escolhido.
3. Verdadeiro — mesma estrutura: avaliação imediata míope perde um ganho que só aparece olhando mais à frente.
4. Falso — crescer e depois podar evita parar cedo demais, mas a árvore completa ainda foi construída por uma sequência de escolhas gulosas; a poda escolhe a melhor subárvore dentro do que foi construído, não corrige os cortes gulosos já feitos.

Limites das Árvores

Splits Alinhados aos Eixos: o Caso Diagonal

Toda fronteira de árvore é uma sequência de cortes paralelos aos eixos — ótimo se a fronteira verdadeira também é; péssimo se não é. O caso mais claro: duas gaussianas com covariância compartilhada e correlacionada (Aula 2), cuja fronteira ótima é uma única reta, não alinhada aos eixos.

Mesmo com 8 níveis, a árvore aproxima a diagonal com uma escadinha — nunca alcança a reta, precisa de folhas cada vez mais numerosas para chegar perto. A gaussiana resolve com uma única direção, porque sua forma já é adequada a esse tipo de fronteira: forma fixa é ótima quando acerta o formato certo; árvore é ótima quando não se sabe (ou não se quer assumir) qual é esse formato.

Instabilidade: Poucos Pontos, Corte Diferente

A estrutura aprendida é sensível a detalhes do treino — remover ou adicionar poucos pontos pode mudar qual variável e limiar são escolhidos no corte da raiz, que reverbera por toda a árvore abaixo.

Corte da raiz, árvore original:    x_2 <= 0.014
Corte da raiz, com 5 pontos a menos: x_2 <= -0.113

Só \(1\%\) dos pontos removidos já desloca o limiar de \(0{,}014\) para \(-0{,}113\) — mesma variável, corte bem diferente. Algo que não aconteceria com um ajuste de mínimos quadrados, cujo hiperplano se move suavemente com pequenas mudanças nos dados.

Essa fraqueza vira ingrediente útil na Aula 9 (bagging: média de muitas árvores levemente diferentes).

Partição Rígida: Descontinuidades

Terceira limitação, já vista na figura da senoide (Bloco 2): cada ponto pertence a exatamente uma folha, e a previsão salta no limiar entre folhas vizinhas.

Neutro em classificação (uma fronteira sempre existe em algum lugar); ruim em regressão quando o alvo verdadeiro é uma função suave — a árvore cria descontinuidades exatamente onde a função não tem nenhuma.

Julgue V ou F: limites estruturais das árvores

Dica

Julgue V ou F — a questão só conta se acertar os 4 itens:

1. No limite em que a profundidade máxima não é limitada e há pelo menos um ponto de treino distinto por folha, o erro de treino de uma árvore de classificação tende a zero, independentemente de quão complexa seja a verdadeira fronteira de decisão.
2. Se as 500 amostras do exemplo do California Housing fossem substituídas por outra amostra, sorteada com outra semente aleatória, o corte escolhido para a raiz poderia mudar, mesmo mantendo as mesmas duas variáveis candidatas.
3. Numa aplicação de visão computacional em que cada variável de entrada é um pixel, uma árvore de cortes alinhados aos eixos enfrentaria a mesma limitação de aproximar só em degraus fronteiras não alinhadas a pixels individuais.
4. Como instabilidade estrutural e partição rígida vêm do mesmo processo de ajuste guloso, uma regra de desempate determinística para cortes quase empatados eliminaria também a rigidez da partição e suas descontinuidades.

Julgue V ou F: limites estruturais das árvores — Resposta

Dica

1. Verdadeiro — profundidade e granularidade suficientes bastam para memorizar o treino, não importa a fronteira real.
2. Verdadeiro — reamostrar é uma perturbação ainda maior que os 5 pontos já usados na demonstração de instabilidade.
3. Verdadeiro — a limitação é sobre a geometria do particionamento, não específica dos exemplos 2D usados na aula.
4. Falso — são causas independentes: rigidez vem da partição em si, não da forma como o corte é escolhido.

O Que Fica Desta Aula

Nenhum dos dois extremos (sempre linear vs. totalmente livre) é gratuito. Forma fixa: barata e estável, erra sistematicamente quando o formato certo não é o assumido. Árvore: acerta qualquer formato, paga em instabilidade e miopia gulosa.

Retomando as Perguntas de Abertura

1. O que uma árvore está estimando? Uma função constante por partes — de \(p(\mathcal{C}_k\mid\mathbf{x})\) ou de \(\mathbb{E}[t\mid\mathbf{x}]\) —, cuja forma (não só os parâmetros) vem dos dados.

2. Por que “reduzir a impureza” é maximizar verossimilhança? A proporção empírica de classes numa folha é o MLE categórico; maximizar essa log-verossimilhança é, algebricamente, minimizar a entropia — mesmo argumento que já valia para a média em regressão.

3. Que preço se paga pela liberdade? Splits alinhados aos eixos podem ser muito subótimos, a estrutura é instável a pequenas mudanças no treino, e a partição é rígida — descontinuidades que uma função suave não tem.

Ponte para a Aula 4: como escolher, de forma sistemática, o tanto de complexidade certo — o \(\lambda\) de poda, ou qualquer outro hiperparâmetro?