Aula 1: Computação como Sistema Sociotécnico

Computação e Sociedade

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-08-30

Challenger — um desastre “técnico”?

O Desastre do Challenger (1986)

O Alerta (6 meses antes) O engenheiro Roger Boisjoly documenta a falha dos anéis de vedação em baixas temperaturas:

“The consequences would be catastrophic and human lives would be put at risk.”

A Véspera do Lançamento (Manhã a -4°C)

Recomendação Técnica

NÃO LANÇAR. Engenheiros reforçam o risco iminente de falha material devido ao frio.

Decisão Gerencial

LANÇAR. Sob pressão, 4 gerentes votam pela decolagem, sem os engenheiros na sala.

O Desfecho e a Investigação

73 segundos depois: O Challenger explode. Sete mortos (incluindo a civil Christa McAuliffe).
Comissão Presidencial: A causa raiz não foi o anel de vedação isolado, mas sim “inadequate communication at NASA”.

Challenger: O Desfecho Institucional

A resposta ao desastre não foi apenas refazer a engenharia mecânica, mas reestruturar o fluxo de decisão:

A Paralisação O programa espacial ficou totalmente parado por 2 anos.

A Mudança de Poder Os engenheiros passaram a ter poder de veto direto sobre as decisões de lançamento.

A pergunta central da aula

Se a causa raiz não foi um erro técnico isolado, por que isso é um problema de engenharia/computação?

(A resposta: porque a tecnologia nunca foi feita apenas de técnica)

Sistemas Sociotécnicos

O que é um Sistema Sociotécnico?

Tecnologia, pessoas, organizações e cultura se influenciam mutuamente — nenhuma opera isolada.

“We shape our tools and thereafter they shape us.”

— John Culkin (sobre a obra de Marshall McLuhan)

As duas visões extremas (ambas erradas):

Visão Instrumental

“A tecnologia é neutra, é apenas uma ferramenta. O problema ou a virtude está sempre no uso humano.”

Visão Determinista

“A tecnologia dita as regras. Ela determina como a sociedade e as pessoas vão obrigatoriamente se comportar.”

A Tese Certa: Coformação Mútua

A realidade é uma teia de decisões — da parte de quem projeta e da parte de quem usa — que se afetam, se moldam e se transformam mutuamente e o tempo todo.

O Challenger Revisto: A Coformação em Ação

O desastre não foi apenas causa e efeito. Foi a prova de como a organização e a tecnologia se afetam continuamente:

Conclusão: É um laço, não uma linha reta. A cultura da NASA moldou a decisão técnica, e o resultado material dessa decisão (a explosão) forçou a mudança na estrutura de poder organizacional da agência.

Pergunta provocadora — um conserto só no anel de vedação bastaria?

Imagine que a NASA, depois do desastre, tivesse trocado apenas o material do anel de vedação por um que não perde elasticidade no frio — mas mantido exatamente a mesma estrutura de decisão, com gerentes podendo votar sobre o lançamento sem os engenheiros presentes. Essa NASA hipotética ainda ilustraria a tese da coformação mútua discutida neste bloco, ou o caso se reduziria a um problema puramente técnico, já resolvido?

Dica: pense no laço cultura → decisão → desastre → cultura remoldada. Um conserto que altera só um elo do laço remove o laço por completo, ou deixa os outros elos intactos, prontos para se repetir?

□ Se a NASA tivesse trocado apenas o material do anel de vedação, sem alterar a estrutura de decisão que excluiu os engenheiros da votação, o mecanismo de coformação mútua (cultura molda decisão, decisão causa desastre, desastre remolda cultura) deixaria de ser relevante para esse caso, porque o problema já teria sido resolvido no nível técnico.
□ No limite em que uma decisão técnica pudesse ser tomada sem qualquer influência de pressão cultural, política ou financeira — só engenheiros, sem gerentes, decidindo por critérios puramente técnicos —, o elo específico “cultura molda decisão” do laço discutido nesta aula deixaria de se aplicar a essa decisão particular.
□ Um protocolo hospitalar de segurança cuja adoção depende da cultura de uma equipe médica — e cujo resultado (bom ou mau) depois altera a autonomia que os enfermeiros têm para recusar um procedimento — ilustra o mesmo princípio de coformação mútua apresentado nesta aula, mesmo em um domínio bem distante de foguetes.
□ Como a coformação mútua rejeita tanto a visão instrumental quanto a determinista, conclui-se que cultura organizacional e decisão técnica têm sempre o mesmo peso causal em qualquer situação, nunca uma pesando mais que a outra.

V/F — Um Conserto Só no Anel de Vedação Bastaria? Resposta

Dica

✗ Falso — a NASA hipotética deixaria intacto justamente o elo organizacional do laço; a mesma pressão cultural continuaria livre para produzir uma decisão parecida no futuro.
✔ Verdadeiro — sem qualquer pressão externa, não há o que a cultura organizacional “molde” nessa decisão específica.
✔ Verdadeiro — é a mesma estrutura de coformação, transposta para a medicina.
✗ Falso — a tese é sobre influência mútua existir, não sobre um peso causal fixo e igual em todo caso.

Retomando: o laço de coformação não desaparece quando só o artefato físico é corrigido — ele continua ativo enquanto a estrutura de decisão que o gerou permanecer intacta.

Tecnologia Não é Neutra

As pontes de Robert Moses

A tese na prática: a tecnologia não é neutra (uma ilustração dramática)

O Projeto (Nova York, séc. XX) Robert Moses projetou dezenas de viadutos sobre as parkways de Long Island com uma altura deliberadamente baixa.

O Mecanismo Físico A altura impedia fisicamente a passagem de ônibus de transporte público, permitindo apenas a circulação de carros de passeio.

O Efeito Social Populações negras e de baixa renda dependiam de ônibus. Assim, a engenharia civil barrou o acesso dessas pessoas a áreas públicas de lazer, como Jones Beach.

“Moses used technology to achieve racist outcomes.”

— Langdon Winner (apud Steen, 2022, p. 29)

Importante

Conclusão: Nenhuma lei segregacionista escrita, nenhuma linha de código. A exclusão social foi codificada no concreto.

O design do cotidiano: Parafusos e Scripts

A tese na prática: a tecnologia não é neutra (uma ilustração banal)

(Steen, 2022, pp. 29–30)

Aparelhos Masculinos Possuem parafusos visíveis.
A mensagem silenciosa: O usuário é capaz (e encorajado) a abrir, entender, fazer manutenção e reparar o objeto.

Aparelhos Femininos Carcaça selada, sem parafusos.
A mensagem silenciosa: O usuário não tem capacidade técnica. O produto deve ser usado até quebrar e, então, descartado.

Scripts ou Affordances: As decisões de projeto prescrevem o que as pessoas podem ou não fazer. Neste caso, não há necessariamente um “vilão” ou uma intenção política declarada — há apenas o projeto (design).

O elo invisível: Quem projeta a tecnologia?

“Technology is neither good nor bad; nor is it neutral.”

— A Primeira Lei de Kranzberg

Se a tecnologia não é neutra, e se mesmo decisões “banais” (como um parafuso) embutem visões de mundo (como estereótipos de gênero), a pergunta central passa a ser:

Aviso

Quem estava na sala quando a decisão de projeto foi tomada? A falta de diversidade entre os atores que desenvolvem a tecnologia é o que permite que vieses (muitas vezes inconscientes) se tornem “enganos” codificados no produto final.

Pergunta provocadora — e se Robert Moses não tivesse intenção nenhuma?

Suponha que ficasse provado, com documentos, que Robert Moses nunca pensou em raça ao definir a altura dos viadutos — que a medida foi só uma escolha de economia de concreto, sem qualquer intenção discriminatória. Isso enfraqueceria a conclusão de que “a tecnologia não é neutra”?

Dica: volte ao exemplo do parafuso do barbeador — ele já respondeu essa pergunta para um caso bem mais banal do que o dos viadutos.

□ Se ficasse provado que Robert Moses nunca teve qualquer intenção racial ao definir a altura dos viadutos, a conclusão de que essa decisão de engenharia produziu exclusão racial deixaria de ser sustentável.
□ No limite em que um objeto fosse projetado sem absolutamente nenhuma decisão implícita sobre quem pode usá-lo, repará-lo ou entendê-lo — nenhum script/affordance embutido —, a tese de Kranzberg de que “tecnologia não é neutra” deixaria de ter, nesse objeto específico, um mecanismo concreto para se apoiar.
□ A mesma lógica do parafuso (aparelho masculino com parafuso visível x aparelho feminino selado) se aplicaria a um aplicativo bancário cujo menu de configurações avançadas (câmbio, API, taxas detalhadas) vem escondido por padrão para contas de pessoa física, mas visível por padrão para contas empresariais — mesmo sem nenhuma declaração explícita de que pessoas físicas “não sabem” usar essas opções.
□ Como Kranzberg afirma que a tecnologia nunca é neutra, conclui-se que toda decisão de projeto é sempre fruto de uma intenção consciente e deliberada de quem a projetou.

V/F — E se Robert Moses Não Tivesse Intenção Nenhuma? Resposta

Dica

✗ Falso — o exemplo do parafuso já mostra que não precisa haver vilão nem intenção para a tecnologia produzir um efeito não neutro.
✔ Verdadeiro — sem nenhum script embutido, não haveria mecanismo concreto de exclusão/inclusão para essa tese se apoiar naquele objeto.
✔ Verdadeiro — é a mesma lógica de script silencioso, transposta para um aplicativo bancário.
✗ Falso — é exatamente o oposto do ponto de Kranzberg: o parafuso ausente carrega uma suposição sem que ninguém tenha decidido isso deliberadamente.

Retomando: intenção declarada não é condição necessária para exclusão — é por isso que a pergunta que importa desloca de “quem quis isso” para “quem estava na sala quando a decisão foi tomada”.

O Mapa de Atores do Desenvolvimento Tecnológico

O Mapa de Atores do Desenvolvimento

Quem estava na sala? Para entender as decisões, precisamos mapear quem participa dessa “teia”.

Ator: Quem pode decidir como agir e executar essa decisão.

Desenvolvedores
Usuários
Reguladores
Associações/Sindicatos

Interessado (Stakeholder): Sofre os impactos e tem interesse no resultado, mas não tem o poder de influenciar a direção do projeto.

Interesses conflitam — sem acordo automático sobre a direção “certa”.

O Paradoxo da Inovação: O Caso Teflon

1938: A Descoberta Criado por acidente por um químico da DuPont que tentava desenvolver um novo gás refrigerante.

2005: A Consequência O uso massivo (frigideiras antiaderentes) levanta graves riscos à saúde (o PFOA é classificado como “likely carcinogenic” pela EPA).

Ninguém em 1938 tinha meios de prever isso. Este é o núcleo do problema:

Importante

O Dilema de Collingridge

Fase inicial: Não é possível prever as consequências sociais e reais da tecnologia.
Fase tardia: Quando as consequências aparecem, a tecnologia já está tão entranhada na sociedade que é tarde demais para mudar de direção.

Constructive Technology Assessment (CTA)

Se prever o futuro é impossível e mudar o fim é difícil demais, a engenharia precisa mudar o meio do processo.

Uma resposta institucional de avaliação tecnológica contínua.

Em vez de desenhar a tecnologia isoladamente e “jogar” para a sociedade:

Expande-se a mesa: Trazemos mais atores e stakeholders para o processo de design desde o início.
Expandem-se os valores: Considerações sociais andam em paralelo ao desenvolvimento técnico.

Resumo: O CTA não é uma vacina que resolve o dilema, mas um método que nos ajuda a conviver com ele, permitindo correções de rota mais cedo.

Pergunta provocadora — o dilema de Collingridge é desculpa para ninguém ser responsável?

O dilema de Collingridge diz que não se pode prever, no início, as consequências de uma tecnologia — e que, quando elas aparecem, é tarde demais para mudar de direção com facilidade. Isso significa que ninguém pode ser responsabilizado por uma consequência que só apareceu décadas depois, como o PFOA do Teflon?

Dica: separe duas perguntas diferentes — “era possível prever?” e “algum ator tinha meios de investigar e não investigou?”.

□ Se, em 1938, já existissem testes toxicológicos capazes de detectar o risco do PFOA e a DuPont tivesse optado por não realizá-los antes de comercializar o Teflon, o caso deixaria de ilustrar o dilema de Collingridge como apresentado na aula e passaria a ilustrar um problema diferente — omissão evitável, não imprevisibilidade genuína.
□ No limite em que fosse possível prever, no momento em que uma tecnologia é criada, todas as suas consequências futuras com certeza absoluta, o dilema de Collingridge deixaria de se aplicar a essa tecnologia.
□ A mesma estrutura do dilema de Collingridge (impossível prever no início, caro corrigir depois) se aplicaria à adoção em massa de um pesticida agrícola cujo efeito sobre populações de abelhas só se torna visível depois de décadas de uso disseminado no campo.
□ Como o Constructive Technology Assessment (CTA) busca ampliar quem participa do processo de design e quais valores são considerados, conclui-se que sua adoção elimina por completo o risco de consequências imprevistas de uma nova tecnologia.

V/F — Collingridge é Desculpa para Ninguém Ser Responsável? Resposta

Dica

✔ Verdadeiro — testes disponíveis e não realizados deslocam o caso de “impossível prever” para “não investigou quando podia”.
✔ Verdadeiro — a premissa do dilema é justamente a impossibilidade de prever no início; removida essa premissa, o dilema específico não se sustenta.
✔ Verdadeiro — mesma estrutura de imprevisibilidade inicial e entranhamento tardio, em outro domínio.
✗ Falso — a própria aula nomeia isso explicitamente: CTA “não é uma vacina”, é uma forma de conviver com o dilema, corrigindo a rota mais cedo, não uma garantia contra ele.

Retomando: o dilema de Collingridge não é uma desculpa geral — distinguir “não era possível prever” de “havia como investigar e não se investigou” é exatamente o que decide se a responsabilidade recai sobre algum ator.

Feedback Loop e Responsabilidade

Redes Sociais: O Sequestro da Atenção

“Algoritmos usam décadas de conhecimento do domínio de jogos de azar e caça-níqueis. Com ícones brilhantes e rolagem infinita, eles capturam nossa atenção o máximo possível.”

— Marc Steen (2022, p. 32)

Aviso

O depoimento de quem estava na sala de projeto: “Somos vulneráveis à forma como esses designs ativam nossos impulsos comportamentais. Nossos cérebros evoluíram para serem ativados por estímulos sensoriais novos.” (Tristan Harris, ex-designer de ética do Google)

O Feedback Loop Sociotécnico

Como a tecnologia (código) e a sociedade (comportamento) se co-formam em tempo real e em escala global:

Conclusão: Nenhuma linha de código isolada “causa” o vício. O problema emerge do ciclo contínuo — o código molda o comportamento, que gera dados, que reescrevem o código.

O Paradoxo da Responsabilidade

Se a tecnologia é uma teia complexa, de quem é a “culpa” quando o sistema falha?

🔻 Diminui a responsabilidade individual Você é apenas um entre muitos atores. O desenvolvedor isolado não determina todas as consequências sociais do produto.

🔺 Amplia a responsabilidade profissional Como as decisões técnicas afetam a sociedade, você passa a ter o dever de considerar stakeholders e interesses que não estão na sala de projeto.

Importante

O Erro Comum: Confundir essas duas coisas. Não ser o único culpado não significa estar isento de responsabilidade moral sobre o que se projeta.

O que nos falta? (Ponte para a Aula 2)

O cenário está montado: Nenhum engenheiro decide de forma isolada, e as consequências finais de um projeto são difíceis de prever.

O Problema: Como raciocinar de forma sistemática e lógica sobre o que é certo fazer dentro dessa teia sociotécnica, no dia a dia do projeto?

Dica

Na Aula 2:

As bases da Ética Normativa (Consequencialismo, Deontologia, Ética das Virtudes).
O Ciclo Ético como nossa principal ferramenta e método de deliberação prática.

Pergunta provocadora — quem responde pela rolagem infinita?

Um designer implementou a rolagem infinita e as notificações “puxa-atenção” só porque seu gerente exigiu uma métrica de tempo de tela. Ele não escolheu a métrica, só a implementou. O contexto sociotécnico discutido nesta aula “diminui” ou “amplia” a responsabilidade moral desse designer específico — ou as duas coisas ao mesmo tempo?

Dica: volte à citação de Van de Poel & Royakkers (p. 28) — ela não escolhe um lado, afirma os dois sentidos ao mesmo tempo.

□ Se o feedback loop do algoritmo fosse interrompido em um único ponto — o sistema parasse de coletar dados de engajamento para retreinamento —, o ciclo descrito na aula (projeto → comportamento → dados → retreinamento → projeto) deixaria de se realimentar, mesmo que o design inicial do produto (rolagem infinita, notificações) permanecesse intacto.
□ No limite em que um único desenvolvedor tomasse, sozinho, toda e qualquer decisão de projeto de uma rede social usada por bilhões de pessoas — sem gerentes, investidores ou reguladores envolvidos —, a parte da tese de Van de Poel & Royakkers que diz que o contexto social “diminui” a responsabilidade individual (por você ser só um entre muitos atores) deixaria de se aplicar a esse desenvolvedor específico.
□ A mesma lógica do paradoxo da responsabilidade (o contexto ao mesmo tempo diminui e amplia a responsabilidade individual) se aplicaria a um médico que segue um protocolo hospitalar padronizado, mas que também precisa considerar necessidades específicas de pacientes que o protocolo não previu.
□ Como a aula mostra que o desenvolvedor individual é “apenas um entre muitos atores” no desenvolvimento tecnológico, conclui-se que nenhuma responsabilidade moral recai sobre designers individuais quando uma rede social causa dano social em larga escala.

V/F — Quem Responde pela Rolagem Infinita? Resposta

Dica

✔ Verdadeiro — interromper a coleta de dados para retreinamento quebra justamente o elo que realimenta e intensifica o ciclo ao longo do tempo.
✔ Verdadeiro — sem outros atores, não há “muitos atores” entre os quais a responsabilidade se dilui.
✔ Verdadeiro — mesma tensão entre seguir um padrão institucional e responder por casos que o padrão não cobre.
✗ Falso — a aula é explícita no sentido contrário: não ser o único culpado não significa estar isento de responsabilidade moral.

Retomando: o designer do exemplo não é o único responsável — mas “não ser o único” e “não ser responsável” são afirmações diferentes, exatamente a confusão que a aula nomeia como o erro mais comum nessa discussão.