Exercícios — Aula 5: Entendendo e Direcionando Usuários — Pesquisa Qualitativa, Teste A/B e Tecnologia Persuasiva

Computação e Sociedade

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Questões discursivas

Escolha um produto digital que você usa com frequência e descreva, com suas próprias palavras, que técnica qualitativa (entrevista, investigação contextual, ou teste de usabilidade com think-aloud) provavelmente foi mais útil para revelar um problema específico de uso — e por que as outras duas técnicas, sozinhas, teriam menos chance de revelar esse mesmo problema.
A aula apresenta três armadilhas de validade em teste A/B (tamanho de amostra/poder estatístico, efeito novidade, metric gaming). Escolha uma delas e construa um cenário hipotético (pode ser de um produto digital de sua escolha) em que essa armadilha especificamente levaria uma equipe a tomar uma decisão errada, mesmo com um teste tecnicamente bem executado do ponto de vista estatístico.
O caso Kramer, Guillory & Hancock (2014) trata a concordância com a Política de Uso de Dados do Facebook como consentimento informado para o experimento. Argumente, com base na distinção entre consentimento genérico e consentimento específico discutida nesta aula, se você concorda ou discorda dessa posição — e o que, na sua visão, mudaria (ou não) se o Facebook tivesse pedido consentimento explícito e específico antes do experimento, mesmo sabendo que isso provavelmente reduziria a taxa de participação.

Questões de Verdadeiro/Falso

Cada bloco de 4 itens trata do mesmo tema. A questão só é considerada correta se todos os 4 itens forem julgados corretamente (deixar em branco tem penalidade de 20% da nota da questão).

Teste 1 — O kit de ferramentas qualitativo e seus limites

□ Se um usuário tivesse memória perfeita e articulasse com exatidão total cada micro-decisão tomada durante o uso de um sistema, a vantagem específica da investigação contextual sobre a entrevista (revelar processos tácitos) deixaria de existir para esse usuário.
□ No limite em que uma equipe de pesquisa tivesse recursos e tempo infinitos para observar cada usuário em seu ambiente real de uso, a entrevista estruturada se tornaria, ainda assim, indispensável para revelar processos tácitos que o próprio usuário não sabe descrever.
□ A mesma lógica de “observar revela o tácito que perguntar não revela” se aplicaria a uma equipe de UX que investiga por que motoristas de aplicativo configuram de um jeito específico e não documentado o painel de navegação do próprio veículo.
□ Como nenhuma das três técnicas qualitativas escala para milhões de usuários, conclui-se que elas deveriam ser abandonadas em favor exclusivo de testes A/B sempre que uma equipe tiver recursos para rodar um teste em larga escala.

Teste 2 — Mecânica do teste A/B e aleatorização

□ Se a atribuição de usuários aos grupos controle e tratamento não fosse aleatória, mas sim baseada em uma característica prévia dos usuários (ex.: só usuários mais engajados entrando no tratamento), uma diferença de métrica ao final do teste poderia refletir essa característica prévia, não a mudança em si.
□ No limite em que absolutamente todos os usuários elegíveis recebessem a mesma versão (controle ou tratamento, nunca as duas), o conceito de “diferença estatisticamente significativa entre grupos” deixaria de ter qualquer aplicação nesse teste.
□ A mesma lógica de “sem aleatorização, a diferença observada pode refletir quem foi selecionado, não a mudança em si” se aplicaria a um aplicativo de produtividade que compara o desempenho de usuários que optaram voluntariamente por ativar um novo modo de foco com o de usuários que optaram por não ativá-lo, em vez de atribuir aleatoriamente quem recebe o novo modo.
□ Como a aleatorização é o que torna um teste A/B um experimento, isso significa que qualquer teste sem aleatorização perfeita é completamente inútil e não revela absolutamente nada sobre o comportamento dos usuários.

Teste 3 — Tamanho de amostra e poder estatístico

□ Se um teste A/B fosse rodado com uma amostra muito maior do que a originalmente planejada, mantendo o mesmo efeito real subjacente, a chance de detectar esse efeito como estatisticamente significativo tenderia a aumentar, não a diminuir.
□ No limite em que um efeito real de uma mudança fosse exatamente zero (a mudança não tem nenhum impacto real no comportamento do usuário), aumentar o tamanho da amostra do teste passaria a detectar esse efeito como significativo com mais frequência.
□ A mesma lógica de “amostra pequena pode não detectar um efeito real” se aplicaria a um teste A/B de um aplicativo de meditação rodado com poucos usuários, que conclui “sem diferença significativa” na taxa de retenção entre a versão nova e a antiga, mesmo que a versão nova tenha um efeito real moderado.
□ Como o caso Kramer et al. detectou um efeito estatisticamente significativo com um tamanho de efeito de apenas d = 0,001, isso prova que qualquer teste A/B com amostra grande o suficiente sempre encontrará um efeito real, não importa a mudança testada.

Teste 4 — Efeito novidade e metric gaming

□ Se uma equipe rodasse o mesmo teste A/B por seis meses, em vez de encerrá-lo após a primeira semana, e o ganho de métrica inicial desaparecesse por completo ao longo desse período, isso seria evidência a favor da hipótese de que o ganho inicial era efeito novidade, não valor real.
□ No limite em que uma métrica capturasse perfeitamente, sem nenhuma lacuna, o objetivo real que uma equipe quer alcançar, o risco de metric gaming (otimizar a métrica às custas do objetivo real) deixaria de existir para essa métrica específica.
□ A mesma lógica da Lei de Goodhart (“quando uma medida se torna um alvo, ela deixa de ser uma boa medida”) se aplicaria a uma plataforma de suporte técnico que passa a avaliar atendentes exclusivamente pelo número de chamados fechados por hora, independentemente de o problema do usuário ter sido de fato resolvido.
□ Como toda métrica é, na melhor das hipóteses, um substituto do objetivo real, conclui-se que nenhuma métrica de produto digital deveria ser usada para decisão nenhuma, já que todas são, por definição, enganosas.

Teste 5 — Captologia: definição e vantagens de Fogg

□ Se um sistema computacional armazenasse e exibisse informações sem qualquer elemento desenhado para mudar a atitude ou o comportamento de quem o usa, esse sistema não se enquadraria na definição de tecnologia persuasiva proposta por Fogg (2003).
□ No limite em que um computador precisasse descansar, comer e dormir como um ser humano, a vantagem específica de “persistência” listada por Fogg entre computadores e persuasores humanos deixaria de existir.
□ A mesma lógica das seis vantagens de Fogg sobre persuasores humanos (persistência, anonimato, volume de dado, modalidades, escala, alcance) se aplicaria a um sistema de recomendação de conteúdo educacional que roda continuamente, sem cansar, para milhões de estudantes ao mesmo tempo.
□ Como Fogg lista seis vantagens que computadores têm sobre persuasores humanos, isso significa que qualquer sistema que use uma dessas seis vantagens está, necessariamente, praticando persuasão antiética.

Teste 6 — As seis preocupações éticas específicas de Fogg

□ Se um sistema computacional fosse capaz de perceber e reagir aos sinais emocionais sutis de quem o usa, com a mesma reciprocidade que um ser humano ofereceria, a preocupação ética específica “afeta emoções sem ser afetado por elas” deixaria de se aplicar a esse sistema.
□ No limite em que a empresa responsável por um sistema persuasivo sempre assumisse publicamente e integralmente a responsabilidade por qualquer dano causado por ele, a preocupação ética “computadores não podem assumir responsabilidade” deixaria de descrever um problema real nesse caso específico.
□ A mesma lógica da preocupação “a novidade da tecnologia pode mascarar sua intenção persuasiva” se aplicaria a um usuário que aceita, sem examinar, um conjunto de permissões pré-marcadas durante o cadastro em um aplicativo totalmente novo para ele, só porque o processo parece complexo demais para escrutinar com calma.
□ Como Fogg afirma que a persuasão tecnológica levanta seis preocupações éticas específicas, isso significa que toda tecnologia persuasiva viola necessariamente todas as seis ao mesmo tempo.

Teste 7 — O experimento de Kramer, Guillory & Hancock (2014)

□ Se o experimento tivesse manipulado apenas a ordem de exibição dos posts no Feed de Notícias, sem alterar a proporção de conteúdo emocional positivo ou negativo exibido, o desenho especificamente descrito no artigo (comparar grupos com mais ou menos exposição emocional) não teria sido implementado da forma relatada.
□ No limite em que o Facebook tivesse uma base de usuários muito menor, na casa das centenas de pessoas, o tamanho de efeito de d = 0,001 relatado pelos autores teria maior chance de não ser estatisticamente detectável no experimento.
□ A mesma lógica de “manipular a exposição a conteúdo emocional para medir efeito no comportamento subsequente” se aplicaria a uma plataforma de música que testasse, em grupos aleatórios de usuários, playlists com proporções diferentes de músicas tristes e alegres, medindo o efeito no tempo de escuta subsequente.
□ Como o experimento de Kramer et al. mediu contágio emocional via palavras positivas e negativas nos posts subsequentes dos próprios usuários, isso prova que o Facebook manipulou diretamente as emoções internas de cada participante, não apenas o conteúdo textual que eles produziram depois.

Teste 8 — Consentimento informado: Termos de Uso vs. norma acadêmica de IRB

□ Se o Facebook tivesse enviado, antes do experimento, uma notificação específica informando que o Feed de Notícias de cada participante seria manipulado como parte de um estudo, com opção real de recusar sem perder acesso ao serviço, o argumento de que os Termos de Uso genéricos já bastavam como consentimento deixaria de ser necessário para justificar a pesquisa.
□ No limite em que um usuário nunca tivesse lido nem concordado com nenhum Termo de Uso de nenhum serviço digital, o argumento dos autores de que a Política de Uso de Dados constituía consentimento informado para este experimento específico perderia sua própria base factual.
□ A mesma lógica de “consentimento genérico não equivale a consentimento específico para um experimento futuro” se aplicaria a um serviço de e-mail que testasse, amparado apenas em seus Termos de Uso gerais, diferentes algoritmos de priorização de mensagens em grupos aleatórios de usuários, sem aviso individual.
□ Como os usuários do Facebook consentiram com a Política de Uso de Dados ao criar suas contas, isso significa que qualquer pesquisa futura sobre esses mesmos dados, para qualquer finalidade, está automaticamente amparada por esse consentimento original.

Teste 9 — Entender vs. direcionar: lendo a instrumentação

□ Se a métrica de sucesso de uma funcionalidade fosse redefinida de “cliques imediatos” para “tarefa completada com sucesso pelo usuário dias depois”, isso tenderia a alinhar melhor a instrumentação ao benefício do usuário do que a métrica de clique isolada.
□ No limite em que a métrica de negócio de um produto coincidisse perfeitamente, em toda decisão de design possível, com o benefício real do usuário, a distinção entre “entender o usuário” e “direcionar contra ele” perderia sua aplicação prática nesse produto específico.
□ A mesma lógica do checklist desta aula (que métrica, a favor de quem, o usuário sabe, existe saída simétrica) se aplicaria à avaliação de um sistema de recomendação de notícias, verificando se ele otimiza por tempo de leitura a qualquer custo ou por diversidade/qualidade informacional genuína.
□ Como o checklist desta síntese lista perguntas para avaliar se uma instrumentação entende ou direciona o usuário, isso significa que toda empresa que meça engajamento de qualquer forma está, necessariamente, direcionando o usuário contra o próprio interesse.

Teste 10 — Síntese da aula e a ponte para a Aula 6

□ Se o kit metodológico apresentado nesta aula (pesquisa qualitativa e teste A/B) não existisse, e produtos digitais fossem construídos sem qualquer medição do comportamento do usuário, a bifurcação entre “entender genuinamente” e “direcionar contra o interesse do usuário” discutida hoje perderia grande parte de sua base concreta de aplicação.
□ No limite em que toda equipe de produto sempre escolhesse, sem exceção, uma métrica alinhada ao benefício de longo prazo do usuário, o mecanismo de fricção deliberada (dark patterns) discutido na Aula 4, Bloco 5, deixaria de ter uma explicação metodológica concreta por trás dele.
□ A tese central desta aula — de que uma escolha de método/métrica, aparentemente técnica, produz consequência real sobre o comportamento do usuário — se estenderia, pela mesma lógica, ao argumento da Aula 6 de que decisões de arquitetura (quantos serviços, onde rodam) têm consequência material e ambiental real, fora do próprio código.
□ Como esta aula mostrou que o mesmo kit metodológico pode ser usado para entender ou para manipular o usuário, conclui-se que a Aula 4 (dark patterns) e esta aula descrevem, na verdade, o mesmo fenômeno, sem nenhuma diferença de nível de análise entre elas.