O fetichismo numérico é um dos maiores riscos da pesquisa quantitativa, concentrando-se em análises estatísticas que geralmente são falsas, tendenciosas, enganosas ou excessivamente restritas.
Existem 2 tipos principais de pesquisa de usuário: quantitativa (estatística e dados) e qualitativa (insights). A pesquisa quantitativa tem algumas vantagens, mas a qualitativa oferece os melhores resultados pelo menor custo. Além disso, os estudos quantitativos costumam ser muito estreitos para serem úteis e, às vezes, diretamente enganosos.
O principal benefício dos estudos quantitativos é simples: eles resumem uma situação complexa a um único número fácil de entender e discutir. Eu exploro essa clareza comunicativa, por exemplo, ao relatar que o uso de sites é 206% mais difícil para usuários com deficiência e 122% mais difícil para idosos do que para usuários comuns.
Obviamente, fazer uso de resultados numéricos para resumir os elaborados resultados dos estudos de usabilidade negligencia os detalhes que levam 273 páginas para explicar: Por que os sites são mais difíceis para esses grupos? O que você deve fazer sobre isso?
No exemplo acima, conseguimos extrair algumas informações dos números/dados:
- Eles nos dizem que a situação é muito pior para usuários com deficiência do que para idosos. Como há muito mais idosos e eles constituem uma audiência particularmente rica, os sites podem, no entanto, optar por gastar mais recursos atendendo aos idosos do que às pessoas com deficiência. Conhecer a pontuação permite que as organizações tomem decisões conscientes sobre como alocam recursos escassos.
- Eles nos dizem que os problemas não são pequenos. Se a web fosse 5% mais difícil para usuários com deficiência do que para outros usuários, a maioria das pessoas diria “Ahhh, isso não é nada, deixe que eles lidem com isso”. Mas discriminar em 206% é muita coisa.
Nesse artigo, eu quero mostrar como que uma analise estritamente numérica pode ser muito prejudicial para seu produto e analise que esta tentando realizar.
Dica de leitura: Você sabe quantos usuarios testar no seu estudo de usabilidade?
Cuidado com fetiche por números
Quando leio relatórios de pesquisas de outras pessoas, geralmente acho que os resultados de seus estudos qualitativos são mais credíveis e confiáveis do que os resultados quantitativos. É um erro perigoso acreditar que a pesquisa estatística é de alguma forma mais científica ou credível do que a pesquisa observacional baseada em insight. De fato, a maioria das pesquisas estatísticas é menos credível que os estudos qualitativos.
As interfaces com o usuário e a usabilidade são altamente contextuais e sua eficácia depende de um amplo entendimento do comportamento humano. Normalmente, os designers devem combinar e negociar as diretrizes de design, o que requer alguma compreensão da lógica e dos princípios por trás das recomendações. Questões tão específicas que uma fórmula pode identificá-las geralmente são irrelevantes para projetos práticos de design.
A fixação de números em vez de idéias qualitativas levou muitos estudos de usabilidade a se desviarem. Como ilustram os pontos a seguir, abordagens quantitativas são inerentemente arriscadas de várias maneiras.
1. Resultados aleatórios
Os pesquisadores geralmente realizam análises estatísticas para determinar se os resultados numéricos são ” estatisticamente significativos “. Por convenção, eles consideram um resultado significativo se houver menos de 5% de probabilidade de que ele possa ter ocorrido aleatoriamente, em vez de significar um fenômeno verdadeiro.
Isso implica que 1 em cada 20 resultados “significativos” pode ser aleatório se os pesquisadores se basearem exclusivamente em métodos quantitativos.
Felizmente, a maioria dos bons pesquisadores – especialmente aqueles no campo da interface do usuário – usa mais do que uma simples análise quantitativa. Assim, eles geralmente têm insights além das simples estatísticas.
Também existe um fenômeno inverso: às vezes, uma descoberta verdadeira é estatisticamente insignificante por causa do design do experimento. Talvez o estudo não tenha incluído participantes suficientes para observar uma descoberta importante em número suficiente. Portanto, seria errado descartar questões irrelevantes apenas porque elas não aparecem nos resultados quantitativos do estudo.
2. Descobrindo correlações do “nada”
Se você medir variáveis suficientes, descobrirá inevitavelmente que algumas parecem se correlacionar. Execute todas as suas estatísticas através do software e algumas correlações “significativas” certamente aparecerão. (Lembre-se: 1 em cada 20 análises é “significativa”, mesmo se não houver um fenômeno real subjacente.)
Estudos que medem 7 métricas gerarão 21 possíveis correlações entre as variáveis. Assim, em média, esses estudos terão uma correlação falsa que o programa estatístico considera “significativa”, mesmo que os problemas medidos não tenham conexão real.
Obviamente, você não vai tentar buscar por correlação: você vai relatar apenas estatísticas que se relacionam com hipóteses razoáveis baseadas no entendimento dos fenômenos subjacentes.
3. Negligenciar covariantes
Mesmo quando uma correlação representa um fenômeno verdadeiro, ela pode ser enganosa se a ação real se referir a uma terceira variável relacionada às duas que você está estudando .
EXEMPLO : você pode observar que links com texto mais longos estão positivamente correlacionados com o sucesso do usuário. Isso não significa que você deve escrever links longos. A experiência do designer é a covariância oculta aqui: designers iniciantes tendem a usar links de texto curtos como “mais”, “clique aqui” e palavras inventadas.
Por outro lado, os designers preocupados com a usabilidade tendem a explicar as opções disponíveis na linguagem centrada no usuário, enfatizando o texto (e outros elementos de design mais ricos) detrimento de elementos mais apelativo. Muitos dos links desses designers podem realmente ter uma contagem de palavras mais alta, mas não é por isso que os designs funcionam.
4. Análise simplificada
Para obter boas estatísticas, você deve controlar rigidamente as condições experimentais – as vezes com tanta rigidez que as descobertas não representam problemas do mundo real.
Esse é um problema comum para a pesquisa universitária , onde os sujeitos do teste tendem a ser estudantes de graduação e não usuários comuns. Além disso, em vez de testar sites reais com suas inúmeras complexidades contextuais, muitos estudos acadêmicos testam projetos reduzidos com uma pequena contagem de páginas e conteúdo simplificado.
A usabilidade é frequentemente negligenciada por pesquisas restritas que não consideram, por exemplo, comportamento de revisitação, visibilidade do mecanismo de pesquisa e tomada de decisão para vários usuários. Muitas dessas questões são essenciais para o sucesso de alguns tipos de designs.
EXEMPLO: É fácil executar um estudo que mostre queas breadcrumbs é inútil: basta dar aos usuários tarefas direcionadas que exigem que elas sigam em linha reta até o destino desejado e parem por aí. Esses usuários (corretamente) ignoram qualquer trilha de navegação.
Mas as breadcrumb são uteis para muitos sites. Eles não apenas são leves e, portanto, improváveis de interferir na usabilidade direta do usuário, mas também são úteis para usuários que chegam ao fundo de um site por meio de mecanismos de pesquisa e links diretos. A trilha de navegação fornece a esses usuários o contexto e ajuda os usuários que estão fazendo comparações, oferecendo acesso direto a níveis mais altos da arquitetura da informação.
5. Medições distorcidas
É fácil atrapalhar um estudo de usabilidade ajudando os usuários na hora errada ou usando as tarefas equivocadas. De fato, você pode provar praticamente tudo o que quiser se planejar o estudo de acordo. Isso geralmente é um fator por trás dos estudos “patrocinados” que pretendem mostrar que os produtos de um fornecedor são mais fáceis de usar do que os produtos de um concorrente.
Mesmo que os pesquisadores não sejam fraudulentos, é fácil ser enganado por metodológicas falhas, como direcionar a atenção dos usuários para detalhes específicos na tela. O simples fato de você estar perguntando sobre alguns elementos de design, em vez de outros, faz com que os usuários os notem mais e, assim, mude seu comportamento.
EXEMPLO: Um estudo de publicidade online tentou evitar esse erro, mas simplesmente fez outro. Os pesquisadores não pediram abertamente aos usuários para comentar nos anúncios. Em vez disso, pediram aos usuários que simplesmente comentassem o design geral de várias páginas da web. Após a sessão de teste, os pesquisadores mediram a conscientização dos usuários sobre várias marcas, resultando em altas pontuações para as empresas que publicaram banners nas páginas da web do estudo.
Este estudo prova que os banners funcionam para branding, mesmo que não para obter leads de vendas qualificados? Não. Lembre-se de que os usuários foram orientados a comentar os designs das páginas. Essas instruções obviamente fizeram com que os usuários olhassem a página muito mais detalhadamente do que durante o uso normal da Web. Em particular, alguém que está julgando um design geralmente inspeciona todos os elementos de design individuais na página, incluindo os anúncios.
6. Viés de publicação
Os editores seguem o princípio de “chocar os leitores” para destacar histórias novas e interessantes. Isso é verdade tanto para revistas científicas quanto para revistas populares. Embora compreensível, essa preferência por descobertas novas e diferentes impõe um viés significativo nos resultados que obtêm exposição.
A usabilidade é um campo muito estável . O comportamento do usuário é praticamente o mesmo ano após ano. Eu continuo encontrando os mesmos resultados em estudo após estudo. De vez em quando, um resultado falso surge e o viés de publicação garante que ele receba muito mais atenção do que merece.
EXEMPLO: Considere a questão do tempo de download da página da web. Todo mundo sabe que mais rápido é melhor. A teoria do design de interação documentou a importância dos tempos de resposta desde 1968, e essa importância é vista empiricamente em inúmeros estudos na Web desde 1995. No dia em que seu servidor fica lento, você perde tráfego.
Se 20 pessoas estudarem o tempo de download, 19 concluirão que quanto mais rápido, melhor. Mais uma vez: 1 em cada 20 análises estatísticas dará o resultado errado, e este 1 estudo poderá ser amplamente discutido simplesmente por ser novo.
Julgando resultados bizarros
Resultados bizarros às vezes são suportados por números aparentemente convincentes. Você pode usar as questões que levantei aqui como uma verificação de sanidade : O estudo tirou as correlações da cartola? Era tendencioso ou excessivamente estreito? Foi promovido apenas porque é diferente? Ou foi apenas um acaso?
Resultados bizarros às vezes são suportados por números aparentemente convincentes.
Normalmente, você descobrirá que descobertas muito absurdas devem ser ignoradas. Os amplos conceitos de comportamento humano em sistemas interativos são estáveis e fáceis de entender. As exceções geralmente acabam sendo exatamente isso: exceções.
É claro que, às vezes, uma descoberta estranha acaba sendo revolucionária e não ilusória. Isso é raro, mas acontece. Os principais diferenciais são se a descoberta é repetível e se outras pessoas também conseguem enxerga-la
EXEMPLO. O pesquisador Jakob Nielsen fez uma conclusão de que documentos PDF são ruins para o acesso a informações on-line foi apoiada por 4 estudos diferentes. Inicialmente, ele hesitou em fazer essa afirmação, porque ele funciona muito bem em outros contextos (principalmente, o download de documentos para impressão, e foi para isso que ele foi projetado). No entanto, à medida que as evidências aumentavam, ficou claro que a conclusão do PDF on-line era muito diferente da do PDF impresso.
Você pode descartar um estudo que concluiu que o PDF que era bom era realmente ruim on-line. Mas 4 ou 5 estudos constituem uma tendência , o que aumenta muito a credibilidade da descoberta como um fenômeno geral.
Conclusão: Estudos quantitativos possuem riscos
Todos os motivos que listei anteriormente tem como objetivo mostrar os riscos da pesquisa quantitativa e indicar sua origem: pesquisas ruins! É possível fazer uma boa pesquisa quantitativa e obter informações válidas a partir de medições. Mas fazer isso é caro e difícil.
Os estudos quantitativos devem ser feitos da melhor maneira possivel e verificando todos os detalhes, ou os números serão enganosos. Existem tantas armadilhas que você provavelmente acabará caindo em uma delas.
Se você confiar em números sem insights, não terá nenhum informação util quando as coisas derem errado. Você irá cair no caminho errado, porque é para onde os números levarão.
Os estudos qualitativos são menos frágeis e, portanto, menos propensos a quebrar sob o estresse de metodológicas grafeis. Mesmo que seu estudo não seja perfeito em todos os detalhes, você ainda obterá bons resultados com um método qualitativo que depende da compreensão dos usuários e do comportamento observado.
Sim, especialistas obtêm melhores resultados do que iniciantes em estudos qualitativos. Mas, para estudos quantitativos , apenas os melhores especialistas obtêm resultados válidos e somente se forem extremamente cuidadosos.
Fico feliz que tenha chegado até aqui! Já que esta buscando mais design UX/UI para você ou sua empresa, eu recomendo que você identifique qual estagio de maturidade em UX e UI sua empresa esta, e como você pode fazer para evoluir!