Principais métodos quantitativos de pesquisa de usuário

Você precisa de dados numéricos sobre a experiência do usuário do seu produto, mas não sabe por onde começar? O primeiro passo é escolher a ferramenta certa. Nesse artigo vamos discutir os principais métodos quantitativos de pesquisa do usuário.

Muitos profissionais de UX tendem a preferir métodos de pesquisa de usuários qualitativos, que são amplamente percebidas como sendo mais fáceis e baratas do que pesquisas quantitativa. O principal motivo para isso é a natureza intimidadora de amostrar passivas de dados e a analise estatística associada aos métodos quantitativos

Você se identifica com essa afirmação? Se sim, recomendo que você repense. As metodologias quantitativas são uma parte importante do kit de ferramentas de qualquer pesquisador experiente em UX. Esses métodos permitem:

• Colocar um “número” na usabilidade do seu produto. Às vezes, os números são mais convincentes do que as descobertas e os vídeos dos testes qualitativos (principalmente quando você tenta convencer a sua diretoria).
• Comparar diferentes designs. Por exemplo, sua nova versão vs. sua versão antiga ou seu produto vs o produto do concorrente e determinar se as diferenças observadas são estatisticamente significativas.
• Melhora decisões tomadas. Por exemplo, se se espera que uma melhoria de projeto proposta seja cara de implementar, vale a pena fazer? Se você tiver uma estimativa de quanto a alteração melhorará a usabilidade, um método quantitativo pode ajudar a decidir se o redesign vale a pena.
• Associa as melhorias em UX as metas e OKR. Demonstrando assim seu ROI e justificando a existência da equipe de design de produto.

Como em qualquer método de pesquisa, cada um deles pode ser adaptado para atender a uma variedade de necessidades. Dependendo de suas circunstâncias específicas, seus custos e dificuldades podem ser diferentes das nossas estimativas aproximadas. 

Este artigo lista os casos de uso mais comuns desses métodos e estima o custo e a dificuldade de cada um. 

• Teste Quantitativo de Usabilidade (Benchmarking)

• Quando usar:
  • Acompanhamento da usabilidade ao longo do tempo;
  • Comparando com concorrentes;
• Custo:  Médio;
• Dificuldade de Coleta:  Média;
• Dificuldade de Análise:  Média;
• Tipo de Método:  Comportamental (o que as pessoas fazem);
• Contexto de Uso:  Baseado em Tarefas;

Embora não seja usado com tanta frequência, o “teste quantitativo de usabilidade” (às vezes chamado de benchmarking de usabilidade) é muito parecido com o teste qualitativo de usabilidade – os usuários são solicitados a realizar algumas tarefas realistas usando um produto. 

A principal diferença entre os dois é: O teste de usabilidade qualitativo prioriza as observações, como a identificação de problemas de usabilidade; O teste de usabilidade quantitativo concentra-se na coleta de métricas, como tempo na tarefa ou taxa de  sucesso das tarefas;

Depois de coletar essas métricas com um tamanho de amostra relativamente grande (recomendado mais de 40 participantes), você pode usá-las para rastrear o progresso da usabilidade do seu produto ao longo do tempo ou compará-la com a usabilidade dos produtos da concorrência.

O tipo de teste de usabilidade que você escolher (pessoalmente, moderado remotamente ou remotamente não moderado) afetará o custo e dificilmente associado a esse método. Como os objetivos dos estudos de usabilidade quantitativos e qualitativos são diferentes, a estrutura do teste e as tarefas usadas também precisam ser diferentes.

• Análise da Web (ou App Analytics)

• Quando usar:
  • Detectando ou priorizando problemas;
  • Monitoramento de desempenho;
• Custo: Baixo
• Dificuldade de Coleta: Baixa
• Dificuldade de Análise: Alta
• Tipo de Método: Comportamental (o que as pessoas fazem)
• Contexto de Uso: Ao Vivo

Os dados do Google Analytics descrevem o que as pessoas estão fazendo com seu produto ao vivo – para onde vão, em que clicam, quais features utilizam, de onde vêm e em quais páginas decidem sair do site ou aplicativo. 

Essas informações podem suportar uma ampla variedade de atividades de UX. Em particular, ele pode ajudá-lo a monitorar o desempenho de vários conteúdos, interfaces do usuário ou features do seu produto e identificar o que não funciona.

• Teste A / B ou Teste Multivariado

• Quando usar: Comparando duas opções de design;
• Custo: Baixo;
• Dificuldade de Coleta: Baixa;
• Dificuldade de Análise: Baixa;
• Tipo de Método: Comportamental (o que as pessoas fazem)
• Contexto de Uso: Ao Vivo;

Embora você possa usar métricas do Analytics para monitorar o desempenho do seu produto, também pode criar experimentos que detectam como diferentes designs de interface do usuário (UI) alteram essas métricas – por meio de testes A / B ou testes multivariados.

Nos testes A / B, as equipes criam duas versões ativas diferentes da mesma interface do usuário e mostram cada versão a diferentes usuários e/ou grupos de usuários para ver qual versão apresenta o melhor desempenho. Por exemplo, você pode criar duas versões do mesmo botão de call to action: (1) obter preços vs (2) aprender mais. Em seguida, você pode analise o número de cliques cada versão do botão recebeu.

O teste multivariado é semelhante, mas envolve o teste de vários elementos de design ao mesmo tempo (por exemplo, o teste pode envolver mudança nos botões, tipografia e posicionamento diferentes na página).

Ambos os experimentos baseados em análise são ótimos para decidir entre diferentes variações do mesmo design – e podem pôr um fim às disputas da equipe sobre qual versão é melhor.

Uma desvantagem importante dessa metodologia é que ela é  frequentemente abusada – algumas equipes não conseguem executar os testes o quanto deveriam e tomam decisões arriscadas com base em pequenos números. 

• Card Sorting

• Quando usar: Determinando labels (rótulos) e estruturas da arquitetura da informação;
• Custo: Baixo;
• Dificuldade de Coleta: Baixa;
• Dificuldade de Análise: Média;
• Tipo de Método: Atitudinal (o que as pessoas dizem);
• Contexto de Uso: Não está usando o produto;

Em um estudo de card sorting, os participantes recebem itens de conteúdo e são solicitados a agrupar e rotular esses itens de uma maneira que faça sentido para eles. Esse teste pode ser realizado pessoalmente, usando cartões físicos ou remotamente, usando uma plataforma de classificação de cartões como o OptimalSort.

Esse método oferece a oportunidade de entrar nos modelos mentais dos usuários do espaço de informações. Que terminologia eles usam? Como eles logicamente agrupam esses conceitos?

A análise quantitativa da porcentagem de participantes que criaram agrupamentos semelhantes pode ajudar a estabelecer qual abordagem de categorização seria compreensível para a maioria dos usuários.

• Teste de Árvore (Tree Testing)

• Quando usar: Avaliando hierarquias da arquitetura da informação;
• Custo: Baixo;
• Dificuldade de Coleta: Baixa;
• Dificuldade de Análise: Média;
• Tipo de Método: Comportamental (o que as pessoas fazem);
• Contexto de uso: baseado em tarefas, sem usar o produto

Em um “teste em árvore”, os participantes tentam concluir tarefas usando apenas a estrutura de categorias do seu site. É essencialmente uma maneira de avaliar sua arquitetura de informações, isolando-a de todos os outros aspectos da sua interface do usuário.

Por exemplo, imagine que seu produto é um site de suprimentos para animais de estimação, Você pode pedir aos participantes em uma tarefa para encontrar as coleiras.

A análise quantitativa dos resultados dos testes em árvore mostrará se as pessoas foram capazes de encontrar o caminho certo para este item na hierarquia de informações. Quantos participantes escolheram a categoria errada?

Esse método é útil para identificar se uma estrutura, rótulos e canais de IA estão alinhadas com as expectativas das pessoas.

• Pesquisas e questionários

• Quando usar: Reúna informações sobre seus usuários, suas atitudes e comportamentos; 
• Custo: Baixo;
• Dificuldade de Coleta: Baixa;
• Dificuldade de Análise: Baixa;
• Tipo de Método: Atitudinal (o que as pessoas dizem);
• Contexto de Uso: Qualquer um;

As “pesquisas” são uma ferramenta flexível de pesquisa de usuários. Você pode administrá-las em vários contextos – (1) como curtas pesquisas de interceptação em um site ao vivo, (2) em e-mails ou (3) após um teste de usabilidade. 

Eles podem produzir uma combinação de dados quantitativos e qualitativos – classificações, proporções de respostas para cada escolha em uma pergunta de múltipla escolha, bem como respostas em aberto. Você pode até transformar respostas qualitativas a uma pesquisa em dados numéricos (mais sobre isso no próximo ponto).

Você pode criar suas próprias pesquisas personalizadas ou usar um dos muitos  questionários estabelecidos disponíveis. Por exemplo, a Escala Likertou o NPS. Uma vantagem de um desses questionários é que você pode comparar seu resultado com as pontuações do setor ou dos concorrentes, para ver como está indo. 

Mesmo se você criar seu próprio questionário personalizado, ainda poderá acompanhar suas pontuações médias ao longo do tempo, para monitorar as melhorias do produto.

• Cluster de dados qualitativos

• Quando usar: Identificando temas importantes em dados qualitativos;
• Custo: Baixo;
• Dificuldade de Coleta: Média;
• Dificuldade de Análise: Média;
• Tipo de Método: Atitudinal (o que as pessoas dizem);
• Contexto de Uso: Qualquer;

Essa “técnica” é mais uma abordagem de análise para dados qualitativos do que uma metodologia de coleta de dados. Envolve agrupar observações de um estudo qualitativo (por exemplo, um diário, pesquisa, grupo focal ou entrevistas) com base em temas comuns. Se você tiver muitas observações, poderá contar o número de instâncias em que um tema específico é mencionado.

Por exemplo, imagine que você faça um estudo de diário pedindo aos participantes que relatem toda vez que usarem seu produto ao longo de uma semana, com o objetivo de entender em que contexto eles usam seus produtos. Você pode contar os casos em que as pessoas usaram o produto no trabalho, em suas casas ou em movimento.

Esse método pode identificar a prevalência ou a frequência de um tema ou situação específica – por exemplo, a frequência de uma reclamação do usuário ou de um problema da interface do usuário. 

Nota: Essa abordagem é uma boa maneira de extrair dados numéricos de grandes quantidades de informações qualitativas, mas pode consumir bastante tempo.

• Estudos de Desejabilidade 

• Quando usar: identificando atributos associados ao seu produto ou marca;
• Custo: Baixo;
• Dificuldade de Coleta: Baixa;
• Dificuldade de Análise: Baixa;
• Tipo de Método: Atitudinal (o que as pessoas dizem);
• Contexto de Uso: Baseado em Tarefas;

Os estudos quantitativos de desejabilidade tentam quantificar e medir alguma qualidade de um produto – como apelo estético, força da marca, tom de voz. Esses estudos podem ser personalizados dependendo das perguntas da sua pesquisa, mas geralmente envolvem:

1. A primeira exposição dos participantes ao seu produto. mostrando uma imagem estática ou pedindo que eles usem o produto ao vivo ou um protótipo). 
2. Peça que eles descrevam o design selecionando opções em uma lista de palavras descritivas.

Com um grande tamanho de amostra representativo da sua população, as tendências começam a surgir. Por exemplo, você pode notar que 84% dos entrevistados descreverem o design como “moderno”.

• Teste de Eyetracking

• Quando usar: determinar quais elementos da interface do usuário são distraídos, localizáveis ​​ou detectáveis;
• Custo: Alto;
• Dificuldade de Coleta: Alta;
• Dificuldade de Análise: Alta;
• Tipo de Método: Comportamental (o que as pessoas fazem);
• Contexto de Uso: Baseado em Tarefas;

Os testes de eyetracking exigem equipamentos especiais que rastreiam os olhos dos usuários enquanto eles se utilizam a interface. Quando muitos participantes (30 ou mais) realizam a mesma tarefa na mesma interface, tendências significativas começam a surgir e você pode dizer, com alguma confiabilidade, quais elementos da página atrairão a atenção das pessoas. 

O eyetracking pode ajudá-lo a identificar quais elementos de interface e conteúdo precisam ser enfatizados, para permitir que os usuários alcancem seus objetivos. 

Nota: Um grande obstáculo para a realização de estudos visuais é o equipamento altamente especializado, proibitivamente caro e um tanto instável, que requer muito treinamento para ser usado. Uma alternativa pode ser utilizar o Hotjar, que apesar de não trackear os olhos, acompanha o mouse.

1. Comece com a pergunta a ser respondida

Quando for determinar qual método quantitativo utilizar, tenha em mente a pesquisa que quer fazer: O que você precisa saber? Algumas dessas metodologias são mais adequadas para questões de pesquisa muito gerais . Por exemplo:

• Como a usabilidade do nosso produto mudou com o tempo?
• Como estamos indo em comparação com o nosso concorrente?
• Qual dos nossos problemas tem maior impacto? Como devemos priorizar?

Para esses tipos de perguntas, é provável que você queira usar testes de usabilidade quantitativos, análises da web ou pesquisas.

Outras metodologias funcionam bem quando você tem uma pergunta mais específica que deseja responder. Por exemplo:

• Como devemos corrigir nossas categorias de navegação global?
• O que a maioria dos nossos usuários pensa sobre o nosso design visual?
• Qual dessas duas alternativas de design devemos usar para o painel?

Para essas perguntas de pesquisa, você provavelmente desejará usar  testes A / B, classificação de cartões, teste em árvore, comentários qualitativos de codificação, estudos de conveniência ou visuais.

Nota: Existem algumas áreas cinzentas nessas recomendações. Por exemplo, um teste A / B pode não ser uma opção para sua empresa, por razões de segurança ou técnicas. Se for esse o caso, e você possuir u budget maior, você poderia fazer um estudo de usabilidade quantitativo pessoalmente para comparar dois protótipos.

2. Considere o custo

Após a pergunta da pesquisa, o segundo fator mais influente na escolha de uma metodologia é o custo. Essas metodologias variam muito em custo, dependendo de como você implementa o estudo. As ferramentas que você usa, o número de participantes que você tem e a quantidade de tempo gasto por seus pesquisadores terão impacto no custo final. 

Para tornar isso ainda mais complicado, muitas equipes têm orçamentos de pesquisa amplamente diferentes. Novamente, as estimativas de custo aqui são relativas.

As equipes de baixo orçamento irão optar pelosmétodos digitais – teste de usabilidade remota, plataformas de card sorting como OptimalSort, teste A / B e análise de aplicativos ou web. Como regra geral, as metodologias presenciais (como testes de usabilidade presenciais, tipos de cartões presenciais) tendem a ser mais caras porque exigem muito mais tempo do pesquisador. Além disso, eles podem exigir viagens e aluguel de equipamentos. 

Nota: O eyetracking é a metodologia mais cara listada aqui e deve ser empregada apenas por equipes com grandes orçamentos e questões de pesquisa que justifiquem seu uso. 

3. Próximos passos

Depois de selecionar um método, aprenda sobre ele – Você precisa garantir que você é capaz de planejar e conduzir o estudo da maneira que deseja e para obter resultados úteis.

Aviso: você não pode simplesmente coletar métricas e começar a tomar decisões sem fazer nenhuma análise estatística. Não basta coletar respostas de cinco usuários, obter uma média e seguir em frente. 

Para cada método discutido aqui, existem diferentes tamanhos mínimos de amostra recomendados  – o número de pontos de dados que você provavelmente precisará coletar para obter dados confiáveis ​​e determinar  a significância estatística. Você precisará atingir os tamanhos mínimos de amostra. Caso contrário, não há garantia de que suas descobertas não sejam apenas um acaso.

Um última dica: considere o tempo necessário para pesquisar conceitos estatísticos relevantes para o método selecionado, bem como o custo de obter o tamanho mínimo correto da amostra. 

(Prometo que não é tão difícil quanto parece, e seus dados quantitativos valerão a pena)