Teste de usabilidade: Quantitativa vs Qualitativa

Quando falamos de testes de usabilidade, a primeira pergunta que me fazem é, qual tipos escolher? É dai que vem a maior batalha de todas a analise “Quantitativa vs qualitativa”. Esses dois tipos complementares de pesquisa de usuários desempenham papéis importantes em um ciclo de design iterativo. 

Pesquisa qualitativa informa o processo de design; por outra lado a pesquisa quantitativa fornece uma base para programas de benchmarking, cálculos de ROI e significância estatística.

Todos os estudos de usabilidade envolvem um participante executando algumas tarefas atribuídas em um ou mais designs. Existem, no entanto, dois tipos de dados que podem ser coletados em um estudo de teste do usuário:

• Dados qualitativos, consistindo em descobertas observacionais que identificam recursos de design fáceis ou difíceis de usar. Os dados qualitativos muitas vezes tem como resultado historias, percepções e opiniões subjetivas;
• Dados quantitativos, na forma de uma ou mais métricas (como taxas de conclusão de tarefas ou tempos de tarefas) que refletem se as tarefas foram fáceis de executar. Os dados em sua maioria são exatos (numéricos), “sim ou não”, ou usando aEscala Likert.

O objetivo desse artigo é entrar em detalhes sobre esses 2 tipos, quando utilizar cada uma delas, e os principais métodos.

• Pesquisa Qualitativa

As pesquisas qualitativas oferecem uma avaliação direta da usabilidade de um sistema: os pesquisadores observam os participantes lutando com elementos específicos da interface do usuário (UI) e inferem quais aspectos do design são problemáticos e quais funcionam bem. 

Eles sempre podem fazer perguntas de acompanhamento aos participantes e alterar o curso do estudo para obter informações sobre o assunto específico que o participante experimenta. Dessa forma, com base em seu próprio conhecimento de experiência do usuário (UX) e possivelmente na observação de outros participantes, os pesquisadores determinarão se o respectivo elemento da UI foi mal projetado.

como podemos notar, a pesquisa qualitativa tem um aspecto subjetivo enorme de parte do pesquisador – ele interpreta o que o usuário esta fazendo, e guia o usuario pelo uso da ferramenta em avaliação.

• Pesquisa Quantitativa

Os dados quantitativos oferecem uma avaliação indireta da usabilidade de um design. Eles basear-se no desempenho dos usuários em uma tarefa, por exemplo, tempos de conclusão da tarefa, taxas de sucesso, número de erros ou podem refletir a percepção de usabilidade dos participantes (por exemplo, classificações de satisfação). 

As métricas quantitativas são numéricas e, por isso, podem ser difíceis de interpretar na ausência de um ponto de referência. Por exemplo, 60% dos participantes de um estudo conseguiram concluir uma tarefa, isso é bom ou ruim? É difícil dizer analisando somente os números absolutos. (você avaliou quantas pessoas? essas pessoas possuíam qual perfil?)

É por isso que muitos estudos quânticos geralmente visam não tanto descrever a usabilidade, mas compará-lo com um (1) padrão conhecido, com a (2) usabilidade de um concorrente ou de (3) um design anterior.

Embora dados quantitativos nos informar que o design pode não ser utilizável em relação a um ponto de referência, eles NÃO apontam quais problemas os usuários encontraram. E o pior, eles não nos dizem quais mudanças realizar para obter um melhor resultado na próxima iteração. 

Por exemplo, descobrir que 40% dos participantes são capazes de concluir uma tarefa não diz por que os usuários tiveram problemas com essa tarefa ou como torná-la mais fácil. Frequentemente, os pesquisadores precisam usar métodos para complementar dados quantitativos, a fim de entender os problemas específicos de usabilidade em uma interface.

Significância estatística:

Uma das principais vantagens da análise quantitativa sobre a qualitativa é a significância estatística. 

Quando dados quantitativos são apresentados de maneira sólida, eles vêm com uma certa proteção contra a aleatoriedade – instrumentos matemáticos, como intervalos de confiança e significância estatística, nos dizem qual a probabilidade de os dados refletirem a verdade ou se eles podem ser apenas uma efeito do ruído aleatório – talvez um artefato dos participantes específicos que recrutamos ou das condições em que o estudo foi realizado. 

Embora pesquisadores experientes implantem várias boas práticas para se protegerem dessas situações para garantir que seus resultados não sejam tendenciosos, é impossível garantir que as conclusões de um estudo de usabilidade sejam realmente objetivas e representativas para toda a população-alvo.

• Diferenças entre análise Quantitativa vs Qualitativa

As análises qualitativa e quantitativas precisam de configurações de estudos e métodos de análise ligeiramente diferentes – eles raramente são coletados ao mesmo tempo.

Na superfície, os testes podem parecer bastante semelhantes (ou seja, ambos envolvem usuários executando tarefas em um design), mas eles possuem diferenças importantes em sua preparação e execução. Ambos os tipos de estudos precisam seguir as regras básicas para um bom projeto de experimento, garantindo que eles tenham:

1. Validade externa : os participantes são representativos da persona e/ou público-alvo e as condições do estudo refletem como a tarefa é realizada na natureza. Por exemplo, testar um site móvel em um simulador de desktop carece de validade externa, porque as pessoas normalmente o usariam em um telefone com tela de toque.
2. Validade interna: a configuração da experiência não favorece nenhuma condição. Por exemplo, se o projeto A é testado pela manhã e o projeto B é testado à tarde, é possível que a fadiga tenha um papel na maneira como os participantes usam o design B.

Um ponto importante: como os estudos quantitativos se esforçam para obter resultados estatisticamente significativos, o ideal é que eles sofram a menor variação possível:

Estudos quantitativos visam minimizar a variabilidade o máximo possível: Como as diferenças na configuração da sessão e nos antecedentes dos participantes podem aumentar o ruído de medição e levar a maiores margens de erro, algumas medidas precisam ser tomadas:

• As condições nos estudos quantitativos precisam ser rigorosamente controladas de sessão para sessão. Você precisa garantir que todos os participantes sejam executados praticamente no mesmo ambiente possível: você não pode ter duas sessões pessoalmente, e três sessões remotamente.
• Os estudos quantitativos geralmente começam com uma tarefa prática destinada a familiarizar todos os participantes com a configuração do estudo e com o site que está sendo avaliado. Dessa maneira, possíveis diferenças individuais entre, digamos, usuários experientes e novatos são resolvidas, pois os novatos têm a chance de aprender a interface.
• Nos estudos quantitativos, o protocolo think-aloud não é recomendado. Apesar desse método ser um dos mais utilizados na analise qualitativa, quando usado em estudos quantitativos pode gerar ruidos.

Estudos qualitativos podemos variar as condições entre as seções. Por exemplo, se você descobrir que uma determinada tarefa não fornece as informações necessárias, reescreva-a antes de realiza-la com seu próximo usuário. Alterar a tarefa invalida as medidas médias entre os usuários que realizaram as diferentes tarefas, mas em um estudo de qualidade você busca informações, não números.

A tabela abaixo resume as diferenças entre os dois tipos de pesquisa.

Nota: embora os estudos de qualitativos sejam mais comuns na pesquisa de UX/UI, os estudos quantitativos são os únicos que nos permitem colocar número concretos e dizer claramente o quanto a nova versão melhorou em relação à antiga – eles são o instrumento essencial no cálculo do retorno do investimento. (ROI)

O ciclo básico de design centrado no usuário segue normalmente o seguinte ciclo:

1. Avaliação de um design existente;
2. Reformulação destinada a enfrentar os desafios atuais de usabilidade do sistema;
3. Depois que a nova versão estiver concluída, ela poderá ser avaliada;
4. Por fim, ela é comparada com a versão inicial;

O primeiro e o terceiro estágios são somátivos – eles pretendem fornecer uma avaliação geral de um design. Nessas etapas, os métodos de pesquisa qualitativos e quantitativos podem ser usados ​​para avaliar o design. No entanto, quando o objetivo é vincular todo o esforço de reprojeto às economias financeiras reais ou descobrir explicitamente o quanto o reprojeto melhorou, estudos quantitativos devem ser utilizados. 

Nota: As empresas em estágios de maturidade maiores no que diz respeito UX geralmente têm um processo de rastreamento de usabilidade quantitativos (Às vezes, esse processo de avaliar quantitativamente cada versão de um design e compará-lo com versões anteriores é chamado de benchmarking .)

No segundo estágio (redesign) a pesquisa do usuário tem um papel formativo: serve para informar e orientar o design. Nesta fase, designers e pesquisadores precisam obter dados do usuário de forma relativamente rápida e barata para poder escolher entre diferentes alternativas de design e criar uma interface de usuário utilizável, dessa forma, os estudos de qualitativos são geralmente os mais apropriados. 

Nota: Estudos indicam que com 5 participantes você descobre 85% dos problemas na sua interface (desde que o design não esteja quase perfeito), portanto, na etapa de redesign, faz sentido executar um estudo rápido com alguns usuários, descobrir os maiores problemas, corrija-os e teste a nova versão novamente com outro pequeno conjunto de usuários.

Os estudos quantitativos são mais indicados para avaliar a usabilidade do site (normalmente de um projeto finalizado), em vez de informar diretamente o processo de redesign. Isso ocorre porque empregar métodos quantitativos durante as iterações de redesign, podem sem muito caros se usados ​​com frequência e no início do processo de design. 

Estudos quantitativos envolvem (é recomendado) um grande número de usuários, e a maioria das empresas não pode gastar muito dinheiro nesses estudos para investigar detalhes iniciar da interface. No entanto, os números obtidos em testes quantitativos podem ser inestimáveis ​​quando se trata de convencer a alta gerência de que seu site precisa de um redesign completo.

Os estudos de qualidade são adequados para identificar os principais problemas em um design: por exemplo, podemos executar um estudo qualitativo para ver o que impede os usuários de enviar um formulário com êxito e, com base nesse estudo, podemos determinar se precisamos aumentar os campos do formulário, mostrar ajuda com a senha ou usar labels fora dos campos e não dentro deles.

Os dados da análise Quantitativa:

Os estudos quantitativos geralmente envolvem um número relativamente grande de usuários e usam técnicas estatísticas para se proteger contra eventos aleatórios. Quando relatados corretamente, os estudos quantitativos incluirão informações sobre a significância estatística dos resultados. 

Por exemplo, uma margem de erro ajudará você a entender o quanto você pode confiar nos resultados do estudo. Ou, se a diferença no tempo de conclusão da tarefa entre o site e o site do concorrente for estatisticamente significativa, você saberá que, mesmo se você recrutar um conjunto diferente de usuários e executar novamente seu estudo, seus resultados apontarão na mesma direção.

Nota: quando estudos quantitativos são realizados e analisados ​​corretamente, você pode ter certeza de que seus resultados são sólidos.

Os dados da analise Qualitativa:

Os dados qualitativos consistem em um conjunto de descobertas que identificam e priorizam os pontos fortes e fracos de um projeto. Esses achados são estimativas – baseiam-se no conhecimento e no nível de experiência do pesquisador, facilitando a tarefa e interpretando os significados das ações dos usuários. 

Profissionais diferentes frequentemente identificam problemas diferentes na mesma sessão de teste do usuário (um fenômeno conhecido como efeito do avaliador). Além disso, mesmo se tivermos muito cuidado em recrutar participantes que correspondam aos dados demográficos desejados e/ou persona, quando incluímos apenas algumas pessoas, sempre há uma chance de elas não serem realmente representativas de toda a população de usuários e, portanto, as descobertas podem ser distorcidas .

Se você tiver planejando um teste de usabilidade e esta em duvida sobre qual método seguir, espero que esse texto tenha te ajudado a tomar uma decisão. Mas se ainda tem alguma duvida a respeito, o que eu gostaria de enfatizar é: as análises qualitativas e quantitativas do usuário são métodos complementares que atendem a diferentes objetivos.

• O teste qualitativos envolve um pequeno número de usuários (5–8) e identifica diretamente os principais problemas de usabilidade em uma interxface. É frequentemente usado para informar o processo de design e canalizá-lo na direção certa. 
• O teste de usabilidade quantitativos são baseados em um grande número de participantes (geralmente mais de 30); e quando analisados ​​e interpretados corretamente, os resultados dos testes quantitativos vêm com maior proteção contra ruídos aleatórios, e são normalmente usados ​​para rastrear a usabilidade de um sistema nas iterações de design.

Mas no final das contas, o ideal é que você combine esses 2 métodos, seguindo o processo iterativo que citei anteriormente. Dessa forma, é garantia que o resultado final vai estar próximo do “ótimo”. Se quiser saber mais sobre processos de design UI, escrevi um ótimo texto sobre os 3 métodos de Design UI: Iterativo, Paralelo e Concorrente.