Saiba como executar testes A/B e criar melhores chatbots

O teste A/B para chatbot é a melhor maneira de avaliar hipóteses de melhoria da ferramenta. Aprenda como fazer!

Se pudéssemos escolher um mantra para evangelizar PMs, devs e UX designers/writers, seria: faça testes A/B.

E isso vale para qualquer campanha ou produto digital, independentemente do que você está criando, como um app de banco, uma série de e-mail marketing, um site para e-commerce, um chatbot de atendimento – a lista é infinita!

O teste A/B permite que você avalie diferentes aspectos de uma interface, de forma a analisar a eficiência de uma determinada ferramenta ou recurso, e se cumpre com o objetivo dela.

Ao executar testes A/B, você consegue tomar decisões inteligentes baseadas em dados – e, bom, isso faz toda a diferença.

Quando você trabalhar orientado a dados, conserta as reais deficiências do produto, impactando positivamente o usuário final e ajudando seu cliente a alcançar seus objetivos. No caso específico de bots, avaliar melhorias pode ter impacto direto na conversão e no engajamento entre usuário e assistente.

Seja feito antes ou depois de o assistente virtual ser aberto ao público, explicamos neste texto como você pode executar um teste A/B para chatbots.


O que é o teste A/B e por que executá-lo

 

O teste A/B é executado a partir da criação de duas ou mais versões de um mesmo produto, com pequenas mudanças, para avaliar qual delas performa melhor.

Reza a lenda que os testes A/B ganharam força lá pelos anos 2000 quando os engenheiros do Google testavam duas versões diferentes do buscador para ver qual possuía melhor desempenho.

A técnica caiu no gosto de quem trabalha em empresas de tecnologia pela possibilidade de os desenvolvedores serem mais assertivos na criação do produto ou nas mudanças empregadas nele.  

A grande eficiência deste tipo de teste está relacionada ao fato de os usuários se comportarem de forma diferente na interação com o produto, e o que você pode ter assumido inicialmente que funcionaria, na verdade, acaba não funcionando justamente porque as pessoas podem ter ações inesperadas.

É daí que surge a necessidade de fazer testes A/B e avaliar durante um período qual versão do seu produto é melhor.


Exemplo de teste A/B no desenvolvimento de um bot

 

Em chatbot, você pode executar um teste A/B para avaliar fluxos de diálogos, opções de respostas, elementos visuais como botões, tom de voz, entre outros elementos que compõem um bot e são passíveis de melhoria.

Para se ter uma ideia de como funciona o teste A/B em bots, imagine um assistente virtual cujo objetivo é reduzir a quantidade de chamadas telefônicas que uma empresa recebe, mas que até o momento não se mostrou eficiente na redução do problema.

Uma hipótese é que os usuários ainda não entenderam que podem resolver algumas de suas buscas usando o assistente virtual.

Para avaliar se, de verdade, é isso que está prejudicando o desempenho, executa-se então um teste A/B para validar ou dispensar tal hipótese.

Neste caso que citamos acima, podemos definir duas versões diferentes de uma mensagem de boas-vindas a ser enviada pelo bot assim que o usuário entra na página de ajuda.

Elas ficariam assim:

 

Mensagem 1: frase de boas-vindas + serviços disponíveis pelo bot

Mensagem 2: entrar diretamente com os serviços disponíveis pelo bot

 

Após um determinado período de tempo em que as duas mensagens se mantêm ativas para diferentes usuários, é possível avaliar qual delas mais engajou e fez as pessoas buscarem auxílio pelo chatbot.

Com a hipótese validada, é só empregar a mensagem que trouxe mais resultados.

Passo a passo para criar um teste A/B no seu chatbot

 

Basicamente, os experimentos guiados por um teste A/B funcionam a partir de três eixos: 


  • definição do problema que se pretende resolver
  • proposta de solução (a hipótese)
  • avaliação da mudança

 

Antes de pôr o teste em prática, é necessário trabalhar com alguma ferramenta de análise que dará os dados para você basear seu teste A/B.

No mercado, atualmente as mais famosas são Botanalytics, Botlytics, Dashbot e Chatbase – esta última é a que a Nama utiliza e já falamos dela uma vez por aqui.

Na primeira etapa, você vai estabelecer quais métricas irá acompanhar, como intenções compreendidas, mensagens não entendidas, mudança de assunto, sucesso de fluxo, etc. Na sequência, é hora de criar uma hipótese para algum indicador que ainda não está indo bem.

A partir deste dado, você pode pensar em versões alternativas de elementos do bot que provavelmente melhorariam o desempenho da ferramenta. Aliás, dizemos “provavelmente” porque ainda se trata de uma hipótese.

Já com a hipótese em mente, estabeleça seu primeiro experimento com uma versão distinta de um mesmo produto. Há quem prefira fazer outras variações de uma mesma versão, então passará a ser teste A/B/C e assim por diante

É importante que você mensure bem os resultados que vão entrando após os usuários interagirem com a sua ferramenta. No caso de testar múltiplas variações, embora seja uma estratégia interessante, aumenta-se a complexidade da análise. Apesar disso, pode até ser um método mais eficiente e assertivo se pensarmos em médio e longo prazo. Tudo depende do seu objetivo.

Ao comparar os dados coletados após a execução das versões, faça as mudanças que foram indicadas através dos números. Quando uma hipótese é validada, ela pode trazer um impacto bastante significativo no desempenho do bot. 

Se não for validada, continue tentando! Você poderá aprender muito sobre aquele segmento a partir dos testes que realiza, aumentando as chances de acertar no teste seguinte.

Como estabelecer um grupo de usuários para o seu teste A/B

 

Em especial com chatbots, há duas maneiras de criar um grupo de usuários para testes A/B, a partir de conversas abertas ou conversas privadas.

Quando se trata de conversas abertas, você cria as versões que quer e os seus usuários vão entrando na página e interagindo com a ferramenta. Neste caso, basta definir grupos que irão acessar a versão aleatoriamente, como 50/50 ou 60/40, por exemplo.

Já na interação privada, é importante estabelecer os usuários que serão o público do teste para que ele não seja acessado por pessoas além do público-alvo, o que poderia comprometer sua análise. Esse tipo de teste vale para quando é preciso avaliar o comportamento de um público específico, como o uso de um chatbot de uma clínica médica por jovens de 25-35 anos.

É bastante importante que você desenhe bem o seu teste, o que inclui principalmente definir quantos usuários você precisa para que a sua hipótese seja confirmada. Se a variação que você está tentando medir for menor, então o tamanho da sua amostra deve ser maior. Nesta etapa, você pode contar com o auxílio de uma calculadora de tamanho de amostra para validar melhor a sua hipótese.


Conclusão

 

Criar uma cultura de testes A/B pode parecer complicada de início devido ao pouco tempo que se tem para tomar decisões, dependendo do projeto. Embora você possa conhecer bem o seu público-alvo, o comportamento das pessoas no meio digital é muito surpreendente – ainda mais quando se trata de interações automatizadas –, portanto, conduzir um teste A/B acaba se tornando uma ferramenta certeira para lidar com o inesperado.



Redação Nama

Um de nossos colaboradores diretos da Nama escreveu esse post com todo o carinho :)