Os principais KPIs para acompanhar o desempenho do seu chatbot

Todo chatbot que se preze tem seus KPIs revisados com frequência para melhorar sua performance. Confira uma lista de métricas para acompanhar!

O trabalho não acaba depois que você desenvolve e “inaugura” o chatbot. Na verdade, tem início outra tarefa bastante importante: o acompanhamento de KPIs (sigla para indicadores-chave de desempenho). Esses parâmetros de performance, que você idealmente deve ter estabelecido antes mesmo de desenhar o fluxo, vão ajudar a  comprovar se a ferramenta conversacional cumpre com aquilo que promete e, além disso, identificar possíveis falhas para então ajustá-las.

Com a análise desses dados, o seu time consegue reunir argumentos para justificar possíveis mudanças do bot que serão propostas aos clientes. Lembre-se que o assistente virtual é uma plataforma em evolução, portanto, é necessário avaliar seu desempenho, inclusive levando em consideração também a capacidade da inteligência artificial através de métricas como a quantidade de not handle e frequência de intenção. Se não,  basicamente você estará dando tiro no escuro na gestão desse bot.

Outra vantagem de avaliar informações de performance é poder desmistificar padrões que haviam sido taxados como certos. Afinal, seu cliente conhece os costumes do consumidor dele e, embora o processo também tenha contado com muita pesquisa, alguns comportamentos ficam evidentes apenas quando o bot está funcionando a todo vapor. 

Além disso, quando envolve o desenvolvimento de produto, muitas empresas seguem a metodologia lean, que inclui a formulação de hipóteses, a realização de testes e a execução de melhorias no bot. Com isso, a energia do desenvolvimento não é direcionada ao lançamento de um produto perfeito, mas na criação de uma ferramenta passível de evoluir graças à análise da interação entre cliente e produto - e analisar indicadores dentro deste contexto é fundamental.


Crédito imagem: Adeolu Eletu / Unsplash

Quais métricas eu devo acompanhar e por quê?

A verdade é que há uma série de indicadores para você observar e medir a performance do chatbot – e ainda há espaço para ser criativo e desenvolver outros indicadores que façam sentido dentro do projeto que você está executando.

A partir do momento que a empresa que te contratou tem um objetivo específico ao agregar o assistente virtual como ferramenta de contato entre cliente x companhia, então você deve restringir a análise aos indicadores que vão dar informações necessárias sobre o propósito estabelecido pelo cliente. Se você for além no estabelecimento das métricas, estará pondo foco em dados que não esclarecem nada dentro daquele contexto, nem ajudam a desenvolver novas funcionalidades no assistente.

Abaixo, veja alguns dos principais KPIs que você pode ficar de olho nos seus projetos de chatbot.

 

Conclusão do objetivo

A taxa de conclusão do objetivo (também chamada de Goal Completion Rate) mede se o chatbot é bem-sucedido na tarefa a qual ele foi designado.

Se possui uma métrica baixa, é necessário avaliar o porquê de a interação não estar acontecendo como foi proposta. Por exemplo, se o chatbot foi criado para marcar consultas, mas as pessoas o buscam para tirar dúvidas de tratamento, claramente ele não vai reduzir o chamado telefônico para marcação de atendimento. É necessário que fique evidente para as pessoas quais ações podem contar com o auxílio do bot.

 

Usuários totais

Esta métrica se refere à quantidade total de usuário que seu chatbot recebe. Entretanto, embora você faça essa mensuração, levar em conta este número sozinho não irá revelar muitas coisas. Isso porque saber que um usuário acessou o bot não é sinônimo de aceitação, já que há pessoas que usam o assistente uma única vez e não retornam mais porque não acharam o atendimento útil ou não se sentiram satisfeitos. O ideal é que o número de usuários sirva de parâmetro para outros KPIs, como para encontrar o número de novos usuários por semana - que falaremos melhor abaixo. 


Satisfação

Como nos canais com agentes reais, a empresa também vai querer saber se o consumidor ficou satisfeito com o atendimento automatizado. Para acessar as taxas de satisfação, aplique estratégias de avaliação do atendimento, como NPS ou CSAT, ambas muito populares no mercado, mas com finalidades diferentes.

Com o NPS (sigla de Net Promoter Score), a empresa consegue ter uma percepção global   da satisfação do consumidor com a marca. Isso porque, ao final do atendimento, o usuário recebe uma pergunta-chave sobre a probabilidade de ele recomendar a empresa a um amigo. Em seguida, ele é convidado a dar uma nota entre 1 a 10 para concluir a avaliação. 


Para interpretar os resultados do NPS, divide-se da seguinte maneira: 


De 9 a 10: são considerados os promotores, ou seja, pessoas que vão recomendar ativamente a empresa a outros. 

De 7 a 8: são chamados de neutros, ou seja, não divulgarão a marca.

De 6 a 0: são denominados detratores, ou seja, pessoas que ficaram insatisfeitas com o serviço e falarão mal da marca a outras pessoas. 

 

Se o consumidor conseguiu concluir o que buscava por meio do atendimento com o bot, é maior as chances de ele considerar uma boa nota na hora de avaliar. 

Igualmente o NPS, o CSAT (Customer Satisfaction Score) baseia a avaliação em uma nota (aqui, geralmente se usa a escala de 1 a 5), mas a questão que convida a pessoa a avaliar é mais focada em um setor ou atividade. Por exemplo, a pergunta poderia ser: "Como você avalia a sua experiência com o nosso atendimento?".  

Para calcular as avaliações na métrica CSAT, é necessário fazer uma média ponderada somando as respostas e dividindo pela quantidade de pessoas que deixaram um feedback.  


Novos usuários por semana

Reunir a quantidade de novos usuários por semana ajuda a identificar a adesão ao canal de atendimento durante um certo período. Se durante o tempo de análise foi feita uma campanha de marketing ou promoção do bot, também ajudará a medir o sucesso da campanha.


Retenção

A partir da taxa de retenção, toma-se conhecimento da quantidade de vezes que um usuário retornou à ferramenta para interagir com o assistente virtual durante um período de tempo.

Se a taxa de retenção for alta, o mais provável é que o bot esteja sendo útil na sua função de auxiliar os consumidores e, mais que isso, que a comunicação e a linguagem também estão cumprindo plenamente a função. Do contrário, será necessário investigar o que está impedindo os usuários de usarem o seu bot ou achá-lo relevante.

Mas também, depende do objetivo que se dá ao assistente virtual. Há empresas em que o indicador é encarado com um viés de não retenção. Nesses casos, prioriza-se que o usuário não volte a contatar justamente porque já resolveu sua questão e não teve mais problemas com a companhia.


Conversão

A métrica de conversão é importante tanto para empresas do comércio eletrônico, que têm o chatbot como um canal de vendas, quanto para empresas de serviços que usam a ferramenta como uma plataforma de geração de leads. Com este indicador, importa a quantidade de usuários que entraram em contato com o bot - pode servir de valor base no funil de conversão - e terminaram a ação de forma bem-sucedida gerando uma nova venda ou um contato qualificado. 

 

Intenção

A taxa de intenção está associada à capacidade de a inteligência artificial entender uma mesma interação a partir de diferentes estruturas. Caso não consiga interpretar uma versão de frases parecidas (por exemplo, em uma abordagem o usuário escreve "Quero a segunda via do boleto" e em outra "Você pode me enviar a segunda via do boleto?", o que faz com que não seja entendido), pode ser um indicativo que o mapeamento não foi realizado corretamente.

 

Fallback

Quando o usuário tenta aplicar comandos além daqueles que o chatbot está configurado para atender, normalmente ele recebe uma mensagem automática como “não entendi” ou alguma outra que ofereça uma série de opções relacionadas àquilo que o usuário busca. A taxa de fallback (ou fallback rate em inglês) mede justamente a dificuldade do bot em responder questões reais, o que consequentemente dá oportunidade de medir a quantidade de encaminhamento de questões para agentes reais.

Uma taxa fallback alta pode indicar que o chatbot possui problemas na base de conhecimento. Ou seja, é o caso de ele não ter respostas para aquele tipo de busca ou então ele não é capaz de identificar a solicitação por causa da forma como a frase foi construída - o chamado not_handle. Uma maneira de aprimorar as interações é analisar quais questões dos usuários não estão sendo respondidas e atualizar a base de conhecimentos do assistente virtual.  

Identificar a porcentagem de mensagens não entendidas entre todas as mensagens trocadas, é o primeiro passo para começar a analisar em que momento acontece o not_handled - se no começo ou no fim da interação - para promover as mudanças necessárias. 

 

Interação

Medir a taxa de interação dá uma média de quantas trocas de mensagem o usuário tem que promover com o bot para seu objetivo ser cumprido com sucesso.Na plataforma de análise Chatbase, por exemplo, é possível acompanhar o total de interações e contrastar com o que a inteligência artificial entendeu.

Analisando este indicador, você terá mais consciência se há etapas da interação que são desnecessárias, e o usuário poderia muito bem alcançar o seu propósito sem elas.

É importante esclarecer que a alta quantidade de troca de mensagens será negativa no caso de o chatbot ser usado como suporte ao consumidor, cujo maior requisito é garantir que a resolução do problema seja feita com a menor quantidade de etapas possíveis.

Entretanto, se o objetivo do assistente virtual for conversacional - por exemplo, um chatbot usado em alguma campanha específica de engajamento com o consumidor -, então a quantidade de mensagens trocadas assume outro viés.

 

Duração da sessão

Métricas de duração da sessão são relevantes desde sejam analisadas com cautela e levando em conta outro indicador que justifique o seu resultado. 

O primeiro ponto importante é que uma taxa de sessão baixa pode indicar que o usuário desistiu do atendimento - e não que ele tenha encontrado sua solução rapidamente. No caso de rejeição, estamos falando de uma interação que dura poucos segundos. 

Outro ponto importante é que uma taxa alta também não significa engajamento - inclusive, pode ser justamente o contrário: casos que a ferramenta não é clara e o usuário continua insistindo na interação.

A melhor maneira de fazer uma mensuração que leve em conta a duração da sessão é definir um tempo médio considerado aceitável (1 a 3 minutos, por exemplo) e em seguida checar a taxa de cohort (ou retorno de usuário) para avaliar quantas pessoas acessam novamente um canal durante um mesmo período. Com essas métricas estabelecidas, é mais fácil fazer um distinção de um atendimento bem-sucedido.  

 

Depois estabelecer os KPIs... como melhorar o desempenho do bot?

Uma vez que você estabeleceu os indicadores, resolver os pontos defeituosos será muito mais fácil. Normalmente, os problemas estão associados à falta de visibilidade do assistente no site da empresa; aos diálogos que não são esclarecedores; à busca por algum suporte especifico que não foi contemplado na hora do brainstorm; ao uso de linguagem coloquial não compreendida pelo bot; entre outros.

Esse trabalho de análise e interpretação ficará muito mais fácil se for feito em conjunto com seu cliente. Afinal, com essas métricas, você terá uma ideia do comportamento do consumidor ao lidar com o bot, enquanto o seu cliente terá uma visão mais global do perfil do consumidor. Unindo os dois, é possível encontrar boas saídas para melhorar o assistente.

 

Agora que você viu as nossas métricas, fale para a gente: qual você costuma acompanhar e que tipo de insight você já teve a partir dela?


Redação Nama

Um de nossos colaboradores diretos da Nama escreveu esse post com todo o carinho :)