Inteligência artificial ensina linguagem de sinais

A inclusão social de minorias é mais uma frente em que a inteligência artificial (IA) está sendo empregada com sucesso. No início de 2019, pesquisadores da Universidade de Surrey, no Reino Unido, desenvolveram um software capaz de reconhecer sinais empregados na comunicação de surdos-mudos e, a partir daí, ensinar linguagem de sinais para outros humanos.

Em artigo publicado no The Conversation, a engenheira Stephanie Stoll, líder do projeto, comenta que o trabalho do time é "desenvolver um software que aprenda linguagens de sinais de uma maneira automatizada e ao mesmo tempo intuitiva." Ela explica que a IA foi alimentada com imagens de pessoas executando gestos da linguagem de sinais alemã-suíça – assim como nos idiomas falados, as linguagens de sinais variam de acordo com a região ou país em que são praticadas. A partir desse banco de dados, a IA constrói seu vocabulário e é capaz de avaliar gestos feitos por humanos.

A partir daí, a IA funciona como um game: o jogador/aprendiz humano visualiza na tela um gesto específico ou uma palavra que ele precisa imitar ou reproduzir em linguagem de sinais. Em seguida, ele executa o gesto diante de uma câmera que funciona como os olhos da IA. A máquina, então, avalia o sinal baseada nas referências que ela tem armazenadas, reparando na postura das mãos, no movimento, na posição delas em relação ao corpo e no ritmo em que o sinal foi executado. 

A partir daí, a IA orienta o indivíduo sobre como ele pode melhorar o gesto, aumentando seu score e fazendo-o avançar no jogo. E não é apenas a precisão da IA para avaliar os movimentos que contribui para um melhor aprendizado. Estudar a partir de um jogo também acelera o ritmo de apreensão do conteúdo por causa da competitividade e da diversão envolvidas no processo. 

Esmiuçando um pouco mais o processo de aprendizagem/ensinamento da máquina, a IA desenvolvida em Surrey trabalha com uma rede neural convolucional, que emula o córtex visual do cérebro humano. É essa rede que visualiza a imagem do gesto e a mapeia para avaliar o quanto a forma das mãos condiz com os modelos padrão no banco de dados. Em seguida, um outro analisador, o de movimento, é acionado. A IA, então, compara, frame a frame, o gesto realizado no jogo com os gestos armazenados anteriormente. Quanto mais matches, maior a nota do jogador.

Por enquanto, o software do time de Stoll só opera em um idioma, mas novas possibilidades estão abertas. Stoll explica que "a arquitetura deste sistema não precisaria ser trocada para operar com outras linguagens de sinal. Ele só precisaria de mais vídeos em outras linguagens para servir como banco de dados para novas aprendizagens da IA."

Os próximos passos de Stoll e cia. são incluir reconhecimento facial na jogada, uma vez que as expressões do rosto também carregam significados e nuances importantes para a linguagem de sinais, e trabalhar para que o plano de fundo das imagens capturadas pela câmera do usuário interfira cada vez menos na capacidade da IA avaliar as imagens – atualmente, é sugerido usar o software com imagens filmadas em fundos lisos, de uma cor só, como uma parede de sala de aula.

Quem sabe, a partir desses ajustes, surjam apps para celular com esse tipo de IA e o aprendizado de linguagens de sinais em vários idiomas seja tão acessível e popular quanto um Duolingo. Assim, falantes e não falantes estariam mais perto de falar a mesma língua.