O lado enviesado da inteligência artificial

Em 2016, o site ProPublica descreveu a história de duas pessoas que cometeram pequenos delitos na Flórida, EUA. Ambas foram detidas por roubar uma quantia semelhante (cerca de US$ 80) e tiveram seus dados processados por um software que calculou a probabilidade de cometerem um crime novamente.

Um dos detidos era a negra Brisha Borden, sem histórico criminal relevante. O outro era Vernon Prater, branco, que já tinha roubos a mão armada no histórico, além de uma temporada de 5 anos na prisão. A máquina atribuiu à primeira uma maior probabilidade de reincidência no crime. Passados dois anos da detenção e do prognóstico do software, o resultado foi o inverso: a negra estava com a ficha limpa enquanto o branco cumpria oito anos de prisão por roubar milhares de dólares de uma loja de eletrônicos.

Analisando outros casos, a reportagem demonstrou que o programa sistematicamente atribuía a negros probabilidades maiores de cometer crimes, ainda que eles tivessem histórico e perfil similares ao de brancos. Mas como o software aprendeu a ser preconceituoso? Do mesmo jeito que uma criança aprende, intuitivamente, com a sociedade que a rodeia.

É mais ou menos como acontece com o tradutor do Google. No seu modelo de aprendizagem, a tecnologia é alimentada por uma grande quantidade de textos em variados idiomas. A partir dessa robusta base de dados, o tradutor "aprende" as novas línguas identificando padrões recorrentes e estabelecendo associações lógicas entre palavras.

E é aí que o enviesamento se manifesta. Numa reportagem da Vox, a cientista da computação Aylin Caliskan, da Universidade George Washington, descreve um exemplo simples em uma de sua línguas nativas, o turco. Caliskan começa explicando que, em turco, não há pronomes que indiquem gênero, como é o caso de "ele" e "ela" em português. Ainda assim, quando ela traduzia frases turcas para o inglês, o algoritmo determinava o gênero de acordo com seu repertório. Então, se havia um "médico" na frase, o software já complementava com um "ele", admitindo tratar-se de um homem, ainda que não houvesse indicação nenhuma disso no texto.

Um enviesamento simples, e aparentemente inocente, como esse pode afetar a nossa vida de maneira direta e problemática. Em uma IA que avalia currículos de candidatos a uma vaga de emprego em engenharia, esse mesmo viés pode favorecer o recrutamento de homens em detrimento de mulheres. Basta, para isso, que palavras como "engenharia" e "engenheiro" estejam mais associadas ao gênero masculino na base de dados da IA. Ou ainda que esse banco de dados aponte um histórico de maior contratação de homens para esse perfil de vagas.

De acordo com especialistas, é preciso que desenvolvedores e demais envolvidos com IA atentem para o fato de que apesar de os dados serem objetivos, eles refletem as subjetividades e os vieses de quem gera esses dados: nós, os humanos. Portanto, é no mínimo ingênuo e, no limite, desonesto, confiar avaliações e julgamentos a respeito de indivíduos, numa idealizada – pois inexistente – isenção das máquinas.