Máquinas e robôs não estão imunes a reproduzir discriminação e racismo. O que em um primeiro momento pode parecer um erro, na verdade, mostra que os sistemas seguem as agendas de quem os constrói, de como eles são desenvolvidos e por quem eles são usados. Separamos exemplos que por mais absurdos que possam soar, provam que o racismo algorítmico está presente e ativo em muitas tecnologias do nosso dia a dia.
1. #NãoSomosTodosShirley
Nos anos 1950, a pele branca era considerada o padrão para as impressões de filmes analógicos graças ao cartão de padronização da Kodak chamado Shirley. Shirley era uma mulher branca de olhos claros e cabelos castanhos. A ideia era que, se Shirley saísse bem na foto, então a calibração das cores estaria correta.
Nos anos 1970, foi a demanda de empresas de móveis e de chocolates que fez com que a Kodak começasse a pensar em diversificar esses cartões. No meio dos anos 1990, então, eles criaram um cartão Shirley com três mulheres: uma branca, uma negra e uma asiática — e, mais tarde, incluíram uma latina. Mas esse cartão não foi adotado por todo mundo.
Até hoje, mesmo com mais tecnologia, ainda vemos más representações de peles negras em fotos e vídeos. A diretora de fotografia Ava Berkofsky é umas das profissionais que desenvolveu técnicas de iluminação para melhorar a forma como a pele de artistas negros aparece nas telas. É possível ver o seu trabalho em ação na série Insecure, da HBO.
2. Ela precisou de uma máscara
A cientista da computação Joy Buolamwini estava trabalhando no projeto de um software de análise facial quando percebeu que ele não detectava o seu rosto, mas o de seus colegas brancos do MIT, sim.
Ela, então, decidiu desenhar um rosto na palma da sua mão e o mostrou para a câmera, que o reconheceu imediatamente. Sem conseguir fazer com que a máquina a reconhecesse, ela não viu outra saída senão terminar o projeto usando uma máscara branca sobre o próprio rosto. Foi por causa desse episódio que, em 2016, Joy criou a Algorithmic Justice League para debater a urgência de vieses racistas na tecnologia.
3. Selfies homogêneas
O aplicativo FaceApp já enfrentou diversas acusações de racismo e discriminação. Em 2017, ele pediu desculpas aos seus usuários por ter criado um filtro, teoricamente embelezador, que embranquecia a pele de pessoas negras e indianas.
Neste ano, ele está de volta aos holofotes por reforçar estereótipos de gênero e por transfobia, já que seus filtros funcionam de forma binária. Quando selecionada a opção “masculino”, ele coloca uma barba nas pessoas e, na “feminino”, deixa os cabelos de qualquer um invariavelmente mais longo — isso sem dizer que o próprio aplicativo define quem ele considera mulher ou homem a partir de questões bem relativas como o corte de cabelo ou a definição do maxilar.
4. Álbum de fotos
Aplicativos de fotos são campeões em classificar pessoas negras de forma racista. A tecnologia de reconhecimento facial do Google costumava dizer que os cabelos de mulheres negras eram perucas. Em um caso ainda mais grave e disseminado, ele associou o rosto de pessoas negras a gorilas.
Mais recentemente, fotos de pessoas usando uma ferramenta de medição de temperatura foram classificadas como armas quando seguradas por mãos negras, mas como “tools” (ferramentas) quando utilizadas por mãos brancas.
5. Racismo nos wearables
Os chamados wearables, dispositivos tecnológicos que você pode vestir (como um relógio inteligente), têm sido apontados como uma revolução na medicina — ainda mais em tempos de isolamento social.
Eles podem monitorar a saúde do usuário, servir para supervisionar quedas, convulsões e ataques cardíacos, ajudar na fisioterapia domiciliar e até na detecção precoce de algumas doenças. Mas pesquisas e reclamações de usuários apontam que eles não funcionam tão bem em pessoas de pele escura. O site especializado em ciência e medicina STAT mostrou em uma reportagem que alguns wearables até hoje não medem corretamente a frequência cardíaca de pessoas negras.
6. Concurso de “beleza”
Em 2016, foi criado um concurso de beleza internacional online, em que os jurados foram substituídos por máquinas. Mais de 6 mil pessoas de 100 diferentes países se inscreveram, mas quase 100% das escolhidas como as pessoas mais bonitas do mundo eram brancas, com exceção de algumas asiáticas e uma mulher negra. Os criadores mais tarde explicaram que o algoritmo não havia sido programado para entender a pele branca como um sinal de beleza, mas a falta de diversidade no seu banco de dados fez com que isso acontecesse.
7. Se você não é branco, tenha cuidado com carros que se dirigem sozinhos
Há muita polêmica ao redor dos carros que se dirigem sozinhos, e uma delas fala de racismo. Uma pesquisa do Georgia Institute of Technology mostrou que um pedestre de pele escura tem mais chances de ser atropelado por um desses carros que um de pele clara. O motivo? Primeiramente, a ferramenta de detecção ter sido treinada com mais pedestres brancos e, em segundo lugar, ela ter sido configurada para não dar tanta importância à aprendizagem de exemplos com pessoas negras.
8. Pessoas brancas têm prioridade em atendimento hospitalar
Um estudo divulgado pela Science em 2019 mostrou que o sistema de saúde dos Estados Unidos utilizava um algoritmo racista para tomar decisões. Esse algoritmo mostrava que, quando um paciente branco e um negro contraiam o mesmo grau de uma doença, o negro frequentemente era assinalado como o paciente que precisava de menos cuidados.
Isso porque o algoritmo usava como base o quanto cada paciente custava para o Estado, em termos de gastos públicos com saúde, para calcular os cuidados de que ela precisaria. Naturalmente, como pessoas negras têm menos acesso ao sistema de saúde, aparecia no sistema que elas custavam menos. E assim o algoritmo priorizava o atendimento hospitalar de pessoas brancas.
9. Scanners são binários, seres humanos, não
Passar por uma máquina que te examina por inteiro no aeroporto não é das experiências mais agradáveis. Imagine, então, ser uma pessoa trans que é classificada de forma binária por um scanner. É sobre tal constrangimento que Alex Marzano-Lesnevich, uma profissional da educação, escreve em um texto no The New York Times.
Ao entrar em uma dessas máquinas, o oficial precisa apertar um botão que diz se o passageiro é homem ou mulher. Se você afirma que ele é homem, por exemplo, mas a máquina detecta seios, a pessoa é taxada como portadora de uma anomalia que precisa ser investigada, causando constrangimento e, muitas vezes, humilhação pública.
Movimentos como o Design Justice lutam para que haja não só mais pessoas racializadas e/ou marginalizadas na criação de novas tecnologias, mas que soluções sustentáveis e menos agressivas sejam colocadas no mundo, considerando a particularidade local das comunidades. Na matéria Novas tecnologias para quem?, falamos mais sobre o tema.
Para quem quiser continuar pesquisando esse assunto que é urgente e conferir ainda mais exemplos, indicamos a linha do tempo do Racismo Algorítimo, de Tarcízio Silva, pesquisador, professor, mestre em Comunicação pela Universidade Federal da Bahia (UFBA) e doutorando em Ciências Humanas e Sociais pela Universidade Federal do ABC (UFABC).
Esta reportagem foi publicada originalmente em julho de 2020, na ELLE View, nossa revista digital mensal. Faça a sua assinatura e tenha acesso a todas as edições.