Na última semana tive o prazer de conversar com a jornalista Beatriz Sans, do R7, sobre o caso recente da controvérsia em torno do FaceApp. A jornalista escreveu matéria muito interessante sobre o aplicativo e citou outros casos que tenho mapeados na Timeline. Você pode clicar abaixo para ver a reportagem e colo, em seguida, a íntegra das minhas respostas:

Por que o FaceApp pode ser considerado racista?

Em 2017 o FaceApp viralizou pela primeira vez e jornalistas e ativistas ingleses identificaram como o aplicativo tinha um filtro chamado “Hot”, que deixaria as selfies mais atraentes, que embranqueceu rostos de todos usuários, inclusive de usuários negros e indianos de forma aberrante.

Na pesquisa desenvolvo o conceito de “racismo algorítmico” para tratar de como sistemas e práticas racistas se manifestam em aplicativos e agentes artificiais. Em minha tese mapeio dezenas de casos explícitos como o do FaceApp, mas mais do que apontar um aplicativo ou outro, é importante entender como a desigualdade resultante de séculos de exploração, ainda vigentes, se desdobra também em tecnologias do cotidiano.

Quais são as preocupações que o usuário precisa ter ao usar esses aplicativos? De que forma essas imagens podem ser utilizadas no futuro? Quais são os principais problemas com o reconhecimento facial?

Eu defendo que as pessoas sejam cautelosas com procedimentos e aplicativos de processamento automático de conteúdo e inteligência artificial. Individualmente podem ter impactos negativos pontuais: no caso do FaceApp, insultos à estética e beleza não-europeia, por exemplo. Mas de modo mais amplo alguns destes aplicativos somam informações para o treinamento de sistemas de aprendizado de máquina que, posteriormente, podem ter desdobramentos nocivos.

O mais recorrente deles é o uso desses dados coletivos para sistemas de reconhecimento facial que ajudem projetos opressivos em países autoritários ou em declínio democrático. Por exemplo, nos EUA funcionários da Amazon estão protestando e tentando impedir que a empresa trabalhe para órgãos como o ICE que documenta e persegue imigrantes no país.

Outro uso em crescimento é a construção dos chamados deep fakes, que são simulações de fotografias e vídeos de pessoas que não existem ou de pessoas reais, mas em situações falsas. Podem e são usados para projetos de desinformação que se multiplicam em torno do mundo em controvérsias políticas.

Mesmo o reconhecimento facial para fins de identificação cotidiana em contextos democráticos e justos é criticado em torno do mundo. Muitos juristas e ativistas defendem que o uso de reconhecimento facial como tecnologia biométrica não deveria ser disseminado. Mas, ao contrário, já está sendo usado por polícias de todo o mundo – e de forma desastrosa.

Em estudo recente, se descobriu que 81% dos casos de reconhecimento de suspeitos na região de Londres foram errados. No Brasil algumas cidades estão usando o recurso e já há casos de erros documentados no Rio de Janeiro. Estas tecnologias não deveriam ser implementadas sem amplo debate com a sociedade e organizações de direitos civis.

Como o racismo algorítmico impacta em outras áreas da tecnologia?

Há casos documentados não só na comunicação e em plataformas de mídias sociais, mas em diversas áreas. Diversos sistemas de inteligência artificial para recrutamento já foram analisados como falhos neste sentido e um dos casos recentes mais chocantes foi da inovação na indústria automotiva.  Pesquisadores da George Institute of Technology mostraram que alguns sistemas de visão computacional usados em carros autônomos em desenvolvimento identificariam pedestres negros com menos precisão. Ou seja, literalmente teriam mais chance de ser atropelados se estes carros já estivessem circulando.

Como as empresas de tecnologia colaboram para a continuação do racismo?

Há três modos principais que são parte causa e parte consequência. O mais simples é no próprio viés de contratação de desenvolvedores, engenheiros e gerentes de produto em empresas de tecnologia de mídias sociais e/ou inteligência artificial. Dados do relatório EEO-1 Comissão Governamental de Igualdade no Emprego dos EUA mostram que os profissionais do Vale do Silício não representam a multiplicidade da população americana. Isto tem impactos nas plataformas e dispositivos pois, em consequência, abarcarão menos a diversidade de usos e usuários.

O segundo é a questão da omissão, em parte, resultante do primeiro motivo. Boa parte das manifestações de racismo algorítmico documentadas nos últimos anos se tratou de sistemas que intensificam procedimentos racistas por terem sido treinados com bases de dados criadas por sistemas enviesados, com pouca representatividade racial e cultural. Mas a omissão também é um problema relevante, uma vez que nem sequer foram testados corretamente antes de ir ao ar alguns sistemas problemáticos.

Por fim, um grande desafio é que o próprio modelo de negócio dessas empresas promove a ideia de que “tecnologias são neutras” quando não o são. Nos EUA há trabalhos fantásticos de auditoria e análise dessas plataformas por pesquisadoras de universidade de ponta, como Joy Buolamwini, Safiya Noble e Ruha Benjamim. Entretanto, criar sistemas efetivamente justos gera mais custos – então as plataformas defendem que são “apenas tecnologia” e não sistemas de mídia, com responsabilidade constitucional como tais.

Quais medidas podem ser tomadas para que as minorias não sofram com o racismo algorítmico?

A primeira medida, e mais importante, é compreender que a concentração midiática em poucas plataformas, sobretudo de empresas de tecnologia advindas dos países de sempre, não é positiva. Uma internet plural e diversa em tecnologias, sites e ambientes remedia os potenciais nocivos dessa concentração atual.

Além disso, tecnologias e ambientes digitais do tipo devem ser regulados pela sociedade, através de representantes em instituições civis, casas legislativas e órgãos governamentais. Sociedades saudáveis e democráticas olham para a inovação e tecnologia de forma responsável, buscando o bem comum.

Por fim, a ideia de “literacia midiática e algorítmica” busca promover o conhecimento sobre como mídias e tecnologias são consumidas e produzidas. Idealmente toda a sociedade deveria entender e poder analisar as tecnologias de uma forma crítica, não apenas pesquisadores acadêmicos e jornalistas especializados. Para democracias saudáveis no futuro, é indispensável que este tipo de reflexão esteja inclusa também no ensino básico.

Você pode citar outros exemplos de racismo algorítmico?

Gostaria de destacar dois deles. Em 2016, grupos americanos descobriram que o Facebook possui uma opção que permite excluir afro-americanos e asiático-americanos de anúncios em sua plataforma, inclusive pra categorias como habitação. Ao mesmo tempo, não permitia excluir caucasianos. O mais grave é que infringia claramente o chamado Fair Housing Act, criado nos anos 1960 para evitar discriminação racial na compra, aluguel e venda de imóveis nos EUA. O recurso ilegal ficou anos no ar, prejudicando a equidade no mercado imobiliário.

Talvez o caso mais famoso e grave, da área da justiça, foi o do COMPAS. O sistema tem um recurso de análise de probabilidade de reincidência que dá um escore de possibilidade preditiva de ex-infratores cometerem novos delitos. Foi descoberto que as recomendações eram enviesadas negativamente contra negros e suavizavam contra brancos. Ou seja, o COMPAS destruiu famílias ao encarcerar por mais tempo injustamente pessoas que cometeram pequenos delitos (como furto) simplesmente por serem negras.

Há alguma forma segura para pessoas negras e outras minorias que desejam participar das redes sociais e outros apps sem que sua privacidade seja violada?

No atual ecossistema midiático extremamente concentrado a resposta pode ser um simples “não”. Ou ao menos não com nomes, imagens e identidades reais. Mas ainda mais importante do que preservar a privacidade nestes ambientes, precisamos incentivar o uso múltiplo da internet. Websites pessoais, blogs, fóruns alternativos, wikis e sites de redes sociais locais e segmentados podem ajudar a reduzir a dependência das mesmas velhas mídias sociais.