Joy Buolamwini é mestre por Oxford e doutoranda e pesquisadora no MIT e, a partir de sua pesquisa motivada por experiências pessoais de discriminação através de vieses dos algoritmos, ela lançou os projetos Coded Gaze e Algorithmic Justice League, para combater os problemas causados pela tecnologia e algoritmos falsamente objetivos. Ela ainda é co-fundadora do Myavana Hair, sistema de recomendação de produtos, serviços e expertise para cada tipo de cabelo. Em novembro, deu uma palestra no TEDxBeaconStreet sobre o tema. Pode ser vista no vídeo abaixo, mas infelizmente ainda não há legendas em português. Então traduzi, em seguida, a transcrição oferecida pelo próprio website, para facilitar a compreensão:

Tradução da Transcrição

0:12

Olá, eu sou a Joy, uma poeta do código, com uma missão de enfrentar uma força invisível que está crescendo, uma força que eu chamei de “o olhar codificado”, meu termo para vieses algorítimicos.

0:26

Viés algorítmico (algorithmic bias), assim como o viés humano, resulta em injustiça. Entretanto, algoritmos, como vírus, podem compartilhar vieses em uma escala massiva com muita velocidade. Viés algorítmico pode também levar a experiências excludentes e práticas discriminatórias. Deixe-me mostrar o que quero dizer.

0:47

(Vídeo) Joy Boulamwini: Oi, câmera. Eu tenho um rosto. Você pode ver meu rosto? E meu rosto em óculos? Você pode ver o rosto dela. E o meu rosto? Agora tenho uma máscara. Você pode ver minha máscara?

1:07

Joy Boylamwini: Então, como isto aconteceu? Por que estou em frente a um computador com uma máscara branca, tentando ser detectada por uma câmera barata? Bem, quando não estou lutando contra o “olhar codificado” como uma poeta do código, eu sou uma estudante de pós-graduação no MIT Media Lab, e lá eu tenho a oportunidade de trabalhar em todos os tipos de projetos fantásticos, incluindo o Aspire Mirror, um projeto que eu fiz para projetar máscaras digitais em meus reflexos. Então, de manhã, se eu quiser me sentir poderosa, posso colocar uma máscara de leão. Se quero me sentir pra cima, posso colocar uma citação. Então, usei software genérico de reconhecimento facial para construir o sistema, mas descobri que era muito difícil de testá-lo a não ser que eu usasse uma máscara branca.

1:55

Infelizmente, já passei por este problema antes. Quando eu era graduando na Georgia Tech estudando Ciência da Computação, eu trabalhava com robôs sociais e uma de minhas tarefas era fazer um robô brincar de peek-a-boo, uma brancadeira simples onde as pessoas brincando cobrem sua própria face e a descobrem dizendo “Peek-a-boo!”. O problema é: peek-a-boo não funciona se eu não posso ver você, e meu robô não conseguia me ver. Mas eu emprestei o rosto de minha colega de quarto para fazer o projeto, submeti o trabalho e percebi, sabe de uma coisa, outra pessoa vai resolver este problema.

2:32

Não muito tempo depois disto, eu estava em Hong Kong para uma competição de empreendedorismo. Os organizadores decidiram levar os participantes a um tour pelas statups locais. Uma das startups tinha um robô social e eles decidiram fazer uma demonstração. A demo funcionou com todo mundo, exceto comigo, como você pode adivinhar. Não conseguiu detectar meu rosto. Perguntei aos desenvolvedores o que estava acontecendo e disseram que também estavam usando o mesmo software genérico de reconhecimento facial. Do outro lado do mundo, aprendi que o viés algorítmico pode viajar tão rápido quanto baixar alguns arquivos da internet.

3:14

Então o que estava acontecendo? Por que minha face não estava sendo detectada? Bem, precisamos nos debruçar como damos visão às máquinas. Visão computacional usa aprendizado de máquina para fazer reconhecimento facial. Então funciona da seguinte forma. Você cria uma base de treinamento com exemplos de rostos. Este é um rosto. Este é um rosto. Isto não é um rosto. E ao longo do tempo, você pode ensinar um computador a como reconhecer outros rostos. Entretanto, se a base de treinamento não é diversa, qualquer rosto que se desvie da norma estabelecida será difícil de detectar, o que aconteceu comigo.

3:48

Mas não se preocupe – há boas notícias. Bases de treinamento não se materializaram do nada. Na verdade, nós criamos eles. Então há uma oportunidade para criar bases de treinamento realmente abrangentes que reflitam um retrato mais rico da humanidade.

4:03

Agora vocês viram em meus exemplos com robôs sociais como eu descobri sobre exclusão com viés algorítmico. Mas viés algorítmico também pode levar a práticas discriminatórias. Nos EUA, departamentos de polícia estão começando a usar softwares de reconhecimento facial em seu arsenal contra o crime. Georgetown Law publicou um relatório mostrando como um a cada dois adultos nos EUA – cerca de 117 milhões de pessoas – já tem seus rostos em redes de reconhecimento facial. Departamentos de polícia atualmente acessam estas redes desreguladas, usando algoritmos que não foram auditados para precisão. Mas sabemos que reconhecimento facial é falível e identificar rostos consistentemente continua sendo um desafio. Você pode ter visto isto no Facebook. Meus amigos e eu rimos toda hora vendo pessoas marcadas de forma errada em nossas fotos. Mas identificar de forma errônea um suspeito de crime não é uma piada, assim como não é infringir as liberdades civis.

5:11

Aprendizado de máquina tem sido usado para reconhecimento fácil, mas também está se ampliando além do reino da visão computacional. Em seu livro “Weapons of Math Destruction”, a cientista de dados Cathy O’Neil fala sobre o crescimento dos novos WMDs – widespread, mysterious e destructive algoritmos que estão sendo cada vez mais usados para tomada de decisões que impactam mais e mais aspectos de nossas vidas. Então quem é contratado ou demitido?  Você consegue aquele empréstico? Você consegue seguro? Você é aprovado na faculdade que queria? Você e eu pagamos o mesmo preço pelo menos produto comprado na mesma plataforma?

5:55

Instituições da lei estão começando a aplicar aprendizado de máquina para polícia preditiva. Alguns juízes usam escores de risco gerados por máquinas para determinar quanto um indivíduo vai ficar na prisão. Então realmente temos que pensar nestas decisões. Elas são justas? E o que estamos vendo é que o viés algorítmico não necessariamente leva a resultados justos.

6:19

E o que podemos fazer sobre isto? Bem, podemos começar a pensar sobre como criar código mais inclusivo e empregar práticas de programação inclusivas. Realmente começa com as pessoas. Então quem programa importa. Estamos criando times abrangentes com indivíduos diversos que podem checar os pontos cegos uns dos outros? No lado técnico, como se programa importa. Estamos adicionando equidade enquanto desenvolvemos sistemas? E, finalmente, o porquê de programarmos importa. Usamos ferramentas de criação computacional para gerar riqueza imensa. E agora temos a oportunidade de gerar ainda mais igualdade se tornarmos mudança social uma prioridade e não apenas algo secundário. E são estes os três princípios que fazem o movimento “incoding”. Quem programa importa, como programamos importa e quem programa importa

7:14

Então para ir em direção a “incoding”, nós podemos começar a pensar em construir plataformas que identifiquem vieses ao coletar as experiências das pessoas como as que eu compartilhei, mas também auditando software existente. Nós podemos começar a criar bases de treinamento mais inclusivas. Imagine uma campanha “Selfies para Inclusão” onde você e EU podemos ajudar desenvolvedores testar e criar bases de treinamento mais inclusivas. E nós podemos pensar mais conscientemente sobre o impacto social da tecnologia que estamos desenvolvendo.

7:48

Para começar este movimento de “incoding”, lancei a Liga da Justiça Algorítmica (Algorithmic Justice League), onde qualquer pessoa que se importa com equidade pode ajudar a lugar o olhar codificado. Em codedgae.com, você pode reportar viés, pedir auditorias, se tornar um testador e se juntar ao debate contínuo – #codedgaze

8:11

Então, eu te convido a se juntar a mim na criação de um mundo onde a tecnologia trabalha para todos nós, não apenas alguns de nós, um mundo onde valorizamos inclusão e centralizamos mudança social.

8:24

Obrigado.

8:25

(Aplausos)

8:31

Mas eu tenho uma questão: vocês vão se juntar a mim na luta?

8:36

Risadas

8:38

Aplausos