Algoritmos de Opressão: como mecanismos de busca reforçam o racismo

Algoritmos e plataformas não são neutros. São construídos de modo que algumas visões de mundo, ideologias e pontos de vista se destacam e impõem-se, seja de forma intencional ou não. Apesar de estarmos em 2018 e centenas de pesquisadores, desenvolvedores e profissionais destacarem isto, a plataformização da mídia e do capitalismo através de empresas como Google, Facebook, Uber, AirBnB e similares surfa (e alimenta) a onda do individualismo, livre mercado e endeusamento estúpido da “tecnologia” para argumentar justamente o contrário: que seriam ambientes neutros por serem, justamente, criados com mecanismos de automatização de decisões livres da interferência humana.

Pesquisadores sérios e alguns segmentos da população como, por exemplo, mulheres negras, não podem se dar ao luxo de ignorar impacto e vieses dos algoritmos. Nesta interseção, a pesquisadora e professora Safiya U. Noble nos presenteou com a indispensável publicação de Algorithms of Oppression: how search engines reinforces racism lançado oficialmente neste mês de fevereiro de 2018. é Ph.D. pela University of Illinois, professora na University of Southern California (USC), previamente tendo ensinado também na UCLA, além de ser co-fundadora do Information Ethics & Equity Institute. Também é sócia de empresa focada em ciência de dados e pesquisa, a Stratteligence. Antes desse livro, co-editou “The Interesectional Internet: Race, Sex, Culture and Class Online” e “Emotions, Technology & Design”.

Em Algorithms of Oppression: how search engines reinforces racisma autora apresenta os resultados de ampla pesquisa sobre algoritmos e representação de determinados grupos, sobretudo mulheres e garotas negras no Google. A autora abre o primeiro capítulo, “A Society, Searching”, relembrando a campanha circulada pela UN Women que usou telas reais do recurso “Autocompletar” do buscador Google para mostrar como o sexismo e misoginia são representados pelas sugestões reais.

A campanha é o gancho para começar a discussão sobre a relevância e utilidade destes recursos como fortalecedores dos comportamentos que representam. Em seguida, a autora traz mais exemplos sobre representações de mulheres a partir de buscas tão simples quanto “black girls”, “why are women so” ou “why are Black people so” para mostrar como mecanismos de acesso a informação privilegiam pontos de vista de posições de poder – por exemplo, a hiperssexualização das garotas negras nos resultados é fruto de padrões de busca por conteúdo sexual e pornográfico, desrespeitando as mulheres negras como construtoras de narrativas e conteúdos próprios. Para tratar deste problema de pesquisa, Noble propõe a aplicação de uma abordagem com método e epistemologia feminista ao citar Sandra Harding, que diz que “Definir o que é necessário em termos de explicação científica apenas da perspectiva da experiência de homens brancos burgueses leva a compreensão parcial e até perversa da vida social”.

O segundo capítulo “Searching for Black Girls” traz diversos estudos de caso sobre representação de minorias políticas nos resultados da Google, para buscas como “black girls”, “latina girls”, “asian girls” etc.  A tela abaixo é inclusa no livro e mostra como os resultados para “black girls” oferecem uma representação pornográfica de meninas negras nos resultados.

Noble critica o uso puramente comercial, pela Google, de iniciativas como Black Girls Code, que não se reflete na melhoria de práticas na empresa de tecnologia ou na contratação minimamente representativa de profissionais negros. A distribuição de profissionais em empresas como a Google, Facebook e outras gigantes da tecnologia não representam nem de longe a distribuição de gênero e raça no país.

É especialmente relevante o fato de que a Google não só contrata engenheiros e cientistas da computação de forma enviesada, como também não constrói cargos e departamentos direcionados a tarefas de otimização da oferta de mídia quanto a diversidade cultural e respeito à humanidade dos seus clientes. Não são práticas novas, apesar das embalagens do Vale do Silício, como Noble demonstra ao fazer ligações destas representações ao histórico de construção de categorias raciais discriminatórias com fins de dominação. É imprescindível, então, adereçar a opacidades das tecnologias que regem as trocas comunicacionais:

“The more we can make transparent the political dimensions of technology, the more we might be able to intervene in the spaces where algorithms are becoming a substitute for public policy debates over resource distribution – from mortgages to insurance to educational opportunities”

O terceiro capítulo trata da representação de pessoas e comunidades na web em resultados de busca, especialmente o caso de sites de notícias falsas criadas por racistas supremacistas brancos nos EUA. Usando o exemplo de termos como “black on white crime”, a autora mostra como os resultados melhor rankeados levam a sites com dados falsos e cheios de discurso de ódio, com SERPs (“search engine results page”, termo usado geralmente para se referenciar à primeira página) que geram receita para a organização.

O quarto capítulo se debruça sobre ações realizadas por grupos e indivíduos para se proteger dos malefícios dos vieses dos mecanismos de busca e do registro ilegal ou antiético de dados. A partir de casos famosos como o IsAnyoneUp (site que hospedava ilegalmente “pornô de vingança”), a autora mostra correlatos relacionados à perfilização de indivíduos em categorias criminosas. Sites como UnpublishArrest e Mugshots cobram para retirar fotos de fichamento (“mugshots”) divulgadas amplamente na internet, que prejudicam indivíduos tanto culpados quanto inocentes. Como dados mostram, minorias étnicas são presas e fichadas de forma errônea e/ou abusiva com muito mais frequência nos EUA, o que leva a morosidade (4 a 6 semanas, quando acontece) de tentativas de “limpar” resultados de busca um mecanismo de intensificação da violência contra as minorias. O “direito ao esquecimento”, tema que já tratamos aqui no blog a partir de Mayer-Schonberger, é explorado a partir do pensamento de autores como Oscar Gandy Jr., mostrando alternativas para a materialização de aspectos negativos da ultra-racionalização enviesada da sociedade.

O fechamento deste capítulo tenta enfatizar a importância da retomada da transparência sobre decisões quanto a construção de índices e sistemas de informação:

In addition to public policy, we can reconceptualize the design of indexes of the web that might be managed by librarians and info rmation institutions and workers to radically shift our ability to contextualize information. This could lead to significantly greater transparency, rather than continuing to make the neoliberal capitalist project of commercial search opaque.

O quinto capítulo, então, parte para imaginar o “Future of Knowledge in the Public” a partir de uma revisão crítica sobre o histórico de problemas de classificação de temas, pessoas e grupos em repositórios de informação. Até muito recentemente categorias como “Jewish Question”, “Yellow Peril” eram usadas no sistema de classificação da Biblioteca do Congresso nos EUA, que estabelece os padrões seguidos no país. A dominação cultural sobre minorias é estruturada e materializada em códigos de enquadramento de estudos, literatura e pensamento sobre a sociedade de um modo que direciona as interpretações e desdobramentos possíveis. Sistemas de informação não são objetivos e não podem ser vistos dessa forma. Noble propõe seguir as recomendações do prof. Jonathan Furner para se aplicar Teoria Racial Crítica a estudos de informação, através de procedimentos como:

  •  Aceitação, pelos criadores dos sistemas, que os vieses existem e são resultados inevitáveis dos modos pelos quais são estruturados;
  • Reconhecimento que a aderência a uma política de neutralidade contribuir pouco para a erradicação dos vieses e pode, na verdade, estender suas existências;
  • Construção, coleta e análise de expressões narrativas de sentimentos, pensamentos e crenças de usuários de populações racialmente diversas dos esquema de classificação.

Buscando discutir como encontrar informação “culturalmente situada” na web, a autora explica o valor e potencial de alteridade de sites e buscadores focados em minorias como Blackbird (www.blackbirdhome.com),as BlackWebPortal (www.blackwebportal.com), BlackFind.com (www.blackfind.com), Jewogle (www.jewogle.com), Jewish.net (http://jewish.net/), JewGotIt (www.jewgotit.com) e  Maven Search (www.maven.co.il).

No sexto e último capítulo, “The Future of Information Culture”, Noble critica o monopólio da informação e o papel de organismos regulatórios como a FCC (Federal Communications Commission) nos EUA. Discutir o papel de organizações de mídia cada vez mais concentradas é uma questão de políticas públicas. A autora mostra, através da revisão de várias decisões judiciais, como os possíveis malefícios desta concentração tem impactos que são materializados em casos “extremos” ao mesmo tempo que influenciam a sociedade como um todo. A insistência de enquadrar ecossistemas da Google, Facebook e afins como “neutros”, como se não tivessem responsabilidade tais como organizações de mídia e imprensa também é endereçada pela autora. Para que a internet seja de fato uma fonte de oportunidades para as pessoas de forma democrática, os modos pelos quais suas principais propriedades são construídas deve estar sob princípios de transparência e acontabilidade.

Assim como a diversidade no Vale do Silício ter diminuído ao invés de aumentado nos últimos anos, a desigualdade econômica entre famílias brancas, negras e hispânicas cresceu. Segundo dados da Federal Reserve, o patrimônio líquido de famílias brancas era cerca de 10x o de famílias negras.

A autora traz as colaborações da pesquisa sobre exclusão digital para detalhar como aspectos econômicos, educacionais, culturais são materializados em três pontos principais de desigualdade quanto a tecnologia: acesso a computadores e softwares; desenvolvimento de habilidades e treinamento; e conectividade à Internet, como banda larga.

Por fim, como diz de forma “a desigualdade social não será resolvida por um app”. A nossa atual confiança excessiva nas tecnologias e auto-regulação de mercados esconde os impactos e decisões feitas dia a dia por profissionais, designers, engenheiros, cientistas e executivos de negócio que pecam por intenção ou omissão quanto à efetiva liberdade de expressão e uso da web. Somente a associação intencional, inteligente e diversa de pessoas de diferentes backgrounds profissionais e culturais engajadas em tornar o mundo um lugar melhor pode salvar a internet. As concepções neoliberais sobre mercado, comunicação e democracia vão contra este objetivo, como aponta em:

New, neoliberal conceptions of individual freedoms (especially in the realm of technology use) are oversupported in direct opposition to protections realized through large-scale organizing to ensure collective rights. This is evident in the past thirty years of active antilabor policies put forward by several administrations47 and in increasing hostility toward unions and twenty-first-century civil rights organizations such as Black Lives Matter. These proindividual, anticommunity ideologies have been central to the antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems.

É possível ver uma palestra de Safiya U. Noble realizada no Personal Democracy Forum 2016 que cobre as ideias principais da publicação:

Saiba mais sobre o livro e o trabalho da autora em seu site: https://safiyaunoble.com/research-writing/

Projeto de Joy Buolamwini (@jovialjoy) combate discriminação nos algoritmos

Joy Buolamwini é mestre por Oxford e doutoranda e pesquisadora no MIT e, a partir de sua pesquisa motivada por experiências pessoais de discriminação através de vieses dos algoritmos, ela lançou os projetos Coded Gaze e Algorithmic Justice League, para combater os problemas causados pela tecnologia e algoritmos falsamente objetivos. Ela ainda é co-fundadora do Myavana Hair, sistema de recomendação de produtos, serviços e expertise para cada tipo de cabelo. Em novembro, deu uma palestra no TEDxBeaconStreet sobre o tema. Pode ser vista no vídeo abaixo, mas infelizmente ainda não há legendas em português. Então traduzi, em seguida, a transcrição oferecida pelo próprio website, para facilitar a compreensão:

Tradução da Transcrição

0:12

Olá, eu sou a Joy, uma poeta do código, com uma missão de enfrentar uma força invisível que está crescendo, uma força que eu chamei de “o olhar codificado”, meu termo para vieses algorítimicos.

0:26

Viés algorítmico (algorithmic bias), assim como o viés humano, resulta em injustiça. Entretanto, algoritmos, como vírus, podem compartilhar vieses em uma escala massiva com muita velocidade. Viés algorítmico pode também levar a experiências excludentes e práticas discriminatórias. Deixe-me mostrar o que quero dizer.

0:47

(Vídeo) Joy Boulamwini: Oi, câmera. Eu tenho um rosto. Você pode ver meu rosto? E meu rosto em óculos? Você pode ver o rosto dela. E o meu rosto? Agora tenho uma máscara. Você pode ver minha máscara?

1:07

Joy Boylamwini: Então, como isto aconteceu? Por que estou em frente a um computador com uma máscara branca, tentando ser detectada por uma câmera barata? Bem, quando não estou lutando contra o “olhar codificado” como uma poeta do código, eu sou uma estudante de pós-graduação no MIT Media Lab, e lá eu tenho a oportunidade de trabalhar em todos os tipos de projetos fantásticos, incluindo o Aspire Mirror, um projeto que eu fiz para projetar máscaras digitais em meus reflexos. Então, de manhã, se eu quiser me sentir poderosa, posso colocar uma máscara de leão. Se quero me sentir pra cima, posso colocar uma citação. Então, usei software genérico de reconhecimento facial para construir o sistema, mas descobri que era muito difícil de testá-lo a não ser que eu usasse uma máscara branca.

1:55

Infelizmente, já passei por este problema antes. Quando eu era graduando na Georgia Tech estudando Ciência da Computação, eu trabalhava com robôs sociais e uma de minhas tarefas era fazer um robô brincar de peek-a-boo, uma brancadeira simples onde as pessoas brincando cobrem sua própria face e a descobrem dizendo “Peek-a-boo!”. O problema é: peek-a-boo não funciona se eu não posso ver você, e meu robô não conseguia me ver. Mas eu emprestei o rosto de minha colega de quarto para fazer o projeto, submeti o trabalho e percebi, sabe de uma coisa, outra pessoa vai resolver este problema.

2:32

Não muito tempo depois disto, eu estava em Hong Kong para uma competição de empreendedorismo. Os organizadores decidiram levar os participantes a um tour pelas statups locais. Uma das startups tinha um robô social e eles decidiram fazer uma demonstração. A demo funcionou com todo mundo, exceto comigo, como você pode adivinhar. Não conseguiu detectar meu rosto. Perguntei aos desenvolvedores o que estava acontecendo e disseram que também estavam usando o mesmo software genérico de reconhecimento facial. Do outro lado do mundo, aprendi que o viés algorítmico pode viajar tão rápido quanto baixar alguns arquivos da internet.

3:14

Então o que estava acontecendo? Por que minha face não estava sendo detectada? Bem, precisamos nos debruçar como damos visão às máquinas. Visão computacional usa aprendizado de máquina para fazer reconhecimento facial. Então funciona da seguinte forma. Você cria uma base de treinamento com exemplos de rostos. Este é um rosto. Este é um rosto. Isto não é um rosto. E ao longo do tempo, você pode ensinar um computador a como reconhecer outros rostos. Entretanto, se a base de treinamento não é diversa, qualquer rosto que se desvie da norma estabelecida será difícil de detectar, o que aconteceu comigo.

3:48

Mas não se preocupe – há boas notícias. Bases de treinamento não se materializaram do nada. Na verdade, nós criamos eles. Então há uma oportunidade para criar bases de treinamento realmente abrangentes que reflitam um retrato mais rico da humanidade.

4:03

Agora vocês viram em meus exemplos com robôs sociais como eu descobri sobre exclusão com viés algorítmico. Mas viés algorítmico também pode levar a práticas discriminatórias. Nos EUA, departamentos de polícia estão começando a usar softwares de reconhecimento facial em seu arsenal contra o crime. Georgetown Law publicou um relatório mostrando como um a cada dois adultos nos EUA – cerca de 117 milhões de pessoas – já tem seus rostos em redes de reconhecimento facial. Departamentos de polícia atualmente acessam estas redes desreguladas, usando algoritmos que não foram auditados para precisão. Mas sabemos que reconhecimento facial é falível e identificar rostos consistentemente continua sendo um desafio. Você pode ter visto isto no Facebook. Meus amigos e eu rimos toda hora vendo pessoas marcadas de forma errada em nossas fotos. Mas identificar de forma errônea um suspeito de crime não é uma piada, assim como não é infringir as liberdades civis.

5:11

Aprendizado de máquina tem sido usado para reconhecimento fácil, mas também está se ampliando além do reino da visão computacional. Em seu livro “Weapons of Math Destruction”, a cientista de dados Cathy O’Neil fala sobre o crescimento dos novos WMDs – widespread, mysterious e destructive algoritmos que estão sendo cada vez mais usados para tomada de decisões que impactam mais e mais aspectos de nossas vidas. Então quem é contratado ou demitido?  Você consegue aquele empréstico? Você consegue seguro? Você é aprovado na faculdade que queria? Você e eu pagamos o mesmo preço pelo menos produto comprado na mesma plataforma?

5:55

Instituições da lei estão começando a aplicar aprendizado de máquina para polícia preditiva. Alguns juízes usam escores de risco gerados por máquinas para determinar quanto um indivíduo vai ficar na prisão. Então realmente temos que pensar nestas decisões. Elas são justas? E o que estamos vendo é que o viés algorítmico não necessariamente leva a resultados justos.

6:19

E o que podemos fazer sobre isto? Bem, podemos começar a pensar sobre como criar código mais inclusivo e empregar práticas de programação inclusivas. Realmente começa com as pessoas. Então quem programa importa. Estamos criando times abrangentes com indivíduos diversos que podem checar os pontos cegos uns dos outros? No lado técnico, como se programa importa. Estamos adicionando equidade enquanto desenvolvemos sistemas? E, finalmente, o porquê de programarmos importa. Usamos ferramentas de criação computacional para gerar riqueza imensa. E agora temos a oportunidade de gerar ainda mais igualdade se tornarmos mudança social uma prioridade e não apenas algo secundário. E são estes os três princípios que fazem o movimento “incoding”. Quem programa importa, como programamos importa e quem programa importa

7:14

Então para ir em direção a “incoding”, nós podemos começar a pensar em construir plataformas que identifiquem vieses ao coletar as experiências das pessoas como as que eu compartilhei, mas também auditando software existente. Nós podemos começar a criar bases de treinamento mais inclusivas. Imagine uma campanha “Selfies para Inclusão” onde você e EU podemos ajudar desenvolvedores testar e criar bases de treinamento mais inclusivas. E nós podemos pensar mais conscientemente sobre o impacto social da tecnologia que estamos desenvolvendo.

7:48

Para começar este movimento de “incoding”, lancei a Liga da Justiça Algorítmica (Algorithmic Justice League), onde qualquer pessoa que se importa com equidade pode ajudar a lugar o olhar codificado. Em codedgae.com, você pode reportar viés, pedir auditorias, se tornar um testador e se juntar ao debate contínuo – #codedgaze

8:11

Então, eu te convido a se juntar a mim na criação de um mundo onde a tecnologia trabalha para todos nós, não apenas alguns de nós, um mundo onde valorizamos inclusão e centralizamos mudança social.

8:24

Obrigado.

8:25

(Aplausos)

8:31

Mas eu tenho uma questão: vocês vão se juntar a mim na luta?

8:36

Risadas

8:38

Aplausos

Além das hashtags – #Ferguson, #Blacklivesmatter e a batalha online por justiça offline

Desde 2014, cresceu online a mobilização para denúncia e repúdio às execuções de indivíduos negros desarmados por policiais nos EUA. Além do uso desproporcional da força em casos que envolviam crimes efetivos, aconteceram execuções escandalosamente racistas – como o chocante caso de Tamir Rice, de 12 anos, morto enquanto brincava em um parque.

mortes-por-policiais-estados-unidos-inglaterra-alemanha-e-japao

Mortes por policiais nos EUA e outros países também populosos e com IDH altíssimo, em 2013. No Brasil, em 2014, foram 3.022 pessoas.

O movimento e hashtag #BlackLivesMatter (“Vidas Negras Importam”) surgiu em 2013, mas se intensificou a partir de 2014. A possibilidade de circular informação sobre os casos nas mídias sociais, somada às evidências dos acontecimentos através de vídeo abriram a possibilidade de gerar fortes manifestações, como os protestos em Ferguson depois que a justiça americana inocentou policial que matou Michael Brown com seis tiros.

beyond-the-hashtagsO relatório Beyond Hashtags: #Ferguson, #Blacklivesmatter, and the online for offline struggle, realizado pelos pesquisadores Deen Freelon (American University), Chartlton D. Mcilwain (New York University) e Meredith D. Clark (University of North Texas) foi publicado neste ano e aplicou métodos digitais de pesquisa a 40,8 milhões de tweets, 100 mil links e 40 entrevistas com ativistas e aliados do BLM.

  • Foram encontradas seis grandes comunidades de conversa, a partir da análise de redes: Black Lives Matter; Anonymous/Bipartisan Report; Artistas/Profissionais de Entretenimento Negros; Conservadores; Notícias Mainstream; Twitter Negro Jovem.
  • O maior parte das comunidades observadas apoiam justiça para as vítimas e denunciam a brutalidade policial;
  • Os jovens negros discutiram a brutalidade policial, mas de modos diferentes das outras comunidades;
  • Ativistas conseguiram educar observadores casuais em dois pontos: choque e descrença sobre as reações policiais nos protestos de Ferguson; e reconhecimento pelos Conservadores, da brutalidade policial nos casos de Eric Garner e Walter Scott.

Os pesquisadores descobriram 9 períodos distintos de mobilização, nos quais aplicaram 2 perguntas de pesquisa em dois níveis de abstração. No nível Macro, analisou as comunidades em rede e as hashtags mais utilizadas; no nível micro, os principais usuários em cada comunidade e análise dos tweets muito replicados. Assim, conseguiram responder as perguntas “Quem é mais ouvido?” e “O que estes usuários dizem”.

beyond-the-hashtags

 

Ao longo de suas 92 páginas, os autores aplicaram um processo muito útil e eloquente de simplificação das redes em suas comunidades. O grafo abaixo, por exemplo, representa 3,9 milhões de tweets de 897 mil usuários, que foram esquematizados nas comunidades participantes e suas interações.  Foi possível observar, por exemplo, a presença de conservadores contra os movimentos e mobilização, e também a presença de ativistas da Rússia e Irã expondo as contradições internas estadunidenses.

beyond-the-hashtags-period-9-communities

Alguns dos tweets de destaque do período: de conservadores promovendo a violência; flagra de violência contra jornalista; e articulação dos militantes.

beyond-the-hashtags

Diversos recursos criativos de análise dos dados a partir da perspectiva dos métodos digitais foram utilizados. Em um trecho do relatório, os sites são comparados em torno de sua idade, usando dados da WaybackMachine:

beyond-the-hashtags-sites-age

Entre as várias ricas conclusões, os autores observaram que raramente os tweets mais replicados são aqueles que estão articulando movimentação presencial. Geralmente são informacionais. Isto pode ser visto tanto quanto indicador do risco inerente em se expor ao tema, quanto indicador da necessidade de se aprofundar na cauda longa da análise, assim como este estudo conseguiu.

We also found that attempts to coordinate movement action were rare among the top tweets. By this we mean information about where protests would be held, invitations to participate, instructions on how to participate, and discussions about what kinds of actions should be held. We saw a few such tweets in passing and some of our interview participants mentioned finding out about protests from Twitter. However, movement action tweets were not among the most shared. This implies that most people paying attention to BLM online were more interested in consuming information and participating digitally than in offline participation. This is not much of a surprise, especially considering the risks of some of BLM’s offline actions. But it does remind us that just because a certain movement use of Twitter is not the most visible does not mean it is not occurring somewhere. It simply means that researchers and interested citizens might need to dig a bit deeper to understand the full scope of social media’s value for activists.

Alguns dos autores estão também envolvidos com o projeto DocNow, que busca desenvolver um software e promover educação sobre a importância de preservar recursos e documentos online para ativistas e pesquisadores de direitos humanos. Em breve, escreverei mais sobre o projeto:

docnow

 

 

 

 

Internet: terreno fértil para construção de novas narrativas contra o racismo

Pude falar um pouco do ponto de vista da comunicação e mídia na reportagem “Internet: terreno fértil para construção de novas narrativas contra o racismo”, de Juliana Dias, na revista Acho Digno. O texto traz vários projetos fantásticos de afroempreendedorismo e contra-narrativas para combater o racismo. Acesse:

revista acho digno