Avançando Literacia Racial na Tecnologia

Em inglês, a ideia de literacy (literacia) vai além da alfabetização sobre letramento de leitura e escrita. Trata-se da compreensão básica de um determinado campo, esfera de conhecimento ou de prática de modo a permitir que as pessoas vejam a realidade de forma crítica gerando autonomia. O título do documento Advancing Racial Literacy in Tech evoca este sentido, ao propor os necessários avanços da literacia racial na tecnologia, sobretudo em um momento em que a plataformização e algoritmização do mundo cria novas ameaças para grupos minorizados como as populações negras.

O projeto financiado pelo Data & Society, reúne diagnóstico e propostas de referências no tema: Jessie Daniels, uma das principais especialistas mundiais sobre racismo online, autora de livros como Cyber Racism; Mutale Nkonde, analista do Data & Society e uma das responsáveis pelo Algorithmic Accountability Act proposta para a Câmara dos Deputados dos EUA; e Darakhshan Mir, professora de Ciência da Computação na Bucknell University.

O subtítulo do documento evoca uma controvérsia sobre os estudos quanto a algoritmos e as várias linhas de atuação propostas por desenvolvedores, empresas, pesquisadores e afins. As autoras propõem que “ética, diversidade na contratação e treinamento sobre viés implícito não são suficientes”. Para adereçar os diferentes impactos raciais da tecnologia, seria preciso seguir três fundamentos:

  • Compreensão intelectual de como racismo estrutural opera em algoritmos, plataformas de mídias sociais e tecnologias ainda não desenvolvidas;
  • Inteligência emocional sobre como resolver situações racialmente estressantes em organizações e;
  • Compromisso na tomada de ação para reduzir danos a grupos racializados.

As autoras citam diversos casos de racismo algorítmico mapeados por ativistas e pesquisadoras para falar da compreensão intelectual sobre o racismo necessária para que o caminho da literacia racial na tecnologia seja trilhado. Alguns pontos são similares à perspectiva histórica da Teoria Racial Crítica: racismo é um problema atual, não apenas histórico; raça intersecta com classe, gênero e sexualidade; identidades raciais são aprendidas através de práticas sociais; um vocabulário é necessário para discutir raça, racismo e anti-racismo; códigos e práticas raciais precisam ser interpretados com precisão; e “Branquitude” tem um valor simbólico na sociedade.

Seguindo para a inteligência emocional necessária para as organizações, as autoras falam de cinco estágios graduais com quem é confrontado sobre os vieses racistas: Negação, Ausência, Confessional, Confortável e Transformacional. Basicamente esta trilha vai da Negação, o “Não vejo um problema” até o Transformacional, que seria o “Tenho o compromisso de agir para impedir os danos do racismo”. Aqui vejo algo similar. Na divulgação dos primeiros mapeamentos de minha tese tenho sido confrontado geralmente com negação impassível, quando não ataque direto. Então acredito que o debate sobre tecnologias justas deve necessariamente irmanar com o debate sobre raça e racismo no Brasil. Em trabalho recente usei o termo “dupla opacidade” justamente para tratar de como a negação tanto da conversa sobre os impactos sociais da tecnologia quanto sobre o caráter pervasivo do racismo estão ligados.

A seção a seguir fala das barreiras à literacia racial na tecnologia. O primeiro, que também já enfrentei na própria academia, é a noção errônea que “códigos e algoritmos são apenas matemática e matemática não pode discriminar“. Para as autoras isto leva a uma rejeição agressiva sobre os trabalhos que tratam de discriminação algorítmica.

Entre as iniciativas já em curso sobre ética no setor da tecnologia, as autoras identificam três abordagens comuns: investigação dos funis para os profissionais de grupos minoritários; apoio a iniciativas de “diversidade e inclusão”; e teste de vieses implícitos. Mas todas estas abordagens tem suas fragilidades. Vale sublinhar a inclusão de profissionais de grupos racializados como panaceia. Além de não representarem efetivamente sua proporção na população, há outros problemas sobre cultura corporativa e capacidade de transformação, como a Safyia Noble cita em seu livro ao falar do Black Girls Code do Google. As autoras do relatório explicam:

As pessoas na área de tecnologia nos disseram que falar sobre “diversidade e inclusão” é comumente um modo de evitar falra sobre temas raciais diretamente. Ao invés, as pessoas falam sobre “background” ou “experiência” ou “grupos sub-representados”, o que pode ocultar o quão sério é o problema do racismo sistêmico. E, para a pequena porcentagem de pessoas negras e latinas que são contratadas em empresas de tecnologia, elas enfrentam fardos múltiplos de ter de fazer o trabalho de literacia racial para seus colegas, supervisores e cultura corporativa.

Finalizando o relatório, as autoras falam de alguns passos e ações para o futuro. Como criar uma série de vídeo sobre literacia racial; desenvolver uma ferramenta de avaliação; propor currículos para disciplinas em ciência da computação; experimentos e pesquisas sobre literacia racial na tecnologia.

Para finalizar, segue um pequeno resumo do trabalho da Mutale Nkonde sobre o atraso do governo dos EUA em reagir e tentar entender o avanço da inteligência artificial, assim como passos futuros de sua pesquisa como etnografia no congresso para entender o que os times dos deputados e senadores efetivamente sabem sobre o tema:

Baixe o documento em https://racialliteracy.tech

“Tranças feias” e “tranças bonitas”: como Google intensifica racismo

Viralizou na última semana um exercício de interrogação crítica do buscador Google: basicamente pesquisar “tranças feias” e “tranças bonitas” e conferir quais imagens são destacadas na aba de resultados de imagens do buscador. Longe de ser algo pontual, estes casos, mecanismos e problemas no excelente livro de Safiya Noble “Algoritmos de Opressão: como mecanismos de busca reforçam o racismo“. Outros casos similares mantenho na minha Timeline do Racismo Algorítmico. Ontem falei com o jornalista Tiago Rugero, do blog do Ancelmo (O Globo) sobre a questão. Seguem minhas respostas:

Você considera esse um caso de racismo algorítmico?
Sim. Racismo não se trata apenas de xingamentos horrorosos contra uma minoria. Trata-se também da manutenção de desigualdades estruturadas e microagressões no cotidiano que podem ser resultado de como sistemas automatizados, como buscadores, reagem ao comportamento dos usuários. No caso que está sendo viralizado, sobre as tranças feias e bonitas, o buscador não apenas reflete percepções da sociedade, mas também pode intensificá-las ao repetir em massa sem responsabilidade. Se uma criança negra, por exemplo, vê estes resultados continuamente, sem ver outros conteúdos positivos, isto gera sentimentos negativos sobre sua estética e autoestima. Há vários pesquisadores e pesquisadoras em universidades internacionais, como Joy Buolamwini, Safiya Noble, Frank Pasquale, Cathy O’Neill, Sil Bahia, Sérgio Amadeu que tratam de impactos sociais dos algoritmos há anos, mas agora o debate se populariza.

As tecnologias não são neutras. Mas isto não quer dizer que são negativas ou positivas. Significa que podemos gerar esforços coletivamente para criar ambientes favoráveis a todas as pessoas. Algumas plataformas digitais já possuem esforços neste sentido. Microsoft e IBM, por exemplo, já reagiram a pesquisas sobre casos anteriores. É importante debater tudo isto entre desenvolvedores, sociedade, jornalistas e afins.

O que é racismo algorítmico?
O racismo algorítmico trata de entender como sistemas regidos por algoritmos podem tomar decisões negativas contra um grupo racial específico. Há casos mapeados em áreas claramente muito graves, como decisões judiciais automatizadas ou reconhecimento facial que podem gerar, por exemplo, a prisão injusta de uma pessoa inocente. Isto mostra a necessidade, já avançada em alguns países, de permitir a “auditoria algorítmica” para que sistemas contratados por governos sejam justos e não possam ser usados para fins nocivos.
Mas na comunicação também há problemas possíveis para milhões de pessoas, uma vez que hoje nós passamos a maior parte do nosso tempo em ambientes como Google e Facebook. Assim como acontece com a publicidade tradicional, a invisibilidade ou representação nociva de grupos minorizados deve ser debatida pois prejudica os grupos citados, a sociedade e a própria economia e consumo.
Na maioria dos casos, os estudos mostram que os problemas não são claramente “intencionais”. Não é um desenvolvedor racista, geralmente, que vai incluir aquelas decisões que prejudicarão alguém. Mas pecar por omissão pode ser tão negativo quanto por intenção. Por isto tanto a pressão pela transparência das plataformas quanto falar sobre casos como este é importante para gerar o debate que vai ajudar os próprios criadores destes ambientes a melhorar seus sistemas. O campo da inteligência artificial, de modo amplo, está desenvolvendo modos de treinar melhor os sistemas e desenhar melhor as interfaces para isto, com apoio também das humanidades, artes, sociólogos e jornalistas.

 

Horas depois, a Google emitiu uma nota, que reproduzo a seguir:

“Construir uma experiência de busca é um desafio complexo, dinâmico e em constante evolução. Como nossos sistemas encontram e organizam informações disponíveis na web, eventualmente, a busca pode espelhar estereótipos existentes na internet e no mundo real em função da maneira como alguns autores criam e rotulam seu conteúdo. Entendemos que pessoas de todas as raças, gêneros e grupos podem ser afetadas por essas representações. Compartilhamos essa preocupação e continuaremos trabalhando para melhorar os resultados de busca de imagens para todos nossos usuários.”

Esta pretensão de neutralidade, de que o buscador é “só uma tecnologia” está sendo combatida internacionalmente. Gostaria de destacar o artigo “Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa“, de Philip Napoli e Robyn Caplan, que explicam como discursos tais como o acima são problemáticos.

Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código

Apresentei nesta última semana o artigo Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código no Simpósio da LAVITS, em Salvador. O trabalho compõe minha pesquisa de doutorado e parte da análise de ambientes como Facebook, Twitter, YouTube e marketplaces de aplicativos mobile, que são mecanismos centrais do capitalismo de vigilância. Os vieses algorítmicos e affordances racistas nestas plataformas digitais de publicidade estão sendo crescentemente analisados nos últimos 15 anos por pesquisadoras informadas por perspectivas variadas. Como resultado estão em desenvolvimento iniciativas de auditoria de algoritmos e plataformas, construção de datasets e procedimentos mais responsáveis, além de indicações regulatórias. A opacidade presente nas caixas-pretas dos grupos de sistemas automatizados e semi-automatizados baseados em algoritmos que regem visibilidade, classificação, vigilância e regras de uso nas plataformas digitais complexifica e dificulta esta investigação. Esta questão se aplica tanto ao desenho de processos internos quanto à configuração de algoritmos e é agravada pela ideologia da “cegueira racial”, tática que compõe historicamente do genocídio negro, que também é epistemológico.

O trabalho propõe colaborar ao campo de estudos sobre vieses algorítmicos ao aproximar a investigação sobre vieses raciais nos algoritmos de plataformas digitais ao conceito de microagressões raciais (Pierce, 1970). Estas seriam definidas como mensagens rotineiras que comunicam insultos e desprezo racial e podem ser apresentadas de forma verbal, comportamental ou ambientalmente contra grupos racializados. A pesquisa sobre microagressões raciais propõe modos de analisar, entender e combater este tipo de violência em contextos de socialização, midiáticos ou educacionais com o objetivo de minimizar o impacto na formação e pleno desenvolvimento de populações negras, entre outras. Aplicando a tipologia de microagressões proposta por Tynes et al (2018) a partir de Sue (2007) a mapeamento realizado pelo autor, o artigo discute casos de comunicação algorítmica racista em plataformas digitais ligando aspectos das plataformas a categorias e subcategorias propostas sobre microagressões.

Acesse o artigo completo no ResearchGate e confira mais publicações.

Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

Lançada Linha do Tempo sobre Racismo Algorítmico

Lancei recentemente, como uma página do site, uma Linha do Tempo sobre Racismo Algorítmico! Se você é assinante via email ou feed talvez não tenha visto. A timeline é um resultado secundário da pesquisa de doutorado Dados, Algoritmos e Racialização em Plataformas Digitais. Desenvolvida no PCHS-UFABC, o projeto estuda as cadeias produtivas da plataformização digital (mídias sociais, aplicativos, inteligência artificial) e seus vieses e impactos raciais. Os casos, reportagens e reações ao racismo algorítmico podem ser visualizados na página (clique na imagem) e são dados para artigos, conferências, tese e livro em desenvolvimento.