De onde veio o termo “racismo algorítmico”?

Tive a honra de ser entrevistado pelos pesquisadores Júlio Araújo, Kleber Silva, Paulo Boa Sorte e Eduardo de Moura Almeida para um dossiê especial da revista Linguagem em Foco, do Programa de Pós-Graduação em Linguística Aplicada da UECE. O dossiê temático “Inteligência Artificial, racismo algorítmico e outras exclusões” traz, além da entrevista, 15 artigos inéditos e imperdíveis sobre o tema.
Reproduzo aqui as duas primeiras perguntas da entrevista, que resumem bem de onde veio o termo racismo algorítmico.

  1. No livro, você afirma que o racismo algorítmico é uma atualização do racismo estrutural. Poderia explicar como essa atualização se dá na prática e quais são suas consequências sociais mais graves?

A perspectiva do racismo estrutural tem sido apresentada por intelectuais negras e antirracistas há algumas décadas tanto como lente de análise quanto caminho de incidência em políticas públicas. Do ponto de vista do racismo estrutural como lente de análise, significa abarcar investigações sobre a relação sistêmica de variáveis culturais, econômicas, institucionais, políticas e psicológicas que tornam o racismo, em países como o Brasil, um eixo central das relações sociais.  Se entender a reprodução das hierarquias raciais de forma multidimensional e multidisciplinar é necessária, intelectuais como Ísis Conceição propuseram que a abordagem estrutural centre a atenção nos arranjos e interações interinstitucionais, aqui entendidas em sentido lato. Apenas olhando dessa forma, podemos refletir as relações complexas de retroalimentação das hierarquias raciais. Assim podemos entender, por exemplo, como a exclusão deliberada de personagens negras nos ambientes narrativos populares – como novelas, digamos – está ligada à baixa representatividade de parlamentares negras e ambas se conectam com a construção antidemocrática da universidade brasileira. Quem pode formular opções, opiniões e avaliações sobre políticas públicas? Quem é considerado confiável como representante político? Quem é considerado um ser humano completo e complexo – e que pode ser visto como igual sobre o qual projetamos nossos anseios, medos, empatia e experiência? Todas essas perguntas estão relacionadas e para as respondermos precisamos entender como os mecanismos de reprodução das estruturas de hierarquia de valor entre humanos perpassa afetos, recursos, morais, intelectualidades e paixões multidimensionais. Assim, lentes estruturais sobre opressões, incluindo, mas não só a opressão racial, significam entender como as produções de valores nas relações sociais nas várias esferas da vida se retroalimentam ou se questionam.

Ao entendermos essas relações, movimentos de grupos minorizados politicamente tem lutado de forma simultânea em várias camadas da vida social por inclusão, reconhecimento e reparação. Sabemos que condenações de pessoas negras por crimes sem vítimas e de valor irrelevante, como furto de comida, chegam a instâncias superiores do judiciário não só pelas várias decisões racistas das pessoas diretamente envolvidas, mas também pela construção midiática e cultural de desumanização de pessoas negras e da construção da imagética do que é o crime e o criminoso. Nesse sentido, a disputa por políticas públicas por movimentos antirracistas leva em consideração os diversos fatores e variáveis que se conectam em várias dimensões da vida.

Mas o que acontece quando cada variável citada acima pode ser incorporada nos fluxos de decisões automatizadas delegadas a sistemas que se vendem como neutros e alienam as possibilidades de resistência nos pontos de conflito? A digitalização, plataformização e algoritmização das relações sociais e epistêmicas, sobretudo por ser realizada por um punhado de corporações vinculadas ao capital financeiro global, são modos de retomada de controle dos fluxos de produção, reforço ou disputa de valores entre indivíduos por todo o globo.

Então podemos entender racismo algorítmico como o modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca realiza a ordenação algorítmica racializada de classificação social, recursos e violência em detrimento de grupos minorizados. Tal ordenação pode ser vista como uma camada adicional do racismo estrutural, que vai além e molda o futuro e horizontes de relações de poder adicionando mais opacidade sobre exploração e opressão global racializada desde o projeto colonial.

2. Quais autores e teorias foram centrais para você formular o conceito de racismo algorítmico? Há alguma influência de pensadores do Sul Global que você considera essencial nesse debate?

Subjacente à toda reflexão sobre racismo e antirracismo no Brasil, centralizo a contribuição teórico e política de sociólogas, historiadoras, antropólogas e juristas como Sueli Carneiro, Adilson Moreira, Abdias Nascimento, Lélia Gonzalez e Ísis Conceição. Como conceitos-chave para entender o fenômeno global do racismo antinegro, a abordagem de contrato racial de Charles Mills e sua leitura, por Sueli Carneiro, sobre o epistemicídio são essenciais para entender como o racismo algorítmico se liga a promoção estratégica da ignorância.

Em termos de produções de impacto global, o estudo do fenômeno “racismo algorítmico” pode ser caracterizado por duas grandes ondas de elaborações. A primeira é caracterizada por estudos de cientistas da computação e sociólogas estadunidenses que abordaram o impacto das tecnologias e ideologias do Vale do Silício no aprofundamento das desigualdades de raça, classe e gênero nos EUA. Autoras como Alondra Nelson, Latanya Sweeney, Bosah Ebo e Oscar Gandy Jr., produzem análise sobre racismo, mídias sociais, I.A. e tecnociência desde a virada do século. Publicações como “The Panoptic Sort”, de 1993, “Cyberimperialism”, de 2000, e “Technicolor: race, technology and everyday life”, de 2001, são exemplos de produções que inspiraram e formaram pensadoras críticas sobre tecnologia dos EUA que hoje são influentes no Brasil como Ruha Benjamin, Safiya Noble e Simone Browne. Em sua maioria conectam abordagens dos campos dos Estudos de Ciência em Tecnologia e da Economia Política da Informação em conexão com Teoria Crítica da Raça.

A partir da década iniciada em 2011, a popularização das plataformas de mídias sociais e, posteriormente, a nova fase de hype da inteligência artificial, motivaram reações através da emergência de trabalhos empíricos multidisciplinares. Estudos críticos de bases de dados, auditorias acionáveis e propostas de metodologias de mitigação de danos da I.A. caracterizam esta nova onda de estudos sobre racismo algorítmico. Pesquisadoras como Joy Buolamwini, Timnit Gebru, Abeba Birhane, Rediet Abebe representam bem o atual momento. Não por acaso as últimas três citadas são de origem ou ascendência etíope, que originou uma convergência de fatores epistêmicos, políticos e científicos que resultou em ume geração que define um olhar global e sistêmico sobre as potências e riscos da inteligência artificial em um mundo – ainda – dominado pelo imperialismo, colonialismo e supremacia branca estadunidense.

Quanto ao termo em si, um dos primeiros formuladores de “racismo algorítmico” foi Syed Mustafa Ali, que apresenta o conceito em reflexões sobre como o imaginário de futuro distópico da branquitude ocidental depende da demonização colonial do Outro – como da negritude ou do Islã – para estabelecer seu ideal de desenvolvimento tecnológico hegemônico como único possível, incluindo suas camadas crescentemente explícitas de eugenia e destruição ambiental.

Para meu trabalho, Ali é uma grande influência junto às demais autoras apresentadas, em especial Ruha Benjamin. Em capítulo que pudemos traduzir no livro “Comunidades, Algoritmos e Ativismos Digitais”, Benjamin faz um apelo que “continuemos promovendo investigações acadêmicas que não sejam apenas sobre processos racializados, mas também apliquem uma lente de estudos racialmente críticos de ciência e tecnologia a todos os aspectos da vida social que atualmente são sufocados pelas lógicas carcerais” que direciona minha abordagem de pesquisa.

Leia o dossiê completo no site da revista Linguagem em Foco

Carta aberta de educadores que recusam o apelo por uso da I.A. generativa na educação

Somos uma comunidade global de profissionais da educação que recusa o apelo pela adoção de I.A. generativa (I.A. Gen) em escolas e universidades, e que rejeita a narrativa de sua inevitabilidade.

Em seu núcleo, a educação é um projeto de orientação ao aprendizado para pessoas exercitarem sua própria agência no mundo. Através da educação, estudantes podem se empoderar a participar de forma significativa na sociedade, no trabalho e no planeta. Mas em seu estado atual, I.A. Gen é corrosiva à agência dos estudantes, educadores e profissionais.

Tecnologias contemporâneas de I.A. Gen representam danos legais, éticos e ambientais inaceitáveis, incluindo trabalho explorativo, apropriação da produção de incontáveis criadores e artistas, vieses nocivos, produção massiva de desinformação e a erosão da trajetória global de redução de emissões.

I.A. Gen é uma ameaça ao aprendizado e bem-estar de estudantes. Há evidências insuficientes que o uso da I.A. Gen apoie ganhos genuínos no aprendizado, mas há uma ofensiva massiva de marketing para posicionar tais produtos como essenciais para a subsistência dos estudantes. Jovens que usam chatbots antropomorfizados estão vulneráveis à dependência psicológica e emocional. “Relacionamentos” com I.A. Gen continuam a gerar crises de saúde mental, conflitos de relacionamento humano e, nos piores casos, tentativas e realizações de suicídio.

Adicionalmente, a adoção de I.A. Gen no mercado é fortemente direcionada a automatizar e substituir esforço humano, geralmente com a expectativa que a futura “AGI” vai tornar obsoleto o trabalho humano criativo e intelectual. Essa é uma narrativa na qual não participaremos.

Nós não apoiamos o uso de I.A. Gen na educação. Nós assinamos os seguintes compromissos em nosso trabalho educacional e convidamos instituições educacionais, líderes em escolas e formuladores de políticas públicas a honrar nosso direito de

1 – Não usaremos I.A. Gen para avaliar ou oferecer feedback sobre o trabalho de estudantes nem para desenhar qualquer parte de nossos cursos.

2 – Nós não promoveremos produtos de I.A. generativa construídos em modelos desenvolvidos de forma antiética como ChatGPT, Claude, Copilot, Gemini, Grok ou Llama. Não permitiremos parcerias corporativas-institucionais que comprometem nossa liberdade acadêmica.

3 – Nós não aceitaremos sem evidência a agenda de venda por pessoas que não são educadoras nem compartilharemos o hype às custas do aprendizado dos estudantes e da pedagogia viva.

4 – Nós não treinaremos nossos estudantes a usar ferramentas de I.A. generativa para substituir seu próprio esforço e desenvolvimento intelectual. Nós não apoiamos a automação e exploração do trabalho intelectual e criativo.

5 – Nós não pediremos a estudantes ou colegas que violem o espírito de integridade acadêmica ao promover o uso de produtos antiéticos.

6 – Nós não reescreveremos currículos para inserir I.A. Gen com os propósitos de “construir literacia em I.A.”

7 – Nós não contribuiremos com a erosão da liberdade acadêmica e agência do educador ao forçar educadores a se conformarem a tecnologias que consideram antiéticas.

8 – Nós também honraremos o direito dos estudantes de resistir e recusar.

Assine em openletter.earth/an-open-letter-from-educators-who-refuse-the-call-to-adopt-genai-in-education-cb4aee75

Racismo Algorítmico e Regulação de Inteligência Artificial: o contrato racial na produção do PL 2338/2023

Compartilho aqui minha tese de doutorado Racismo Algorítmico e Regulação de Inteligência Artificial: o contrato racial na produção do PL 2338/2023. Com orientação do prof. Sergio Amadeu, tive a honra de ter nas bancas as colaborações interdisciplinares de Claudio Penteado, Regimeire Maciel, Denise Carvalho, Ronaldo Araújo e Marcos Queiroz. Parte dos resultados serão expandidos em vindouro livro, mas gostaria de já compartilhar a público a tese.

O projeto investigou o fenômeno do racismo algorítmico e os embates políticos e discursivos sobre o seu reconhecimento e mitigação nas esferas de disputa sobre aspectos técnicos do controle social da tecnologia. Inicialmente, parte de diálogos com a literatura científica sobre discriminação algorítmica, em especial a relação entre racismo, discriminação racial e modos tecnocêntricos de desenvolvimento de sistemas algorítmicos, notadamente os atribuídos direta ou indiretamente à inteligência artificial. Pilares da Teoria Crítica da Raça são apresentados e discutidos junto à literatura científica sobre discriminação e sistemas algorítmicos e ilustrados com estudos de caso paradigmáticos. As categorias de percepção da ordinariedade do racismo, construção social da raça, interseccionalidade, valorização do conhecimento experiencial, convergência de interesses no capitalismo racializado, abordagem decolonial e o compromisso com a justiça social são debatidos frente ao contexto material do racismo estrutural brasileiro.

Na segunda parte da tese são analisei sentidos e discursos em torno da Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil. As 85 contribuições escritas enviadas à comissão foram estudadas enquanto espaço de disputa discursiva sobre os lugares e significados do combate ao racismo frente a danos dos sistemas algorítmicos e consensos normativos constitucionais. Concluiu-se que a produção de invisibilidades e rejeições sobre o combate à discriminação racial foi um componente da rede expandida de atores na regulação de inteligência artificial.

Download:

O que é racismo algorítmico e quais seus impactos para influenciadores?

O programa Estação Livre da Estação Cultura se debruçou sobre o mercado de influenciadores, discutindo tendências, empreendedorismo, potenciais e controvérsias, incluindo dificuldades ligadas ao racismo algorítmico. O excelente programa liderado por Cris Guterres cobriu também o lançamento da versão impressa do meu livro, onde pude falar um pouco sobre o que é racismo algorítmico e suas relações como tema do mercado de influenciadores e criadores em plataformas. Veja abaixo:

Audiolivro Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais

Acaba de ser lançada na Everand a versão audiolivro de minha obra Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. A obra discute reconhecimento facial, filtros para selfies, moderação de conteúdo, chatbots, policiamento preditivo e escore de crédito e outras aplicações que usam sistemas de inteligência artificial na atualidade. O que acontece quando as máquinas e programas apresentam resultados discriminatórios? Seriam os algoritmos racistas? Ou trata-se apenas de erros inevitáveis? De quem é a responsabilidade entre humanos e máquinas? E o que podemos fazer para combater os impactos tóxicos e racistas de tecnologias que automatizam o preconceito?

Neste audiolivro, estudamos a incorporação de hierarquias raciais nas tecnologias digitais de comunicação e informação. O racismo algorítmico se tornou um conceito relevante para entender como a implementação acelerada de tecnologias digitais emergentes, que priorizam ideais de lucro e de escala, impactam negativamente minorias raciais em torno do mundo. Quando algoritmos recebem o poder de decidir – a partir dos critérios de seus criadores – o que é risco, o que é belo, o que é tóxico ou o que é mérito, os potenciais discriminatórios se multiplicam. Investigamos de forma interdisciplinar o fenômeno do racismo algorítmico em tecnologias como mídias sociais, buscadores, visão computacional e reconhecimento facial.

Com narração de Matias Erisson, o audiobook soma mais de 5 horas de conteúdo e pode ser ouvido no aplicativo ou navegador. Ouça um trecho na Everand.