O presente estudo exploratório buscou entender como serviços baseados em grandes modelos de linguagem, popularizados por nomes como ChatGPT e Deepseek, performam em tarefas simples ligadas a objetivos relevantes ao estudo da história da África e dos africanos, a luta dos negros e dos povos indígenas no Brasil, a cultura negra e indígena brasileira e o negro e o índio na formação da sociedade nacional, assim como suas contribuições nas áreas social, econômica e política. Foram desenvolvidos três experimentos com uma série de prompts para testar a performance dos serviços em questões ligadas a cultura, mundo do trabalho e matemática.

• A literatura científica apresenta especulação de aplicações potenciais dos grandes modelos de linguagem na educação, assim como o registro de danos e impactos nocivos;
• Os sete serviços analisados – Amazônia IA, ChatGPT, Deepseek, Grok, Maritaca IA e Meta IA – não estabelecem salvaguardas notáveis sobre os seus erros e imprecisões;
• A presença de erros em um dos experimentos sobre referências musicais chega a 77% em questão geral, 87% sobre artistas negras/os e a 98% sobre artistas indígenas;
• A taxa de respostas que alegaram não conseguir encontrar artistas chegou a 29% para artistas indígenas na região Norte e Sul e a 34% para artistas negras/os da região Sul;
• Em consulta sobre matemática, nenhuma das 35 respostas mencionou explicitamente sequer um objeto, instrumento ou construção ligada à cultura e história africana, afro-brasileira ou indígenas;
• A variedade de referências sobre profissionais indígenas é notadamente inferior quando comparada a consultas gerais;
• Parte dos sistemas demostra utilizar mais recursos computacionais, como a técnica Retrieval-Augmented Generation, para consultas ligadas a grupos negros e indígenas;
• Dados demonstram potencial de geração de desinformação sobre fatos e objetos históricos e culturais.

Leia completo:

1. No livro, você afirma que o racismo algorítmico é uma atualização do racismo estrutural. Poderia explicar como essa atualização se dá na prática e quais são suas consequências sociais mais graves?

A perspectiva do racismo estrutural tem sido apresentada por intelectuais negras e antirracistas há algumas décadas tanto como lente de análise quanto caminho de incidência em políticas públicas. Do ponto de vista do racismo estrutural como lente de análise, significa abarcar investigações sobre a relação sistêmica de variáveis culturais, econômicas, institucionais, políticas e psicológicas que tornam o racismo, em países como o Brasil, um eixo central das relações sociais.  Se entender a reprodução das hierarquias raciais de forma multidimensional e multidisciplinar é necessária, intelectuais como Ísis Conceição propuseram que a abordagem estrutural centre a atenção nos arranjos e interações interinstitucionais, aqui entendidas em sentido lato. Apenas olhando dessa forma, podemos refletir as relações complexas de retroalimentação das hierarquias raciais. Assim podemos entender, por exemplo, como a exclusão deliberada de personagens negras nos ambientes narrativos populares – como novelas, digamos – está ligada à baixa representatividade de parlamentares negras e ambas se conectam com a construção antidemocrática da universidade brasileira. Quem pode formular opções, opiniões e avaliações sobre políticas públicas? Quem é considerado confiável como representante político? Quem é considerado um ser humano completo e complexo – e que pode ser visto como igual sobre o qual projetamos nossos anseios, medos, empatia e experiência? Todas essas perguntas estão relacionadas e para as respondermos precisamos entender como os mecanismos de reprodução das estruturas de hierarquia de valor entre humanos perpassa afetos, recursos, morais, intelectualidades e paixões multidimensionais. Assim, lentes estruturais sobre opressões, incluindo, mas não só a opressão racial, significam entender como as produções de valores nas relações sociais nas várias esferas da vida se retroalimentam ou se questionam.

Ao entendermos essas relações, movimentos de grupos minorizados politicamente tem lutado de forma simultânea em várias camadas da vida social por inclusão, reconhecimento e reparação. Sabemos que condenações de pessoas negras por crimes sem vítimas e de valor irrelevante, como furto de comida, chegam a instâncias superiores do judiciário não só pelas várias decisões racistas das pessoas diretamente envolvidas, mas também pela construção midiática e cultural de desumanização de pessoas negras e da construção da imagética do que é o crime e o criminoso. Nesse sentido, a disputa por políticas públicas por movimentos antirracistas leva em consideração os diversos fatores e variáveis que se conectam em várias dimensões da vida.

Mas o que acontece quando cada variável citada acima pode ser incorporada nos fluxos de decisões automatizadas delegadas a sistemas que se vendem como neutros e alienam as possibilidades de resistência nos pontos de conflito? A digitalização, plataformização e algoritmização das relações sociais e epistêmicas, sobretudo por ser realizada por um punhado de corporações vinculadas ao capital financeiro global, são modos de retomada de controle dos fluxos de produção, reforço ou disputa de valores entre indivíduos por todo o globo.

Então podemos entender racismo algorítmico como o modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca realiza a ordenação algorítmica racializada de classificação social, recursos e violência em detrimento de grupos minorizados. Tal ordenação pode ser vista como uma camada adicional do racismo estrutural, que vai além e molda o futuro e horizontes de relações de poder adicionando mais opacidade sobre exploração e opressão global racializada desde o projeto colonial.

2. Quais autores e teorias foram centrais para você formular o conceito de racismo algorítmico? Há alguma influência de pensadores do Sul Global que você considera essencial nesse debate?

Subjacente à toda reflexão sobre racismo e antirracismo no Brasil, centralizo a contribuição teórico e política de sociólogas, historiadoras, antropólogas e juristas como Sueli Carneiro, Adilson Moreira, Abdias Nascimento, Lélia Gonzalez e Ísis Conceição. Como conceitos-chave para entender o fenômeno global do racismo antinegro, a abordagem de contrato racial de Charles Mills e sua leitura, por Sueli Carneiro, sobre o epistemicídio são essenciais para entender como o racismo algorítmico se liga a promoção estratégica da ignorância.

Em termos de produções de impacto global, o estudo do fenômeno “racismo algorítmico” pode ser caracterizado por duas grandes ondas de elaborações. A primeira é caracterizada por estudos de cientistas da computação e sociólogas estadunidenses que abordaram o impacto das tecnologias e ideologias do Vale do Silício no aprofundamento das desigualdades de raça, classe e gênero nos EUA. Autoras como Alondra Nelson, Latanya Sweeney, Bosah Ebo e Oscar Gandy Jr., produzem análise sobre racismo, mídias sociais, I.A. e tecnociência desde a virada do século. Publicações como “The Panoptic Sort”, de 1993, “Cyberimperialism”, de 2000, e “Technicolor: race, technology and everyday life”, de 2001, são exemplos de produções que inspiraram e formaram pensadoras críticas sobre tecnologia dos EUA que hoje são influentes no Brasil como Ruha Benjamin, Safiya Noble e Simone Browne. Em sua maioria conectam abordagens dos campos dos Estudos de Ciência em Tecnologia e da Economia Política da Informação em conexão com Teoria Crítica da Raça.

A partir da década iniciada em 2011, a popularização das plataformas de mídias sociais e, posteriormente, a nova fase de hype da inteligência artificial, motivaram reações através da emergência de trabalhos empíricos multidisciplinares. Estudos críticos de bases de dados, auditorias acionáveis e propostas de metodologias de mitigação de danos da I.A. caracterizam esta nova onda de estudos sobre racismo algorítmico. Pesquisadoras como Joy Buolamwini, Timnit Gebru, Abeba Birhane, Rediet Abebe representam bem o atual momento. Não por acaso as últimas três citadas são de origem ou ascendência etíope, que originou uma convergência de fatores epistêmicos, políticos e científicos que resultou em ume geração que define um olhar global e sistêmico sobre as potências e riscos da inteligência artificial em um mundo – ainda – dominado pelo imperialismo, colonialismo e supremacia branca estadunidense.

Quanto ao termo em si, um dos primeiros formuladores de “racismo algorítmico” foi Syed Mustafa Ali, que apresenta o conceito em reflexões sobre como o imaginário de futuro distópico da branquitude ocidental depende da demonização colonial do Outro – como da negritude ou do Islã – para estabelecer seu ideal de desenvolvimento tecnológico hegemônico como único possível, incluindo suas camadas crescentemente explícitas de eugenia e destruição ambiental.

Para meu trabalho, Ali é uma grande influência junto às demais autoras apresentadas, em especial Ruha Benjamin. Em capítulo que pudemos traduzir no livro “Comunidades, Algoritmos e Ativismos Digitais”, Benjamin faz um apelo que “continuemos promovendo investigações acadêmicas que não sejam apenas sobre processos racializados, mas também apliquem uma lente de estudos racialmente críticos de ciência e tecnologia a todos os aspectos da vida social que atualmente são sufocados pelas lógicas carcerais” que direciona minha abordagem de pesquisa.

Leia o dossiê completo no site da revista Linguagem em Foco

Somos uma comunidade global de profissionais da educação que recusa o apelo pela adoção de I.A. generativa (I.A. Gen) em escolas e universidades, e que rejeita a narrativa de sua inevitabilidade.

Em seu núcleo, a educação é um projeto de orientação ao aprendizado para pessoas exercitarem sua própria agência no mundo. Através da educação, estudantes podem se empoderar a participar de forma significativa na sociedade, no trabalho e no planeta. Mas em seu estado atual, I.A. Gen é corrosiva à agência dos estudantes, educadores e profissionais.

Tecnologias contemporâneas de I.A. Gen representam danos legais, éticos e ambientais inaceitáveis, incluindo trabalho explorativo, apropriação da produção de incontáveis criadores e artistas, vieses nocivos, produção massiva de desinformação e a erosão da trajetória global de redução de emissões.

I.A. Gen é uma ameaça ao aprendizado e bem-estar de estudantes. Há evidências insuficientes que o uso da I.A. Gen apoie ganhos genuínos no aprendizado, mas há uma ofensiva massiva de marketing para posicionar tais produtos como essenciais para a subsistência dos estudantes. Jovens que usam chatbots antropomorfizados estão vulneráveis à dependência psicológica e emocional. “Relacionamentos” com I.A. Gen continuam a gerar crises de saúde mental, conflitos de relacionamento humano e, nos piores casos, tentativas e realizações de suicídio.

Adicionalmente, a adoção de I.A. Gen no mercado é fortemente direcionada a automatizar e substituir esforço humano, geralmente com a expectativa que a futura “AGI” vai tornar obsoleto o trabalho humano criativo e intelectual. Essa é uma narrativa na qual não participaremos.

Nós não apoiamos o uso de I.A. Gen na educação. Nós assinamos os seguintes compromissos em nosso trabalho educacional e convidamos instituições educacionais, líderes em escolas e formuladores de políticas públicas a honrar nosso direito de

1 – Não usaremos I.A. Gen para avaliar ou oferecer feedback sobre o trabalho de estudantes nem para desenhar qualquer parte de nossos cursos.

2 – Nós não promoveremos produtos de I.A. generativa construídos em modelos desenvolvidos de forma antiética como ChatGPT, Claude, Copilot, Gemini, Grok ou Llama. Não permitiremos parcerias corporativas-institucionais que comprometem nossa liberdade acadêmica.

3 – Nós não aceitaremos sem evidência a agenda de venda por pessoas que não são educadoras nem compartilharemos o hype às custas do aprendizado dos estudantes e da pedagogia viva.

4 – Nós não treinaremos nossos estudantes a usar ferramentas de I.A. generativa para substituir seu próprio esforço e desenvolvimento intelectual. Nós não apoiamos a automação e exploração do trabalho intelectual e criativo.

5 – Nós não pediremos a estudantes ou colegas que violem o espírito de integridade acadêmica ao promover o uso de produtos antiéticos.

6 – Nós não reescreveremos currículos para inserir I.A. Gen com os propósitos de “construir literacia em I.A.”

7 – Nós não contribuiremos com a erosão da liberdade acadêmica e agência do educador ao forçar educadores a se conformarem a tecnologias que consideram antiéticas.

8 – Nós também honraremos o direito dos estudantes de resistir e recusar.

Assine em openletter.earth/an-open-letter-from-educators-who-refuse-the-call-to-adopt-genai-in-education-cb4aee75

Compartilho aqui minha tese de doutorado Racismo Algorítmico e Regulação de Inteligência Artificial: o contrato racial na produção do PL 2338/2023. Com orientação do prof. Sergio Amadeu, tive a honra de ter nas bancas as colaborações interdisciplinares de Claudio Penteado, Regimeire Maciel, Denise Carvalho, Ronaldo Araújo e Marcos Queiroz. Parte dos resultados serão expandidos em vindouro livro, mas gostaria de já compartilhar a público a tese.

O projeto investigou o fenômeno do racismo algorítmico e os embates políticos e discursivos sobre o seu reconhecimento e mitigação nas esferas de disputa sobre aspectos técnicos do controle social da tecnologia. Inicialmente, parte de diálogos com a literatura científica sobre discriminação algorítmica, em especial a relação entre racismo, discriminação racial e modos tecnocêntricos de desenvolvimento de sistemas algorítmicos, notadamente os atribuídos direta ou indiretamente à inteligência artificial. Pilares da Teoria Crítica da Raça são apresentados e discutidos junto à literatura científica sobre discriminação e sistemas algorítmicos e ilustrados com estudos de caso paradigmáticos. As categorias de percepção da ordinariedade do racismo, construção social da raça, interseccionalidade, valorização do conhecimento experiencial, convergência de interesses no capitalismo racializado, abordagem decolonial e o compromisso com a justiça social são debatidos frente ao contexto material do racismo estrutural brasileiro.

Na segunda parte da tese são analisei sentidos e discursos em torno da Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil. As 85 contribuições escritas enviadas à comissão foram estudadas enquanto espaço de disputa discursiva sobre os lugares e significados do combate ao racismo frente a danos dos sistemas algorítmicos e consensos normativos constitucionais. Concluiu-se que a produção de invisibilidades e rejeições sobre o combate à discriminação racial foi um componente da rede expandida de atores na regulação de inteligência artificial.

Download: