Audiolivro Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais

Acaba de ser lançada na Everand a versão audiolivro de minha obra Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. A obra discute reconhecimento facial, filtros para selfies, moderação de conteúdo, chatbots, policiamento preditivo e escore de crédito e outras aplicações que usam sistemas de inteligência artificial na atualidade. O que acontece quando as máquinas e programas apresentam resultados discriminatórios? Seriam os algoritmos racistas? Ou trata-se apenas de erros inevitáveis? De quem é a responsabilidade entre humanos e máquinas? E o que podemos fazer para combater os impactos tóxicos e racistas de tecnologias que automatizam o preconceito?

Neste audiolivro, estudamos a incorporação de hierarquias raciais nas tecnologias digitais de comunicação e informação. O racismo algorítmico se tornou um conceito relevante para entender como a implementação acelerada de tecnologias digitais emergentes, que priorizam ideais de lucro e de escala, impactam negativamente minorias raciais em torno do mundo. Quando algoritmos recebem o poder de decidir – a partir dos critérios de seus criadores – o que é risco, o que é belo, o que é tóxico ou o que é mérito, os potenciais discriminatórios se multiplicam. Investigamos de forma interdisciplinar o fenômeno do racismo algorítmico em tecnologias como mídias sociais, buscadores, visão computacional e reconhecimento facial.

Com narração de Matias Erisson, o audiobook soma mais de 5 horas de conteúdo e pode ser ouvido no aplicativo ou navegador. Ouça um trecho na Everand.

Livro Griots e Tecnologias Digitais referencia e referencia nossas mais velhas

Griots em algumas culturas africanas se refere às pessoas mais velhas que contam histórias e consequentemente propagam ensinamentos e é a partir desta perspectiva que o livro Griots e Tecnologias Digitais foi concebido! Organizado por Thiane Neves Barros (UFPA) e por mim, a obra tem como objetivo contribuir com o resgate de ensinamentos ancestrais nos debates contemporâneos emergentes. Para tanto, os vários artigos que compõem o livro dialogam com as e os intelectuais negros: Lélia Gonzalez, Beatriz Nascimento, Clóvis Moura, Milton Santos, Cida Bento, Zélia Amador de Deus, Sueli Carneiro, Abdias Nascimento, Nilma Lino Gomes e Antônio Bispo dos Santos.  

O livro, que conta a contribuição de pesquisadoras e pesquisadores dos campos da comunicação, ciências sociais, direito e da educação, tem no prefácio a assinatura de Zelinda Barros (UNILAB) e no posfácio Paulo Victor Melo (IADE/Universidade Europeia), dois pesquisadores referências no campo do conhecimento brasileiro. Veja o sumário completo:

  • Prefácio, por Zelinda Barros
  • Do Pretuguês Tecnológico à Blogagem Coletiva: A reconstrução de um caminhar tecnológico diante da virtualização da vida, por Viviane Rodrigues Gomes, Charô Nunes e Larissa Santiago
  • O exercício do sujeito posicionado de Beatriz Nascimento por feministas negras nas redes sociais, por Dulcilei da Conceição Lima
  • Ciberquilombismo – o quilombismo de Abdias Nascimento e sua atualização na cibercultura, por Nelza Jaqueline Siqueira Franco 
  • Ciência, Tecnologia e Interdisciplinaridade: as críticas visionárias de Abdias Nascimento, por Taís Oliveira
  • Entre aparelhos de repressão e a quilombagem: Vigilância e contra-vigilância negra a partir do olhar de Clóvis Moura, por Elizandra Salomão e Pedro Diogo Carvalho Monteiro
  • Cida Bento e Iray Carone: Entre os Pactos e os Silêncios das Performances da Branquitude nas Redes Sociais, por Catharinna Marques
  • Zélia Amador de Deus e o legado científico-tecnológico de Anase para a luta de mulheres negras na Amazônia paraêense, por Thiane de Nazaré Monteiro Neves Barros
  • Aprendendo com Sueli Caneiro: estratégias de hackeamento do dispositivo de racialidade, por Pâmela Guimarães-Silva
  • A experiência transformadora da Academia Preta Decolonial: Tessituras de um diálogo com Nilma Lino Gomes e os “Saberes Emancipatórios”, por Michelly Santos de Carvalho e Leila Lima de Sousa
  • Tecnologias Emergentes: reflexões a partir da Intelectualidade de Milton Santos, por Taís Oliveira e Tarcízio Silva
  • Antônio Bispo e o legado da contra-colonização: possibilidades para a governança da internet, por Mariana Gomes da Silva Soares
  • Posfácio: Seguir caminhando (presente), olhando para trás (passado) e projetando o que virá (futuro), por Paulo Victor Melo

A coletânea Griots e Tecnologias Digitais tem como editora a LiteraRUA, produção da Desvelar, revisão e estratégia de comunicação pelo Instituto Sumaúma e a arte de capa e diagramação são assinadas pela designer Juliana Vieira.

Griots e Tecnologias Digitais pode ser adquirido no no site da LiteraRUA. Acesse e baixe a versão gratuita em PDF:

Uma nova Estratégia Brasileira de Inteligência Artificial pode sim servir ao país

A partir do convite para o painel realizado no último Fórum da Internet no Brasil (ver gravação abaixo), gostaria de trazer algumas considerações sobre a Estratégia Brasileira de Inteligência Artificial (EBIA) levando em conta o atual momento, relativamente diferente quanto à participação social. O texto diretivo da Estratégia Brasileira de Inteligência Artificial (EBIA) foi instituído em 2021 assinado por um ministro componente de um governo extremista e compromissado com a erosão das instituições públicas. Apesar das fileiras do ministério serem compostas em sua maioria de experts plenamente capazes, parece que o contexto político colaborou para influência desproporcional de forças na produção do documento, algo que transpareceu em pressupostos e pilares do documento.

Mesmo tendo sido produzido num contexto excepcional, vale revisitarmos a EBIA por três razões: a) representa o que o governo sumarizou, de forma enviesada, das posições multisetoriais, apesar da consulta pública; b) a transparência dos GTs da EBIA desde a sua publicação ainda é deficitária; e c) acredito que devido à finalização do ciclo da primeira EBIA, devemos promover a participação pública de fato na proposição de nova estratégia.

O primeiro ponto é um tecnocentrismo que desinforma e beneficia apenas negócios extrativos das big tech. Logo na contextualização, a estratégia parte do pressuposto que “dados e o conhecimento têm precedência sobre os fatores de produção convencionais (mão-de-obra e capital)”, o que é uma grande bobagem. Os atores que podem gerar, extrair, processar e operacionalizar dados em grande escala são justamente alguns estados e, sobretudo, as grandes empresas apoiadas pelo capital financeiro. Do mesmo modo, a centralidade da mão-de-obra não sai de jeito nenhum de cena, mas o mercado de tecnologia tenta invisibilizar trabalho precário ou gratuito extraído para produção de bases de dados e treinamento de modelos.

Não se trata de uma definição conceitual apenas, sem impactos na formulação de políticas públicas. Pelo contrário, podemos acompanhar ao longo do texto como não se ressalta possibilidade ou objetivo de tornar o Brasil liderança na IA, enfatizando sobretudo a ideia de preparar os brasileiros para adoção ou uso [1], o que favorece sobretudo serviços de locação de algoritmos das big tech.

O termo guarda-chuva “inovação” como valor é mencionado 48 vezes, enquanto renda apenas 2. Emprego foi mencionado metade das vezes, mas na maioria através da lente de empregos que seriam ameaçados pela inteligência artificial, frequente superestimada no documento. É um contraste muito explícito com a proposição das “Ações Estratégicas” em cada um dos 9 eixos. Nenhum deles incluiu geração de empregos ou renda de forma explícita, apenas pela lente de força de trabalho para o setor privado.

Na mesma toada, a formulação da narrativa sobre empregos ameaçados pela inteligência artificial e pela automação não inclui menção a estratégias de mitigação dessa possível redução número total de empregos, a exemplo das ideações e projetos de renda básica universal ou diminuição de carga horária semanal. Uma abordagem programática verdadeiramente sistêmica é necessária[2], especialmente considerando que a EBIA apresentou de forma deficitária fatores como evolução de dados e indicadores relacionados aos problemas apresentados[3].

As políticas públicas redistributivas são essenciais para a defesa do futuro do Brasil, um país que ainda precisa enfrentar as mazelas do colonialismo, colonialidade e supremacia branca na extração de recursos humanos, sociais e ambientais locais. É dever do Estado “eliminação dos obstáculos históricos, socioculturais e institucionais que impedem a representação da diversidade étnico-racial nas esferas pública e privada”[4].

Quanto à “diversidade” ou justiça racial, há menções enquadradas como “hiato racial” no texto, mas a palavra racismo não é citada ou reconhecida. Quase todos os dados sobre discriminação racial no texto são referências ao contexto estadunidense. A exceção são os dados sobre prisões via reconhecimento facial, onde importante pesquisa do Panóptico [5] é citada, mas os dados na EBIA dividem espaço com elogiosos ao encarceramento.

              Após listar dados de discrepância na contratação em big techs, sem responsabilizar processos de contratação, o documento afirma que “políticas que promovam a diversidade racial no campo técnico devem considerar aspectos socioculturais da racialidade no país”. Mas temos dados no Brasil sobre desafios enfrentados por pessoas negras no campo técnico da tecnologia, a exemplo de estudos da PretaLab[6], Instituto Sumaúma e AfrOya Tech[7]. Falta vontade política das empresas hegemônicas de tecnologia em agir. Por exemplo, a medição do IBGE e Movimento Negro de que cerca de 50% da população brasileira é negra. Também há dados disponíveis sobre a proporção de pessoas negras e indígenas formadas nas áreas chaves para IA e essa pode ser uma meta estabelecida na EBIA mas também em cada um dos setores envolvidos. Associações do setor privado são capazes de contratar pesquisas independentes externas para analisar diversidade racial e de gênero em suas fileiras e assumir compromissos de remediação, assim como compromissos públicos.

Apesar da crise de diversidade na tecnologia ser um ponto essencial e considerado uma questão global, como apontado pela relatora da ONU Tendayi Achiume[8], a inclusão de programadores e desenvolvedores de minorias políticas é apenas uma parte da questão para a superação dos impactos nocivos de sistemas algorítmicos.

A abordagem sobre o conceito de “viés”, que é consideravelmente limitado por não levar em conta contextos e justiça foram contraditórias ao longo da definição de Ações Estratégicas. Neste campo, três eixos mencionam, de forma parcialmente contraditória: “Desenvolver técnicas para identificar e tratar o risco de viés algorítmico”; “facilitar a detecção e correção de vieses algorítmicos”; ou mesmo “promover um ambiente para pesquisa e desenvolvimento em IA que seja livre de viés”

   Tendo tudo isso em vista, me causa muita preocupação também um foco excessivo no conceito de regulação experimental ou de “sandbox” como panaceia tanto para promover a inovação quanto para resolver danos e impactos nocivos. Implementação de sandbox não deve ser a resposta para a consideração sobre danos algorítmicos. Apesar da luta do setor privado e parte dos governos em impedir transparência significativa, já possuímos “evidências incipientes, incompletas e especulativas” na nossa literatura acadêmica e em mapeamentos jornalísticos. Mantenho um mapeamento de casos de discriminação algorítmica e há inúmeros em torno do mundo, como o AI Vulnerability Database[9].

Quanto ao papel dos sandboxes para o desenvolvimento nacional, lembro aqui também que o PL 2338 no Senado se desviou da inspiração europeia neste caso também para pior, e estabeleceu apenas como possibilidade e não como um dever favorecer pequenas e médias empresas nos arranjos regulatórios experimentais.

Então, considerando que estamos testemunhando uma campanha global de desinformação sobre quais são os riscos reais e presentes da IA – e não futuros, campanha de desinformação que reúne Microsoft, OpenAI, Alphabet, Boring Company e, infelizmente, parte até da hegemonia técnico-científica, preciso fechar essa fala inicial com um reforço de recomendações à nossa soberania digital.

Citando a carta assinada pelo LabLivre e centenas de pesquisadores e ativistas,  é necessário que a EBIA também inclua a previsão de “recursos para apoiar e financiar a criação de cooperativas de trabalhadores, que possam desenvolver e controlar plataformas digitais de prestação de serviços, assim como outros arranjos que evitem a concentração de poder tecnológico, tanto em empresas estrangeiras como nacionais”; e também o compromisso com “programa interdisciplinar de formação, inclusive ética, e de permanência de cientistas e técnicos, implantando e financiando centros de desenvolvimento para a criação e desenvolvimento”[10] de tecnologias em prol do comum.

Notas
[1] ERMANTRAUT, Victoria. Locação de Algoritmos de Inteligência Artificial da Microsoft no Brasil: reflexões, dataficação e colonialismo. In: CASINO, J.; SOUZA, J. AMADEU, S. Colonialismo de Dados. São Paulo, SP: Autonomia Literária, 2021.

[2] GASPAR, Walter Britto; MENDONÇA, Yasmin Curzi de. A inteligência artificial no Brasil ainda precisa de uma estratégia. 2021.

[3] CHIARINI, Tulio; SILVEIRA, Sérgio Amadeu da. Exame comparativo das estratégias nacionais de inteligência artificial de Argentina, Brasil, Chile, Colômbia e Coreia do Sul: consistência do diagnóstico dos problemas-chave identificados. 2022.

[4] Estatuto da Igualdade Racial. – https://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12288.htm

[5] Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. https://opanoptico.com.br/exclusivo-levantamento-revela-que-905-dos-presos-por-monitoramento-facial-no-brasil-sao-negros/

[6] Pretalab: Report Quem Coda – https://www.pretalab.com/report-quem-coda

[7] AfrOya Tech e Instituto Sumaúma. Quem Somos: Mapa de Talentos Negros em Tecnologia. https://comunidade.afroya.tech/quemsomos

[8] ACHIUME, E. Tendayi. Racial discrimination and emerging digital technologies: a human rights analysis. United Nations Office of the High Commissioner for Human Rights. https://undocs. org/en/A/HRC/44/57, 2020.

[9] AI Vulnerability Database An open-source, extensible knowledge base of AI failures – https://avidml.org

[10] Programa de Emergência para a soberania digital – https://cartasoberaniadigital.lablivre.wiki.br/carta



Sugestões no Google podem errar até sobre homenageadas pela… Google

Um caso interessante sobre o colonialismo digital e sua relação com as línguas e culturas: no 18 de junho o buscador Google homenageou Kamala Sohonie, bioquímica que foi a primeira mulher indiana a obter um doutorado em ciências. Ao clicar no “doodle”, aquela alteração visual especial do Google para homenagens do tipo, a página de resultados de busca não reconhecia o próprio nome da Kamala Sohonie, sugerindo outro:

A defensoria pública no combate e mitigação da discriminação algorítmica

Em maio, tive a grata oportunidade de dialogar em painel sobre Discriminação Algorítmica na Conferência Anual da Defensoria Pública do Maranhão. Fiquei especialmente satisfeito por admirar o papel da Defensoria Pública no suporte à sociedade e defesa de um sistema judiciário que proteja os direitos humanos, assim como a educação pública sobre direitos – missões que são chave no momento de definição de consensos sobre algoritmos e inteligência artificial.

Na abertura do painel pude trazer reflexões sobre o caráter elusivo – e permeado de dinâmicas de poder – na própria definição de inteligência artificial. Relembrei definições como a da OCDE que estabelece que “um sistema de IA é um sistema baseado em máquinas que pode, para um determinado conjunto de objetivos definidos por humanos, fazer previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais”. No nexo entre objetivos, intenções e danos no desenvolvimento e implementação de sistemas algorítmicos temos possibilidades normativas mais acessíveis à sociedade do que um tecnocentrismo no código.

A abordagem de identificação de vieses para combater a discriminação algorítmica foi explicada pela prof. Dra. Ana Paula Cavalcanti. Entre os problemas apresentados como fontes para distorções no sistema estão: dificuldade de gerir alto volume de dados; amostragem distorcida e viés inicial das bases; disparidades no poder computacional; disparidades no tamanho da amostra; e questões de desenvolvimento ético, transparência e responsabilidade.

O conceito de discriminação algorítmica já tem sido reconhecido por estados em torno do mundo, a exemplo dos EUA – país-sede de boa parte das organizações big tech – que definiu-a como “Discriminação algorítmica ocorre quando sistemas automatizados contribuem para tratamento diferencial injustificado ou impactos desfavoráveis a pessoas baseados em sua raça, cor, etnia, sexo, deficiência, status de veterano, informação genética ou qualquer outra categoria protegida por lei. Dependendo das condições específicas, tais discriminações algorítmicas podem violar proteções legais”.

A partir da discriminação algorítmica, apresentei características do que chamo de racismo algorítmico. Problemas comumente citados sobre discriminação algorítmica, como o loop de retroalimentação e a opacidade dos sistemas, se conecta com vulnerabilidades impostas à populações negras como acesso limitado a direitos, colonialidade de campo e visibilidade diferencial. Os hiatos digitais que  geram dificuldades de vários níveis no acesso digital também foi abordado, mas indo além do conceito de “exclusão digital”.

Thales Dias Pereira, Mestre em Direito e Defensor Público, abriu sua fala lembrando do contexto de “subintegração” na medida em que ninguém é realmente excluído da sociedade e seus aspectos. Essa observação abriu caminho para a lembrança de que é basicamente impossível ser excluído dos processos algorítmico, uma vez que os direitos fundamentais dos cidadãos podem ficar sujeitos a decisões algorítmicas ainda que eles não saibam.

O defensor público conclama a observação do conceito de hipervulnerabilidade algorítmica, uma condição que converge em indivíduos e grupos que não são capazes de contestar ou mesmo entender os parâmetros utilizados pelos sistemas algorítmicos e também vivenciam desigualdades interseccionais.

Para o dr. Thales Pereira, a regulação legal não deve prejudicar aspectos positivos do desenvolvimento de sistemas algorítmicos, mas precisa observar as peculiaridades de indivíduos e grupos hipervulnerável.

Em conexão com a consideração do defensor que é necessário diálogo entre regulação da IA e teorias dos direitos fundamentais, fechei minha apresentação relembrando que já temos pesquisa e maturidade para regular a inteligência artificial.

Quanto ao papel do Estado, o relatório “Racial discrimination and emerging digital technologies: a human rights analysis” da relatora da ONU e prof. Dra. de Direito Tendayi Achiume se desdobra sobre o impacto possível de compromissos como “tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas” e que “estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor público e permitir análise e supervisão independente, incluindo através do uso apenas de sistemas que sejam auditáveis”.

No setor privado, a noção de “Trustworthy AI” (IA Confiável) nas lentes da Fundação Mozilla inclui a construção de ambientes saudáveis para que os profissionais possam exercer seu papel na produção de tecnologias confiáveis, transparentes e justas. Entre as sugestões da fundação estão:

  • precisa haver uma grande mudança na cultura corporativa para que os funcionários que  defendem práticas de IA responsável sintam-se apoiados e fortalecidos. Evidências sugerem que as ações dos advogados internos não terão impacto, a menos que seu trabalho esteja alinhado com as práticas organizacionais.
  • As equipes de engenharia devem se esforçar para refletir a diversidade das pessoas que usam a tecnologia, em linhas raciais, de gênero, geográficas, socioeconômicas e de acessibilidade

Por fim, citei algumas propostas presentes em colaborações escritas à Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre integência artificial no Brasil:

  • Juristas Negras enfatizaram que “é imprescindível que sejam realizados debates, estudos e colaborações no campo das teorias raciais para incorporação ao projeto de lei de dispositivos que protejam a população negra, como grupo social de maior vulnerabilidade frente a tais tecnologias”
  • A Rede Mulheres na Privacidade, em artigo assinado por Eloá Caixeta e Karolyne Utomi recomendou “que sejam estudados casos práticos ao redor do mundo com relação aos prejuízos causados pela IA quando mal empregada, como, por exemplo, o banimento do uso de tecnologias de reconhecimento facial para fins policiais pelo governo de São Francisco, nos Estados Unidos, onde entendeu-se que a utilização do reconhecimento facial pode exacerbar a injustiça racial, sendo a tecnologia apresenta pequenos benefícios frente aos riscos e prejuízos que ela pode gerar”
  • Pesquisadoras como Natane Santos propuseram que “a preponderância da obrigatoriedade de revisão humana de decisões automatizadas pressupõe a garantia efetiva dos direitos:(i) autodeterminação informativa; (ii) não discriminação e transparência; (iii) direito de informação sobre critérios e parâmetros de decisões, revisão, explicação e oposição as decisões automatizadas”

Em resumo, a multiplicação de atores engajados no desafio da regulação de IA é uma tendência nos três setores do poder. As defensorias públicas atuam e deverão atuar cada vez mais em imbróglios complexos sobre IA e sistemas algorítmicos na defesa dos cidadãos. Compromissos multissetoriais podem estabelecer redes de trocas que assegurem que as tecnologias digitais emergentes sirvam aos propósitos e potenciais da vida humana e social, e não apenas lucro e concentração de poder.