Audiolivro Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais

Acaba de ser lançada na Everand a versão audiolivro de minha obra Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. A obra discute reconhecimento facial, filtros para selfies, moderação de conteúdo, chatbots, policiamento preditivo e escore de crédito e outras aplicações que usam sistemas de inteligência artificial na atualidade. O que acontece quando as máquinas e programas apresentam resultados discriminatórios? Seriam os algoritmos racistas? Ou trata-se apenas de erros inevitáveis? De quem é a responsabilidade entre humanos e máquinas? E o que podemos fazer para combater os impactos tóxicos e racistas de tecnologias que automatizam o preconceito?

Neste audiolivro, estudamos a incorporação de hierarquias raciais nas tecnologias digitais de comunicação e informação. O racismo algorítmico se tornou um conceito relevante para entender como a implementação acelerada de tecnologias digitais emergentes, que priorizam ideais de lucro e de escala, impactam negativamente minorias raciais em torno do mundo. Quando algoritmos recebem o poder de decidir – a partir dos critérios de seus criadores – o que é risco, o que é belo, o que é tóxico ou o que é mérito, os potenciais discriminatórios se multiplicam. Investigamos de forma interdisciplinar o fenômeno do racismo algorítmico em tecnologias como mídias sociais, buscadores, visão computacional e reconhecimento facial.

Com narração de Matias Erisson, o audiobook soma mais de 5 horas de conteúdo e pode ser ouvido no aplicativo ou navegador. Ouça um trecho na Everand.

Uma nova Estratégia Brasileira de Inteligência Artificial pode sim servir ao país

A partir do convite para o painel realizado no último Fórum da Internet no Brasil (ver gravação abaixo), gostaria de trazer algumas considerações sobre a Estratégia Brasileira de Inteligência Artificial (EBIA) levando em conta o atual momento, relativamente diferente quanto à participação social. O texto diretivo da Estratégia Brasileira de Inteligência Artificial (EBIA) foi instituído em 2021 assinado por um ministro componente de um governo extremista e compromissado com a erosão das instituições públicas. Apesar das fileiras do ministério serem compostas em sua maioria de experts plenamente capazes, parece que o contexto político colaborou para influência desproporcional de forças na produção do documento, algo que transpareceu em pressupostos e pilares do documento.

Mesmo tendo sido produzido num contexto excepcional, vale revisitarmos a EBIA por três razões: a) representa o que o governo sumarizou, de forma enviesada, das posições multisetoriais, apesar da consulta pública; b) a transparência dos GTs da EBIA desde a sua publicação ainda é deficitária; e c) acredito que devido à finalização do ciclo da primeira EBIA, devemos promover a participação pública de fato na proposição de nova estratégia.

O primeiro ponto é um tecnocentrismo que desinforma e beneficia apenas negócios extrativos das big tech. Logo na contextualização, a estratégia parte do pressuposto que “dados e o conhecimento têm precedência sobre os fatores de produção convencionais (mão-de-obra e capital)”, o que é uma grande bobagem. Os atores que podem gerar, extrair, processar e operacionalizar dados em grande escala são justamente alguns estados e, sobretudo, as grandes empresas apoiadas pelo capital financeiro. Do mesmo modo, a centralidade da mão-de-obra não sai de jeito nenhum de cena, mas o mercado de tecnologia tenta invisibilizar trabalho precário ou gratuito extraído para produção de bases de dados e treinamento de modelos.

Não se trata de uma definição conceitual apenas, sem impactos na formulação de políticas públicas. Pelo contrário, podemos acompanhar ao longo do texto como não se ressalta possibilidade ou objetivo de tornar o Brasil liderança na IA, enfatizando sobretudo a ideia de preparar os brasileiros para adoção ou uso [1], o que favorece sobretudo serviços de locação de algoritmos das big tech.

O termo guarda-chuva “inovação” como valor é mencionado 48 vezes, enquanto renda apenas 2. Emprego foi mencionado metade das vezes, mas na maioria através da lente de empregos que seriam ameaçados pela inteligência artificial, frequente superestimada no documento. É um contraste muito explícito com a proposição das “Ações Estratégicas” em cada um dos 9 eixos. Nenhum deles incluiu geração de empregos ou renda de forma explícita, apenas pela lente de força de trabalho para o setor privado.

Na mesma toada, a formulação da narrativa sobre empregos ameaçados pela inteligência artificial e pela automação não inclui menção a estratégias de mitigação dessa possível redução número total de empregos, a exemplo das ideações e projetos de renda básica universal ou diminuição de carga horária semanal. Uma abordagem programática verdadeiramente sistêmica é necessária[2], especialmente considerando que a EBIA apresentou de forma deficitária fatores como evolução de dados e indicadores relacionados aos problemas apresentados[3].

As políticas públicas redistributivas são essenciais para a defesa do futuro do Brasil, um país que ainda precisa enfrentar as mazelas do colonialismo, colonialidade e supremacia branca na extração de recursos humanos, sociais e ambientais locais. É dever do Estado “eliminação dos obstáculos históricos, socioculturais e institucionais que impedem a representação da diversidade étnico-racial nas esferas pública e privada”[4].

Quanto à “diversidade” ou justiça racial, há menções enquadradas como “hiato racial” no texto, mas a palavra racismo não é citada ou reconhecida. Quase todos os dados sobre discriminação racial no texto são referências ao contexto estadunidense. A exceção são os dados sobre prisões via reconhecimento facial, onde importante pesquisa do Panóptico [5] é citada, mas os dados na EBIA dividem espaço com elogiosos ao encarceramento.

              Após listar dados de discrepância na contratação em big techs, sem responsabilizar processos de contratação, o documento afirma que “políticas que promovam a diversidade racial no campo técnico devem considerar aspectos socioculturais da racialidade no país”. Mas temos dados no Brasil sobre desafios enfrentados por pessoas negras no campo técnico da tecnologia, a exemplo de estudos da PretaLab[6], Instituto Sumaúma e AfrOya Tech[7]. Falta vontade política das empresas hegemônicas de tecnologia em agir. Por exemplo, a medição do IBGE e Movimento Negro de que cerca de 50% da população brasileira é negra. Também há dados disponíveis sobre a proporção de pessoas negras e indígenas formadas nas áreas chaves para IA e essa pode ser uma meta estabelecida na EBIA mas também em cada um dos setores envolvidos. Associações do setor privado são capazes de contratar pesquisas independentes externas para analisar diversidade racial e de gênero em suas fileiras e assumir compromissos de remediação, assim como compromissos públicos.

Apesar da crise de diversidade na tecnologia ser um ponto essencial e considerado uma questão global, como apontado pela relatora da ONU Tendayi Achiume[8], a inclusão de programadores e desenvolvedores de minorias políticas é apenas uma parte da questão para a superação dos impactos nocivos de sistemas algorítmicos.

A abordagem sobre o conceito de “viés”, que é consideravelmente limitado por não levar em conta contextos e justiça foram contraditórias ao longo da definição de Ações Estratégicas. Neste campo, três eixos mencionam, de forma parcialmente contraditória: “Desenvolver técnicas para identificar e tratar o risco de viés algorítmico”; “facilitar a detecção e correção de vieses algorítmicos”; ou mesmo “promover um ambiente para pesquisa e desenvolvimento em IA que seja livre de viés”

   Tendo tudo isso em vista, me causa muita preocupação também um foco excessivo no conceito de regulação experimental ou de “sandbox” como panaceia tanto para promover a inovação quanto para resolver danos e impactos nocivos. Implementação de sandbox não deve ser a resposta para a consideração sobre danos algorítmicos. Apesar da luta do setor privado e parte dos governos em impedir transparência significativa, já possuímos “evidências incipientes, incompletas e especulativas” na nossa literatura acadêmica e em mapeamentos jornalísticos. Mantenho um mapeamento de casos de discriminação algorítmica e há inúmeros em torno do mundo, como o AI Vulnerability Database[9].

Quanto ao papel dos sandboxes para o desenvolvimento nacional, lembro aqui também que o PL 2338 no Senado se desviou da inspiração europeia neste caso também para pior, e estabeleceu apenas como possibilidade e não como um dever favorecer pequenas e médias empresas nos arranjos regulatórios experimentais.

Então, considerando que estamos testemunhando uma campanha global de desinformação sobre quais são os riscos reais e presentes da IA – e não futuros, campanha de desinformação que reúne Microsoft, OpenAI, Alphabet, Boring Company e, infelizmente, parte até da hegemonia técnico-científica, preciso fechar essa fala inicial com um reforço de recomendações à nossa soberania digital.

Citando a carta assinada pelo LabLivre e centenas de pesquisadores e ativistas,  é necessário que a EBIA também inclua a previsão de “recursos para apoiar e financiar a criação de cooperativas de trabalhadores, que possam desenvolver e controlar plataformas digitais de prestação de serviços, assim como outros arranjos que evitem a concentração de poder tecnológico, tanto em empresas estrangeiras como nacionais”; e também o compromisso com “programa interdisciplinar de formação, inclusive ética, e de permanência de cientistas e técnicos, implantando e financiando centros de desenvolvimento para a criação e desenvolvimento”[10] de tecnologias em prol do comum.

Notas
[1] ERMANTRAUT, Victoria. Locação de Algoritmos de Inteligência Artificial da Microsoft no Brasil: reflexões, dataficação e colonialismo. In: CASINO, J.; SOUZA, J. AMADEU, S. Colonialismo de Dados. São Paulo, SP: Autonomia Literária, 2021.

[2] GASPAR, Walter Britto; MENDONÇA, Yasmin Curzi de. A inteligência artificial no Brasil ainda precisa de uma estratégia. 2021.

[3] CHIARINI, Tulio; SILVEIRA, Sérgio Amadeu da. Exame comparativo das estratégias nacionais de inteligência artificial de Argentina, Brasil, Chile, Colômbia e Coreia do Sul: consistência do diagnóstico dos problemas-chave identificados. 2022.

[4] Estatuto da Igualdade Racial. – https://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12288.htm

[5] Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. https://opanoptico.com.br/exclusivo-levantamento-revela-que-905-dos-presos-por-monitoramento-facial-no-brasil-sao-negros/

[6] Pretalab: Report Quem Coda – https://www.pretalab.com/report-quem-coda

[7] AfrOya Tech e Instituto Sumaúma. Quem Somos: Mapa de Talentos Negros em Tecnologia. https://comunidade.afroya.tech/quemsomos

[8] ACHIUME, E. Tendayi. Racial discrimination and emerging digital technologies: a human rights analysis. United Nations Office of the High Commissioner for Human Rights. https://undocs. org/en/A/HRC/44/57, 2020.

[9] AI Vulnerability Database An open-source, extensible knowledge base of AI failures – https://avidml.org

[10] Programa de Emergência para a soberania digital – https://cartasoberaniadigital.lablivre.wiki.br/carta



Como circular informações sobre IA, riscos e governança?

Em Maio pude participar do encontro Closing Knowledge Gaps, Fostering Participatory AI Governance: The Role of Civil Society, organizado em Buenos Aires pelo National Endowment for Democracy, International Forum for Democractic Studies e Chequeado. Transcrevo aqui parte de minha fala de abertura para sessão sobre Communicating About AI Governance: Fairness, Accountability.

Respondendo uma das questões de abertura para a fala, gostaria de colaborar com a pergunta sobre “What strategies might be effective for raising the baseline level of knowledge and awareness in this area?”. Um primeiro esforço coletivo me parece reconhecer que os modos de relação com tecnologias digitais emergentes vão ser diferentes a partir das características interseccionais das comunidades, seus problemas e vulnerabilidades.

Em pesquisa que realizamos, com apoio da Tecla (Ação Educativa – Assessoria, Pesquisa e Informação) e Mozilla, perguntamos a mais de 100 experts afrobrasileiros quais eram suas principais preocupações sobre tecnologias digitais emergentes. Minha hipótese era que reconhecimento facial e tecnologias biométricas seriam o tema mais mencionados. Não foi o caso: o principal problema apontado pelos especialistas foi o “Apagamento do Conhecimento e Racismo Epistêmico”. O apagamento intencional de abordagens críticas e antirracistas sobre tecnologia penaliza a justiça racial e atrasa a superação dos impactos de séculos de racismo.

No alt text provided for this image
Fonte: Prioridades Antirracistas sobre Tecnologia e Sociedade

Experts técnicos, científicos e humanistas de grupos minorizados não são ouvidos sobre danos algorítmicos, mas é possível ir ainda além. O papel do “conhecimento experiencial” ou “experiências vividas” é essencial como pilar do pensamento feminista negro, como Patricia Hill Collins que afirma que “Experience as a criterion of meaning with practical images as its symbolic vehicles is a fundamental epistemological tenet” para transformar a realidade.

Assim acredito que a manutenção do discurso da “caixa-preta” sobre os algoritmos digitais é um problema que limita não só a compreensão efetiva dos problemas relacionados a bias, discriminação e racismo nos algoritmos mas também poda o potencial de imaginários sociotécnicos alternativos.

Prefiro particularmente o termo “sistemas algorítmicos” a inteligência artificial por esta razão. O que chamamos de AI não é inteligente nem artificial, então usar este termo pode tanto subestimar a complexidade da inteligência humana quanto apagar todas as camadas de apropriação de trabalho incorporada em sistemas algorítmicos.

No alt text provided for this image
Modelo proposto pela OECD inclui contexto, mas podemos ir ainda além

A comum descrição de sistemas algorítmicos como uma caixa preta entre input, model e output limita o entendimento de seus efeitos, impactos e possibilidades. Quando incluímos na definição ou debate, de forma explícita, camadas como Contexto, Objetivos, Atores Beneficiados e Comunidades Impactadas podemos incluir mais pessoas no debate.

Recomendaria, então, cinco compromissos sobre o tema: 

a.        Inclusão de comunidades impactadas no debate. Mas não é uma questão necessariamente de “knowledge gap”, mas sim uma questão de superar o racismo epistêmico em todas instituições;

b.        Compromisso de que mecanismos de governança em construção, como a supervisão como relatórios de impactos algorítmicos, se transformem em mecanismos públicos e participativos;

c.         Construção de mecanismos de apoio a comunidades vulnerabilizadas, inclusive no oferecimento de recursos, que superem os gatekeepers tradicionais;

d.        Inclusão de stakeholders no campo da educação,como professores de ensino médio, que possam engajar mais pessoas;

e.        Finalmente centrar objetivos e impactos no debate público sobre inteligência artificial. Termos como viés, intenção ou ética são importantes mas não são suficientes, precisamos avançar à justiça algorítmica. E em alguns casos essa justiça significa não implementar o sistema, como é o caso de vigilância biométrica, policiamento preditivo ou reconhecimento de emoções.

Tecnologias digitais, ética e vieses discriminatórios

O Ciclo de Conversas “Inteligência Artificial, Algoritmos e Media” foi organizado pela Universidade da Beira Interior – por meio da Unidade de Investigação Labcom – Comunicação e Artes e do projeto MediaTrust.Lab durante janeiro de 2023. Pude participar do painel “Tecnologias digitais, ética e vieses discriminatórios”: Marisa Torres da Silva – Universidade Nova de Lisboa (Portugal); Patrícia Ventura – Universitat Autònoma de Barcelona (Espanha); Tarcízio Silva – Mozilla Foundation (Brasil); com mediação de Paulo Victor Melo (ICNOVA FCSH e Labcom/UBI). Veja abaixo:

RightsCon 2023: envie sua proposta

A Chamada de Propostas está aberta para o #RightsCon Costa Rica, o principal encontro sobre direitos humanos na era digital! Estou empolgado em fazer parte do Program Committee e avaliar propostas para a categoria de Inteligência Artificial, junto a mais especialistas do mundo todo. Se você tem uma ideia de atividade, lembre de submeter até 12 de janeiro!

RightsCon conecta pessoas em torno do mundo – proponentes de políticas públicas, legisladores, empresárias, tecnologistas, pesquisadoras, designers, jornalistas, criativos e mais – para encontrar soluções pros problemas mais complexos afetando nossos espaços digitais. Realizado presencialmente e online, RightsCon Costa Rica vai acontecer de 5 a 9 de junho de 2023. Vai acontecer em San José, Costa Rica e online, com a expectativa de reunir 10 mil pessoas de 150 países diferentes.

Gerir uma atividade, seja online ou em pessoa, é uma oportunidade de conectar com comunidades globais de experts, fortalecer habilidades de construção de redes e, sobretudo, ajudar a direcionar a agenda sobre direitos humanos na era digitais. Para saber mais, visite rightscon.org/program, tópicos em destaque na programação deste ano ou confira o Guide to a Successful Proposal para dicas e truques!