O programa Estação Livre da Estação Cultura se debruçou sobre o mercado de influenciadores, discutindo tendências, empreendedorismo, potenciais e controvérsias, incluindo dificuldades ligadas ao racismo algorítmico. O excelente programa liderado por Cris Guterres cobriu também o lançamento da versão impressa do meu livro, onde pude falar um pouco sobre o que é racismo algorítmico e suas relações como tema do mercado de influenciadores e criadores em plataformas. Veja abaixo:
Arquivo da tag: racismo algorítmico
Audiolivro Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais
Acaba de ser lançada na Everand a versão audiolivro de minha obra Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. A obra discute reconhecimento facial, filtros para selfies, moderação de conteúdo, chatbots, policiamento preditivo e escore de crédito e outras aplicações que usam sistemas de inteligência artificial na atualidade. O que acontece quando as máquinas e programas apresentam resultados discriminatórios? Seriam os algoritmos racistas? Ou trata-se apenas de erros inevitáveis? De quem é a responsabilidade entre humanos e máquinas? E o que podemos fazer para combater os impactos tóxicos e racistas de tecnologias que automatizam o preconceito?
Neste audiolivro, estudamos a incorporação de hierarquias raciais nas tecnologias digitais de comunicação e informação. O racismo algorítmico se tornou um conceito relevante para entender como a implementação acelerada de tecnologias digitais emergentes, que priorizam ideais de lucro e de escala, impactam negativamente minorias raciais em torno do mundo. Quando algoritmos recebem o poder de decidir – a partir dos critérios de seus criadores – o que é risco, o que é belo, o que é tóxico ou o que é mérito, os potenciais discriminatórios se multiplicam. Investigamos de forma interdisciplinar o fenômeno do racismo algorítmico em tecnologias como mídias sociais, buscadores, visão computacional e reconhecimento facial.
Com narração de Matias Erisson, o audiobook soma mais de 5 horas de conteúdo e pode ser ouvido no aplicativo ou navegador. Ouça um trecho na Everand.
A defensoria pública no combate e mitigação da discriminação algorítmica
Em maio, tive a grata oportunidade de dialogar em painel sobre Discriminação Algorítmica na Conferência Anual da Defensoria Pública do Maranhão. Fiquei especialmente satisfeito por admirar o papel da Defensoria Pública no suporte à sociedade e defesa de um sistema judiciário que proteja os direitos humanos, assim como a educação pública sobre direitos – missões que são chave no momento de definição de consensos sobre algoritmos e inteligência artificial.
Na abertura do painel pude trazer reflexões sobre o caráter elusivo – e permeado de dinâmicas de poder – na própria definição de inteligência artificial. Relembrei definições como a da OCDE que estabelece que “um sistema de IA é um sistema baseado em máquinas que pode, para um determinado conjunto de objetivos definidos por humanos, fazer previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais”. No nexo entre objetivos, intenções e danos no desenvolvimento e implementação de sistemas algorítmicos temos possibilidades normativas mais acessíveis à sociedade do que um tecnocentrismo no código.
A abordagem de identificação de vieses para combater a discriminação algorítmica foi explicada pela prof. Dra. Ana Paula Cavalcanti. Entre os problemas apresentados como fontes para distorções no sistema estão: dificuldade de gerir alto volume de dados; amostragem distorcida e viés inicial das bases; disparidades no poder computacional; disparidades no tamanho da amostra; e questões de desenvolvimento ético, transparência e responsabilidade.
O conceito de discriminação algorítmica já tem sido reconhecido por estados em torno do mundo, a exemplo dos EUA – país-sede de boa parte das organizações big tech – que definiu-a como “Discriminação algorítmica ocorre quando sistemas automatizados contribuem para tratamento diferencial injustificado ou impactos desfavoráveis a pessoas baseados em sua raça, cor, etnia, sexo, deficiência, status de veterano, informação genética ou qualquer outra categoria protegida por lei. Dependendo das condições específicas, tais discriminações algorítmicas podem violar proteções legais”.
A partir da discriminação algorítmica, apresentei características do que chamo de racismo algorítmico. Problemas comumente citados sobre discriminação algorítmica, como o loop de retroalimentação e a opacidade dos sistemas, se conecta com vulnerabilidades impostas à populações negras como acesso limitado a direitos, colonialidade de campo e visibilidade diferencial. Os hiatos digitais que geram dificuldades de vários níveis no acesso digital também foi abordado, mas indo além do conceito de “exclusão digital”.
Thales Dias Pereira, Mestre em Direito e Defensor Público, abriu sua fala lembrando do contexto de “subintegração” na medida em que ninguém é realmente excluído da sociedade e seus aspectos. Essa observação abriu caminho para a lembrança de que é basicamente impossível ser excluído dos processos algorítmico, uma vez que os direitos fundamentais dos cidadãos podem ficar sujeitos a decisões algorítmicas ainda que eles não saibam.
O defensor público conclama a observação do conceito de hipervulnerabilidade algorítmica, uma condição que converge em indivíduos e grupos que não são capazes de contestar ou mesmo entender os parâmetros utilizados pelos sistemas algorítmicos e também vivenciam desigualdades interseccionais.
Para o dr. Thales Pereira, a regulação legal não deve prejudicar aspectos positivos do desenvolvimento de sistemas algorítmicos, mas precisa observar as peculiaridades de indivíduos e grupos hipervulnerável.
Em conexão com a consideração do defensor que é necessário diálogo entre regulação da IA e teorias dos direitos fundamentais, fechei minha apresentação relembrando que já temos pesquisa e maturidade para regular a inteligência artificial.
Quanto ao papel do Estado, o relatório “Racial discrimination and emerging digital technologies: a human rights analysis” da relatora da ONU e prof. Dra. de Direito Tendayi Achiume se desdobra sobre o impacto possível de compromissos como “tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas” e que “estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor público e permitir análise e supervisão independente, incluindo através do uso apenas de sistemas que sejam auditáveis”.
No setor privado, a noção de “Trustworthy AI” (IA Confiável) nas lentes da Fundação Mozilla inclui a construção de ambientes saudáveis para que os profissionais possam exercer seu papel na produção de tecnologias confiáveis, transparentes e justas. Entre as sugestões da fundação estão:
- precisa haver uma grande mudança na cultura corporativa para que os funcionários que defendem práticas de IA responsável sintam-se apoiados e fortalecidos. Evidências sugerem que as ações dos advogados internos não terão impacto, a menos que seu trabalho esteja alinhado com as práticas organizacionais.
- As equipes de engenharia devem se esforçar para refletir a diversidade das pessoas que usam a tecnologia, em linhas raciais, de gênero, geográficas, socioeconômicas e de acessibilidade
Por fim, citei algumas propostas presentes em colaborações escritas à Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre integência artificial no Brasil:
- Juristas Negras enfatizaram que “é imprescindível que sejam realizados debates, estudos e colaborações no campo das teorias raciais para incorporação ao projeto de lei de dispositivos que protejam a população negra, como grupo social de maior vulnerabilidade frente a tais tecnologias”
- A Rede Mulheres na Privacidade, em artigo assinado por Eloá Caixeta e Karolyne Utomi recomendou “que sejam estudados casos práticos ao redor do mundo com relação aos prejuízos causados pela IA quando mal empregada, como, por exemplo, o banimento do uso de tecnologias de reconhecimento facial para fins policiais pelo governo de São Francisco, nos Estados Unidos, onde entendeu-se que a utilização do reconhecimento facial pode exacerbar a injustiça racial, sendo a tecnologia apresenta pequenos benefícios frente aos riscos e prejuízos que ela pode gerar”
- Pesquisadoras como Natane Santos propuseram que “a preponderância da obrigatoriedade de revisão humana de decisões automatizadas pressupõe a garantia efetiva dos direitos:(i) autodeterminação informativa; (ii) não discriminação e transparência; (iii) direito de informação sobre critérios e parâmetros de decisões, revisão, explicação e oposição as decisões automatizadas”
Em resumo, a multiplicação de atores engajados no desafio da regulação de IA é uma tendência nos três setores do poder. As defensorias públicas atuam e deverão atuar cada vez mais em imbróglios complexos sobre IA e sistemas algorítmicos na defesa dos cidadãos. Compromissos multissetoriais podem estabelecer redes de trocas que assegurem que as tecnologias digitais emergentes sirvam aos propósitos e potenciais da vida humana e social, e não apenas lucro e concentração de poder.
Como circular informações sobre IA, riscos e governança?
Em Maio pude participar do encontro Closing Knowledge Gaps, Fostering Participatory AI Governance: The Role of Civil Society, organizado em Buenos Aires pelo National Endowment for Democracy, International Forum for Democractic Studies e Chequeado. Transcrevo aqui parte de minha fala de abertura para sessão sobre Communicating About AI Governance: Fairness, Accountability.
Respondendo uma das questões de abertura para a fala, gostaria de colaborar com a pergunta sobre “What strategies might be effective for raising the baseline level of knowledge and awareness in this area?”. Um primeiro esforço coletivo me parece reconhecer que os modos de relação com tecnologias digitais emergentes vão ser diferentes a partir das características interseccionais das comunidades, seus problemas e vulnerabilidades.
Em pesquisa que realizamos, com apoio da Tecla (Ação Educativa – Assessoria, Pesquisa e Informação) e Mozilla, perguntamos a mais de 100 experts afrobrasileiros quais eram suas principais preocupações sobre tecnologias digitais emergentes. Minha hipótese era que reconhecimento facial e tecnologias biométricas seriam o tema mais mencionados. Não foi o caso: o principal problema apontado pelos especialistas foi o “Apagamento do Conhecimento e Racismo Epistêmico”. O apagamento intencional de abordagens críticas e antirracistas sobre tecnologia penaliza a justiça racial e atrasa a superação dos impactos de séculos de racismo.
Experts técnicos, científicos e humanistas de grupos minorizados não são ouvidos sobre danos algorítmicos, mas é possível ir ainda além. O papel do “conhecimento experiencial” ou “experiências vividas” é essencial como pilar do pensamento feminista negro, como Patricia Hill Collins que afirma que “Experience as a criterion of meaning with practical images as its symbolic vehicles is a fundamental epistemological tenet” para transformar a realidade.
Assim acredito que a manutenção do discurso da “caixa-preta” sobre os algoritmos digitais é um problema que limita não só a compreensão efetiva dos problemas relacionados a bias, discriminação e racismo nos algoritmos mas também poda o potencial de imaginários sociotécnicos alternativos.
Prefiro particularmente o termo “sistemas algorítmicos” a inteligência artificial por esta razão. O que chamamos de AI não é inteligente nem artificial, então usar este termo pode tanto subestimar a complexidade da inteligência humana quanto apagar todas as camadas de apropriação de trabalho incorporada em sistemas algorítmicos.
A comum descrição de sistemas algorítmicos como uma caixa preta entre input, model e output limita o entendimento de seus efeitos, impactos e possibilidades. Quando incluímos na definição ou debate, de forma explícita, camadas como Contexto, Objetivos, Atores Beneficiados e Comunidades Impactadas podemos incluir mais pessoas no debate.
Recomendaria, então, cinco compromissos sobre o tema:
a. Inclusão de comunidades impactadas no debate. Mas não é uma questão necessariamente de “knowledge gap”, mas sim uma questão de superar o racismo epistêmico em todas instituições;
b. Compromisso de que mecanismos de governança em construção, como a supervisão como relatórios de impactos algorítmicos, se transformem em mecanismos públicos e participativos;
c. Construção de mecanismos de apoio a comunidades vulnerabilizadas, inclusive no oferecimento de recursos, que superem os gatekeepers tradicionais;
d. Inclusão de stakeholders no campo da educação,como professores de ensino médio, que possam engajar mais pessoas;
e. Finalmente centrar objetivos e impactos no debate público sobre inteligência artificial. Termos como viés, intenção ou ética são importantes mas não são suficientes, precisamos avançar à justiça algorítmica. E em alguns casos essa justiça significa não implementar o sistema, como é o caso de vigilância biométrica, policiamento preditivo ou reconhecimento de emoções.
Justiça Racial e Tecnologia
No episódio #176 do podcast Tecnopolítica, Sérgio Amadeu conversou com Juliane Cintra de Oliveira, diretora executiva da ABONG e coordenadora de tecnologia e comunicação da Ação Educativa. Juliane conversou sobre como podemos levar o conceito de justiça racial para o terreno da tecnologia.
O bate-papo avançou para a importância de explicitar os dispositivos de racialização e preconceitos embarcados nas tecnologias e no ciberespaço. Em seguida, Juliane descreveu o projeto Tecla (https://tecla.org.br/), uma parceria da Ação Educativa, do Projeto Mozilla e de outras organizações da sociedade civil, voltado a ações digitais que priorizem os princípios da educação popular, pluralização de vozes no debate público e a produção de informação e conhecimento.