Em maio, tive a grata oportunidade de dialogar em painel sobre Discriminação Algorítmica na Conferência Anual da Defensoria Pública do Maranhão. Fiquei especialmente satisfeito por admirar o papel da Defensoria Pública no suporte à sociedade e defesa de um sistema judiciário que proteja os direitos humanos, assim como a educação pública sobre direitos – missões que são chave no momento de definição de consensos sobre algoritmos e inteligência artificial.

Na abertura do painel pude trazer reflexões sobre o caráter elusivo – e permeado de dinâmicas de poder – na própria definição de inteligência artificial. Relembrei definições como a da OCDE que estabelece que “um sistema de IA é um sistema baseado em máquinas que pode, para um determinado conjunto de objetivos definidos por humanos, fazer previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais”. No nexo entre objetivos, intenções e danos no desenvolvimento e implementação de sistemas algorítmicos temos possibilidades normativas mais acessíveis à sociedade do que um tecnocentrismo no código.

A abordagem de identificação de vieses para combater a discriminação algorítmica foi explicada pela prof. Dra. Ana Paula Cavalcanti. Entre os problemas apresentados como fontes para distorções no sistema estão: dificuldade de gerir alto volume de dados; amostragem distorcida e viés inicial das bases; disparidades no poder computacional; disparidades no tamanho da amostra; e questões de desenvolvimento ético, transparência e responsabilidade.

O conceito de discriminação algorítmica já tem sido reconhecido por estados em torno do mundo, a exemplo dos EUA – país-sede de boa parte das organizações big tech – que definiu-a como “Discriminação algorítmica ocorre quando sistemas automatizados contribuem para tratamento diferencial injustificado ou impactos desfavoráveis a pessoas baseados em sua raça, cor, etnia, sexo, deficiência, status de veterano, informação genética ou qualquer outra categoria protegida por lei. Dependendo das condições específicas, tais discriminações algorítmicas podem violar proteções legais”.

A partir da discriminação algorítmica, apresentei características do que chamo de racismo algorítmico. Problemas comumente citados sobre discriminação algorítmica, como o loop de retroalimentação e a opacidade dos sistemas, se conecta com vulnerabilidades impostas à populações negras como acesso limitado a direitos, colonialidade de campo e visibilidade diferencial. Os hiatos digitais que  geram dificuldades de vários níveis no acesso digital também foi abordado, mas indo além do conceito de “exclusão digital”.

Thales Dias Pereira, Mestre em Direito e Defensor Público, abriu sua fala lembrando do contexto de “subintegração” na medida em que ninguém é realmente excluído da sociedade e seus aspectos. Essa observação abriu caminho para a lembrança de que é basicamente impossível ser excluído dos processos algorítmico, uma vez que os direitos fundamentais dos cidadãos podem ficar sujeitos a decisões algorítmicas ainda que eles não saibam.

O defensor público conclama a observação do conceito de hipervulnerabilidade algorítmica, uma condição que converge em indivíduos e grupos que não são capazes de contestar ou mesmo entender os parâmetros utilizados pelos sistemas algorítmicos e também vivenciam desigualdades interseccionais.

Para o dr. Thales Pereira, a regulação legal não deve prejudicar aspectos positivos do desenvolvimento de sistemas algorítmicos, mas precisa observar as peculiaridades de indivíduos e grupos hipervulnerável.

Em conexão com a consideração do defensor que é necessário diálogo entre regulação da IA e teorias dos direitos fundamentais, fechei minha apresentação relembrando que já temos pesquisa e maturidade para regular a inteligência artificial.

Quanto ao papel do Estado, o relatório “Racial discrimination and emerging digital technologies: a human rights analysis” da relatora da ONU e prof. Dra. de Direito Tendayi Achiume se desdobra sobre o impacto possível de compromissos como “tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas” e que “estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor público e permitir análise e supervisão independente, incluindo através do uso apenas de sistemas que sejam auditáveis”.

No setor privado, a noção de “Trustworthy AI” (IA Confiável) nas lentes da Fundação Mozilla inclui a construção de ambientes saudáveis para que os profissionais possam exercer seu papel na produção de tecnologias confiáveis, transparentes e justas. Entre as sugestões da fundação estão:

• precisa haver uma grande mudança na cultura corporativa para que os funcionários que  defendem práticas de IA responsável sintam-se apoiados e fortalecidos. Evidências sugerem que as ações dos advogados internos não terão impacto, a menos que seu trabalho esteja alinhado com as práticas organizacionais.
• As equipes de engenharia devem se esforçar para refletir a diversidade das pessoas que usam a tecnologia, em linhas raciais, de gênero, geográficas, socioeconômicas e de acessibilidade

Por fim, citei algumas propostas presentes em colaborações escritas à Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre integência artificial no Brasil:

• Juristas Negras enfatizaram que “é imprescindível que sejam realizados debates, estudos e colaborações no campo das teorias raciais para incorporação ao projeto de lei de dispositivos que protejam a população negra, como grupo social de maior vulnerabilidade frente a tais tecnologias”
• A Rede Mulheres na Privacidade, em artigo assinado por Eloá Caixeta e Karolyne Utomi recomendou “que sejam estudados casos práticos ao redor do mundo com relação aos prejuízos causados pela IA quando mal empregada, como, por exemplo, o banimento do uso de tecnologias de reconhecimento facial para fins policiais pelo governo de São Francisco, nos Estados Unidos, onde entendeu-se que a utilização do reconhecimento facial pode exacerbar a injustiça racial, sendo a tecnologia apresenta pequenos benefícios frente aos riscos e prejuízos que ela pode gerar”
• Pesquisadoras como Natane Santos propuseram que “a preponderância da obrigatoriedade de revisão humana de decisões automatizadas pressupõe a garantia efetiva dos direitos:(i) autodeterminação informativa; (ii) não discriminação e transparência; (iii) direito de informação sobre critérios e parâmetros de decisões, revisão, explicação e oposição as decisões automatizadas”

Em resumo, a multiplicação de atores engajados no desafio da regulação de IA é uma tendência nos três setores do poder. As defensorias públicas atuam e deverão atuar cada vez mais em imbróglios complexos sobre IA e sistemas algorítmicos na defesa dos cidadãos. Compromissos multissetoriais podem estabelecer redes de trocas que assegurem que as tecnologias digitais emergentes sirvam aos propósitos e potenciais da vida humana e social, e não apenas lucro e concentração de poder.