A defensoria pública no combate e mitigação da discriminação algorítmica

Em maio, tive a grata oportunidade de dialogar em painel sobre Discriminação Algorítmica na Conferência Anual da Defensoria Pública do Maranhão. Fiquei especialmente satisfeito por admirar o papel da Defensoria Pública no suporte à sociedade e defesa de um sistema judiciário que proteja os direitos humanos, assim como a educação pública sobre direitos – missões que são chave no momento de definição de consensos sobre algoritmos e inteligência artificial.

Na abertura do painel pude trazer reflexões sobre o caráter elusivo – e permeado de dinâmicas de poder – na própria definição de inteligência artificial. Relembrei definições como a da OCDE que estabelece que “um sistema de IA é um sistema baseado em máquinas que pode, para um determinado conjunto de objetivos definidos por humanos, fazer previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais”. No nexo entre objetivos, intenções e danos no desenvolvimento e implementação de sistemas algorítmicos temos possibilidades normativas mais acessíveis à sociedade do que um tecnocentrismo no código.

A abordagem de identificação de vieses para combater a discriminação algorítmica foi explicada pela prof. Dra. Ana Paula Cavalcanti. Entre os problemas apresentados como fontes para distorções no sistema estão: dificuldade de gerir alto volume de dados; amostragem distorcida e viés inicial das bases; disparidades no poder computacional; disparidades no tamanho da amostra; e questões de desenvolvimento ético, transparência e responsabilidade.

O conceito de discriminação algorítmica já tem sido reconhecido por estados em torno do mundo, a exemplo dos EUA – país-sede de boa parte das organizações big tech – que definiu-a como “Discriminação algorítmica ocorre quando sistemas automatizados contribuem para tratamento diferencial injustificado ou impactos desfavoráveis a pessoas baseados em sua raça, cor, etnia, sexo, deficiência, status de veterano, informação genética ou qualquer outra categoria protegida por lei. Dependendo das condições específicas, tais discriminações algorítmicas podem violar proteções legais”.

A partir da discriminação algorítmica, apresentei características do que chamo de racismo algorítmico. Problemas comumente citados sobre discriminação algorítmica, como o loop de retroalimentação e a opacidade dos sistemas, se conecta com vulnerabilidades impostas à populações negras como acesso limitado a direitos, colonialidade de campo e visibilidade diferencial. Os hiatos digitais que  geram dificuldades de vários níveis no acesso digital também foi abordado, mas indo além do conceito de “exclusão digital”.

Thales Dias Pereira, Mestre em Direito e Defensor Público, abriu sua fala lembrando do contexto de “subintegração” na medida em que ninguém é realmente excluído da sociedade e seus aspectos. Essa observação abriu caminho para a lembrança de que é basicamente impossível ser excluído dos processos algorítmico, uma vez que os direitos fundamentais dos cidadãos podem ficar sujeitos a decisões algorítmicas ainda que eles não saibam.

O defensor público conclama a observação do conceito de hipervulnerabilidade algorítmica, uma condição que converge em indivíduos e grupos que não são capazes de contestar ou mesmo entender os parâmetros utilizados pelos sistemas algorítmicos e também vivenciam desigualdades interseccionais.

Para o dr. Thales Pereira, a regulação legal não deve prejudicar aspectos positivos do desenvolvimento de sistemas algorítmicos, mas precisa observar as peculiaridades de indivíduos e grupos hipervulnerável.

Em conexão com a consideração do defensor que é necessário diálogo entre regulação da IA e teorias dos direitos fundamentais, fechei minha apresentação relembrando que já temos pesquisa e maturidade para regular a inteligência artificial.

Quanto ao papel do Estado, o relatório “Racial discrimination and emerging digital technologies: a human rights analysis” da relatora da ONU e prof. Dra. de Direito Tendayi Achiume se desdobra sobre o impacto possível de compromissos como “tornar avaliações de impactos em direitos humanos, igualdade racial e não-discriminação um pré-requisito para a adoção de sistemas baseados em tais tecnologias por autoridades públicas” e que “estados devem garantir transparência e prestação de contas sobre o uso de tecnologias digitais emergentes pelo setor público e permitir análise e supervisão independente, incluindo através do uso apenas de sistemas que sejam auditáveis”.

No setor privado, a noção de “Trustworthy AI” (IA Confiável) nas lentes da Fundação Mozilla inclui a construção de ambientes saudáveis para que os profissionais possam exercer seu papel na produção de tecnologias confiáveis, transparentes e justas. Entre as sugestões da fundação estão:

  • precisa haver uma grande mudança na cultura corporativa para que os funcionários que  defendem práticas de IA responsável sintam-se apoiados e fortalecidos. Evidências sugerem que as ações dos advogados internos não terão impacto, a menos que seu trabalho esteja alinhado com as práticas organizacionais.
  • As equipes de engenharia devem se esforçar para refletir a diversidade das pessoas que usam a tecnologia, em linhas raciais, de gênero, geográficas, socioeconômicas e de acessibilidade

Por fim, citei algumas propostas presentes em colaborações escritas à Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre integência artificial no Brasil:

  • Juristas Negras enfatizaram que “é imprescindível que sejam realizados debates, estudos e colaborações no campo das teorias raciais para incorporação ao projeto de lei de dispositivos que protejam a população negra, como grupo social de maior vulnerabilidade frente a tais tecnologias”
  • A Rede Mulheres na Privacidade, em artigo assinado por Eloá Caixeta e Karolyne Utomi recomendou “que sejam estudados casos práticos ao redor do mundo com relação aos prejuízos causados pela IA quando mal empregada, como, por exemplo, o banimento do uso de tecnologias de reconhecimento facial para fins policiais pelo governo de São Francisco, nos Estados Unidos, onde entendeu-se que a utilização do reconhecimento facial pode exacerbar a injustiça racial, sendo a tecnologia apresenta pequenos benefícios frente aos riscos e prejuízos que ela pode gerar”
  • Pesquisadoras como Natane Santos propuseram que “a preponderância da obrigatoriedade de revisão humana de decisões automatizadas pressupõe a garantia efetiva dos direitos:(i) autodeterminação informativa; (ii) não discriminação e transparência; (iii) direito de informação sobre critérios e parâmetros de decisões, revisão, explicação e oposição as decisões automatizadas”

Em resumo, a multiplicação de atores engajados no desafio da regulação de IA é uma tendência nos três setores do poder. As defensorias públicas atuam e deverão atuar cada vez mais em imbróglios complexos sobre IA e sistemas algorítmicos na defesa dos cidadãos. Compromissos multissetoriais podem estabelecer redes de trocas que assegurem que as tecnologias digitais emergentes sirvam aos propósitos e potenciais da vida humana e social, e não apenas lucro e concentração de poder.

Como circular informações sobre IA, riscos e governança?

Em Maio pude participar do encontro Closing Knowledge Gaps, Fostering Participatory AI Governance: The Role of Civil Society, organizado em Buenos Aires pelo National Endowment for Democracy, International Forum for Democractic Studies e Chequeado. Transcrevo aqui parte de minha fala de abertura para sessão sobre Communicating About AI Governance: Fairness, Accountability.

Respondendo uma das questões de abertura para a fala, gostaria de colaborar com a pergunta sobre “What strategies might be effective for raising the baseline level of knowledge and awareness in this area?”. Um primeiro esforço coletivo me parece reconhecer que os modos de relação com tecnologias digitais emergentes vão ser diferentes a partir das características interseccionais das comunidades, seus problemas e vulnerabilidades.

Em pesquisa que realizamos, com apoio da Tecla (Ação Educativa – Assessoria, Pesquisa e Informação) e Mozilla, perguntamos a mais de 100 experts afrobrasileiros quais eram suas principais preocupações sobre tecnologias digitais emergentes. Minha hipótese era que reconhecimento facial e tecnologias biométricas seriam o tema mais mencionados. Não foi o caso: o principal problema apontado pelos especialistas foi o “Apagamento do Conhecimento e Racismo Epistêmico”. O apagamento intencional de abordagens críticas e antirracistas sobre tecnologia penaliza a justiça racial e atrasa a superação dos impactos de séculos de racismo.

No alt text provided for this image
Fonte: Prioridades Antirracistas sobre Tecnologia e Sociedade

Experts técnicos, científicos e humanistas de grupos minorizados não são ouvidos sobre danos algorítmicos, mas é possível ir ainda além. O papel do “conhecimento experiencial” ou “experiências vividas” é essencial como pilar do pensamento feminista negro, como Patricia Hill Collins que afirma que “Experience as a criterion of meaning with practical images as its symbolic vehicles is a fundamental epistemological tenet” para transformar a realidade.

Assim acredito que a manutenção do discurso da “caixa-preta” sobre os algoritmos digitais é um problema que limita não só a compreensão efetiva dos problemas relacionados a bias, discriminação e racismo nos algoritmos mas também poda o potencial de imaginários sociotécnicos alternativos.

Prefiro particularmente o termo “sistemas algorítmicos” a inteligência artificial por esta razão. O que chamamos de AI não é inteligente nem artificial, então usar este termo pode tanto subestimar a complexidade da inteligência humana quanto apagar todas as camadas de apropriação de trabalho incorporada em sistemas algorítmicos.

No alt text provided for this image
Modelo proposto pela OECD inclui contexto, mas podemos ir ainda além

A comum descrição de sistemas algorítmicos como uma caixa preta entre input, model e output limita o entendimento de seus efeitos, impactos e possibilidades. Quando incluímos na definição ou debate, de forma explícita, camadas como Contexto, Objetivos, Atores Beneficiados e Comunidades Impactadas podemos incluir mais pessoas no debate.

Recomendaria, então, cinco compromissos sobre o tema: 

a.        Inclusão de comunidades impactadas no debate. Mas não é uma questão necessariamente de “knowledge gap”, mas sim uma questão de superar o racismo epistêmico em todas instituições;

b.        Compromisso de que mecanismos de governança em construção, como a supervisão como relatórios de impactos algorítmicos, se transformem em mecanismos públicos e participativos;

c.         Construção de mecanismos de apoio a comunidades vulnerabilizadas, inclusive no oferecimento de recursos, que superem os gatekeepers tradicionais;

d.        Inclusão de stakeholders no campo da educação,como professores de ensino médio, que possam engajar mais pessoas;

e.        Finalmente centrar objetivos e impactos no debate público sobre inteligência artificial. Termos como viés, intenção ou ética são importantes mas não são suficientes, precisamos avançar à justiça algorítmica. E em alguns casos essa justiça significa não implementar o sistema, como é o caso de vigilância biométrica, policiamento preditivo ou reconhecimento de emoções.

A Construção do Marco Regulatório da Inteligência Artificial no Brasil

O Centro de Estudos Judiciários do Conselho da Justiça Federal (CEJ/CJF) e o Superior Tribunal de Justiça (STJ) realizou, no dia 17 de abril, no auditório do CJF, o seminário “A Construção do Marco Regulatório da Inteligência Artificial no Brasil”. O encontro teve o objetivo debater sobre a elaboração do Marco Regulatório da Inteligência Artificial no Brasil, bem como tratar das principais repercussões para o setor de inovação tecnocientífica a partir da implementação de ferramentas de governança regulatória. Colaborei em painel sobre Discriminação Algorítmica, que pode ser assistido no registro abaixo:

Assine princípios e compromissos pela regulação de IA no Pacto Digital Global da ONU

No último fevereiro, pude participar do encontro do Pacto Digital Global – Consulta às Américas, iniciativa do Secretariado de Tecnologias das Nações Unidas. Foi uma troca de ideias entre as partes interessadas sobre o uso futuro de tecnologias digitais, realizado no Ministério das Relações Exteriores do México. Discutimos como a comunidade internacional pode usar essas tecnologias para acelerar o cumprimento da Agenda 2030 das Nações Unidas. Pude levar considerações a partir do trabalho com a Mozilla Foundation e Tecla/Ação Educativa.

Amandeep Singh Gill, Emissário de Tecnologia do Secretariado Geral das Nações Unidas, destacou o papel fundamental que o diálogo multilateral e a ONU podem desempenhar no desenvolvimento de princípios globais sobre tecnologia. “A tecnologia afeta todos os países, comunidades e indivíduos em todo o mundo. É por isso que um processo inclusivo e com várias partes interessadas é fundamental para o sucesso do Pacto Digital Global“.

O objetivo das consultas é produzir recomendações tangíveis e orientadas para a ação que serão refletidas no Pacto Digital Global, que será adotado na Cúpula do Futuro em 2024 e envolve compromissos concretos de todas as partes interessadas, incluindo governos, empresas, civis organizações da sociedade, academia e juventude.

Você também pode contribuir ao Pacto Digital Global! Há várias atividades de consulta multissetorial em andamento, que vão de deep dives temáticos até a submissão de contribuições escritas que são disponibilizadas em plataforma interativa e serão consideradas pelos times das Nações Unidas trabalhando no Summit of the Future.

A Tecla, unidade de direitos digitais e tecnologia da Ação Educativa, desenvolveu submissão escrita ao Pacto Digital Global em três dos eixos trabalhados pela organização: “Conectar todas as pessoas à internet, incluindo todas as escolas”; “Regulação de inteligência artificial” e “Digital commons (bens comuns digitais) como bens globais públicos”.

Veja abaixo os compromissos que subscrevemos em regulação de inteligência artificial, mas você pode ler todo o documento e comentar ou aderir no Typeform:

  • Estados, universidades e o setor privado devem se comprometer a investir no desenvolvimento de tecnologias digitais que não representem riscos conhecidos ou projetados a direitos humanos;
  • Banimento do desenvolvimento de tecnologias digitais emergentes com evidências de discriminação racializada, a exemplo de vigilância biométrica remota em massa; reconhecimento de expressões faciais, identificação de gênero e sexualidade; publicidade segmentada por características psicográficas; armas letais e não-letais semiautônomas ou autônomas; entre outras;
  • Desenvolvimento de abordagem regulatórias deve considerar análise ex-ante que inclua identificação interseccional e interdisciplinar sobre impactos previstos das tecnologias digitais emergentes, com a participação das comunidades possivelmente impactadas;
  • Reivindicar que Estados supervisionem plataformas de intermediação algorítmica de trabalho e estabelecer políticas públicas de regulação ou de fomento em prol da defesa e geração de empregos justos;
  • Estabelecer que Estados, setor privado, sociedade civil e academia desenvolvam políticas mensuráveis de inclusão para combater a falta de representatividade de pessoas negras, mulheres, pessoas com deficiência, LGBTQ+ e suas interseções na idealização, desenho, desenvolvimento, análise, supervisão e implementação de tecnologias digitais emergentes;
  • Exigir que sistemas de alto risco e/ou larga escala, obrigatoriamente, prevejam análises análise de impacto de justiça racial. Este procedimento deve incluir a participação de avaliadores independentes e também de com representação das comunidades impactadas e sociedade civil;
  • Criar alternativas públicas, sem fins lucrativos ou infraestrutura de propriedade dos trabalhadores para competir ou substituir empresas de extração de dados. Implementar transparência obrigatória de código e dados, compartilhados de monopólios de tecnologia, para permitir alternativas públicas ou sem fins lucrativos.

Você concorda com os compromissos acima? Quer saber mais sobre a posição da carta sobre redes comunitárias ou bens digitais comuns? Acesse a carta completa clicando na imagem abaixo e colabore com a defesa dos direitos humanos na tecnologia ao assinar (até o dia 28/4):

Justiça Racial e Tecnologia

No episódio #176 do podcast Tecnopolítica, Sérgio Amadeu conversou com Juliane Cintra de Oliveira, diretora executiva da ABONG e coordenadora de tecnologia e comunicação da Ação Educativa. Juliane conversou sobre como podemos levar o conceito de justiça racial para o terreno da tecnologia.

O bate-papo avançou para a importância de explicitar os dispositivos de racialização e preconceitos embarcados nas tecnologias e no ciberespaço. Em seguida, Juliane descreveu o projeto Tecla (https://tecla.org.br/), uma parceria da Ação Educativa, do Projeto Mozilla e de outras organizações da sociedade civil, voltado a ações digitais que priorizem os princípios da educação popular, pluralização de vozes no debate público e a produção de informação e conhecimento.