Racismo Algorítmico: pontos essenciais para as empresas responsáveis

Nesta terça-feira tive o prazer de participar da Conferência Ethos 360 em São Paulo. O debate, de título “O que ou quem controlará os algoritmos – o racismo estrutural e institucional na era digital” foi realizado entre mim, Silvana Bahia, criadora do Olabi e Debora Pio, do Nossas, com mediação de Sheila de Carvalho, do Instituto Ethos.

Antes do debate apresentei uma rápida fala com alguns pontos que vejo como essenciais para empresas responsáveis com um mundo menos injusto. Segue abaixo o slideshow e transcrição simplificada:

Algoritmos – e problemas decorrentes – estão em todas esferas da vida. Antes de qualquer coisa, uso de sistemas automatizados com “inteligência artificial” e algoritmos estão em todas as esferas da vida. Assim também estão os problemas decorrentes. Pesquisadoras, ativistas e jornalistas descobriram problemas nas mais diferentes esferas e tecnologias, como: discriminação contra linguagem de minorias; imprecisão na identificação de pessoas e gênero de pessoas negras; fragilidades em tecnologias de processos seletivos e outros. Vale enfatizar dois mais chocantes. O primeiro é a descoberta de que alguns sistemas de reconhecimento de pessoas para carros autônomos erram mais com pedestres negros – o que pode gerar atropelamentos, por exemplo. O outro é a descoberta que sistemas de análise de potencial de reincidência geraram sugestões de penas mais severas para réus negros que cometeram crimes irrelevantes, em comparação e réus brancos que cometeram crimes violentos repetidamente.

São só alguns exemplos entre muitos outros quanto a raça, gênero, sexualidade e condições neuroatípicas – mantenho uma Linha do Tempo do Racismo Algorítmico com algumas dúzias…

Considerando que temos um campo em construção de crítica tecnológica voltada a algoritmos, portanto há cinco pontos que vejo como essenciais para as empresas.

 

Tecnologias discriminatórias não são novas

Um ponto relevante é entender que tecnologias discriminatórias não são novas – e nem estão sendo estudadas somente agora. Nos últimos 70 diversos campos da sociologia e filosofia se debruçaram sobre como tecnologias possuem vieses políticos e ideológicos, de forma intencional ou não.

O campo da Sociologia chamado “Estudos da Ciência e Tecnologia” e a Teoria Racial Crítica para o Direito são exemplos de campos que estudaram como tecnologias, políticas públicas e legislações podem gerar desigualdades, de fotografia a maconha, de equipamentos médicos a urbanismo. Um caso famoso, por exemplo, são as decisões que Robert Moses planejou em Nova Iorque. Intencionalmente escolheu pontes baixas em algumas regiões para evitar que ônibus pudessem integrar bairros ricos e pobres – segregados racialmente, deixando a população negra longe dos bons serviços públicos.

Entender que existe um histórico de pensamento e crítica sobre a tecnologia é importante para não reinventarmos a roda, quadrada. Sociólogos e historiadores podem ajudar as empresas a entenderem os potenciais nocivos de decisões sobre tecnologia. E como algumas tecnologias digitais não são tão perenes quanto pontes, agir para remediá-las.

 

Racismo algorítmico não é uma questão de matemática

Além disto, é importante entender que racismo algorítmico ou na inteligência artificial não é uma questão de matemática. Argumentos comuns de que “tecnologias são neutras” ou “algoritmos são só matemática” são muito limitadores.

É necessário entender que as tecnologias devem ser vistas em seu contexto e não como se existissem em um vácuo social. No caso de aprendizado de máquina, no qual um sistema se baseia em dados fornecidos para tomar ações e criar comportamentos, os exemplos de problemas são muito frequentes.

Um dos mais famosos foi a robô conversacional Tay, lançada pela Microsoft em 2016. A empresa buscou mostrar seus serviços de chatbot, mercado potencialmente bilionário, lançando uma robô no Twitter que aprenderia a conversar na prática falando com outros usuários do Twitter.

O resultado foi desastroso. Em menos de 24 horas, a robô passou a promover mensagens nazistas, racistas, misóginas e homofóbicas. Um projeto que passou por desenvolvedores, marketeiros e jurídico foi pro ar sem pensar nestes impactos nocivos.

A empresa tirou o robô do ar imediatamente depois do escândalo e lançou outro algum tempo depois, desta vez com o cuidado necessário na construção de filtros sobre violência e discurso de ódio.

Mas a questão é: como ninguém no processo produtivo se perguntou o que poderia gerar de violência contra grupos minoritários? A crítica social da tecnologia explica.

 

Espelhar a sociedade não é uma boa ideia

Boa parte do que vemos hoje em inteligência artificial é baseado em uma ou outra medida em aprendizado de máquina. Basicamente, esta ideia – assim como a da Tay, é partir de conjuntos de dados já existentes para gerar decisões que cheguem a resultados similares ou supostamente melhores.

Só que a grande maioria das esferas sociais é altamente desigual. Desenvolver sistemas que repliquem dinâmicas e hierarquias já presentes na sociedade é ter a certeza que produzirá mais desigualdade. E, pior, como são decisões escondidas no algoritmos da máquina, não podem ser combatidas tão diretamente.

Um bom exemplo do que estou falando são pesquisas sobre diversidade nas empresas. O estudo sobre o perfil de diversidade e ações afirmativas nas 500 maiores empresas do Brasil, produzido pela Ethos, é louvável e nos mostra dados preocupantes como concentração de raça e gênero nos níveis profissionais de destaque. Saber destes dados permite analisar a relação com o contexto histórico e social e tomar ações por um mundo mais justo. Mas e quando os dados e decisões são escondidos em sistemas opacos não é possível agir.

 

Não é apenas uma questão de “viés inconsciente”

Outro ponto é que muito do que se fala sobre agentes artificiais é sobre “viés” ou “bias”. Sim, de fato, parte dos problemas acontece pois falta de percepção social de alguns desenvolvedores sobre um determinado sistema ou impacto social. Isto deve ser abordado sem dúvidas e algumas iniciativas tem feito isto muito bem. Precisamos que as empresas tomem iniciativas neste sentido.

Mas e quando o sistema é contratado literalmente para segregar e perseguir pessoas? No momento funcionários e sociedade civil protestam contra empresas como Amazon e Palantir nos EUA, pois elas estão apoiando o governo americano na perseguição de migrantes e organização de campos de concentração.

Então não é apenas uma questão de viés inconsciente, é uma questão de propósito e humanidade das empresas.

Esforço multidisciplinar: ativistas, jornalistas e sociedade

Um quarto ponto é lembrar que o esforço deve ser multidisciplinar. Entender algoritmos não é uma questão apenas para engenheiros e cientistas da computação. Boa parte dos grandes projetos de análise de discriminação por algoritmos ou inteligência artificial foi realizado por jornalistas, ativistas.

Empresas que busquem ser éticas na produção e contratação da implementação de sistemas com inteligência artificial devem procurar profissionais que sirvam como auditores diversos e não estejam comprometidos apenas com a tecnologia sendo vendida.

Um dado sobre esta necessidade é o número de novos modelos de aplicações de inteligência artificial. A linha vermelha na tela mostra o número de novos modelos propostos no NIPS, um dos maiores eventos de inteligência artificial do mundo. Já a linha azul é o número de trabalhos analisando os modelos já existentes. Ou seja, a produção é muito mais numerosa do que sua análise.

 

Empresas, sociedade e governo em interação

Por fim, é importante lembrar que tudo isto é tarefa das empresas, mas também da sociedade civil e dos governos. Em alguns locais há avanços na legislação sobre internet e uso de dados, como o GDPR na Europa e Lei Geral de Proteção de Dados no Brasil. Está em discussão,o por exemplo, a capacidade do cidadão de revisar decisões automatizadas em processos de escolha, classificação, escores, cálculos de risco ou probabilidade e outros baseados em algoritmos, IA, aprendizado de máquina e demais modelos estatísticos e computacionais.

Por fim, a transparência é indicada pelas diversos campos. O Fórum Econômico Mundial propôs ano passado melhores práticas sobre inclusão ativa, acesso a remediação, equidade e sobretudo o “Direito a Entender” os algoritmos. Perguntas sobre erros, fontes de dados e procedimentos devem ser documentados e passíveis de crítica e análise por usuários e sociedade civil.

Esta é apenas uma de dezenas de iniciativas de porte similar por organizações e comissões comprometidas com algum nível de ética e responsabilidade social das empresas. Espero que a apresentação sirva para gerar mais debates e reflexões – este documento, com links para os dados e casos citados, vai estar disponível. Enfim, esta é minha contribuição inicial para a nossa conversa.

 

Pra ler mais

Em Português

•       Timeline do Racismo Algorítmico

•       Visão Computacional e Branquitude

•       Microagressões e Racismo Codificado

•       Democracia e os Códigos Invisíveis

•       Tudo Sobre Tod@s

•       Modulação Algorítmica

•       Bancos de Imagens e Mulheres Negras

Em Inglês

•       Algorithms of Oppression

•       Race After Technology

•       Dark Matters

•       Technicolor

•       Gender Shades

•       Artificial (Un)Intelligence

•       Automating Inequality

•       Interrogating Vision APIs

•       Captivating Technology

•       Five Principles for AI in Society

•       Neurons Spike Back

•       The Risks of Bias and Errors in Artificial Intelligence

•       AI’s social sciences deficit

Avançando Literacia Racial na Tecnologia

Em inglês, a ideia de literacy (literacia) vai além da alfabetização sobre letramento de leitura e escrita. Trata-se da compreensão básica de um determinado campo, esfera de conhecimento ou de prática de modo a permitir que as pessoas vejam a realidade de forma crítica gerando autonomia. O título do documento Advancing Racial Literacy in Tech evoca este sentido, ao propor os necessários avanços da literacia racial na tecnologia, sobretudo em um momento em que a plataformização e algoritmização do mundo cria novas ameaças para grupos minorizados como as populações negras.

O projeto financiado pelo Data & Society, reúne diagnóstico e propostas de referências no tema: Jessie Daniels, uma das principais especialistas mundiais sobre racismo online, autora de livros como Cyber Racism; Mutale Nkonde, analista do Data & Society e uma das responsáveis pelo Algorithmic Accountability Act proposta para a Câmara dos Deputados dos EUA; e Darakhshan Mir, professora de Ciência da Computação na Bucknell University.

O subtítulo do documento evoca uma controvérsia sobre os estudos quanto a algoritmos e as várias linhas de atuação propostas por desenvolvedores, empresas, pesquisadores e afins. As autoras propõem que “ética, diversidade na contratação e treinamento sobre viés implícito não são suficientes”. Para adereçar os diferentes impactos raciais da tecnologia, seria preciso seguir três fundamentos:

  • Compreensão intelectual de como racismo estrutural opera em algoritmos, plataformas de mídias sociais e tecnologias ainda não desenvolvidas;
  • Inteligência emocional sobre como resolver situações racialmente estressantes em organizações e;
  • Compromisso na tomada de ação para reduzir danos a grupos racializados.

As autoras citam diversos casos de racismo algorítmico mapeados por ativistas e pesquisadoras para falar da compreensão intelectual sobre o racismo necessária para que o caminho da literacia racial na tecnologia seja trilhado. Alguns pontos são similares à perspectiva histórica da Teoria Racial Crítica: racismo é um problema atual, não apenas histórico; raça intersecta com classe, gênero e sexualidade; identidades raciais são aprendidas através de práticas sociais; um vocabulário é necessário para discutir raça, racismo e anti-racismo; códigos e práticas raciais precisam ser interpretados com precisão; e “Branquitude” tem um valor simbólico na sociedade.

Seguindo para a inteligência emocional necessária para as organizações, as autoras falam de cinco estágios graduais com quem é confrontado sobre os vieses racistas: Negação, Ausência, Confessional, Confortável e Transformacional. Basicamente esta trilha vai da Negação, o “Não vejo um problema” até o Transformacional, que seria o “Tenho o compromisso de agir para impedir os danos do racismo”. Aqui vejo algo similar. Na divulgação dos primeiros mapeamentos de minha tese tenho sido confrontado geralmente com negação impassível, quando não ataque direto. Então acredito que o debate sobre tecnologias justas deve necessariamente irmanar com o debate sobre raça e racismo no Brasil. Em trabalho recente usei o termo “dupla opacidade” justamente para tratar de como a negação tanto da conversa sobre os impactos sociais da tecnologia quanto sobre o caráter pervasivo do racismo estão ligados.

A seção a seguir fala das barreiras à literacia racial na tecnologia. O primeiro, que também já enfrentei na própria academia, é a noção errônea que “códigos e algoritmos são apenas matemática e matemática não pode discriminar“. Para as autoras isto leva a uma rejeição agressiva sobre os trabalhos que tratam de discriminação algorítmica.

Entre as iniciativas já em curso sobre ética no setor da tecnologia, as autoras identificam três abordagens comuns: investigação dos funis para os profissionais de grupos minoritários; apoio a iniciativas de “diversidade e inclusão”; e teste de vieses implícitos. Mas todas estas abordagens tem suas fragilidades. Vale sublinhar a inclusão de profissionais de grupos racializados como panaceia. Além de não representarem efetivamente sua proporção na população, há outros problemas sobre cultura corporativa e capacidade de transformação, como a Safyia Noble cita em seu livro ao falar do Black Girls Code do Google. As autoras do relatório explicam:

As pessoas na área de tecnologia nos disseram que falar sobre “diversidade e inclusão” é comumente um modo de evitar falra sobre temas raciais diretamente. Ao invés, as pessoas falam sobre “background” ou “experiência” ou “grupos sub-representados”, o que pode ocultar o quão sério é o problema do racismo sistêmico. E, para a pequena porcentagem de pessoas negras e latinas que são contratadas em empresas de tecnologia, elas enfrentam fardos múltiplos de ter de fazer o trabalho de literacia racial para seus colegas, supervisores e cultura corporativa.

Finalizando o relatório, as autoras falam de alguns passos e ações para o futuro. Como criar uma série de vídeo sobre literacia racial; desenvolver uma ferramenta de avaliação; propor currículos para disciplinas em ciência da computação; experimentos e pesquisas sobre literacia racial na tecnologia.

Para finalizar, segue um pequeno resumo do trabalho da Mutale Nkonde sobre o atraso do governo dos EUA em reagir e tentar entender o avanço da inteligência artificial, assim como passos futuros de sua pesquisa como etnografia no congresso para entender o que os times dos deputados e senadores efetivamente sabem sobre o tema:

Baixe o documento em https://racialliteracy.tech

Computação sem Caô – cientista explica conceitos de forma simples!

O canal Computação Sem Caô foi criado pela cientista da computação Ana Carolina da Hora dois meses atrás e já está repleto de conteúdo de ótima qualidade! A missão da Ana Carolina neste canal é democratizar o entendimento sobre ciência da computação no Brasil.  Já são mais de 10 vídeos, confira alguns:

“Tranças feias” e “tranças bonitas”: como Google intensifica racismo

Viralizou na última semana um exercício de interrogação crítica do buscador Google: basicamente pesquisar “tranças feias” e “tranças bonitas” e conferir quais imagens são destacadas na aba de resultados de imagens do buscador. Longe de ser algo pontual, estes casos, mecanismos e problemas no excelente livro de Safiya Noble “Algoritmos de Opressão: como mecanismos de busca reforçam o racismo“. Outros casos similares mantenho na minha Timeline do Racismo Algorítmico. Ontem falei com o jornalista Tiago Rugero, do blog do Ancelmo (O Globo) sobre a questão. Seguem minhas respostas:

Você considera esse um caso de racismo algorítmico?
Sim. Racismo não se trata apenas de xingamentos horrorosos contra uma minoria. Trata-se também da manutenção de desigualdades estruturadas e microagressões no cotidiano que podem ser resultado de como sistemas automatizados, como buscadores, reagem ao comportamento dos usuários. No caso que está sendo viralizado, sobre as tranças feias e bonitas, o buscador não apenas reflete percepções da sociedade, mas também pode intensificá-las ao repetir em massa sem responsabilidade. Se uma criança negra, por exemplo, vê estes resultados continuamente, sem ver outros conteúdos positivos, isto gera sentimentos negativos sobre sua estética e autoestima. Há vários pesquisadores e pesquisadoras em universidades internacionais, como Joy Buolamwini, Safiya Noble, Frank Pasquale, Cathy O’Neill, Sil Bahia, Sérgio Amadeu que tratam de impactos sociais dos algoritmos há anos, mas agora o debate se populariza.

As tecnologias não são neutras. Mas isto não quer dizer que são negativas ou positivas. Significa que podemos gerar esforços coletivamente para criar ambientes favoráveis a todas as pessoas. Algumas plataformas digitais já possuem esforços neste sentido. Microsoft e IBM, por exemplo, já reagiram a pesquisas sobre casos anteriores. É importante debater tudo isto entre desenvolvedores, sociedade, jornalistas e afins.

O que é racismo algorítmico?
O racismo algorítmico trata de entender como sistemas regidos por algoritmos podem tomar decisões negativas contra um grupo racial específico. Há casos mapeados em áreas claramente muito graves, como decisões judiciais automatizadas ou reconhecimento facial que podem gerar, por exemplo, a prisão injusta de uma pessoa inocente. Isto mostra a necessidade, já avançada em alguns países, de permitir a “auditoria algorítmica” para que sistemas contratados por governos sejam justos e não possam ser usados para fins nocivos.
Mas na comunicação também há problemas possíveis para milhões de pessoas, uma vez que hoje nós passamos a maior parte do nosso tempo em ambientes como Google e Facebook. Assim como acontece com a publicidade tradicional, a invisibilidade ou representação nociva de grupos minorizados deve ser debatida pois prejudica os grupos citados, a sociedade e a própria economia e consumo.
Na maioria dos casos, os estudos mostram que os problemas não são claramente “intencionais”. Não é um desenvolvedor racista, geralmente, que vai incluir aquelas decisões que prejudicarão alguém. Mas pecar por omissão pode ser tão negativo quanto por intenção. Por isto tanto a pressão pela transparência das plataformas quanto falar sobre casos como este é importante para gerar o debate que vai ajudar os próprios criadores destes ambientes a melhorar seus sistemas. O campo da inteligência artificial, de modo amplo, está desenvolvendo modos de treinar melhor os sistemas e desenhar melhor as interfaces para isto, com apoio também das humanidades, artes, sociólogos e jornalistas.

 

Horas depois, a Google emitiu uma nota, que reproduzo a seguir:

“Construir uma experiência de busca é um desafio complexo, dinâmico e em constante evolução. Como nossos sistemas encontram e organizam informações disponíveis na web, eventualmente, a busca pode espelhar estereótipos existentes na internet e no mundo real em função da maneira como alguns autores criam e rotulam seu conteúdo. Entendemos que pessoas de todas as raças, gêneros e grupos podem ser afetadas por essas representações. Compartilhamos essa preocupação e continuaremos trabalhando para melhorar os resultados de busca de imagens para todos nossos usuários.”

Esta pretensão de neutralidade, de que o buscador é “só uma tecnologia” está sendo combatida internacionalmente. Gostaria de destacar o artigo “Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa“, de Philip Napoli e Robyn Caplan, que explicam como discursos tais como o acima são problemáticos.