Reconhecimento Facial na Bahia: mais erros policiais contra negros e pobres

A Secretaria da Segurança Pública da Bahia transformou o estado em um laboratório perverso do technochauvinismo. Governado por Rui Costa, político do PT que festeja chacinas, o estado tem acumulado casos e anti-casos de reconhecimento facial para policiamento. No carnaval de 2019 um procurado por homicídio foi preso, ponto alto da campanha a favor do uso indiscriminado de reconhecimento facial em ambientes públicos.

Entretanto, além de ser uma tecnologia que coloca a democracia e direitos humanos em risco mesmo quando tecnicamente eficiente, traz uma quantidade absurda de erros. Em Londres, capital do Reino Unido – um dos países mais ricos e avançados tecnologicamente, descobriu-se que 81% das abordagens de suspeitos na região metropolitana estavam erradas. Este tipo de tecnologia deveria ser banida do espaço público. Veja no vídeo abaixo:

 

A reportagem da Record TV Itapoan, que defende o sistema, também contou com comentários do “jornalista” Raimundo Varela, filiado ao PRB, defendendo o uso da tecnologia e minimizando o sofrimento do adolescente. Optei por não incluir estes comentários no trecho acima.

Este é mais um caso de dano tecnológico em ligação direta com o racismo – veja dúzias de casos na Timeline do Racismo Algorítmico.

Ignorância Branca e Algoritmização – Códigos Negros

No último sábado (9/11) pude participar do evento Códigos Negros no Rio de Janeiro, promovido pelo PretaLab, Cabine e Gente. Foi um prazer participar da mesa com a Silvana Bahia e a Maria Rita Casagrande.

Subi o slideshow para quem quiser explorar as referências citadas na fala:

Raça Depois da Tecnologia: ferramentas abolicionistas contra os novos racismos

Publicado em junho deste ano, o livro Race after Technology: Abolitionist Tools for the New Jim Code, de Ruha Benjamin, é uma louvável adição à atual geração de projetos de intelectuais negras estudando tecnologias da comunicação de um modo crítico e propositivo em busca de um futuro mais justo possível. Ruha Benjamin é antropóloga, doutora em sociologia, professora da Universidade de Princeton e fundadora do JUST Data Lab, além de pesquisadora associada em diversos institutos. Anteriormente publicou livro sobre as dimensões sociais da pesquisa em células tronco e também lançou este ano a coletânea Captivating Technology, sobre tecnociência carcerária e imaginação libertária.

O livro Race After Technology… tem como objetivo discutir as tecnologias digitais e algorítmicas a partir do que Benjamin chama de “Critical STS”, a junção da Teoria Racial Crítica (TRC) e dos Estudos de Ciência, Tecnologia e Sociedade. Para introduções à esta interface, recomendo dois trabalhos: acabei de finalizar um artigo que resume as colaborações da TRC à comunicação; e artigo da própria Ruha Benjamin sobre seu conceito de imaginação carcerária.

Na introdução, Benjamin parte de um exemplo curioso e pouco discutido de codificação indireta: os nomes e sobrenomes como atalhos para aspectos históricos e sociais. Benjamin cita diversos casos de uso de nomes africanos e afroamericanos como atalho para discriminação, de contratação a direcionamento perverso de anúncios. Benjamin usa estes casos cotidianos para lembrar que o cotidiano é codificado em vários aspectos e em suas várias esferas. Métricas, classificações e tecnologias tem políticas, das explícitas às implícitas. A autora evoca o conjunto de leis racistas chamadas de Jim Crow que vigoraram do século XIX à metade do XX nos EUA para propor o conceito de “New Jim Code” – um modo sistêmico e hostil de viés hostil e racista cada vez mais integrado e opaco nas tecnologias digitais.

No primeiro capítulo, Engineered Inequity (Desigualdade Projetada), Benjamin começa pelo caso de um concurso de beleza chamado Beauty AI, que supostamente analisava beleza de forma imparcial. Obviamente esta imparcialidade ou universalidade da beleza é absurda, mas o fato de que um projeto deste foi realizado em pleno 2016 diz muito. Como você pode imaginar, o sistema replicou conceitos de beleza racista e de 44 finalistas, 38 eram brancos. Benjamin segue por outros exemplos para mostrar como o aprendizado de máquina subjacente a estas tecnologias repete desigualdades sociais e culturais e suas concentrações. Em resumo, primeiro capítulo fala de como a desigualdade é replicada e intensificada na interseção de ignorância, omissão e, em alguns casos, intenção. Particularmente interessante neste capítulo é a reprodução de uma página de edição da revista Mechanix Illustrated de 1957, que previa robôs autônomos em breve, veja abaixo:

O texto é simplesmente assustador: “Escravidão está de volta! Todos nós teremos escravos de novo… que vão te vestir, pentear seu cabelo e servir refeições rapidamente. Mas não se alarme. Nós estamos falando de ‘escravos robôs.’” . Através deste e de outros casos, a autora discorre sobre as noções de poder que são evocadas ou projetadas no desenvolvimento de algumas tecnologias.

No segundo capítulo, Default Discrimination (Discriminação por Padrão), Benjamin vai se perguntar se a discriminação pervasiva nas tecnologias digitais é um glitch do sistema. Será que é um erro, que sai do padrão, ou podemos pensar em “discriminação por padrão”? Comparando tecnologias urbanas como o caso de Robert Moses e outros exemplos de arquitetura hostil a policiamento analógico e digital, Benjamin elabora sobre a anti-negritude como padrão na sociedade estadunidense. Lembra que temos de pensar raça em si como tecnologia:

Se considerarmos raça em si como tecnologia, como um modo de ordenar, organizar e desenhar uma estrutura social assim como a compreensão sobre a durabilidade da raça, sua consistência e adaptabilidade, nós poderemos entender mais claramente a arquitetura literal de poder.

No terceiro capítulo, Coded Exposure (Exposição Codificada), a autora se pergunta se a exposição/visibilidade codificada é uma armadilha. Aqui ela relembra casos de tecnologias que falham em ver pessoas negras, como já vimos sobre a pesquisa de Joy Buolamwini e diversos outros. A ideia de visibilidade é codificada também em diversas tecnologias e seu excesso ou falta são diretamente ligadas a dinâmicas raciais de poder.

Benjamin cita o famoso caso dos “Cartões Shirley” que eram usados como padrão para calibração de câmeras, explicando como a imagem de uma mulher branca deixou de ser o único cartão somente bem depois da consolidação da demanda mercadológica por afroamericanos. Entretanto, lembra que ao mesmo tempo disto, empresas como Polaroid ajudaram ativamente o sistema de apartheid na África do Sul, apoiando uma hiper-visibilidade criminosa contra a população negra no país. A partir do conceito polissêmico de exposição, então, Benjamin segue expondo variáveis políticas da branquitude, ciência, diferença e privacidade.

O quarto capítulo, Technology Benevolence (Benevolência da Tecnologia) pergunta se a “benevolência tecnológica vai nos consertar”? A questão é essencial pois, crescentemente, se fala sobre tecnologias como inteligência artificial como soluções para os problemas da sociedade. Não são as soluções, podem piorar os problemas e, em última instância, são mais nocivas pois ainda podem ocultar os problemas em tecnologias e algoritmos fechados e não-auditáveis.

Considerando as inúmeras iniciativas de promoção à “diversidade” e “igualdade” em grandes corporações de tecnologia, Benjamin estuda casos de iniciativas do tipo em empresas de mídias sociais, recrutamento, saúde e outras. Argumenta que essa ideia de “diversidade”

faz parte de um repertório maior de “happy talk”, que envolve a disposição para reconhecer e até valorizar diferença cultural sem desafiar seriamente a desigualdade estrutural sendo reproduzida.

Por fim, no quinto capítulo, de título Retooling Solidarity, Reimagining Justice (Reequipando Solidariedade, Reimaginando Justiça) pensa formas de resistência abolicionistas contra a imaginação carceral continuamente vinculada às tecnologias digitais. Mostra as fragilidades da promoção de “empatia” e de “design thinking” como solução colonizadora para problemas de desigualdade. Citando Paulo Freire, argumenta que “se a estrutura não permite diálogo, a estrutura deve ser mudada”.

Desenvolve a ideia de “auditoria algorítmica” que tem sido aplicada a diversos campos, com diferentes graus de amplitude e compromisso social. As auditorias devem ser independentes e ter poder regulador, algo que as grandes corporações tem evitado. Ruha Benjamin fala de um “toolkit abolicionista”, partindo do uso de dados como instrumentos de liberação desde as visualizações de Du Bois e estatísticas de Ida Wells-Barnett no século XIX até iniciativas recentes através de  diversos projetos que geram mais transparência, ativismo social a favor da regulação e ferramentas narrativas, que permitam contar as histórias de mais pessoas envolvidas e afetadas pelas tecnologias.

Benjamin chama à necessidade a criação de “toolkits abolicionistas” que permitam entender não só as tecnologias emergentes, mas também a sua produção, aplicação e interpretação dos dados. Um dos casos mais interessantes citados é o White Collar Crime Zones, um mapa interativo com o “rosto médio” e localização de criminosos de colarinho branco, o que nos lembra como a lógica de policiamento algorítmico em crimes urbanos é apenas um jeito enviesado de enquadrar a questão da criminalidade.

 

Para uma introdução em vídeo a seu pensamento, recomendo dois vídeos disponíveis gratuitamente. O primeiro fala da incorporação de ideias de design discriminatório de “bancos de parque” a “cadeiras de laboratório” e o segundo é uma aula sobre raça, ciência e subjetividade nos campos de genômica.

 

Para seguir aprendendo com a Ruha Benjamin, compre o livro Race After Technology, visite seu site e siga-a no Twitter.

Teoria Racial Crítica e Comunicação Digital?

Prof. Derrick Bell

A Teoria Racial Crítica é um framework teórico-metodológico proposto inicialmente por pesquisadores do Direito para combater a aplicação racista da legislação. A Teoria Racial Crítica (TRC) transpôs as fronteiras do Direito e tem sido aplicada em diversos países afrodiaspóricos à Educação, Sociologia e outras áreas como a Comunicação, mas ainda tangencial nesta última. Entretanto, há uma geração de pesquisadores que tem provado que a perspectiva da Teoria Racial Crítica fornece lentes apropriadas para superar o que eu chamo de dupla opacidade – “o modo pelo qual os discursos hegemônicos invisibilizam tanto os aspectos sociais da tecnologia quanto os debates sobre a primazia de questões raciais nas diversas esferas da sociedade – incluindo a tecnologia, recursivamente“.

Com o objetivo de colaborar para as conexões deste framework teórico, publiquei no Intercom 2019 o artigo “Teoria Racial Crítica e Comunicação Digital: conexões contra a a dupla opacidade“. O trabalho apresenta a Teoria Racial Crítica e discute do ponto de vista da comunicação digital e de casos de racismo algorítmico seis pilares definidores da TRC:

a) a ordinariedade do racismo;

b) construção social da raça;

c) interseccionalidade e anti-essencialismo;

d) reconhecimento do conhecimento experiencial;

e) agência no combate efetivo da opressão racial;

f) e a interdisciplinaridade

 

Você pode ler o artigo completo já no ResearchGate e em breve será publicada uma versão expandida como capítulo no livro “Fluxos em redes sociais sociotécnicas: das micro-narrativas ao big data

Racismo Algorítmico: pontos essenciais para as empresas responsáveis

Nesta terça-feira tive o prazer de participar da Conferência Ethos 360 em São Paulo. O debate, de título “O que ou quem controlará os algoritmos – o racismo estrutural e institucional na era digital” foi realizado entre mim, Silvana Bahia, criadora do Olabi e Debora Pio, do Nossas, com mediação de Sheila de Carvalho, do Instituto Ethos.

Antes do debate apresentei uma rápida fala com alguns pontos que vejo como essenciais para empresas responsáveis com um mundo menos injusto. Segue abaixo o slideshow e transcrição simplificada:

Algoritmos – e problemas decorrentes – estão em todas esferas da vida. Antes de qualquer coisa, uso de sistemas automatizados com “inteligência artificial” e algoritmos estão em todas as esferas da vida. Assim também estão os problemas decorrentes. Pesquisadoras, ativistas e jornalistas descobriram problemas nas mais diferentes esferas e tecnologias, como: discriminação contra linguagem de minorias; imprecisão na identificação de pessoas e gênero de pessoas negras; fragilidades em tecnologias de processos seletivos e outros. Vale enfatizar dois mais chocantes. O primeiro é a descoberta de que alguns sistemas de reconhecimento de pessoas para carros autônomos erram mais com pedestres negros – o que pode gerar atropelamentos, por exemplo. O outro é a descoberta que sistemas de análise de potencial de reincidência geraram sugestões de penas mais severas para réus negros que cometeram crimes irrelevantes, em comparação e réus brancos que cometeram crimes violentos repetidamente.

São só alguns exemplos entre muitos outros quanto a raça, gênero, sexualidade e condições neuroatípicas – mantenho uma Linha do Tempo do Racismo Algorítmico com algumas dúzias…

Considerando que temos um campo em construção de crítica tecnológica voltada a algoritmos, portanto há cinco pontos que vejo como essenciais para as empresas.

 

Tecnologias discriminatórias não são novas

Um ponto relevante é entender que tecnologias discriminatórias não são novas – e nem estão sendo estudadas somente agora. Nos últimos 70 diversos campos da sociologia e filosofia se debruçaram sobre como tecnologias possuem vieses políticos e ideológicos, de forma intencional ou não.

O campo da Sociologia chamado “Estudos da Ciência e Tecnologia” e a Teoria Racial Crítica para o Direito são exemplos de campos que estudaram como tecnologias, políticas públicas e legislações podem gerar desigualdades, de fotografia a maconha, de equipamentos médicos a urbanismo. Um caso famoso, por exemplo, são as decisões que Robert Moses planejou em Nova Iorque. Intencionalmente escolheu pontes baixas em algumas regiões para evitar que ônibus pudessem integrar bairros ricos e pobres – segregados racialmente, deixando a população negra longe dos bons serviços públicos.

Entender que existe um histórico de pensamento e crítica sobre a tecnologia é importante para não reinventarmos a roda, quadrada. Sociólogos e historiadores podem ajudar as empresas a entenderem os potenciais nocivos de decisões sobre tecnologia. E como algumas tecnologias digitais não são tão perenes quanto pontes, agir para remediá-las.

 

Racismo algorítmico não é uma questão de matemática

Além disto, é importante entender que racismo algorítmico ou na inteligência artificial não é uma questão de matemática. Argumentos comuns de que “tecnologias são neutras” ou “algoritmos são só matemática” são muito limitadores.

É necessário entender que as tecnologias devem ser vistas em seu contexto e não como se existissem em um vácuo social. No caso de aprendizado de máquina, no qual um sistema se baseia em dados fornecidos para tomar ações e criar comportamentos, os exemplos de problemas são muito frequentes.

Um dos mais famosos foi a robô conversacional Tay, lançada pela Microsoft em 2016. A empresa buscou mostrar seus serviços de chatbot, mercado potencialmente bilionário, lançando uma robô no Twitter que aprenderia a conversar na prática falando com outros usuários do Twitter.

O resultado foi desastroso. Em menos de 24 horas, a robô passou a promover mensagens nazistas, racistas, misóginas e homofóbicas. Um projeto que passou por desenvolvedores, marketeiros e jurídico foi pro ar sem pensar nestes impactos nocivos.

A empresa tirou o robô do ar imediatamente depois do escândalo e lançou outro algum tempo depois, desta vez com o cuidado necessário na construção de filtros sobre violência e discurso de ódio.

Mas a questão é: como ninguém no processo produtivo se perguntou o que poderia gerar de violência contra grupos minoritários? A crítica social da tecnologia explica.

 

Espelhar a sociedade não é uma boa ideia

Boa parte do que vemos hoje em inteligência artificial é baseado em uma ou outra medida em aprendizado de máquina. Basicamente, esta ideia – assim como a da Tay, é partir de conjuntos de dados já existentes para gerar decisões que cheguem a resultados similares ou supostamente melhores.

Só que a grande maioria das esferas sociais é altamente desigual. Desenvolver sistemas que repliquem dinâmicas e hierarquias já presentes na sociedade é ter a certeza que produzirá mais desigualdade. E, pior, como são decisões escondidas no algoritmos da máquina, não podem ser combatidas tão diretamente.

Um bom exemplo do que estou falando são pesquisas sobre diversidade nas empresas. O estudo sobre o perfil de diversidade e ações afirmativas nas 500 maiores empresas do Brasil, produzido pela Ethos, é louvável e nos mostra dados preocupantes como concentração de raça e gênero nos níveis profissionais de destaque. Saber destes dados permite analisar a relação com o contexto histórico e social e tomar ações por um mundo mais justo. Mas e quando os dados e decisões são escondidos em sistemas opacos não é possível agir.

 

Não é apenas uma questão de “viés inconsciente”

Outro ponto é que muito do que se fala sobre agentes artificiais é sobre “viés” ou “bias”. Sim, de fato, parte dos problemas acontece pois falta de percepção social de alguns desenvolvedores sobre um determinado sistema ou impacto social. Isto deve ser abordado sem dúvidas e algumas iniciativas tem feito isto muito bem. Precisamos que as empresas tomem iniciativas neste sentido.

Mas e quando o sistema é contratado literalmente para segregar e perseguir pessoas? No momento funcionários e sociedade civil protestam contra empresas como Amazon e Palantir nos EUA, pois elas estão apoiando o governo americano na perseguição de migrantes e organização de campos de concentração.

Então não é apenas uma questão de viés inconsciente, é uma questão de propósito e humanidade das empresas.

Esforço multidisciplinar: ativistas, jornalistas e sociedade

Um quarto ponto é lembrar que o esforço deve ser multidisciplinar. Entender algoritmos não é uma questão apenas para engenheiros e cientistas da computação. Boa parte dos grandes projetos de análise de discriminação por algoritmos ou inteligência artificial foi realizado por jornalistas, ativistas.

Empresas que busquem ser éticas na produção e contratação da implementação de sistemas com inteligência artificial devem procurar profissionais que sirvam como auditores diversos e não estejam comprometidos apenas com a tecnologia sendo vendida.

Um dado sobre esta necessidade é o número de novos modelos de aplicações de inteligência artificial. A linha vermelha na tela mostra o número de novos modelos propostos no NIPS, um dos maiores eventos de inteligência artificial do mundo. Já a linha azul é o número de trabalhos analisando os modelos já existentes. Ou seja, a produção é muito mais numerosa do que sua análise.

 

Empresas, sociedade e governo em interação

Por fim, é importante lembrar que tudo isto é tarefa das empresas, mas também da sociedade civil e dos governos. Em alguns locais há avanços na legislação sobre internet e uso de dados, como o GDPR na Europa e Lei Geral de Proteção de Dados no Brasil. Está em discussão,o por exemplo, a capacidade do cidadão de revisar decisões automatizadas em processos de escolha, classificação, escores, cálculos de risco ou probabilidade e outros baseados em algoritmos, IA, aprendizado de máquina e demais modelos estatísticos e computacionais.

Por fim, a transparência é indicada pelas diversos campos. O Fórum Econômico Mundial propôs ano passado melhores práticas sobre inclusão ativa, acesso a remediação, equidade e sobretudo o “Direito a Entender” os algoritmos. Perguntas sobre erros, fontes de dados e procedimentos devem ser documentados e passíveis de crítica e análise por usuários e sociedade civil.

Esta é apenas uma de dezenas de iniciativas de porte similar por organizações e comissões comprometidas com algum nível de ética e responsabilidade social das empresas. Espero que a apresentação sirva para gerar mais debates e reflexões – este documento, com links para os dados e casos citados, vai estar disponível. Enfim, esta é minha contribuição inicial para a nossa conversa.

 

Pra ler mais

Em Português

•       Timeline do Racismo Algorítmico

•       Visão Computacional e Branquitude

•       Microagressões e Racismo Codificado

•       Democracia e os Códigos Invisíveis

•       Tudo Sobre Tod@s

•       Modulação Algorítmica

•       Bancos de Imagens e Mulheres Negras

Em Inglês

•       Algorithms of Oppression

•       Race After Technology

•       Dark Matters

•       Technicolor

•       Gender Shades

•       Artificial (Un)Intelligence

•       Automating Inequality

•       Interrogating Vision APIs

•       Captivating Technology

•       Five Principles for AI in Society

•       Neurons Spike Back

•       The Risks of Bias and Errors in Artificial Intelligence

•       AI’s social sciences deficit