Reconhecimento Facial na Bahia: mais erros policiais contra negros e pobres

A Secretaria da Segurança Pública da Bahia transformou o estado em um laboratório perverso do technochauvinismo. Governado por Rui Costa, político do PT que festeja chacinas, o estado tem acumulado casos e anti-casos de reconhecimento facial para policiamento. No carnaval de 2019 um procurado por homicídio foi preso, ponto alto da campanha a favor do uso indiscriminado de reconhecimento facial em ambientes públicos.

Entretanto, além de ser uma tecnologia que coloca a democracia e direitos humanos em risco mesmo quando tecnicamente eficiente, traz uma quantidade absurda de erros. Em Londres, capital do Reino Unido – um dos países mais ricos e avançados tecnologicamente, descobriu-se que 81% das abordagens de suspeitos na região metropolitana estavam erradas. Este tipo de tecnologia deveria ser banida do espaço público. Veja no vídeo abaixo:

 

A reportagem da Record TV Itapoan, que defende o sistema, também contou com comentários do “jornalista” Raimundo Varela, filiado ao PRB, defendendo o uso da tecnologia e minimizando o sofrimento do adolescente. Optei por não incluir estes comentários no trecho acima.

Este é mais um caso de dano tecnológico em ligação direta com o racismo – veja dúzias de casos na Timeline do Racismo Algorítmico.

Ignorância Branca e Algoritmização – Códigos Negros

No último sábado (9/11) pude participar do evento Códigos Negros no Rio de Janeiro, promovido pelo PretaLab, Cabine e Gente. Foi um prazer participar da mesa com a Silvana Bahia e a Maria Rita Casagrande.

Subi o slideshow para quem quiser explorar as referências citadas na fala:

Tecnologias Negras: ciclo no Sesc promove centenas de cursos, atividades e palestras em outubro

Durante outubro e novembro, as unidades do Sesc em São Paulo promoverão um ciclo de atividades sobre Tecnologias e Artes Negras com dezenas de cursos, palestras e oficinas. Segundo a organização, a iniciativa “objetiva articular e dar vazão à efervescente produção de artistas, pesquisadoras(es), intelectuais e mestras(es) do saber negras e negros, nos campos das Artes Visuais e Tecnologias, e, assim, estimular a difusão de práticas educativas não formais, pautadas pelo princípio da equidade. Dessa forma, visa demarcar um espaço democrático de discussão sobre campos presentes na cultura negra, tais como: Tecnologias e Ancestralidade; Tecnologias Digitais e Contemporâneas; Utopias, Distopias e Afrofuturismo; Tecnologias Invisibilizadas e de Resistência; e Estética, Crítica e História da Arte.

As atividades foram divididas em cinco grupos, ligados a adinkras específicos:

Nas mais de 30 unidades na capital e interior, as equipes dos Espaços de Tecnologias e Arte (ETA) fizeram curadoria ativa e abriram chamada para as atividades. É simplesmente gigantesca a programação e lembro que o Sesc possui fim social, então a maior parte das atividades é gratuita ou a preços acessíveis.  Sou curador e professor em uma atividade e participo de outra mesa:

Humanidades Digitais Negras – curso idealizado por mim, com aulas de Morena Mariah, Taís Oliveira, Larissa Pontes e Fernanda Sousa:

Descobrir, resgatar, conectar e visualizar produções históricas, narrativas, artísticas e epistemologias negras tem sido a missão de pesquisadoras e pesquisadores negros em todo o mundo. A atividade “Humanidades Digitais Negras” reunirá aulas e debates entre pesquisadoras/es das áreas da Comunicação, Mídia, Sociologia, Antropologia e Letras para apresentar o campo e suas práticas aos participantes.

Machine Learning, Algoritmos e Mecanismos de Discriminação. Idealizado pelo colega Rodolfo Avelino (Professor Insper, Pesquisador na UFABC e criador do Coletivo Digital), contará também com Fernanda Monteiro tecnóloga, artista digital, oraculista e pesquisadora independente, transitando de maneira “indisciplinar” entre a tecnopolítica, feminismos e transhumanismos; e comigo. Descrição:

Utilizados em larga escala atualmente pelos mais diversos serviços de internet e sistemas da informação, os algoritmos e máquinas orientadas por machine learning prometem uma maneira revolucionária de lidar com dados e criar serviços e plataformas dinâmicas que se adaptam facilmente aos desejos e necessidades de seus usuários. Mas o que acontece quando o desenvolvimento dessas ferramentas possui vieses ocultos, que incorporam e reforçam preconceitos ainda não solucionados em nossa sociedade?

Nem todas as atividades já tem as páginas com informações específicas e inscrições, mas você conferir toda a lista da programação. Difícil selecionar algumas em destaque, mas recomendo especialmente:

 

As ilustrações neste post foram retiradas da cartilha de programação do Sesc e foram criadas pelo Marcelo D’Salete, quadrinista autor de produções como Cumbe. O quadrinista também vai oferecer um curso – História em Quadrinhos.

Você sabe o que são data brokers? Quem te classifica e define seus escores de crédito?

Você sabe o que é um data broker? É basicamente uma empresa que coleta, armazena, processa, “enriquece” (com mais variáveis e classificações) dados e os vende para diversos fins. No campo financeiro há empresas como Serasa, Experian e afins que desenvolvem produtos para apoiar empresas de marketing e do mercado financeiro. Um deles é o Serasa Score, que define oportunidades de vida para a população brasileira, com impactos mais intensos em populações já vulnerabilizadas.

Curiosamente, o tema é pouco discutido na literatura acadêmica, inclusive a brasileira. Pensando nisto, a pesquisadora Laudelina L. Pereira desenvolveu trabalho sobre o tema em sua especialização (que pude orientar) e segue expandindo o estudo sobre tecnologias similares. Um dos resultados decorrentes desta primeira fase do estudo foi o nosso artigo Classificação Geodemográfica e a Assimetria na Dataficação de Crédito.  Resumo:

O mercado de compra e venda de dados pessoais tem papel de destaque na economia informacional. Diante do alto volume de informações pessoais, ferramentas de segmentação despertam cada vez mais interesse das organizações, já que por meio de tecnologias de big data, constroem perfis apurados da população. Para compreender as características deste tipo de classificação, analisamos a ferramenta de classificação geodemográfica Mosaic em contraposição a uma de suas aplicações na ponta do consumidor: o Score Serasa. O Mosaic classifica a população brasileira com base no seu poder de consumo em 11 categorias e 40 segmentos. Este método de categorização considera aspectos financeiros, geográficos, demográficos, de consumo, comportamento e estilo de vida. Por sua vez, o Serasa Score é ferramenta compulsória para algumas classes de cidadãos, que precisam entrar no jogo da otimização contínua de seus índices. O estudo analisa a opacidade dos sistemas e assimetrias da classificação geodemográfica.

O artigo foi publicado em dossiê sobre sociologia digital da revista Inter-Legere, da UFRN. Acesse em:

 

Raça Depois da Tecnologia: ferramentas abolicionistas contra os novos racismos

Publicado em junho deste ano, o livro Race after Technology: Abolitionist Tools for the New Jim Code, de Ruha Benjamin, é uma louvável adição à atual geração de projetos de intelectuais negras estudando tecnologias da comunicação de um modo crítico e propositivo em busca de um futuro mais justo possível. Ruha Benjamin é antropóloga, doutora em sociologia, professora da Universidade de Princeton e fundadora do JUST Data Lab, além de pesquisadora associada em diversos institutos. Anteriormente publicou livro sobre as dimensões sociais da pesquisa em células tronco e também lançou este ano a coletânea Captivating Technology, sobre tecnociência carcerária e imaginação libertária.

O livro Race After Technology… tem como objetivo discutir as tecnologias digitais e algorítmicas a partir do que Benjamin chama de “Critical STS”, a junção da Teoria Racial Crítica (TRC) e dos Estudos de Ciência, Tecnologia e Sociedade. Para introduções à esta interface, recomendo dois trabalhos: acabei de finalizar um artigo que resume as colaborações da TRC à comunicação; e artigo da própria Ruha Benjamin sobre seu conceito de imaginação carcerária.

Na introdução, Benjamin parte de um exemplo curioso e pouco discutido de codificação indireta: os nomes e sobrenomes como atalhos para aspectos históricos e sociais. Benjamin cita diversos casos de uso de nomes africanos e afroamericanos como atalho para discriminação, de contratação a direcionamento perverso de anúncios. Benjamin usa estes casos cotidianos para lembrar que o cotidiano é codificado em vários aspectos e em suas várias esferas. Métricas, classificações e tecnologias tem políticas, das explícitas às implícitas. A autora evoca o conjunto de leis racistas chamadas de Jim Crow que vigoraram do século XIX à metade do XX nos EUA para propor o conceito de “New Jim Code” – um modo sistêmico e hostil de viés hostil e racista cada vez mais integrado e opaco nas tecnologias digitais.

No primeiro capítulo, Engineered Inequity (Desigualdade Projetada), Benjamin começa pelo caso de um concurso de beleza chamado Beauty AI, que supostamente analisava beleza de forma imparcial. Obviamente esta imparcialidade ou universalidade da beleza é absurda, mas o fato de que um projeto deste foi realizado em pleno 2016 diz muito. Como você pode imaginar, o sistema replicou conceitos de beleza racista e de 44 finalistas, 38 eram brancos. Benjamin segue por outros exemplos para mostrar como o aprendizado de máquina subjacente a estas tecnologias repete desigualdades sociais e culturais e suas concentrações. Em resumo, primeiro capítulo fala de como a desigualdade é replicada e intensificada na interseção de ignorância, omissão e, em alguns casos, intenção. Particularmente interessante neste capítulo é a reprodução de uma página de edição da revista Mechanix Illustrated de 1957, que previa robôs autônomos em breve, veja abaixo:

O texto é simplesmente assustador: “Escravidão está de volta! Todos nós teremos escravos de novo… que vão te vestir, pentear seu cabelo e servir refeições rapidamente. Mas não se alarme. Nós estamos falando de ‘escravos robôs.’” . Através deste e de outros casos, a autora discorre sobre as noções de poder que são evocadas ou projetadas no desenvolvimento de algumas tecnologias.

No segundo capítulo, Default Discrimination (Discriminação por Padrão), Benjamin vai se perguntar se a discriminação pervasiva nas tecnologias digitais é um glitch do sistema. Será que é um erro, que sai do padrão, ou podemos pensar em “discriminação por padrão”? Comparando tecnologias urbanas como o caso de Robert Moses e outros exemplos de arquitetura hostil a policiamento analógico e digital, Benjamin elabora sobre a anti-negritude como padrão na sociedade estadunidense. Lembra que temos de pensar raça em si como tecnologia:

Se considerarmos raça em si como tecnologia, como um modo de ordenar, organizar e desenhar uma estrutura social assim como a compreensão sobre a durabilidade da raça, sua consistência e adaptabilidade, nós poderemos entender mais claramente a arquitetura literal de poder.

No terceiro capítulo, Coded Exposure (Exposição Codificada), a autora se pergunta se a exposição/visibilidade codificada é uma armadilha. Aqui ela relembra casos de tecnologias que falham em ver pessoas negras, como já vimos sobre a pesquisa de Joy Buolamwini e diversos outros. A ideia de visibilidade é codificada também em diversas tecnologias e seu excesso ou falta são diretamente ligadas a dinâmicas raciais de poder.

Benjamin cita o famoso caso dos “Cartões Shirley” que eram usados como padrão para calibração de câmeras, explicando como a imagem de uma mulher branca deixou de ser o único cartão somente bem depois da consolidação da demanda mercadológica por afroamericanos. Entretanto, lembra que ao mesmo tempo disto, empresas como Polaroid ajudaram ativamente o sistema de apartheid na África do Sul, apoiando uma hiper-visibilidade criminosa contra a população negra no país. A partir do conceito polissêmico de exposição, então, Benjamin segue expondo variáveis políticas da branquitude, ciência, diferença e privacidade.

O quarto capítulo, Technology Benevolence (Benevolência da Tecnologia) pergunta se a “benevolência tecnológica vai nos consertar”? A questão é essencial pois, crescentemente, se fala sobre tecnologias como inteligência artificial como soluções para os problemas da sociedade. Não são as soluções, podem piorar os problemas e, em última instância, são mais nocivas pois ainda podem ocultar os problemas em tecnologias e algoritmos fechados e não-auditáveis.

Considerando as inúmeras iniciativas de promoção à “diversidade” e “igualdade” em grandes corporações de tecnologia, Benjamin estuda casos de iniciativas do tipo em empresas de mídias sociais, recrutamento, saúde e outras. Argumenta que essa ideia de “diversidade”

faz parte de um repertório maior de “happy talk”, que envolve a disposição para reconhecer e até valorizar diferença cultural sem desafiar seriamente a desigualdade estrutural sendo reproduzida.

Por fim, no quinto capítulo, de título Retooling Solidarity, Reimagining Justice (Reequipando Solidariedade, Reimaginando Justiça) pensa formas de resistência abolicionistas contra a imaginação carceral continuamente vinculada às tecnologias digitais. Mostra as fragilidades da promoção de “empatia” e de “design thinking” como solução colonizadora para problemas de desigualdade. Citando Paulo Freire, argumenta que “se a estrutura não permite diálogo, a estrutura deve ser mudada”.

Desenvolve a ideia de “auditoria algorítmica” que tem sido aplicada a diversos campos, com diferentes graus de amplitude e compromisso social. As auditorias devem ser independentes e ter poder regulador, algo que as grandes corporações tem evitado. Ruha Benjamin fala de um “toolkit abolicionista”, partindo do uso de dados como instrumentos de liberação desde as visualizações de Du Bois e estatísticas de Ida Wells-Barnett no século XIX até iniciativas recentes através de  diversos projetos que geram mais transparência, ativismo social a favor da regulação e ferramentas narrativas, que permitam contar as histórias de mais pessoas envolvidas e afetadas pelas tecnologias.

Benjamin chama à necessidade a criação de “toolkits abolicionistas” que permitam entender não só as tecnologias emergentes, mas também a sua produção, aplicação e interpretação dos dados. Um dos casos mais interessantes citados é o White Collar Crime Zones, um mapa interativo com o “rosto médio” e localização de criminosos de colarinho branco, o que nos lembra como a lógica de policiamento algorítmico em crimes urbanos é apenas um jeito enviesado de enquadrar a questão da criminalidade.

 

Para uma introdução em vídeo a seu pensamento, recomendo dois vídeos disponíveis gratuitamente. O primeiro fala da incorporação de ideias de design discriminatório de “bancos de parque” a “cadeiras de laboratório” e o segundo é uma aula sobre raça, ciência e subjetividade nos campos de genômica.

 

Para seguir aprendendo com a Ruha Benjamin, compre o livro Race After Technology, visite seu site e siga-a no Twitter.