Publicado em junho deste ano, o livro Race after Technology: Abolitionist Tools for the New Jim Code, de Ruha Benjamin, é uma louvável adição à atual geração de projetos de intelectuais negras estudando tecnologias da comunicação de um modo crítico e propositivo em busca de um futuro mais justo possível. Ruha Benjamin é antropóloga, doutora em sociologia, professora da Universidade de Princeton e fundadora do JUST Data Lab, além de pesquisadora associada em diversos institutos. Anteriormente publicou livro sobre as dimensões sociais da pesquisa em células tronco e também lançou este ano a coletânea Captivating Technology, sobre tecnociência carcerária e imaginação libertária.

O livro Race After Technology… tem como objetivo discutir as tecnologias digitais e algorítmicas a partir do que Benjamin chama de “Critical STS”, a junção da Teoria Racial Crítica (TRC) e dos Estudos de Ciência, Tecnologia e Sociedade. Para introduções à esta interface, recomendo dois trabalhos: acabei de finalizar um artigo que resume as colaborações da TRC à comunicação; e artigo da própria Ruha Benjamin sobre seu conceito de imaginação carcerária.

Na introdução, Benjamin parte de um exemplo curioso e pouco discutido de codificação indireta: os nomes e sobrenomes como atalhos para aspectos históricos e sociais. Benjamin cita diversos casos de uso de nomes africanos e afroamericanos como atalho para discriminação, de contratação a direcionamento perverso de anúncios. Benjamin usa estes casos cotidianos para lembrar que o cotidiano é codificado em vários aspectos e em suas várias esferas. Métricas, classificações e tecnologias tem políticas, das explícitas às implícitas. A autora evoca o conjunto de leis racistas chamadas de Jim Crow que vigoraram do século XIX à metade do XX nos EUA para propor o conceito de “New Jim Code” – um modo sistêmico e hostil de viés hostil e racista cada vez mais integrado e opaco nas tecnologias digitais.

No primeiro capítulo, Engineered Inequity (Desigualdade Projetada), Benjamin começa pelo caso de um concurso de beleza chamado Beauty AI, que supostamente analisava beleza de forma imparcial. Obviamente esta imparcialidade ou universalidade da beleza é absurda, mas o fato de que um projeto deste foi realizado em pleno 2016 diz muito. Como você pode imaginar, o sistema replicou conceitos de beleza racista e de 44 finalistas, 38 eram brancos. Benjamin segue por outros exemplos para mostrar como o aprendizado de máquina subjacente a estas tecnologias repete desigualdades sociais e culturais e suas concentrações. Em resumo, primeiro capítulo fala de como a desigualdade é replicada e intensificada na interseção de ignorância, omissão e, em alguns casos, intenção. Particularmente interessante neste capítulo é a reprodução de uma página de edição da revista Mechanix Illustrated de 1957, que previa robôs autônomos em breve, veja abaixo:

O texto é simplesmente assustador: “Escravidão está de volta! Todos nós teremos escravos de novo… que vão te vestir, pentear seu cabelo e servir refeições rapidamente. Mas não se alarme. Nós estamos falando de ‘escravos robôs.’” . Através deste e de outros casos, a autora discorre sobre as noções de poder que são evocadas ou projetadas no desenvolvimento de algumas tecnologias.

No segundo capítulo, Default Discrimination (Discriminação por Padrão), Benjamin vai se perguntar se a discriminação pervasiva nas tecnologias digitais é um glitch do sistema. Será que é um erro, que sai do padrão, ou podemos pensar em “discriminação por padrão”? Comparando tecnologias urbanas como o caso de Robert Moses e outros exemplos de arquitetura hostil a policiamento analógico e digital, Benjamin elabora sobre a anti-negritude como padrão na sociedade estadunidense. Lembra que temos de pensar raça em si como tecnologia:

Se considerarmos raça em si como tecnologia, como um modo de ordenar, organizar e desenhar uma estrutura social assim como a compreensão sobre a durabilidade da raça, sua consistência e adaptabilidade, nós poderemos entender mais claramente a arquitetura literal de poder.

No terceiro capítulo, Coded Exposure (Exposição Codificada), a autora se pergunta se a exposição/visibilidade codificada é uma armadilha. Aqui ela relembra casos de tecnologias que falham em ver pessoas negras, como já vimos sobre a pesquisa de Joy Buolamwini e diversos outros. A ideia de visibilidade é codificada também em diversas tecnologias e seu excesso ou falta são diretamente ligadas a dinâmicas raciais de poder.

Benjamin cita o famoso caso dos “Cartões Shirley” que eram usados como padrão para calibração de câmeras, explicando como a imagem de uma mulher branca deixou de ser o único cartão somente bem depois da consolidação da demanda mercadológica por afroamericanos. Entretanto, lembra que ao mesmo tempo disto, empresas como Polaroid ajudaram ativamente o sistema de apartheid na África do Sul, apoiando uma hiper-visibilidade criminosa contra a população negra no país. A partir do conceito polissêmico de exposição, então, Benjamin segue expondo variáveis políticas da branquitude, ciência, diferença e privacidade.

O quarto capítulo, Technology Benevolence (Benevolência da Tecnologia) pergunta se a “benevolência tecnológica vai nos consertar”? A questão é essencial pois, crescentemente, se fala sobre tecnologias como inteligência artificial como soluções para os problemas da sociedade. Não são as soluções, podem piorar os problemas e, em última instância, são mais nocivas pois ainda podem ocultar os problemas em tecnologias e algoritmos fechados e não-auditáveis.

Considerando as inúmeras iniciativas de promoção à “diversidade” e “igualdade” em grandes corporações de tecnologia, Benjamin estuda casos de iniciativas do tipo em empresas de mídias sociais, recrutamento, saúde e outras. Argumenta que essa ideia de “diversidade”

faz parte de um repertório maior de “happy talk”, que envolve a disposição para reconhecer e até valorizar diferença cultural sem desafiar seriamente a desigualdade estrutural sendo reproduzida.

Por fim, no quinto capítulo, de título Retooling Solidarity, Reimagining Justice (Reequipando Solidariedade, Reimaginando Justiça) pensa formas de resistência abolicionistas contra a imaginação carceral continuamente vinculada às tecnologias digitais. Mostra as fragilidades da promoção de “empatia” e de “design thinking” como solução colonizadora para problemas de desigualdade. Citando Paulo Freire, argumenta que “se a estrutura não permite diálogo, a estrutura deve ser mudada”.

Desenvolve a ideia de “auditoria algorítmica” que tem sido aplicada a diversos campos, com diferentes graus de amplitude e compromisso social. As auditorias devem ser independentes e ter poder regulador, algo que as grandes corporações tem evitado. Ruha Benjamin fala de um “toolkit abolicionista”, partindo do uso de dados como instrumentos de liberação desde as visualizações de Du Bois e estatísticas de Ida Wells-Barnett no século XIX até iniciativas recentes através de  diversos projetos que geram mais transparência, ativismo social a favor da regulação e ferramentas narrativas, que permitam contar as histórias de mais pessoas envolvidas e afetadas pelas tecnologias.

Benjamin chama à necessidade a criação de “toolkits abolicionistas” que permitam entender não só as tecnologias emergentes, mas também a sua produção, aplicação e interpretação dos dados. Um dos casos mais interessantes citados é o White Collar Crime Zones, um mapa interativo com o “rosto médio” e localização de criminosos de colarinho branco, o que nos lembra como a lógica de policiamento algorítmico em crimes urbanos é apenas um jeito enviesado de enquadrar a questão da criminalidade.

 

Para uma introdução em vídeo a seu pensamento, recomendo dois vídeos disponíveis gratuitamente. O primeiro fala da incorporação de ideias de design discriminatório de “bancos de parque” a “cadeiras de laboratório” e o segundo é uma aula sobre raça, ciência e subjetividade nos campos de genômica.

 

Para seguir aprendendo com a Ruha Benjamin, compre o livro Race After Technology, visite seu site e siga-a no Twitter.