Raça Depois da Tecnologia: ferramentas abolicionistas contra os novos racismos

Publicado em junho deste ano, o livro Race after Technology: Abolitionist Tools for the New Jim Code, de Ruha Benjamin, é uma louvável adição à atual geração de projetos de intelectuais negras estudando tecnologias da comunicação de um modo crítico e propositivo em busca de um futuro mais justo possível. Ruha Benjamin é antropóloga, doutora em sociologia, professora da Universidade de Princeton e fundadora do JUST Data Lab, além de pesquisadora associada em diversos institutos. Anteriormente publicou livro sobre as dimensões sociais da pesquisa em células tronco e também lançou este ano a coletânea Captivating Technology, sobre tecnociência carcerária e imaginação libertária.

O livro Race After Technology… tem como objetivo discutir as tecnologias digitais e algorítmicas a partir do que Benjamin chama de “Critical STS”, a junção da Teoria Racial Crítica (TRC) e dos Estudos de Ciência, Tecnologia e Sociedade. Para introduções à esta interface, recomendo dois trabalhos: acabei de finalizar um artigo que resume as colaborações da TRC à comunicação; e artigo da própria Ruha Benjamin sobre seu conceito de imaginação carcerária.

Na introdução, Benjamin parte de um exemplo curioso e pouco discutido de codificação indireta: os nomes e sobrenomes como atalhos para aspectos históricos e sociais. Benjamin cita diversos casos de uso de nomes africanos e afroamericanos como atalho para discriminação, de contratação a direcionamento perverso de anúncios. Benjamin usa estes casos cotidianos para lembrar que o cotidiano é codificado em vários aspectos e em suas várias esferas. Métricas, classificações e tecnologias tem políticas, das explícitas às implícitas. A autora evoca o conjunto de leis racistas chamadas de Jim Crow que vigoraram do século XIX à metade do XX nos EUA para propor o conceito de “New Jim Code” – um modo sistêmico e hostil de viés hostil e racista cada vez mais integrado e opaco nas tecnologias digitais.

No primeiro capítulo, Engineered Inequity (Desigualdade Projetada), Benjamin começa pelo caso de um concurso de beleza chamado Beauty AI, que supostamente analisava beleza de forma imparcial. Obviamente esta imparcialidade ou universalidade da beleza é absurda, mas o fato de que um projeto deste foi realizado em pleno 2016 diz muito. Como você pode imaginar, o sistema replicou conceitos de beleza racista e de 44 finalistas, 38 eram brancos. Benjamin segue por outros exemplos para mostrar como o aprendizado de máquina subjacente a estas tecnologias repete desigualdades sociais e culturais e suas concentrações. Em resumo, primeiro capítulo fala de como a desigualdade é replicada e intensificada na interseção de ignorância, omissão e, em alguns casos, intenção. Particularmente interessante neste capítulo é a reprodução de uma página de edição da revista Mechanix Illustrated de 1957, que previa robôs autônomos em breve, veja abaixo:

O texto é simplesmente assustador: “Escravidão está de volta! Todos nós teremos escravos de novo… que vão te vestir, pentear seu cabelo e servir refeições rapidamente. Mas não se alarme. Nós estamos falando de ‘escravos robôs.’” . Através deste e de outros casos, a autora discorre sobre as noções de poder que são evocadas ou projetadas no desenvolvimento de algumas tecnologias.

No segundo capítulo, Default Discrimination (Discriminação por Padrão), Benjamin vai se perguntar se a discriminação pervasiva nas tecnologias digitais é um glitch do sistema. Será que é um erro, que sai do padrão, ou podemos pensar em “discriminação por padrão”? Comparando tecnologias urbanas como o caso de Robert Moses e outros exemplos de arquitetura hostil a policiamento analógico e digital, Benjamin elabora sobre a anti-negritude como padrão na sociedade estadunidense. Lembra que temos de pensar raça em si como tecnologia:

Se considerarmos raça em si como tecnologia, como um modo de ordenar, organizar e desenhar uma estrutura social assim como a compreensão sobre a durabilidade da raça, sua consistência e adaptabilidade, nós poderemos entender mais claramente a arquitetura literal de poder.

No terceiro capítulo, Coded Exposure (Exposição Codificada), a autora se pergunta se a exposição/visibilidade codificada é uma armadilha. Aqui ela relembra casos de tecnologias que falham em ver pessoas negras, como já vimos sobre a pesquisa de Joy Buolamwini e diversos outros. A ideia de visibilidade é codificada também em diversas tecnologias e seu excesso ou falta são diretamente ligadas a dinâmicas raciais de poder.

Benjamin cita o famoso caso dos “Cartões Shirley” que eram usados como padrão para calibração de câmeras, explicando como a imagem de uma mulher branca deixou de ser o único cartão somente bem depois da consolidação da demanda mercadológica por afroamericanos. Entretanto, lembra que ao mesmo tempo disto, empresas como Polaroid ajudaram ativamente o sistema de apartheid na África do Sul, apoiando uma hiper-visibilidade criminosa contra a população negra no país. A partir do conceito polissêmico de exposição, então, Benjamin segue expondo variáveis políticas da branquitude, ciência, diferença e privacidade.

O quarto capítulo, Technology Benevolence (Benevolência da Tecnologia) pergunta se a “benevolência tecnológica vai nos consertar”? A questão é essencial pois, crescentemente, se fala sobre tecnologias como inteligência artificial como soluções para os problemas da sociedade. Não são as soluções, podem piorar os problemas e, em última instância, são mais nocivas pois ainda podem ocultar os problemas em tecnologias e algoritmos fechados e não-auditáveis.

Considerando as inúmeras iniciativas de promoção à “diversidade” e “igualdade” em grandes corporações de tecnologia, Benjamin estuda casos de iniciativas do tipo em empresas de mídias sociais, recrutamento, saúde e outras. Argumenta que essa ideia de “diversidade”

faz parte de um repertório maior de “happy talk”, que envolve a disposição para reconhecer e até valorizar diferença cultural sem desafiar seriamente a desigualdade estrutural sendo reproduzida.

Por fim, no quinto capítulo, de título Retooling Solidarity, Reimagining Justice (Reequipando Solidariedade, Reimaginando Justiça) pensa formas de resistência abolicionistas contra a imaginação carceral continuamente vinculada às tecnologias digitais. Mostra as fragilidades da promoção de “empatia” e de “design thinking” como solução colonizadora para problemas de desigualdade. Citando Paulo Freire, argumenta que “se a estrutura não permite diálogo, a estrutura deve ser mudada”.

Desenvolve a ideia de “auditoria algorítmica” que tem sido aplicada a diversos campos, com diferentes graus de amplitude e compromisso social. As auditorias devem ser independentes e ter poder regulador, algo que as grandes corporações tem evitado. Ruha Benjamin fala de um “toolkit abolicionista”, partindo do uso de dados como instrumentos de liberação desde as visualizações de Du Bois e estatísticas de Ida Wells-Barnett no século XIX até iniciativas recentes através de  diversos projetos que geram mais transparência, ativismo social a favor da regulação e ferramentas narrativas, que permitam contar as histórias de mais pessoas envolvidas e afetadas pelas tecnologias.

Benjamin chama à necessidade a criação de “toolkits abolicionistas” que permitam entender não só as tecnologias emergentes, mas também a sua produção, aplicação e interpretação dos dados. Um dos casos mais interessantes citados é o White Collar Crime Zones, um mapa interativo com o “rosto médio” e localização de criminosos de colarinho branco, o que nos lembra como a lógica de policiamento algorítmico em crimes urbanos é apenas um jeito enviesado de enquadrar a questão da criminalidade.

 

Para uma introdução em vídeo a seu pensamento, recomendo dois vídeos disponíveis gratuitamente. O primeiro fala da incorporação de ideias de design discriminatório de “bancos de parque” a “cadeiras de laboratório” e o segundo é uma aula sobre raça, ciência e subjetividade nos campos de genômica.

 

Para seguir aprendendo com a Ruha Benjamin, compre o livro Race After Technology, visite seu site e siga-a no Twitter.

Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

8 livros e pesquisadoras sobre tecnologia digital, plataformas, algoritmos e genética

Neste Dia Internacional da Mulher vale notar/celebrar um resultado dos vieses de experiência, expectativas laborais e educação no mundo: as mulheres pesquisadoras estão liderando o debate sobre plataformas e algoritmos digitais e seus impactos na sociedade. Então aproveito a data para celebrar 8 livros publicados nos últimos anos indispensáveis para quem deseja compreender a contemporaneidade:

 

#1 Algorithms of Oppression: How Search Engines Reinforce Racism

Em Algorithms of Oppression: How Search Engines Reinforce Racism (2018), Safiya Noble apresenta pesquisa focada em como plataformas de busca de informação – sobretudo buscadores como Google – reproduzem e reforçam aspectos nocivos da sociedade como o racismo. Através de experimentos, levantamento bibliográfico, histórico e entrevistas, Safiya Noble mostra casos e ações relacionadas à populações minorizadas sobretudo dos EUA, como afro-americanas, latinas, judeus e asiáticos.

Clique na imagem ao lado para ler uma resenha e assista TEDx com Noble em:

 


 

#2 Artificial UnIntelligence: How Computer Misunderstand the World

Em Artificial UnIntelligence: How Computers Misunderstand the World (2018), Meredith Broussard explica os problemas dos sistemas considerados inteligência artificial hoje (como carros autônomos, métricas de plataformas digitais e outros) em três partes: “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”. Um destaque da publicação é que Broussard apresenta alguns conceitos através de tutoriais no Python acessíveis até para quem nunca escreveu uma linha de código na vida.

Clique na imagem ao lado para ler uma resenha e assista entrevista com Broussard abaixo:


 

#3 The Intersectional Internet: Race, Sex, Class and Culture Online

Intersectional Internet: Race, Sex, Class and Culture Online (2016) é uma coletânea editada por Safiya Noble e Brendesha Tynes. Reúne capítulos de pesquisadoras e pesquisadores estudando questões de raça, gênero e classe na internet tais como: políticas de viralidade e virilidade em masculinidades asiáticas; moderação comercial de conteúdo; análise interseccional de apps de encontros; memes no Instagram e adolescentes negras e outros.

Assista entrevista com Brendesha Tynes abaixo:

Expert Interview with Dr. Brendesha Tynes from The Steve Fund on Vimeo.


 

#4 Twitter and Tear Gas: the power and fragility of networked protest

Zeynep Tufekci é pesquisadora, ativista e jornalista turca. Em Twitter and Tear Gas: the power and fragility of networked protest, Tufekci trouxe em 2017 um outro olhar sobre os ainda festejados protestos impulsionados por plataformas de mídias sociais, como a “Primavera Árabe”. Como a veloz história mostrou, o resultado de movimentos como estes, inclusive no Brasil, foi muito diferente do que os mais empolgados da esquerda previam. Nos últimos 5 anos sobretudo a inocência sobre as mídias sociais ficou de lado em grande medida, mas o livro de Tufekci traz a tecno-sociológico sobre a contemporaneidade que vai além do simplista. O livro está disponível em versão impressa, ebook, audiobook e também um PDF de acesso livre, exigência da autora devido à importância do debate.

Assista palestra da autora em:


#5 Fatal Invention – how science, politics, and big business re-create race in the twenty-first century

Em um mundo supremacista branco, a ciência, política e grandes empresas de tecnologia estão empenhadas em recriar a noção biológica de raça através de sistemas pervasivos de tecnologia como inteligência artificial, reconhecimento de imagens, biometria e testes genéticos. Este é o tema de Fatal Invention – how science, politics, and big business re-create race in the twenty-first century de Dorothy Roberts (2012). O livro revisa conceitos de raça, eugenia, o papel da ciência racial na supremacia branca e trata de manifestações contemporâneas na genética, desenvolvimento de farmacológicos customizados, vigilância genética e outras tecnologias.

Abaixo um vídeo no qual Roberts explica o problema com medicina baseada em “raça”:


#6 The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome

Em The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome (2016),  Alondra Nelson traz um outro olhar ao discutir como a tecnologia de identificação de DNA, sobretudo levantamento de genealogia e origens geográficas da diáspora africana possuem impactos relevantes. Uma vez que os milhões de africanos sequestrados entre os séculos XVI e XIX foram torturados, desumanizados e impedidos de desenvolver sua educação, história e memória, Alondra Nelson mostra como das já numerosas iniciativas de afro-diaspóricos de se reconectar com a África emergem potencial e os benefícios dessa tendência.

Alondra Nelson também é autora de outros livros como Body and Soul: The Black Panther Party and the Fight Against Medical Discrimination (2011), Technicolor: Race, Technology, and Everyday Life (2001) e editora de um número especial de revista Social Text que discutiu afrofuturismo em 2002. Veja entrevista com a autora sobre o tema:

 


#7 A Networked Self and Human Augmentics, Artificial Intelligence, Sentience

Zizi Papacharissi pesquisa comunicação digital há décadas e é responsável por algumas coletâneas mais influentes no campo, como o excelente A Networked Self: Identity, Community, and Culture on Social Network Sites. Em 2018 Papacharissi lançou nada menos que três coletâneas a partir da ideia de networked self: um com recorte sobre nascimento, vida, morte e família; outro sobre plataformas, estórias e conexões; e, por fim, o que destaco sobre inteligência artificial, senciência e augmentics: A Networked Self and Human Augmentics, Artificial Intelligence, Sentience (2018). O livro reúne 14 capítulos sobre aspectos tecnológicos e éticos como direitos de agentes artificiais e impactos da IA no self.

Palestra recente da Papacharissi:

 


#8 Digital Sociologies

Organizado por Jessie Daniels, Karen Gregory e Tressie Mcmillan Cottom, Digital Sociologies (2016) é fruto de conferência sobre as sociologias digitais plurais. Na primeira parte, em 7 capítulos, trata da sociologia digital na vida cotidiana, falando de temas como estudos de comunidades online, análise de discurso digital em pequenos espaços ou gerenciamento de impressões digitais na “economia do compartilhamento. A segunda parte foca em instituições e traz 11 capítulos em torno de desigualdade e instituições, papel dos algoritmos em decisões educacionais, raça e racismo na educação e convergência de audiências online em torno de produtos culturais. A terceira parte traz mais 10 capítulos e é repleta de estudos de caso sobre corpos e corporeidade nas interseções com raça, gênero, classe e sexualidades em ambientes como Twitter, websites, apps de quantified self e tecnologias vestíveis.

Assista palestra de Tressie McMillan Cottom:

 

Quer acompanhar em tempo real o que algumas destas pesquisadoras estão produzindo? Siga lista curada no Twitter!

A Prisão dos Números – podcast discute métricas, algoritmos, youtubers e raça

O podcast Depois das 19 é produzido por Marcus Martins, Nonny Gomes  e Luiz Phelipe Santos e trata de pautas enegrecidas variadas, como política, literaturaafrocentricidade, democratização da mídia, super-heróishumor, festa e outras minorias. Tive o prazer de participar da última edição, intitulada A Prisão dos Números, falando sobre mídias sociais, algoritmos e racialização em plataformas digitais junto ao youtuber Rick Trindade. Ouça abaixo:

(Des)Inteligência Artificial: como computadores não compreendem o mundo

Quem acompanhou o caso dos 12 garotos presos na caverna Tham Luang Nang Non, na Tailândia, possivelmente acompanhou a iniciativa do bilionário Elon Musk em criar um submarino para resgate. Ignorando os esforços locais de profissionais da Tailândia e outros países empenhados no resgate, o rosto público das empresas Tesla, Boring Company e SpaceX, Musk chegou a agredir verbalmente e difamar um jornalista que criticou a iniciativa do empresário como apenas uma iniciativa fútil de RP. E realmente era. Os 12 garotos foram resgatados por heróis incansáveis e especialistas em suas áreas, atividades e na região da caverna. Como disse o coordenador do centro de comando do resgate, Narongsak Osatanakorn, “Apesar de sua tecnologia ser boa é sofisticada, não é prática para esta missão”.

Essa postura delirante e egoica de tentar consertar o que não está quebrado com mais tecnologia, ignorando esforços, especialistas e dinâmicas anteriores, já pôde ser vista recentemente em figuras similares como Steve Jobs e Mark Zuckerberg. Entretanto, o histórico da computação e inteligência traz casos similares ao de Musk aos borbotões. Um particularmente anedótico é uma conversa atribuída a Marvin Minsky, um dos grandes nomes da área, que fundou o laboratório de inteligência artificial do MIT e ensinou centenas de cientistas e professores que desenvolveram a área. Stephen Wolfram conta que, no início dos anos 1980, em visita a Minsky na casa de sua filha, que tinha uma coleção de plantas, Wolfram percebeu que algumas delas estavam com pragas de insetos. A partir daí seguiu-se uma longa discussão sobre desenvolvimento de micro-robôs que poderiam eliminar os insetos. Porém, ao perguntar o que fazer com as plantas, Minsky responde: “Ah, acho melhor você falar com minha esposa”.

Este caso, incluído no livro, é um dos melhores exemplos da importância da publicação de trabalhos como Artificial (Un)Intelligence: how computer misunderstand the world, de Meredith Broussard. Foi lançado em abril deste ano e reúne estudos e aprendizados da autora como jornalista, programadora e pesquisadora.  Meredith Broussard é professora do Arthur L. Carter Journalism Institute da NYU e pesquisadorea no Moore-Sleam Data Science Environmnent. Neste livro, apresenta 12 capítulos divididos em três partes chamadas “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”.

Em comparação a outros livros sobre viés algorítmicos e problemas na inteligência artificial que recomendei no blog, Artificial (Un)Intelligence possui uma vantagem muito interessante: em vários capítulos Broussard faz uma espécie de tour guiado por conceitos básicos da programação, de modo a levar até o leitor mais leigo a compreender como funciona parte do trabalho de construção de códigos e decisões imbricadas que depois se invisibilizam nas caixas pretas dos dispositivos. É o que acontece no capítulo 02, chamado “Hello World” – saber como imprimir/visualizar estas duas palavras estão entre os primeiros passos de mais que 9 entre 10 cursos de novas linguagens. A partir da tarefa do título, a autora apresenta alguns passos simples para a criação de um algoritmo condicional simples.

Porém, não se trata efetivamente de ensinar a leitora ou leitor a começar a programar. Mas sim levar quem lê a entender, na prática, que os códigos são socialmente construídos.

Although the data may be generated in different ways, there’s one thing all the preceding examples have in common: all of the data is generated by people. This is true Although the data may be generated in different ways, there’s one thing all the preceding examples of all data. Ultimately, data always comes down to people counting things. If we don’t think too hard about it, we might imagine that data springs into the world fully formed from the head of Zeus. We assume that because there is data, the data must be true. Note the first principle of this book: data is socially constructed. Please let go of any notion that data is made by anything except people.

Na primeira parte do livro, ao longo dos outros capítulos “Hello, reader”, “Hello AI” e “Hello, data journalism”, Broussard apresenta uma excelente introdução aos conceitos de inteligência artificial, jornalismo de dados e o papel destes nas democracias. Enfatiza bem a diferença entre “inteligência artificial geral” e “inteligência artificial estrita” para dissipar percepções erradas, criadas em parte pela ficção, sobre agentes artificiais que tomariam o mundo, de Skynet à Samantha de Her. Não é este o problema quanto à inteligência artificial e uso pervasivo de dados sociais, mas sim a sua interface com aumento de desigualdade, concentração de poder e piora das relações internacionais.

Apesar disso, existe uma adesão voluntária à ideia de que mais computadores, big data e inteligência artificial é algo necessariamente bom e remediador. É o “tecnochauvinismo” que, de modo resumido, seria a crença de que mais “tecnologia” é sempre a solução. Tecnochauvinismo é frequentemente acompanhado por meritocracia neoliberal, defesa distorcida da “liberdade de expressão” para manter discurso de ódio; da ideia de que computadores seria objetivos e uma fé de que o mundo com mais computadores resolveriam problemas sociais.”Para descrever casos reais e combater o tecnochauvinismo, Broussard se debruça na parte dois em cinco capítulos sobre questões e problemas muito reais sobre computadores e inteligência artificial: testes padronizados no sistema de ensino; raízes de desigualdade de gênero e raça na academia e mercado que produzem as tecnologias e sistemas de AI; corrida por legalização de carros autônomos; e os malefícios de equalizar popularidade com qualidade nas plataformas de comunicação como Google e Facebook. Também faz parte da segunda parte do livro um capítulo sobre  aprendizado de máquina (machine learning). Broussard ataca a frequente confusão quanto a este termo, que leva leigos a acreditar que os sistemas aprendem “sozinhos”, ao invés de serem ensinados a partir de bases de dados criadas por seres humanos.

No atual momento, no qual inteligência artificial é uma “buzzword”, ou palavra da moda no marketing, esta crença é perigosa. Para explicar as diferenças entre os tipos de aprendizado de máquina, assim como apresentar passos e decisões comuns que os desenvolvedores deveriam enfrentar de forma responsável, Broussard volta às linhas de código. No capítulo “Machine Learning: the DL on ML“, Broussard explora junto conosco um dataset com informações sobre as pessoas que morreram no naufrágio do Titanic. Passando por variáveis como gênero, classe, idade e tipo de cabine a autora explica como a construção de um sistema preditivo requer muitas decisões difíceis quando está ligado a vidas humanas. E está longe de ser apenas um recurso pedagógico: decisões similares são feitas em sistemas de policiamento, planos de saúde, crédito financeiro e afins.

A terceira parte do livro traz dois casos mais particulares da autora. O primeiro capítulo desta parte é um relato de participação da autora  em um evento de um hackaton para criação de startups chamado Startup Bus. Broussard usa o relato da experiência e construção de um pitch de startup para discorrer sobre o ethos das startups e como seus afiliados deixam de lado com frequência – seja por ignorância, seja por má fé – muitas reflexões e responsabilidades éticas e morais em prol de construção de possíveis sucessos comerciais. O segundo descreve a construção do sistema Bailiwick Campaign Finance. Broussard construiu este website para oferecer “histórias automatizadas” sobre financiamento de campanha: ao cruzar dados de políticos e financiadores, tem como objetivo ajudar jornalistas a encontrar possíveis temas para investigação. Veja abaixo:

O livro Artificial (Un)Intelligence é uma leitura necessária e rápida para qualquer comunicador e pesquisador interessado no tema da pervasividade dos algoritmos e seus impactos. Para finalizar, veja abaixo uma entrevista sobre o livro: