Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código

Apresentei nesta última semana o artigo Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código no Simpósio da LAVITS, em Salvador. O trabalho compõe minha pesquisa de doutorado e parte da análise de ambientes como Facebook, Twitter, YouTube e marketplaces de aplicativos mobile, que são mecanismos centrais do capitalismo de vigilância. Os vieses algorítmicos e affordances racistas nestas plataformas digitais de publicidade estão sendo crescentemente analisados nos últimos 15 anos por pesquisadoras informadas por perspectivas variadas. Como resultado estão em desenvolvimento iniciativas de auditoria de algoritmos e plataformas, construção de datasets e procedimentos mais responsáveis, além de indicações regulatórias. A opacidade presente nas caixas-pretas dos grupos de sistemas automatizados e semi-automatizados baseados em algoritmos que regem visibilidade, classificação, vigilância e regras de uso nas plataformas digitais complexifica e dificulta esta investigação. Esta questão se aplica tanto ao desenho de processos internos quanto à configuração de algoritmos e é agravada pela ideologia da “cegueira racial”, tática que compõe historicamente do genocídio negro, que também é epistemológico.

O trabalho propõe colaborar ao campo de estudos sobre vieses algorítmicos ao aproximar a investigação sobre vieses raciais nos algoritmos de plataformas digitais ao conceito de microagressões raciais (Pierce, 1970). Estas seriam definidas como mensagens rotineiras que comunicam insultos e desprezo racial e podem ser apresentadas de forma verbal, comportamental ou ambientalmente contra grupos racializados. A pesquisa sobre microagressões raciais propõe modos de analisar, entender e combater este tipo de violência em contextos de socialização, midiáticos ou educacionais com o objetivo de minimizar o impacto na formação e pleno desenvolvimento de populações negras, entre outras. Aplicando a tipologia de microagressões proposta por Tynes et al (2018) a partir de Sue (2007) a mapeamento realizado pelo autor, o artigo discute casos de comunicação algorítmica racista em plataformas digitais ligando aspectos das plataformas a categorias e subcategorias propostas sobre microagressões.

Acesse o artigo completo no ResearchGate e confira mais publicações.

Interrogando Plataformas e Algoritmos Digitais

Acabou de ser publicado o ebook da edição 2018 do Congresso Nacional de Estudos Comunicacionais da PUC Minas Poços de Caldas. Fui um dos conferencistas e apresentei a palestra Interrogando Plataformas e Algoritmos Digitais. A publicação inclui um resumo da palestra que transcrevo abaixo logo depois do slideshow utilizado (confira também no ResearchGate). Ao final do post, referências e como citar.

A crença tanto em que os algoritmos estatísticos e softwares são neutros quanto a crença de que são substitutos da ciência são erradas em dimensão comparável apenas à sua aceitação por um número cada vez mais crescente de grupos sociais filiados à ideais neoliberais e tecnocráticos de eficácia e otimização de processos. Estas presunções de neutralidade dos algoritmos e sistemas automatizados em campos da comunicação, direito, segurança e políticas públicas (SILVEIRA, 2017) impactam efetivamente indivíduos e comunidades de modo relativo à distribuição de poder quanto às classes, gênero, raças e grupos sociais que os constroem e gerenciam. Quanto ao aspecto de racialização, podemos falar de uma opacidade dupla. De um lado os algoritmos – e a tecnologia de modo geral – são vistos como neutros, como se fossem construídos, desenvolvidos e performados independente do contexto e pessoas envolvidas. De outro, a ideologia da negação e invisibilidade da categoria social “raça” na sociedade como um todo impede consensos e avanços quanto à justiça e equidade de representação.

Esta construção possui tanto impactos diretos quanto indiretos, tal como o gap de capacidade de interpretação da realidade social, demográfica e política contemporâneas. Ecossistemas de plataformas e infraestruturas digitais como Google, Amazon, Facebook e Apple (chamados pelo acrônimo GAFA) construíram capacidades de análise de dados internos e externos que ultrapassam em muito o potencial de universidades de ponta e até de estados. E tudo isto sem as prerrogativas de transparência e accountability exigidas pelas populações da maioria das democracias. Investigar e entender os impactos de algoritmos e plataformas na democracia e nas populações é um desafio ainda mais – aparentemente – intransponível.

Estas perspectivas neoliberais ativistas tem sido centrais no reforço de lógicas que são “antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems”, inclusive em esferas tecnológicas (NOBLE, 2018, pos.2781). A opacidade dos sistemas é vista de forma acrítica, desde que não traga malefícios para o sujeito em sua individualidade e fins pragmáticos. E quando acontece são vistas como responsabilidade do próprio indivíduo que deveria ser “gerente de si mesmo”, como acontece com os sistemas de autogestão de escores de créditos, cada vez mais pervasivos. Impactos no social e no comunitário são ignorados. A legitimidade das “data-driven decision-making hinges not only on the presumed objectivity of its methods, but on the unquestioned acceptance of productivity, performance, merit” (RIEDER, 2016a, p.51). É preciso, então, ver as atuais práticas em torno de big data e análise pervasiva dos indivíduos com olhares multiculturais. Os dados, como “a medium or representational form and envelops data science within a cultural matrix. Data criticism also tackles data science’s idealistic view of data head-on, in addition to its self-proclaimed democratic leanings and liberalism” (BEATON, 2016, p.368).

A chamada à crítica dos dados e plataformas vai ao encontro do que Dardot e Laval (2017) diagnosticam como uma falta de compreensão das relações entre as condutas dos neossujeitos e as formas de controle, vigilância e análise exercidas na suposta hiper-racional contemporaneidade. Alertam que é preciso “examinar de perto tecnologias de controle e vigilância de indivíduos e populações, sua medicalização, o fichar, o registro de seus comportamentos, inclusive os mais precoces” (DARDOT & LAVAL, 2017, pos.7932). Mesmo antes da popularidade esmagadora de plataformas como o Facebook, a ligação entre inteligência artificial e pilares do neoliberalismo, como o capital financeiro, podem ser sentidas como aponta Achille Mbembe, ao descrever como este, “simultaneamente força viva e criadora […] e processo sangrante de devoração […] aumentou descontroladamente a partir do momento em que os mercados bolsistas escolheram apoiar-se na inteligência artificial para optimizar movimentos de liquidez” (MBEMBE, 2017, p.30).

Neste sentido, acreditamos ser essencial a realização de esforço de pesquisa e atuação crítica na realidade para combater os vieses não só algorítmicos, mas também a opacidade destes vieses fruto da lógica neoliberal que glorifica corporações de tecnologia do Vale do Silício enquanto deixa sujeitos atomizados em busca de uma autogestão cada vez mais opressiva. E levando em conta o “contrato racial” (MILLS, 2014) que cria processos de racialização nas mais diferentes esferas sociais com objetivos de dominação, é preciso esforço conjunto para entender a fundo novas tecnologias como plataformas de comunicação e suas relações com dados e inteligência artificial.

As proposições que estão surgindo nos últimos anos para interrogar as plataformas e sistemas algorítmicos merecem circulação e aplicação em diferentes contextos (BROCK, 2016; RIEDER, 2016; OSOBA & WELSER VI, 2017; SILVEIRA, 2017; NOBLE, 2017; WILLIAMS, BROOKS & SHMARGAD, 2018; BUOLAMWINI & GEBRU, 2018), sendo ainda raras as proposições que levam em conta a estruturação do racismo na sociedade ocidental e como impacta produções de centros de tecnologia como o Vale do Silício.

A Teoria Racial Crítica (Critical Race Theory), fruto e atuante nos movimentos de direitos civis desde a década de 60, aplicada no Brasil por estudiosos do Direito e da Educação, merece o seu lugar também na Comunicação. É baseada em pilares de compreensão da sociedade especialmente úteis para compreender os pontos de contato entre opacidade algorítmica e invisibilidade dos processos de racialização, tais como: compreensão desta como de relações raciais hierarquizadas estruturantes e estruturadas pelo racismo; percepção da ordinariedade do racismo nas mais diferentes esferas sociais, econômicas, políticas e biopolíticas; a convergência interseccional do determinismo material dos interesses de grupos dominantes; a visão das relações raciais como construção social; e, por fim, a TRC é agente efetiva no combate da opressão racial (CRENSHAW, GOTANDA & PELLER, 1995; MATSUDA et al, 1993; DELGADO, STEFANCIC & HARRIS, 2017).

Vemos estes esforços como um trabalho internacional em progresso e propomos três estratégias para reunir a colaboração da Teoria Racial Crítica ao estudo dos algoritmos: a) análise crítica, localizada e com consciência racial das particularidades do contexto brasileiro, onde entram também hierarquias de dominação imperialistas mediadas pelo Vale do Silício e cultura de startups; b) uso de colaborações das ciências sociais, humanidades digitais e computação social para entender e interrogar as plataformas; e c) uso de métodos mistos (JOHNSON & ONWUEGBUZIE, 2004), incluindo também mapeamento, engajamento de profissionais e ativistas para compreender toda a rede produtiva a partir de um olhar da economia política de produção dos algoritmos e sistemas. A governança algorítmica tende a ser cada vez mais presente e comunicadores e cientistas sociais devem mergulhar na temática para agir junto a desenvolvedores e legisladores pra analisar danos individuais, discriminação ilegal e práticas injustas, perda de oportunidades, perdas econômicas e estigmatização social.

Referências

BEATON, Brian. How to Respond to Data Science: Early Data Criticism by Lionel Trilling. Information & Culture, v. 51, n. 3, p. 352-372, 2016.

BROCK, André. Critical technocultural discourse analysis. New Media & Society, p. 1461444816677532, 2016.

BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91.

CRENSHAW, Kimberlé; GOTANDA, Neil; PELLER, Garry. Critical race theory: The key writings that formed the movement. The New Press, 1995.

DARDOT, Pierre; LAVAL, Christian. A nova razão do mundo. Boitempo Editorial, 2017.

DELGADO, Richard; STEFANCIC, Jean. Critical race theory: An introduction. NYU Press, 2017.

JOHNSON, R. Burke; ONWUEGBUZIE, Anthony J. Mixed methods research: A research paradigm whose time has come. Educational researcher, v. 33, n. 7, p. 14-26, 2004.

MATSUDA, Mari J.; LAWRENCE III, Charles R.; DELGADO, R.; CRENSHAW, Kimberlè W. Words That Wound – Critical Race Theory, Assaultive Speech, and the First Amendment. Nova Iorque: Routledge, 1993.

MBEMBE, Achille. Políticas da Inimizade. Lisboa (Portugal: Antígona, 2017.

MILLS, Charles W. The racial contract. Cornell University Press, 2014.

NOBLE, Safiya Umoja. Algorithms of Oppression: How search engines reinforce racism. NYU Press, 2018.

OSOBA, Osonde A.; WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.

RIEDER, Bernhard. Big Data and the Paradox of Diversity. Digital Culture & Society, v. 2, n. 2, p. 39-54, 2016a.

SILVEIRA, Sérgio Amadeu da. Tudo sobre Tod@s: redes digitais, privacidade e venda de dados pessoais. São Paulo: Edições Sesc, 2017.

WILLIAMS, Betsy Anne; BROOKS, Catherine F.; SHMARGAD, Yotam. How algorithms discriminate based on data they lack: Challenges, solutions, and policy implications. Journal of Information Policy, v. 8, p. 78-115, 2018.

 

Como citar
SILVA, Tarcízio. Interrogando Plataformas e Algoritmos Digitais. In: Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018, Poços de Caldas, Minas Gerais, Brasil. Anais do 3 CONEC Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018. p. 32-26. Disponível em < https://conec.pucpcaldas.br/wp-content/uploads/2019/06/anais2018.pdf >

Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

Lançada Linha do Tempo sobre Racismo Algorítmico

Lancei recentemente, como uma página do site, uma Linha do Tempo sobre Racismo Algorítmico! Se você é assinante via email ou feed talvez não tenha visto. A timeline é um resultado secundário da pesquisa de doutorado Dados, Algoritmos e Racialização em Plataformas Digitais. Desenvolvida no PCHS-UFABC, o projeto estuda as cadeias produtivas da plataformização digital (mídias sociais, aplicativos, inteligência artificial) e seus vieses e impactos raciais. Os casos, reportagens e reações ao racismo algorítmico podem ser visualizados na página (clique na imagem) e são dados para artigos, conferências, tese e livro em desenvolvimento.

8 livros e pesquisadoras sobre tecnologia digital, plataformas, algoritmos e genética

Neste Dia Internacional da Mulher vale notar/celebrar um resultado dos vieses de experiência, expectativas laborais e educação no mundo: as mulheres pesquisadoras estão liderando o debate sobre plataformas e algoritmos digitais e seus impactos na sociedade. Então aproveito a data para celebrar 8 livros publicados nos últimos anos indispensáveis para quem deseja compreender a contemporaneidade:

 

#1 Algorithms of Oppression: How Search Engines Reinforce Racism

Em Algorithms of Oppression: How Search Engines Reinforce Racism (2018), Safiya Noble apresenta pesquisa focada em como plataformas de busca de informação – sobretudo buscadores como Google – reproduzem e reforçam aspectos nocivos da sociedade como o racismo. Através de experimentos, levantamento bibliográfico, histórico e entrevistas, Safiya Noble mostra casos e ações relacionadas à populações minorizadas sobretudo dos EUA, como afro-americanas, latinas, judeus e asiáticos.

Clique na imagem ao lado para ler uma resenha e assista TEDx com Noble em:

 


 

#2 Artificial UnIntelligence: How Computer Misunderstand the World

Em Artificial UnIntelligence: How Computers Misunderstand the World (2018), Meredith Broussard explica os problemas dos sistemas considerados inteligência artificial hoje (como carros autônomos, métricas de plataformas digitais e outros) em três partes: “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”. Um destaque da publicação é que Broussard apresenta alguns conceitos através de tutoriais no Python acessíveis até para quem nunca escreveu uma linha de código na vida.

Clique na imagem ao lado para ler uma resenha e assista entrevista com Broussard abaixo:


 

#3 The Intersectional Internet: Race, Sex, Class and Culture Online

Intersectional Internet: Race, Sex, Class and Culture Online (2016) é uma coletânea editada por Safiya Noble e Brendesha Tynes. Reúne capítulos de pesquisadoras e pesquisadores estudando questões de raça, gênero e classe na internet tais como: políticas de viralidade e virilidade em masculinidades asiáticas; moderação comercial de conteúdo; análise interseccional de apps de encontros; memes no Instagram e adolescentes negras e outros.

Assista entrevista com Brendesha Tynes abaixo:

Expert Interview with Dr. Brendesha Tynes from The Steve Fund on Vimeo.


 

#4 Twitter and Tear Gas: the power and fragility of networked protest

Zeynep Tufekci é pesquisadora, ativista e jornalista turca. Em Twitter and Tear Gas: the power and fragility of networked protest, Tufekci trouxe em 2017 um outro olhar sobre os ainda festejados protestos impulsionados por plataformas de mídias sociais, como a “Primavera Árabe”. Como a veloz história mostrou, o resultado de movimentos como estes, inclusive no Brasil, foi muito diferente do que os mais empolgados da esquerda previam. Nos últimos 5 anos sobretudo a inocência sobre as mídias sociais ficou de lado em grande medida, mas o livro de Tufekci traz a tecno-sociológico sobre a contemporaneidade que vai além do simplista. O livro está disponível em versão impressa, ebook, audiobook e também um PDF de acesso livre, exigência da autora devido à importância do debate.

Assista palestra da autora em:


#5 Fatal Invention – how science, politics, and big business re-create race in the twenty-first century

Em um mundo supremacista branco, a ciência, política e grandes empresas de tecnologia estão empenhadas em recriar a noção biológica de raça através de sistemas pervasivos de tecnologia como inteligência artificial, reconhecimento de imagens, biometria e testes genéticos. Este é o tema de Fatal Invention – how science, politics, and big business re-create race in the twenty-first century de Dorothy Roberts (2012). O livro revisa conceitos de raça, eugenia, o papel da ciência racial na supremacia branca e trata de manifestações contemporâneas na genética, desenvolvimento de farmacológicos customizados, vigilância genética e outras tecnologias.

Abaixo um vídeo no qual Roberts explica o problema com medicina baseada em “raça”:


#6 The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome

Em The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome (2016),  Alondra Nelson traz um outro olhar ao discutir como a tecnologia de identificação de DNA, sobretudo levantamento de genealogia e origens geográficas da diáspora africana possuem impactos relevantes. Uma vez que os milhões de africanos sequestrados entre os séculos XVI e XIX foram torturados, desumanizados e impedidos de desenvolver sua educação, história e memória, Alondra Nelson mostra como das já numerosas iniciativas de afro-diaspóricos de se reconectar com a África emergem potencial e os benefícios dessa tendência.

Alondra Nelson também é autora de outros livros como Body and Soul: The Black Panther Party and the Fight Against Medical Discrimination (2011), Technicolor: Race, Technology, and Everyday Life (2001) e editora de um número especial de revista Social Text que discutiu afrofuturismo em 2002. Veja entrevista com a autora sobre o tema:

 


#7 A Networked Self and Human Augmentics, Artificial Intelligence, Sentience

Zizi Papacharissi pesquisa comunicação digital há décadas e é responsável por algumas coletâneas mais influentes no campo, como o excelente A Networked Self: Identity, Community, and Culture on Social Network Sites. Em 2018 Papacharissi lançou nada menos que três coletâneas a partir da ideia de networked self: um com recorte sobre nascimento, vida, morte e família; outro sobre plataformas, estórias e conexões; e, por fim, o que destaco sobre inteligência artificial, senciência e augmentics: A Networked Self and Human Augmentics, Artificial Intelligence, Sentience (2018). O livro reúne 14 capítulos sobre aspectos tecnológicos e éticos como direitos de agentes artificiais e impactos da IA no self.

Palestra recente da Papacharissi:

 


#8 Digital Sociologies

Organizado por Jessie Daniels, Karen Gregory e Tressie Mcmillan Cottom, Digital Sociologies (2016) é fruto de conferência sobre as sociologias digitais plurais. Na primeira parte, em 7 capítulos, trata da sociologia digital na vida cotidiana, falando de temas como estudos de comunidades online, análise de discurso digital em pequenos espaços ou gerenciamento de impressões digitais na “economia do compartilhamento. A segunda parte foca em instituições e traz 11 capítulos em torno de desigualdade e instituições, papel dos algoritmos em decisões educacionais, raça e racismo na educação e convergência de audiências online em torno de produtos culturais. A terceira parte traz mais 10 capítulos e é repleta de estudos de caso sobre corpos e corporeidade nas interseções com raça, gênero, classe e sexualidades em ambientes como Twitter, websites, apps de quantified self e tecnologias vestíveis.

Assista palestra de Tressie McMillan Cottom:

 

Quer acompanhar em tempo real o que algumas destas pesquisadoras estão produzindo? Siga lista curada no Twitter!