Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código

Apresentei nesta última semana o artigo Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código no Simpósio da LAVITS, em Salvador. O trabalho compõe minha pesquisa de doutorado e parte da análise de ambientes como Facebook, Twitter, YouTube e marketplaces de aplicativos mobile, que são mecanismos centrais do capitalismo de vigilância. Os vieses algorítmicos e affordances racistas nestas plataformas digitais de publicidade estão sendo crescentemente analisados nos últimos 15 anos por pesquisadoras informadas por perspectivas variadas. Como resultado estão em desenvolvimento iniciativas de auditoria de algoritmos e plataformas, construção de datasets e procedimentos mais responsáveis, além de indicações regulatórias. A opacidade presente nas caixas-pretas dos grupos de sistemas automatizados e semi-automatizados baseados em algoritmos que regem visibilidade, classificação, vigilância e regras de uso nas plataformas digitais complexifica e dificulta esta investigação. Esta questão se aplica tanto ao desenho de processos internos quanto à configuração de algoritmos e é agravada pela ideologia da “cegueira racial”, tática que compõe historicamente do genocídio negro, que também é epistemológico.

O trabalho propõe colaborar ao campo de estudos sobre vieses algorítmicos ao aproximar a investigação sobre vieses raciais nos algoritmos de plataformas digitais ao conceito de microagressões raciais (Pierce, 1970). Estas seriam definidas como mensagens rotineiras que comunicam insultos e desprezo racial e podem ser apresentadas de forma verbal, comportamental ou ambientalmente contra grupos racializados. A pesquisa sobre microagressões raciais propõe modos de analisar, entender e combater este tipo de violência em contextos de socialização, midiáticos ou educacionais com o objetivo de minimizar o impacto na formação e pleno desenvolvimento de populações negras, entre outras. Aplicando a tipologia de microagressões proposta por Tynes et al (2018) a partir de Sue (2007) a mapeamento realizado pelo autor, o artigo discute casos de comunicação algorítmica racista em plataformas digitais ligando aspectos das plataformas a categorias e subcategorias propostas sobre microagressões.

Acesse o artigo completo no ResearchGate e confira mais publicações.

Interrogando Plataformas e Algoritmos Digitais

Acabou de ser publicado o ebook da edição 2018 do Congresso Nacional de Estudos Comunicacionais da PUC Minas Poços de Caldas. Fui um dos conferencistas e apresentei a palestra Interrogando Plataformas e Algoritmos Digitais. A publicação inclui um resumo da palestra que transcrevo abaixo logo depois do slideshow utilizado (confira também no ResearchGate). Ao final do post, referências e como citar.

A crença tanto em que os algoritmos estatísticos e softwares são neutros quanto a crença de que são substitutos da ciência são erradas em dimensão comparável apenas à sua aceitação por um número cada vez mais crescente de grupos sociais filiados à ideais neoliberais e tecnocráticos de eficácia e otimização de processos. Estas presunções de neutralidade dos algoritmos e sistemas automatizados em campos da comunicação, direito, segurança e políticas públicas (SILVEIRA, 2017) impactam efetivamente indivíduos e comunidades de modo relativo à distribuição de poder quanto às classes, gênero, raças e grupos sociais que os constroem e gerenciam. Quanto ao aspecto de racialização, podemos falar de uma opacidade dupla. De um lado os algoritmos – e a tecnologia de modo geral – são vistos como neutros, como se fossem construídos, desenvolvidos e performados independente do contexto e pessoas envolvidas. De outro, a ideologia da negação e invisibilidade da categoria social “raça” na sociedade como um todo impede consensos e avanços quanto à justiça e equidade de representação.

Esta construção possui tanto impactos diretos quanto indiretos, tal como o gap de capacidade de interpretação da realidade social, demográfica e política contemporâneas. Ecossistemas de plataformas e infraestruturas digitais como Google, Amazon, Facebook e Apple (chamados pelo acrônimo GAFA) construíram capacidades de análise de dados internos e externos que ultrapassam em muito o potencial de universidades de ponta e até de estados. E tudo isto sem as prerrogativas de transparência e accountability exigidas pelas populações da maioria das democracias. Investigar e entender os impactos de algoritmos e plataformas na democracia e nas populações é um desafio ainda mais – aparentemente – intransponível.

Estas perspectivas neoliberais ativistas tem sido centrais no reforço de lógicas que são “antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems”, inclusive em esferas tecnológicas (NOBLE, 2018, pos.2781). A opacidade dos sistemas é vista de forma acrítica, desde que não traga malefícios para o sujeito em sua individualidade e fins pragmáticos. E quando acontece são vistas como responsabilidade do próprio indivíduo que deveria ser “gerente de si mesmo”, como acontece com os sistemas de autogestão de escores de créditos, cada vez mais pervasivos. Impactos no social e no comunitário são ignorados. A legitimidade das “data-driven decision-making hinges not only on the presumed objectivity of its methods, but on the unquestioned acceptance of productivity, performance, merit” (RIEDER, 2016a, p.51). É preciso, então, ver as atuais práticas em torno de big data e análise pervasiva dos indivíduos com olhares multiculturais. Os dados, como “a medium or representational form and envelops data science within a cultural matrix. Data criticism also tackles data science’s idealistic view of data head-on, in addition to its self-proclaimed democratic leanings and liberalism” (BEATON, 2016, p.368).

A chamada à crítica dos dados e plataformas vai ao encontro do que Dardot e Laval (2017) diagnosticam como uma falta de compreensão das relações entre as condutas dos neossujeitos e as formas de controle, vigilância e análise exercidas na suposta hiper-racional contemporaneidade. Alertam que é preciso “examinar de perto tecnologias de controle e vigilância de indivíduos e populações, sua medicalização, o fichar, o registro de seus comportamentos, inclusive os mais precoces” (DARDOT & LAVAL, 2017, pos.7932). Mesmo antes da popularidade esmagadora de plataformas como o Facebook, a ligação entre inteligência artificial e pilares do neoliberalismo, como o capital financeiro, podem ser sentidas como aponta Achille Mbembe, ao descrever como este, “simultaneamente força viva e criadora […] e processo sangrante de devoração […] aumentou descontroladamente a partir do momento em que os mercados bolsistas escolheram apoiar-se na inteligência artificial para optimizar movimentos de liquidez” (MBEMBE, 2017, p.30).

Neste sentido, acreditamos ser essencial a realização de esforço de pesquisa e atuação crítica na realidade para combater os vieses não só algorítmicos, mas também a opacidade destes vieses fruto da lógica neoliberal que glorifica corporações de tecnologia do Vale do Silício enquanto deixa sujeitos atomizados em busca de uma autogestão cada vez mais opressiva. E levando em conta o “contrato racial” (MILLS, 2014) que cria processos de racialização nas mais diferentes esferas sociais com objetivos de dominação, é preciso esforço conjunto para entender a fundo novas tecnologias como plataformas de comunicação e suas relações com dados e inteligência artificial.

As proposições que estão surgindo nos últimos anos para interrogar as plataformas e sistemas algorítmicos merecem circulação e aplicação em diferentes contextos (BROCK, 2016; RIEDER, 2016; OSOBA & WELSER VI, 2017; SILVEIRA, 2017; NOBLE, 2017; WILLIAMS, BROOKS & SHMARGAD, 2018; BUOLAMWINI & GEBRU, 2018), sendo ainda raras as proposições que levam em conta a estruturação do racismo na sociedade ocidental e como impacta produções de centros de tecnologia como o Vale do Silício.

A Teoria Racial Crítica (Critical Race Theory), fruto e atuante nos movimentos de direitos civis desde a década de 60, aplicada no Brasil por estudiosos do Direito e da Educação, merece o seu lugar também na Comunicação. É baseada em pilares de compreensão da sociedade especialmente úteis para compreender os pontos de contato entre opacidade algorítmica e invisibilidade dos processos de racialização, tais como: compreensão desta como de relações raciais hierarquizadas estruturantes e estruturadas pelo racismo; percepção da ordinariedade do racismo nas mais diferentes esferas sociais, econômicas, políticas e biopolíticas; a convergência interseccional do determinismo material dos interesses de grupos dominantes; a visão das relações raciais como construção social; e, por fim, a TRC é agente efetiva no combate da opressão racial (CRENSHAW, GOTANDA & PELLER, 1995; MATSUDA et al, 1993; DELGADO, STEFANCIC & HARRIS, 2017).

Vemos estes esforços como um trabalho internacional em progresso e propomos três estratégias para reunir a colaboração da Teoria Racial Crítica ao estudo dos algoritmos: a) análise crítica, localizada e com consciência racial das particularidades do contexto brasileiro, onde entram também hierarquias de dominação imperialistas mediadas pelo Vale do Silício e cultura de startups; b) uso de colaborações das ciências sociais, humanidades digitais e computação social para entender e interrogar as plataformas; e c) uso de métodos mistos (JOHNSON & ONWUEGBUZIE, 2004), incluindo também mapeamento, engajamento de profissionais e ativistas para compreender toda a rede produtiva a partir de um olhar da economia política de produção dos algoritmos e sistemas. A governança algorítmica tende a ser cada vez mais presente e comunicadores e cientistas sociais devem mergulhar na temática para agir junto a desenvolvedores e legisladores pra analisar danos individuais, discriminação ilegal e práticas injustas, perda de oportunidades, perdas econômicas e estigmatização social.

Referências

BEATON, Brian. How to Respond to Data Science: Early Data Criticism by Lionel Trilling. Information & Culture, v. 51, n. 3, p. 352-372, 2016.

BROCK, André. Critical technocultural discourse analysis. New Media & Society, p. 1461444816677532, 2016.

BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91.

CRENSHAW, Kimberlé; GOTANDA, Neil; PELLER, Garry. Critical race theory: The key writings that formed the movement. The New Press, 1995.

DARDOT, Pierre; LAVAL, Christian. A nova razão do mundo. Boitempo Editorial, 2017.

DELGADO, Richard; STEFANCIC, Jean. Critical race theory: An introduction. NYU Press, 2017.

JOHNSON, R. Burke; ONWUEGBUZIE, Anthony J. Mixed methods research: A research paradigm whose time has come. Educational researcher, v. 33, n. 7, p. 14-26, 2004.

MATSUDA, Mari J.; LAWRENCE III, Charles R.; DELGADO, R.; CRENSHAW, Kimberlè W. Words That Wound – Critical Race Theory, Assaultive Speech, and the First Amendment. Nova Iorque: Routledge, 1993.

MBEMBE, Achille. Políticas da Inimizade. Lisboa (Portugal: Antígona, 2017.

MILLS, Charles W. The racial contract. Cornell University Press, 2014.

NOBLE, Safiya Umoja. Algorithms of Oppression: How search engines reinforce racism. NYU Press, 2018.

OSOBA, Osonde A.; WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.

RIEDER, Bernhard. Big Data and the Paradox of Diversity. Digital Culture & Society, v. 2, n. 2, p. 39-54, 2016a.

SILVEIRA, Sérgio Amadeu da. Tudo sobre Tod@s: redes digitais, privacidade e venda de dados pessoais. São Paulo: Edições Sesc, 2017.

WILLIAMS, Betsy Anne; BROOKS, Catherine F.; SHMARGAD, Yotam. How algorithms discriminate based on data they lack: Challenges, solutions, and policy implications. Journal of Information Policy, v. 8, p. 78-115, 2018.

 

Como citar
SILVA, Tarcízio. Interrogando Plataformas e Algoritmos Digitais. In: Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018, Poços de Caldas, Minas Gerais, Brasil. Anais do 3 CONEC Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018. p. 32-26. Disponível em < https://conec.pucpcaldas.br/wp-content/uploads/2019/06/anais2018.pdf >

Congresso Internacional sobre Vigilância, Raça e Gênero acontecerá em Salvador

Passando para relembrar que a sétima edição do Simpósio Internacional da Rede Latino-Americana de Vigilância (Lavits) acontecerá em Salvador. Organizado pela rede, pelo IHAC e GIGA, incluirá palestras, mesas de discussão, grupos de trabalho, oficinas e performances artísticas entre 26 e 28 de junho.

O grande destaque entre as conferências é a vinda da Simone Browne, pesquisadora canadense e professora da Universidade do Texas (EUA). Browne é autora do livro “Dark Matters: On the Surveillance of Blackness”, no qual revisa a história da vigilância mostrando como tecnologias de controle e opressão contra a negritude desde o período colonial foram germinadoras das práticas hiper-tecnológicas de hoje.

Entre as sessões livres de debate, destaco Intersecções e potências entre tecnologias, gênero e ativismos, com Josemira Reis (GIG@/UFBA), Dulcilei Lima (UFABC), Taís Oliveira (UFABC), Daniela Araújo (IG/Unicamp), Débora Oliveira (Labjor/Unicamp), Marta Kanashiro (Rede Lavits); O Comitê Gestor da Internet (CGI) e os princípios de governança democrática na Internet, com Sergio Amadeu (CGI) e Juliano Cappi (CGI); Discurso de ódio e desinformação nas redes sociotécnicas, com Erica Malunguinho (DEP. ESTADUAL SP), Isadora Brandão (UNEAFRO), Geisa Santos (Coletiva Periféricas-BA) e Maurício Bozzi (PUC-RS).

Nas sessões temáticas de discussão de artigos, são mais de 150 artigos de pesquisadores do Brasil, América Latina e de outros países. São artigos sobre vigilância, controle, big data e práticas digitais diversas. Apresentarei o trabalho Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código em sessão sobre “Assimetrias da Vigilância: racismo e sexismo”.

Saiba mais sobre o evento em: www.lavits.ihac.ufba.br

Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

Odò Pupa e a sociologia vernacular preta

Na última semana tive a oportunidade de assistir, apresentado junto a um trabalho no COPENE, o curta Odò Pupa, Luga de Resistência, da cineasta paraibana Carine Fiúza. O curta vai circular por alguns festivais de cinema, mas está disponível para ver no Futura Play ainda (corram). O documentário foi gravado em Salvador e tem dois personagens, Luís César (20 anos) e Caíque Santana (20 anos), chef e garçom em um bar descolado no Rio Vermelho.

Começa com dados sobre trabalho e estudo e a linha abissal que divide as condições entre brancos e negros em Salvador, que moraram no Calabar/Alto das Pombas.. Falam sobre arte, trabalho e comunicação a partir de uma sociologia vernacular de quem desenvolve sofisticação na compreensão da sociedade na prática, por sobrevivência.

Há um trecho a partir dos 7 minutos onde Luís conta sobre os diferentes papéis sociais (migrante, alvo de policiais, outsider para as facções, trabalhador) que sem ter entrado numa universidade, é tão explicativo quanto um livro de Goffman sobre gerenciamento de impressões.

Sociólogos e linguistas negros avançaram a ideia de “code switching” como um modo de trocar léxico, gírias, comportamento em campos diferentes. Jovens negros aprendem isso na prática, cedo, literalmente para sobreviver. Luís vê e fala sobre isto de forma fantástica.

Aos 10 minutos, Caíque fala sobre a opressão absurda em várias esferas, próximo ao conceito de matriz de dominação da Patrícia Hill Collins. Ele fala da perversidade sem sentido da sociedade, que realmente deveria indignar.

São estes jovens da periferia que poderiam transformar a sociedade e a universidade.

Poderiam se não fossem

invisibilizados
silenciados
negligenciados
roubados
preteridos
mortos

pela mediocridade e epistemologias da ignorância vigentes.