Interrogando Plataformas e Algoritmos Digitais

Acabou de ser publicado o ebook da edição 2018 do Congresso Nacional de Estudos Comunicacionais da PUC Minas Poços de Caldas. Fui um dos conferencistas e apresentei a palestra Interrogando Plataformas e Algoritmos Digitais. A publicação inclui um resumo da palestra que transcrevo abaixo logo depois do slideshow utilizado (confira também no ResearchGate). Ao final do post, referências e como citar.

A crença tanto em que os algoritmos estatísticos e softwares são neutros quanto a crença de que são substitutos da ciência são erradas em dimensão comparável apenas à sua aceitação por um número cada vez mais crescente de grupos sociais filiados à ideais neoliberais e tecnocráticos de eficácia e otimização de processos. Estas presunções de neutralidade dos algoritmos e sistemas automatizados em campos da comunicação, direito, segurança e políticas públicas (SILVEIRA, 2017) impactam efetivamente indivíduos e comunidades de modo relativo à distribuição de poder quanto às classes, gênero, raças e grupos sociais que os constroem e gerenciam. Quanto ao aspecto de racialização, podemos falar de uma opacidade dupla. De um lado os algoritmos – e a tecnologia de modo geral – são vistos como neutros, como se fossem construídos, desenvolvidos e performados independente do contexto e pessoas envolvidas. De outro, a ideologia da negação e invisibilidade da categoria social “raça” na sociedade como um todo impede consensos e avanços quanto à justiça e equidade de representação.

Esta construção possui tanto impactos diretos quanto indiretos, tal como o gap de capacidade de interpretação da realidade social, demográfica e política contemporâneas. Ecossistemas de plataformas e infraestruturas digitais como Google, Amazon, Facebook e Apple (chamados pelo acrônimo GAFA) construíram capacidades de análise de dados internos e externos que ultrapassam em muito o potencial de universidades de ponta e até de estados. E tudo isto sem as prerrogativas de transparência e accountability exigidas pelas populações da maioria das democracias. Investigar e entender os impactos de algoritmos e plataformas na democracia e nas populações é um desafio ainda mais – aparentemente – intransponível.

Estas perspectivas neoliberais ativistas tem sido centrais no reforço de lógicas que são “antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems”, inclusive em esferas tecnológicas (NOBLE, 2018, pos.2781). A opacidade dos sistemas é vista de forma acrítica, desde que não traga malefícios para o sujeito em sua individualidade e fins pragmáticos. E quando acontece são vistas como responsabilidade do próprio indivíduo que deveria ser “gerente de si mesmo”, como acontece com os sistemas de autogestão de escores de créditos, cada vez mais pervasivos. Impactos no social e no comunitário são ignorados. A legitimidade das “data-driven decision-making hinges not only on the presumed objectivity of its methods, but on the unquestioned acceptance of productivity, performance, merit” (RIEDER, 2016a, p.51). É preciso, então, ver as atuais práticas em torno de big data e análise pervasiva dos indivíduos com olhares multiculturais. Os dados, como “a medium or representational form and envelops data science within a cultural matrix. Data criticism also tackles data science’s idealistic view of data head-on, in addition to its self-proclaimed democratic leanings and liberalism” (BEATON, 2016, p.368).

A chamada à crítica dos dados e plataformas vai ao encontro do que Dardot e Laval (2017) diagnosticam como uma falta de compreensão das relações entre as condutas dos neossujeitos e as formas de controle, vigilância e análise exercidas na suposta hiper-racional contemporaneidade. Alertam que é preciso “examinar de perto tecnologias de controle e vigilância de indivíduos e populações, sua medicalização, o fichar, o registro de seus comportamentos, inclusive os mais precoces” (DARDOT & LAVAL, 2017, pos.7932). Mesmo antes da popularidade esmagadora de plataformas como o Facebook, a ligação entre inteligência artificial e pilares do neoliberalismo, como o capital financeiro, podem ser sentidas como aponta Achille Mbembe, ao descrever como este, “simultaneamente força viva e criadora […] e processo sangrante de devoração […] aumentou descontroladamente a partir do momento em que os mercados bolsistas escolheram apoiar-se na inteligência artificial para optimizar movimentos de liquidez” (MBEMBE, 2017, p.30).

Neste sentido, acreditamos ser essencial a realização de esforço de pesquisa e atuação crítica na realidade para combater os vieses não só algorítmicos, mas também a opacidade destes vieses fruto da lógica neoliberal que glorifica corporações de tecnologia do Vale do Silício enquanto deixa sujeitos atomizados em busca de uma autogestão cada vez mais opressiva. E levando em conta o “contrato racial” (MILLS, 2014) que cria processos de racialização nas mais diferentes esferas sociais com objetivos de dominação, é preciso esforço conjunto para entender a fundo novas tecnologias como plataformas de comunicação e suas relações com dados e inteligência artificial.

As proposições que estão surgindo nos últimos anos para interrogar as plataformas e sistemas algorítmicos merecem circulação e aplicação em diferentes contextos (BROCK, 2016; RIEDER, 2016; OSOBA & WELSER VI, 2017; SILVEIRA, 2017; NOBLE, 2017; WILLIAMS, BROOKS & SHMARGAD, 2018; BUOLAMWINI & GEBRU, 2018), sendo ainda raras as proposições que levam em conta a estruturação do racismo na sociedade ocidental e como impacta produções de centros de tecnologia como o Vale do Silício.

A Teoria Racial Crítica (Critical Race Theory), fruto e atuante nos movimentos de direitos civis desde a década de 60, aplicada no Brasil por estudiosos do Direito e da Educação, merece o seu lugar também na Comunicação. É baseada em pilares de compreensão da sociedade especialmente úteis para compreender os pontos de contato entre opacidade algorítmica e invisibilidade dos processos de racialização, tais como: compreensão desta como de relações raciais hierarquizadas estruturantes e estruturadas pelo racismo; percepção da ordinariedade do racismo nas mais diferentes esferas sociais, econômicas, políticas e biopolíticas; a convergência interseccional do determinismo material dos interesses de grupos dominantes; a visão das relações raciais como construção social; e, por fim, a TRC é agente efetiva no combate da opressão racial (CRENSHAW, GOTANDA & PELLER, 1995; MATSUDA et al, 1993; DELGADO, STEFANCIC & HARRIS, 2017).

Vemos estes esforços como um trabalho internacional em progresso e propomos três estratégias para reunir a colaboração da Teoria Racial Crítica ao estudo dos algoritmos: a) análise crítica, localizada e com consciência racial das particularidades do contexto brasileiro, onde entram também hierarquias de dominação imperialistas mediadas pelo Vale do Silício e cultura de startups; b) uso de colaborações das ciências sociais, humanidades digitais e computação social para entender e interrogar as plataformas; e c) uso de métodos mistos (JOHNSON & ONWUEGBUZIE, 2004), incluindo também mapeamento, engajamento de profissionais e ativistas para compreender toda a rede produtiva a partir de um olhar da economia política de produção dos algoritmos e sistemas. A governança algorítmica tende a ser cada vez mais presente e comunicadores e cientistas sociais devem mergulhar na temática para agir junto a desenvolvedores e legisladores pra analisar danos individuais, discriminação ilegal e práticas injustas, perda de oportunidades, perdas econômicas e estigmatização social.

Referências

BEATON, Brian. How to Respond to Data Science: Early Data Criticism by Lionel Trilling. Information & Culture, v. 51, n. 3, p. 352-372, 2016.

BROCK, André. Critical technocultural discourse analysis. New Media & Society, p. 1461444816677532, 2016.

BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91.

CRENSHAW, Kimberlé; GOTANDA, Neil; PELLER, Garry. Critical race theory: The key writings that formed the movement. The New Press, 1995.

DARDOT, Pierre; LAVAL, Christian. A nova razão do mundo. Boitempo Editorial, 2017.

DELGADO, Richard; STEFANCIC, Jean. Critical race theory: An introduction. NYU Press, 2017.

JOHNSON, R. Burke; ONWUEGBUZIE, Anthony J. Mixed methods research: A research paradigm whose time has come. Educational researcher, v. 33, n. 7, p. 14-26, 2004.

MATSUDA, Mari J.; LAWRENCE III, Charles R.; DELGADO, R.; CRENSHAW, Kimberlè W. Words That Wound – Critical Race Theory, Assaultive Speech, and the First Amendment. Nova Iorque: Routledge, 1993.

MBEMBE, Achille. Políticas da Inimizade. Lisboa (Portugal: Antígona, 2017.

MILLS, Charles W. The racial contract. Cornell University Press, 2014.

NOBLE, Safiya Umoja. Algorithms of Oppression: How search engines reinforce racism. NYU Press, 2018.

OSOBA, Osonde A.; WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.

RIEDER, Bernhard. Big Data and the Paradox of Diversity. Digital Culture & Society, v. 2, n. 2, p. 39-54, 2016a.

SILVEIRA, Sérgio Amadeu da. Tudo sobre Tod@s: redes digitais, privacidade e venda de dados pessoais. São Paulo: Edições Sesc, 2017.

WILLIAMS, Betsy Anne; BROOKS, Catherine F.; SHMARGAD, Yotam. How algorithms discriminate based on data they lack: Challenges, solutions, and policy implications. Journal of Information Policy, v. 8, p. 78-115, 2018.

 

Como citar
SILVA, Tarcízio. Interrogando Plataformas e Algoritmos Digitais. In: Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018, Poços de Caldas, Minas Gerais, Brasil. Anais do 3 CONEC Congresso Nacional de Estudos Comunicacionais da PUC Minas, 2018. p. 32-26. Disponível em < https://conec.pucpcaldas.br/wp-content/uploads/2019/06/anais2018.pdf >

Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

Lançada Linha do Tempo sobre Racismo Algorítmico

Lancei recentemente, como uma página do site, uma Linha do Tempo sobre Racismo Algorítmico! Se você é assinante via email ou feed talvez não tenha visto. A timeline é um resultado secundário da pesquisa de doutorado Dados, Algoritmos e Racialização em Plataformas Digitais. Desenvolvida no PCHS-UFABC, o projeto estuda as cadeias produtivas da plataformização digital (mídias sociais, aplicativos, inteligência artificial) e seus vieses e impactos raciais. Os casos, reportagens e reações ao racismo algorítmico podem ser visualizados na página (clique na imagem) e são dados para artigos, conferências, tese e livro em desenvolvimento.

8 livros e pesquisadoras sobre tecnologia digital, plataformas, algoritmos e genética

Neste Dia Internacional da Mulher vale notar/celebrar um resultado dos vieses de experiência, expectativas laborais e educação no mundo: as mulheres pesquisadoras estão liderando o debate sobre plataformas e algoritmos digitais e seus impactos na sociedade. Então aproveito a data para celebrar 8 livros publicados nos últimos anos indispensáveis para quem deseja compreender a contemporaneidade:

 

#1 Algorithms of Oppression: How Search Engines Reinforce Racism

Em Algorithms of Oppression: How Search Engines Reinforce Racism (2018), Safiya Noble apresenta pesquisa focada em como plataformas de busca de informação – sobretudo buscadores como Google – reproduzem e reforçam aspectos nocivos da sociedade como o racismo. Através de experimentos, levantamento bibliográfico, histórico e entrevistas, Safiya Noble mostra casos e ações relacionadas à populações minorizadas sobretudo dos EUA, como afro-americanas, latinas, judeus e asiáticos.

Clique na imagem ao lado para ler uma resenha e assista TEDx com Noble em:

 


 

#2 Artificial UnIntelligence: How Computer Misunderstand the World

Em Artificial UnIntelligence: How Computers Misunderstand the World (2018), Meredith Broussard explica os problemas dos sistemas considerados inteligência artificial hoje (como carros autônomos, métricas de plataformas digitais e outros) em três partes: “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”. Um destaque da publicação é que Broussard apresenta alguns conceitos através de tutoriais no Python acessíveis até para quem nunca escreveu uma linha de código na vida.

Clique na imagem ao lado para ler uma resenha e assista entrevista com Broussard abaixo:


 

#3 The Intersectional Internet: Race, Sex, Class and Culture Online

Intersectional Internet: Race, Sex, Class and Culture Online (2016) é uma coletânea editada por Safiya Noble e Brendesha Tynes. Reúne capítulos de pesquisadoras e pesquisadores estudando questões de raça, gênero e classe na internet tais como: políticas de viralidade e virilidade em masculinidades asiáticas; moderação comercial de conteúdo; análise interseccional de apps de encontros; memes no Instagram e adolescentes negras e outros.

Assista entrevista com Brendesha Tynes abaixo:

Expert Interview with Dr. Brendesha Tynes from The Steve Fund on Vimeo.


 

#4 Twitter and Tear Gas: the power and fragility of networked protest

Zeynep Tufekci é pesquisadora, ativista e jornalista turca. Em Twitter and Tear Gas: the power and fragility of networked protest, Tufekci trouxe em 2017 um outro olhar sobre os ainda festejados protestos impulsionados por plataformas de mídias sociais, como a “Primavera Árabe”. Como a veloz história mostrou, o resultado de movimentos como estes, inclusive no Brasil, foi muito diferente do que os mais empolgados da esquerda previam. Nos últimos 5 anos sobretudo a inocência sobre as mídias sociais ficou de lado em grande medida, mas o livro de Tufekci traz a tecno-sociológico sobre a contemporaneidade que vai além do simplista. O livro está disponível em versão impressa, ebook, audiobook e também um PDF de acesso livre, exigência da autora devido à importância do debate.

Assista palestra da autora em:


#5 Fatal Invention – how science, politics, and big business re-create race in the twenty-first century

Em um mundo supremacista branco, a ciência, política e grandes empresas de tecnologia estão empenhadas em recriar a noção biológica de raça através de sistemas pervasivos de tecnologia como inteligência artificial, reconhecimento de imagens, biometria e testes genéticos. Este é o tema de Fatal Invention – how science, politics, and big business re-create race in the twenty-first century de Dorothy Roberts (2012). O livro revisa conceitos de raça, eugenia, o papel da ciência racial na supremacia branca e trata de manifestações contemporâneas na genética, desenvolvimento de farmacológicos customizados, vigilância genética e outras tecnologias.

Abaixo um vídeo no qual Roberts explica o problema com medicina baseada em “raça”:


#6 The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome

Em The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome (2016),  Alondra Nelson traz um outro olhar ao discutir como a tecnologia de identificação de DNA, sobretudo levantamento de genealogia e origens geográficas da diáspora africana possuem impactos relevantes. Uma vez que os milhões de africanos sequestrados entre os séculos XVI e XIX foram torturados, desumanizados e impedidos de desenvolver sua educação, história e memória, Alondra Nelson mostra como das já numerosas iniciativas de afro-diaspóricos de se reconectar com a África emergem potencial e os benefícios dessa tendência.

Alondra Nelson também é autora de outros livros como Body and Soul: The Black Panther Party and the Fight Against Medical Discrimination (2011), Technicolor: Race, Technology, and Everyday Life (2001) e editora de um número especial de revista Social Text que discutiu afrofuturismo em 2002. Veja entrevista com a autora sobre o tema:

 


#7 A Networked Self and Human Augmentics, Artificial Intelligence, Sentience

Zizi Papacharissi pesquisa comunicação digital há décadas e é responsável por algumas coletâneas mais influentes no campo, como o excelente A Networked Self: Identity, Community, and Culture on Social Network Sites. Em 2018 Papacharissi lançou nada menos que três coletâneas a partir da ideia de networked self: um com recorte sobre nascimento, vida, morte e família; outro sobre plataformas, estórias e conexões; e, por fim, o que destaco sobre inteligência artificial, senciência e augmentics: A Networked Self and Human Augmentics, Artificial Intelligence, Sentience (2018). O livro reúne 14 capítulos sobre aspectos tecnológicos e éticos como direitos de agentes artificiais e impactos da IA no self.

Palestra recente da Papacharissi:

 


#8 Digital Sociologies

Organizado por Jessie Daniels, Karen Gregory e Tressie Mcmillan Cottom, Digital Sociologies (2016) é fruto de conferência sobre as sociologias digitais plurais. Na primeira parte, em 7 capítulos, trata da sociologia digital na vida cotidiana, falando de temas como estudos de comunidades online, análise de discurso digital em pequenos espaços ou gerenciamento de impressões digitais na “economia do compartilhamento. A segunda parte foca em instituições e traz 11 capítulos em torno de desigualdade e instituições, papel dos algoritmos em decisões educacionais, raça e racismo na educação e convergência de audiências online em torno de produtos culturais. A terceira parte traz mais 10 capítulos e é repleta de estudos de caso sobre corpos e corporeidade nas interseções com raça, gênero, classe e sexualidades em ambientes como Twitter, websites, apps de quantified self e tecnologias vestíveis.

Assista palestra de Tressie McMillan Cottom:

 

Quer acompanhar em tempo real o que algumas destas pesquisadoras estão produzindo? Siga lista curada no Twitter!

Como prevenir resultados discriminatórios com machine learning?

Lançado em março de 2018, o relatório How to Prevent Discriminatory Outcomes in Machine Learning é resultado de um de trabalho em andamento do Global Future Council on Human Rights do World Economic Forum, que reúne acadêmicos, sociedade civil e experts do mercado para discutir os principais temas do futuro quanto a direitos humanos.

Um destes temas, é claro, é a inteligência artificial e técnicas como aprendizado de máquina (machine learning) que, cada vez mais, automatizam decisões em áreas como negócios, segurança,

Com 30 páginas, o documento é bastante direto em quatro seções. A primeira trata de desafios sobre machine learning quanto a problemas relacionados a dados e relacionados ao design dos algoritmos em si. O viés dos dados que servem de input nos sistemas de aprendizado de máquina podem gerar a intensificação dos vieses devido a (falta de) disponibilidade dos dados de uma determinada população ou devido a dados que já estão repletos de vieses. Vimos aqui no blog um bom exemplo de dataset de treinamento pobre com o caso dos robôs identificados pela Joy Boulamwini e um exemplo de datasets de treinamento ruins com o algoritmo de vigilância preditiva.

Ao tratar dos problemas resultantes do desenho dos algoritmos, os autores falam das seguintes possibilidades: escolha de modelo errado; construção de modelo com recursos discriminatórios acidentais; ausência de supervisão e envolvimento humanos; sistemas imprevisíveis e inescrutáveis; e discriminação intencional. O documento, que busca ser o mais neutro possível, traz apenas casos “hipotéticos” para exemplificar os problemas e remediações. Acredito ser importante enfatizar os problemas relacionados à ausência dos humanos no loop de forma contínua, como no caso das prescrições erradas oferecidas pela IBM Watson à pacientes com câncer.

Para combate aos problemas, são propostos quatro princípios: inclusão ativa;  equidade; direito à compreensão; e acesso a remediação.

A terceira parte chama à responsabilidade as empresas e, por fim, a quarta seção traz checklists sobre o que as empresas, governo, academia e cidadão podem fazer em prol do combate à discriminação ligada à inteligência artificial.