8 livros e pesquisadoras sobre tecnologia digital, plataformas, algoritmos e genética

Neste Dia Internacional da Mulher vale notar/celebrar um resultado dos vieses de experiência, expectativas laborais e educação no mundo: as mulheres pesquisadoras estão liderando o debate sobre plataformas e algoritmos digitais e seus impactos na sociedade. Então aproveito a data para celebrar 8 livros publicados nos últimos anos indispensáveis para quem deseja compreender a contemporaneidade:

 

#1 Algorithms of Oppression: How Search Engines Reinforce Racism

Em Algorithms of Oppression: How Search Engines Reinforce Racism (2018), Safiya Noble apresenta pesquisa focada em como plataformas de busca de informação – sobretudo buscadores como Google – reproduzem e reforçam aspectos nocivos da sociedade como o racismo. Através de experimentos, levantamento bibliográfico, histórico e entrevistas, Safiya Noble mostra casos e ações relacionadas à populações minorizadas sobretudo dos EUA, como afro-americanas, latinas, judeus e asiáticos.

Clique na imagem ao lado para ler uma resenha e assista TEDx com Noble em:

 


 

#2 Artificial UnIntelligence: How Computer Misunderstand the World

Em Artificial UnIntelligence: How Computers Misunderstand the World (2018), Meredith Broussard explica os problemas dos sistemas considerados inteligência artificial hoje (como carros autônomos, métricas de plataformas digitais e outros) em três partes: “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”. Um destaque da publicação é que Broussard apresenta alguns conceitos através de tutoriais no Python acessíveis até para quem nunca escreveu uma linha de código na vida.

Clique na imagem ao lado para ler uma resenha e assista entrevista com Broussard abaixo:


 

#3 The Intersectional Internet: Race, Sex, Class and Culture Online

Intersectional Internet: Race, Sex, Class and Culture Online (2016) é uma coletânea editada por Safiya Noble e Brendesha Tynes. Reúne capítulos de pesquisadoras e pesquisadores estudando questões de raça, gênero e classe na internet tais como: políticas de viralidade e virilidade em masculinidades asiáticas; moderação comercial de conteúdo; análise interseccional de apps de encontros; memes no Instagram e adolescentes negras e outros.

Assista entrevista com Brendesha Tynes abaixo:

Expert Interview with Dr. Brendesha Tynes from The Steve Fund on Vimeo.


 

#4 Twitter and Tear Gas: the power and fragility of networked protest

Zeynep Tufekci é pesquisadora, ativista e jornalista turca. Em Twitter and Tear Gas: the power and fragility of networked protest, Tufekci trouxe em 2017 um outro olhar sobre os ainda festejados protestos impulsionados por plataformas de mídias sociais, como a “Primavera Árabe”. Como a veloz história mostrou, o resultado de movimentos como estes, inclusive no Brasil, foi muito diferente do que os mais empolgados da esquerda previam. Nos últimos 5 anos sobretudo a inocência sobre as mídias sociais ficou de lado em grande medida, mas o livro de Tufekci traz a tecno-sociológico sobre a contemporaneidade que vai além do simplista. O livro está disponível em versão impressa, ebook, audiobook e também um PDF de acesso livre, exigência da autora devido à importância do debate.

Assista palestra da autora em:


#5 Fatal Invention – how science, politics, and big business re-create race in the twenty-first century

Em um mundo supremacista branco, a ciência, política e grandes empresas de tecnologia estão empenhadas em recriar a noção biológica de raça através de sistemas pervasivos de tecnologia como inteligência artificial, reconhecimento de imagens, biometria e testes genéticos. Este é o tema de Fatal Invention – how science, politics, and big business re-create race in the twenty-first century de Dorothy Roberts (2012). O livro revisa conceitos de raça, eugenia, o papel da ciência racial na supremacia branca e trata de manifestações contemporâneas na genética, desenvolvimento de farmacológicos customizados, vigilância genética e outras tecnologias.

Abaixo um vídeo no qual Roberts explica o problema com medicina baseada em “raça”:


#6 The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome

Em The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome (2016),  Alondra Nelson traz um outro olhar ao discutir como a tecnologia de identificação de DNA, sobretudo levantamento de genealogia e origens geográficas da diáspora africana possuem impactos relevantes. Uma vez que os milhões de africanos sequestrados entre os séculos XVI e XIX foram torturados, desumanizados e impedidos de desenvolver sua educação, história e memória, Alondra Nelson mostra como das já numerosas iniciativas de afro-diaspóricos de se reconectar com a África emergem potencial e os benefícios dessa tendência.

Alondra Nelson também é autora de outros livros como Body and Soul: The Black Panther Party and the Fight Against Medical Discrimination (2011), Technicolor: Race, Technology, and Everyday Life (2001) e editora de um número especial de revista Social Text que discutiu afrofuturismo em 2002. Veja entrevista com a autora sobre o tema:

 


#7 A Networked Self and Human Augmentics, Artificial Intelligence, Sentience

Zizi Papacharissi pesquisa comunicação digital há décadas e é responsável por algumas coletâneas mais influentes no campo, como o excelente A Networked Self: Identity, Community, and Culture on Social Network Sites. Em 2018 Papacharissi lançou nada menos que três coletâneas a partir da ideia de networked self: um com recorte sobre nascimento, vida, morte e família; outro sobre plataformas, estórias e conexões; e, por fim, o que destaco sobre inteligência artificial, senciência e augmentics: A Networked Self and Human Augmentics, Artificial Intelligence, Sentience (2018). O livro reúne 14 capítulos sobre aspectos tecnológicos e éticos como direitos de agentes artificiais e impactos da IA no self.

Palestra recente da Papacharissi:

 


#8 Digital Sociologies

Organizado por Jessie Daniels, Karen Gregory e Tressie Mcmillan Cottom, Digital Sociologies (2016) é fruto de conferência sobre as sociologias digitais plurais. Na primeira parte, em 7 capítulos, trata da sociologia digital na vida cotidiana, falando de temas como estudos de comunidades online, análise de discurso digital em pequenos espaços ou gerenciamento de impressões digitais na “economia do compartilhamento. A segunda parte foca em instituições e traz 11 capítulos em torno de desigualdade e instituições, papel dos algoritmos em decisões educacionais, raça e racismo na educação e convergência de audiências online em torno de produtos culturais. A terceira parte traz mais 10 capítulos e é repleta de estudos de caso sobre corpos e corporeidade nas interseções com raça, gênero, classe e sexualidades em ambientes como Twitter, websites, apps de quantified self e tecnologias vestíveis.

Assista palestra de Tressie McMillan Cottom:

 

Quer acompanhar em tempo real o que algumas destas pesquisadoras estão produzindo? Siga lista curada no Twitter!

Como prevenir resultados discriminatórios com machine learning?

Lançado em março de 2018, o relatório How to Prevent Discriminatory Outcomes in Machine Learning é resultado de um de trabalho em andamento do Global Future Council on Human Rights do World Economic Forum, que reúne acadêmicos, sociedade civil e experts do mercado para discutir os principais temas do futuro quanto a direitos humanos.

Um destes temas, é claro, é a inteligência artificial e técnicas como aprendizado de máquina (machine learning) que, cada vez mais, automatizam decisões em áreas como negócios, segurança,

Com 30 páginas, o documento é bastante direto em quatro seções. A primeira trata de desafios sobre machine learning quanto a problemas relacionados a dados e relacionados ao design dos algoritmos em si. O viés dos dados que servem de input nos sistemas de aprendizado de máquina podem gerar a intensificação dos vieses devido a (falta de) disponibilidade dos dados de uma determinada população ou devido a dados que já estão repletos de vieses. Vimos aqui no blog um bom exemplo de dataset de treinamento pobre com o caso dos robôs identificados pela Joy Boulamwini e um exemplo de datasets de treinamento ruins com o algoritmo de vigilância preditiva.

Ao tratar dos problemas resultantes do desenho dos algoritmos, os autores falam das seguintes possibilidades: escolha de modelo errado; construção de modelo com recursos discriminatórios acidentais; ausência de supervisão e envolvimento humanos; sistemas imprevisíveis e inescrutáveis; e discriminação intencional. O documento, que busca ser o mais neutro possível, traz apenas casos “hipotéticos” para exemplificar os problemas e remediações. Acredito ser importante enfatizar os problemas relacionados à ausência dos humanos no loop de forma contínua, como no caso das prescrições erradas oferecidas pela IBM Watson à pacientes com câncer.

Para combate aos problemas, são propostos quatro princípios: inclusão ativa;  equidade; direito à compreensão; e acesso a remediação.

A terceira parte chama à responsabilidade as empresas e, por fim, a quarta seção traz checklists sobre o que as empresas, governo, academia e cidadão podem fazer em prol do combate à discriminação ligada à inteligência artificial.

Interrogando plataformas e algoritmos digitais – palestra no Congresso Nacional de Estudos Comunicacionais

No último dia 31 de outubro tive a honra de participar do terceiro CONEC – Congresso Nacional de Estudos Comunicacionais realizado pela PUC Minas – Poço de Caldas. Além de apresentação de artigo sobre inteligência artificial e mapeamento de fake news, realizei palestra sobre um ponto de minha pesquisa de doutorado: como interrogar plataformas e algoritmos digitais. Segue o slideshow, repleto de alguns casos e referências:

Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa?

Mais um caso de racismo em plataformas de mídias sociais. Desta vez, o criador de “conteúdo” ou “influenciador” Cocielo, que já trabalhou pra marcas como Coca Cola, Asus, Submarino e outras publicou um tweet racista contra o jogador Mbappé e deletou em seguida, preocupado com os impactos comerciais que teriam. Quando o print do tweet começou a circular, tanto o youtuber quanto amigos e fãs argumentaram que “quem conhecece o Cocielo sabe que ele não é assim” e variantes. Foi o estopim para mostrar que sempre foi assim, na verdade: publicações racistas, misóginas, homofóbias, transfóbicas e violências de todo o tipo foram descobertas por outros tuiteiros e a reincidência em crimes de ódio ficou mais que evidente.

O absurdo de marcas e agências contratarem gente como o Cocielo, permitindo que suas vozes sejam replicadas e fortalecidas (uma vez que os remuneram aumentando seu público) foi coberto por várias analistas, como  Stephanie Ribeiro que comentou que “marcas patrocinam qualquer um, menos os negros com discurso engajado“. Em reportagem no Alma Preta, Thalyta Martins cita fala da historiadora Suzane Martins sobre as “desculpas” do YouTube – “Isso seria trabalhar a política racial em um âmbito individual mediado por conceitos como ‘culpa’ ou ‘perdão’, que dizem mais sobre uma visão cristã e maniqueísta do mundo do que sobre política e projeto de sociedade”. Anderson França em postagem relembra que “eleger pessoas negras engajadas nessa pauta, mudar leis, agir, de cima pra baixo, na educação, no judiciário, nas polícias, nas estruturas fundamentais do estado e da sociedade, para que possamos evitar os novos atos de racismo e mais: eliminar a cultura do racismo.”

Mas este caso está longe de ser novo. Como ocorreu em vários momentos nos últimos anos, criadores de conteúdo, atores e apresentadores de TV cometem repetidamente crimes de ódio nas mídias sociais. Então este caso é um ótimo momento para refletir: por que as plataformas de mídias sociais protegem criminosos? E por que não estamos falando disto?

Plataformas como Twitter, YouTube e Facebook devem ser vistas como mídia, não só como tecnologia. Algoritmos, recursos como Moments, termos de uso e aplicação restrita ou alargada dos Termos de Uso (como encobrir e até remunerar racistas com recursos como Conta Verificada) são, efetivamente, decisões editoriais. Elas não possuem o formato de decisão editorial como em jornais tradicionais, mas o são. E precisamos falar sobre isso.

Um ótimo ponto de partida é o artigo Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa?, escrito por Philip Napoli e Robyn Caplan e publicado ano passado na First Monday. Acabou de ser publicado em versão em português, com tradução feita por mim e Willian Araújo na revista Parágrafo. Esta edição da revista Parágrafo inclui um dossiê completo sobre mediações algorítmicas, editado por Willian Araújo e Carlos D’Andrea, com artigos, traduções e entrevista.

No caso do artigo em questão de Napoli e Caplan, resumo pode ser visto a seguir:

Uma posição comum entre plataformas de mídia social e agregadores de conteúdo é sua resistência em ser caracterizados como empresas de mídia. Ao contrário, empresas como Google, Facebook e Twitter tem constantemente insistido que deveriam ser pensadas como puramente empresas de tecnologia. Este artigo critica a opinião que estas plataformas são empresas de tecnologias ao invés de empresas de mídia, explora seus argumentos subjacentes e considera as implicações políticas, legais e regulatórias associadas com o aceite ou recusa desta opinião. Como o artigo ilustra, não é apenas uma distinção semântica, dado que o histórico de classificação precisa de tecnologias e serviços da comunicação possui profundas implicações em como estas tecnologias e serviços da comunicação são avaliadas por decisores políticos e tribunais.

Os autores cobrem os vários argumentos usados por estas plataformas para se posicionarem no campo da “tecnologia”, contra-argumenta mostrando suas fragilidades e, por fim, apresentam a importância desta crítica e os papéis que a academia e sociedade civil podem exercer para uma internet mais justa.

Acesse o artigo diretamente e confira todo o dossiê em http://revistaseletronicas.fiamfaam.br/index.php/recicofi/issue/view/59/showToc

 

Algoritmos de Opressão: como mecanismos de busca reforçam o racismo

Algoritmos e plataformas não são neutros. São construídos de modo que algumas visões de mundo, ideologias e pontos de vista se destacam e impõem-se, seja de forma intencional ou não. Apesar de estarmos em 2018 e centenas de pesquisadores, desenvolvedores e profissionais destacarem isto, a plataformização da mídia e do capitalismo através de empresas como Google, Facebook, Uber, AirBnB e similares surfa (e alimenta) a onda do individualismo, livre mercado e endeusamento estúpido da “tecnologia” para argumentar justamente o contrário: que seriam ambientes neutros por serem, justamente, criados com mecanismos de automatização de decisões livres da interferência humana.

Pesquisadores sérios e alguns segmentos da população como, por exemplo, mulheres negras, não podem se dar ao luxo de ignorar impacto e vieses dos algoritmos. Nesta interseção, a pesquisadora e professora Safiya U. Noble nos presenteou com a indispensável publicação de Algorithms of Oppression: how search engines reinforces racism lançado oficialmente neste mês de fevereiro de 2018. é Ph.D. pela University of Illinois, professora na University of Southern California (USC), previamente tendo ensinado também na UCLA, além de ser co-fundadora do Information Ethics & Equity Institute. Também é sócia de empresa focada em ciência de dados e pesquisa, a Stratteligence. Antes desse livro, co-editou “The Interesectional Internet: Race, Sex, Culture and Class Online” e “Emotions, Technology & Design”.

Em Algorithms of Oppression: how search engines reinforces racisma autora apresenta os resultados de ampla pesquisa sobre algoritmos e representação de determinados grupos, sobretudo mulheres e garotas negras no Google. A autora abre o primeiro capítulo, “A Society, Searching”, relembrando a campanha circulada pela UN Women que usou telas reais do recurso “Autocompletar” do buscador Google para mostrar como o sexismo e misoginia são representados pelas sugestões reais.

A campanha é o gancho para começar a discussão sobre a relevância e utilidade destes recursos como fortalecedores dos comportamentos que representam. Em seguida, a autora traz mais exemplos sobre representações de mulheres a partir de buscas tão simples quanto “black girls”, “why are women so” ou “why are Black people so” para mostrar como mecanismos de acesso a informação privilegiam pontos de vista de posições de poder – por exemplo, a hiperssexualização das garotas negras nos resultados é fruto de padrões de busca por conteúdo sexual e pornográfico, desrespeitando as mulheres negras como construtoras de narrativas e conteúdos próprios. Para tratar deste problema de pesquisa, Noble propõe a aplicação de uma abordagem com método e epistemologia feminista ao citar Sandra Harding, que diz que “Definir o que é necessário em termos de explicação científica apenas da perspectiva da experiência de homens brancos burgueses leva a compreensão parcial e até perversa da vida social”.

O segundo capítulo “Searching for Black Girls” traz diversos estudos de caso sobre representação de minorias políticas nos resultados da Google, para buscas como “black girls”, “latina girls”, “asian girls” etc.  A tela abaixo é inclusa no livro e mostra como os resultados para “black girls” oferecem uma representação pornográfica de meninas negras nos resultados.

Noble critica o uso puramente comercial, pela Google, de iniciativas como Black Girls Code, que não se reflete na melhoria de práticas na empresa de tecnologia ou na contratação minimamente representativa de profissionais negros. A distribuição de profissionais em empresas como a Google, Facebook e outras gigantes da tecnologia não representam nem de longe a distribuição de gênero e raça no país.

É especialmente relevante o fato de que a Google não só contrata engenheiros e cientistas da computação de forma enviesada, como também não constrói cargos e departamentos direcionados a tarefas de otimização da oferta de mídia quanto a diversidade cultural e respeito à humanidade dos seus clientes. Não são práticas novas, apesar das embalagens do Vale do Silício, como Noble demonstra ao fazer ligações destas representações ao histórico de construção de categorias raciais discriminatórias com fins de dominação. É imprescindível, então, adereçar a opacidades das tecnologias que regem as trocas comunicacionais:

“The more we can make transparent the political dimensions of technology, the more we might be able to intervene in the spaces where algorithms are becoming a substitute for public policy debates over resource distribution – from mortgages to insurance to educational opportunities”

O terceiro capítulo trata da representação de pessoas e comunidades na web em resultados de busca, especialmente o caso de sites de notícias falsas criadas por racistas supremacistas brancos nos EUA. Usando o exemplo de termos como “black on white crime”, a autora mostra como os resultados melhor rankeados levam a sites com dados falsos e cheios de discurso de ódio, com SERPs (“search engine results page”, termo usado geralmente para se referenciar à primeira página) que geram receita para a organização.

O quarto capítulo se debruça sobre ações realizadas por grupos e indivíduos para se proteger dos malefícios dos vieses dos mecanismos de busca e do registro ilegal ou antiético de dados. A partir de casos famosos como o IsAnyoneUp (site que hospedava ilegalmente “pornô de vingança”), a autora mostra correlatos relacionados à perfilização de indivíduos em categorias criminosas. Sites como UnpublishArrest e Mugshots cobram para retirar fotos de fichamento (“mugshots”) divulgadas amplamente na internet, que prejudicam indivíduos tanto culpados quanto inocentes. Como dados mostram, minorias étnicas são presas e fichadas de forma errônea e/ou abusiva com muito mais frequência nos EUA, o que leva a morosidade (4 a 6 semanas, quando acontece) de tentativas de “limpar” resultados de busca um mecanismo de intensificação da violência contra as minorias. O “direito ao esquecimento”, tema que já tratamos aqui no blog a partir de Mayer-Schonberger, é explorado a partir do pensamento de autores como Oscar Gandy Jr., mostrando alternativas para a materialização de aspectos negativos da ultra-racionalização enviesada da sociedade.

O fechamento deste capítulo tenta enfatizar a importância da retomada da transparência sobre decisões quanto a construção de índices e sistemas de informação:

In addition to public policy, we can reconceptualize the design of indexes of the web that might be managed by librarians and info rmation institutions and workers to radically shift our ability to contextualize information. This could lead to significantly greater transparency, rather than continuing to make the neoliberal capitalist project of commercial search opaque.

O quinto capítulo, então, parte para imaginar o “Future of Knowledge in the Public” a partir de uma revisão crítica sobre o histórico de problemas de classificação de temas, pessoas e grupos em repositórios de informação. Até muito recentemente categorias como “Jewish Question”, “Yellow Peril” eram usadas no sistema de classificação da Biblioteca do Congresso nos EUA, que estabelece os padrões seguidos no país. A dominação cultural sobre minorias é estruturada e materializada em códigos de enquadramento de estudos, literatura e pensamento sobre a sociedade de um modo que direciona as interpretações e desdobramentos possíveis. Sistemas de informação não são objetivos e não podem ser vistos dessa forma. Noble propõe seguir as recomendações do prof. Jonathan Furner para se aplicar Teoria Racial Crítica a estudos de informação, através de procedimentos como:

  •  Aceitação, pelos criadores dos sistemas, que os vieses existem e são resultados inevitáveis dos modos pelos quais são estruturados;
  • Reconhecimento que a aderência a uma política de neutralidade contribuir pouco para a erradicação dos vieses e pode, na verdade, estender suas existências;
  • Construção, coleta e análise de expressões narrativas de sentimentos, pensamentos e crenças de usuários de populações racialmente diversas dos esquema de classificação.

Buscando discutir como encontrar informação “culturalmente situada” na web, a autora explica o valor e potencial de alteridade de sites e buscadores focados em minorias como Blackbird (www.blackbirdhome.com),as BlackWebPortal (www.blackwebportal.com), BlackFind.com (www.blackfind.com), Jewogle (www.jewogle.com), Jewish.net (http://jewish.net/), JewGotIt (www.jewgotit.com) e  Maven Search (www.maven.co.il).

No sexto e último capítulo, “The Future of Information Culture”, Noble critica o monopólio da informação e o papel de organismos regulatórios como a FCC (Federal Communications Commission) nos EUA. Discutir o papel de organizações de mídia cada vez mais concentradas é uma questão de políticas públicas. A autora mostra, através da revisão de várias decisões judiciais, como os possíveis malefícios desta concentração tem impactos que são materializados em casos “extremos” ao mesmo tempo que influenciam a sociedade como um todo. A insistência de enquadrar ecossistemas da Google, Facebook e afins como “neutros”, como se não tivessem responsabilidade tais como organizações de mídia e imprensa também é endereçada pela autora. Para que a internet seja de fato uma fonte de oportunidades para as pessoas de forma democrática, os modos pelos quais suas principais propriedades são construídas deve estar sob princípios de transparência e acontabilidade.

Assim como a diversidade no Vale do Silício ter diminuído ao invés de aumentado nos últimos anos, a desigualdade econômica entre famílias brancas, negras e hispânicas cresceu. Segundo dados da Federal Reserve, o patrimônio líquido de famílias brancas era cerca de 10x o de famílias negras.

A autora traz as colaborações da pesquisa sobre exclusão digital para detalhar como aspectos econômicos, educacionais, culturais são materializados em três pontos principais de desigualdade quanto a tecnologia: acesso a computadores e softwares; desenvolvimento de habilidades e treinamento; e conectividade à Internet, como banda larga.

Por fim, como diz de forma “a desigualdade social não será resolvida por um app”. A nossa atual confiança excessiva nas tecnologias e auto-regulação de mercados esconde os impactos e decisões feitas dia a dia por profissionais, designers, engenheiros, cientistas e executivos de negócio que pecam por intenção ou omissão quanto à efetiva liberdade de expressão e uso da web. Somente a associação intencional, inteligente e diversa de pessoas de diferentes backgrounds profissionais e culturais engajadas em tornar o mundo um lugar melhor pode salvar a internet. As concepções neoliberais sobre mercado, comunicação e democracia vão contra este objetivo, como aponta em:

New, neoliberal conceptions of individual freedoms (especially in the realm of technology use) are oversupported in direct opposition to protections realized through large-scale organizing to ensure collective rights. This is evident in the past thirty years of active antilabor policies put forward by several administrations47 and in increasing hostility toward unions and twenty-first-century civil rights organizations such as Black Lives Matter. These proindividual, anticommunity ideologies have been central to the antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems.

É possível ver uma palestra de Safiya U. Noble realizada no Personal Democracy Forum 2016 que cobre as ideias principais da publicação:

Saiba mais sobre o livro e o trabalho da autora em seu site: https://safiyaunoble.com/research-writing/