8 livros e pesquisadoras sobre tecnologia digital, plataformas, algoritmos e genética

Neste Dia Internacional da Mulher vale notar/celebrar um resultado dos vieses de experiência, expectativas laborais e educação no mundo: as mulheres pesquisadoras estão liderando o debate sobre plataformas e algoritmos digitais e seus impactos na sociedade. Então aproveito a data para celebrar 8 livros publicados nos últimos anos indispensáveis para quem deseja compreender a contemporaneidade:

 

#1 Algorithms of Oppression: How Search Engines Reinforce Racism

Em Algorithms of Oppression: How Search Engines Reinforce Racism (2018), Safiya Noble apresenta pesquisa focada em como plataformas de busca de informação – sobretudo buscadores como Google – reproduzem e reforçam aspectos nocivos da sociedade como o racismo. Através de experimentos, levantamento bibliográfico, histórico e entrevistas, Safiya Noble mostra casos e ações relacionadas à populações minorizadas sobretudo dos EUA, como afro-americanas, latinas, judeus e asiáticos.

Clique na imagem ao lado para ler uma resenha e assista TEDx com Noble em:

 


 

#2 Artificial UnIntelligence: How Computer Misunderstand the World

Em Artificial UnIntelligence: How Computers Misunderstand the World (2018), Meredith Broussard explica os problemas dos sistemas considerados inteligência artificial hoje (como carros autônomos, métricas de plataformas digitais e outros) em três partes: “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”. Um destaque da publicação é que Broussard apresenta alguns conceitos através de tutoriais no Python acessíveis até para quem nunca escreveu uma linha de código na vida.

Clique na imagem ao lado para ler uma resenha e assista entrevista com Broussard abaixo:


 

#3 The Intersectional Internet: Race, Sex, Class and Culture Online

Intersectional Internet: Race, Sex, Class and Culture Online (2016) é uma coletânea editada por Safiya Noble e Brendesha Tynes. Reúne capítulos de pesquisadoras e pesquisadores estudando questões de raça, gênero e classe na internet tais como: políticas de viralidade e virilidade em masculinidades asiáticas; moderação comercial de conteúdo; análise interseccional de apps de encontros; memes no Instagram e adolescentes negras e outros.

Assista entrevista com Brendesha Tynes abaixo:

Expert Interview with Dr. Brendesha Tynes from The Steve Fund on Vimeo.


 

#4 Twitter and Tear Gas: the power and fragility of networked protest

Zeynep Tufekci é pesquisadora, ativista e jornalista turca. Em Twitter and Tear Gas: the power and fragility of networked protest, Tufekci trouxe em 2017 um outro olhar sobre os ainda festejados protestos impulsionados por plataformas de mídias sociais, como a “Primavera Árabe”. Como a veloz história mostrou, o resultado de movimentos como estes, inclusive no Brasil, foi muito diferente do que os mais empolgados da esquerda previam. Nos últimos 5 anos sobretudo a inocência sobre as mídias sociais ficou de lado em grande medida, mas o livro de Tufekci traz a tecno-sociológico sobre a contemporaneidade que vai além do simplista. O livro está disponível em versão impressa, ebook, audiobook e também um PDF de acesso livre, exigência da autora devido à importância do debate.

Assista palestra da autora em:


#5 Fatal Invention – how science, politics, and big business re-create race in the twenty-first century

Em um mundo supremacista branco, a ciência, política e grandes empresas de tecnologia estão empenhadas em recriar a noção biológica de raça através de sistemas pervasivos de tecnologia como inteligência artificial, reconhecimento de imagens, biometria e testes genéticos. Este é o tema de Fatal Invention – how science, politics, and big business re-create race in the twenty-first century de Dorothy Roberts (2012). O livro revisa conceitos de raça, eugenia, o papel da ciência racial na supremacia branca e trata de manifestações contemporâneas na genética, desenvolvimento de farmacológicos customizados, vigilância genética e outras tecnologias.

Abaixo um vídeo no qual Roberts explica o problema com medicina baseada em “raça”:


#6 The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome

Em The Social Life of DNA: Race, Reparations, and Reconciliation after the Genome (2016),  Alondra Nelson traz um outro olhar ao discutir como a tecnologia de identificação de DNA, sobretudo levantamento de genealogia e origens geográficas da diáspora africana possuem impactos relevantes. Uma vez que os milhões de africanos sequestrados entre os séculos XVI e XIX foram torturados, desumanizados e impedidos de desenvolver sua educação, história e memória, Alondra Nelson mostra como das já numerosas iniciativas de afro-diaspóricos de se reconectar com a África emergem potencial e os benefícios dessa tendência.

Alondra Nelson também é autora de outros livros como Body and Soul: The Black Panther Party and the Fight Against Medical Discrimination (2011), Technicolor: Race, Technology, and Everyday Life (2001) e editora de um número especial de revista Social Text que discutiu afrofuturismo em 2002. Veja entrevista com a autora sobre o tema:

 


#7 A Networked Self and Human Augmentics, Artificial Intelligence, Sentience

Zizi Papacharissi pesquisa comunicação digital há décadas e é responsável por algumas coletâneas mais influentes no campo, como o excelente A Networked Self: Identity, Community, and Culture on Social Network Sites. Em 2018 Papacharissi lançou nada menos que três coletâneas a partir da ideia de networked self: um com recorte sobre nascimento, vida, morte e família; outro sobre plataformas, estórias e conexões; e, por fim, o que destaco sobre inteligência artificial, senciência e augmentics: A Networked Self and Human Augmentics, Artificial Intelligence, Sentience (2018). O livro reúne 14 capítulos sobre aspectos tecnológicos e éticos como direitos de agentes artificiais e impactos da IA no self.

Palestra recente da Papacharissi:

 


#8 Digital Sociologies

Organizado por Jessie Daniels, Karen Gregory e Tressie Mcmillan Cottom, Digital Sociologies (2016) é fruto de conferência sobre as sociologias digitais plurais. Na primeira parte, em 7 capítulos, trata da sociologia digital na vida cotidiana, falando de temas como estudos de comunidades online, análise de discurso digital em pequenos espaços ou gerenciamento de impressões digitais na “economia do compartilhamento. A segunda parte foca em instituições e traz 11 capítulos em torno de desigualdade e instituições, papel dos algoritmos em decisões educacionais, raça e racismo na educação e convergência de audiências online em torno de produtos culturais. A terceira parte traz mais 10 capítulos e é repleta de estudos de caso sobre corpos e corporeidade nas interseções com raça, gênero, classe e sexualidades em ambientes como Twitter, websites, apps de quantified self e tecnologias vestíveis.

Assista palestra de Tressie McMillan Cottom:

 

Quer acompanhar em tempo real o que algumas destas pesquisadoras estão produzindo? Siga lista curada no Twitter!

A Prisão dos Números – podcast discute métricas, algoritmos, youtubers e raça

O podcast Depois das 19 é produzido por Marcus Martins, Nonny Gomes  e Luiz Phelipe Santos e trata de pautas enegrecidas variadas, como política, literaturaafrocentricidade, democratização da mídia, super-heróishumor, festa e outras minorias. Tive o prazer de participar da última edição, intitulada A Prisão dos Números, falando sobre mídias sociais, algoritmos e racialização em plataformas digitais junto ao youtuber Rick Trindade. Ouça abaixo:

(Des)Inteligência Artificial: como computadores não compreendem o mundo

Quem acompanhou o caso dos 12 garotos presos na caverna Tham Luang Nang Non, na Tailândia, possivelmente acompanhou a iniciativa do bilionário Elon Musk em criar um submarino para resgate. Ignorando os esforços locais de profissionais da Tailândia e outros países empenhados no resgate, o rosto público das empresas Tesla, Boring Company e SpaceX, Musk chegou a agredir verbalmente e difamar um jornalista que criticou a iniciativa do empresário como apenas uma iniciativa fútil de RP. E realmente era. Os 12 garotos foram resgatados por heróis incansáveis e especialistas em suas áreas, atividades e na região da caverna. Como disse o coordenador do centro de comando do resgate, Narongsak Osatanakorn, “Apesar de sua tecnologia ser boa é sofisticada, não é prática para esta missão”.

Essa postura delirante e egoica de tentar consertar o que não está quebrado com mais tecnologia, ignorando esforços, especialistas e dinâmicas anteriores, já pôde ser vista recentemente em figuras similares como Steve Jobs e Mark Zuckerberg. Entretanto, o histórico da computação e inteligência traz casos similares ao de Musk aos borbotões. Um particularmente anedótico é uma conversa atribuída a Marvin Minsky, um dos grandes nomes da área, que fundou o laboratório de inteligência artificial do MIT e ensinou centenas de cientistas e professores que desenvolveram a área. Stephen Wolfram conta que, no início dos anos 1980, em visita a Minsky na casa de sua filha, que tinha uma coleção de plantas, Wolfram percebeu que algumas delas estavam com pragas de insetos. A partir daí seguiu-se uma longa discussão sobre desenvolvimento de micro-robôs que poderiam eliminar os insetos. Porém, ao perguntar o que fazer com as plantas, Minsky responde: “Ah, acho melhor você falar com minha esposa”.

Este caso, incluído no livro, é um dos melhores exemplos da importância da publicação de trabalhos como Artificial (Un)Intelligence: how computer misunderstand the world, de Meredith Broussard. Foi lançado em abril deste ano e reúne estudos e aprendizados da autora como jornalista, programadora e pesquisadora.  Meredith Broussard é professora do Arthur L. Carter Journalism Institute da NYU e pesquisadorea no Moore-Sleam Data Science Environmnent. Neste livro, apresenta 12 capítulos divididos em três partes chamadas “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”.

Em comparação a outros livros sobre viés algorítmicos e problemas na inteligência artificial que recomendei no blog, Artificial (Un)Intelligence possui uma vantagem muito interessante: em vários capítulos Broussard faz uma espécie de tour guiado por conceitos básicos da programação, de modo a levar até o leitor mais leigo a compreender como funciona parte do trabalho de construção de códigos e decisões imbricadas que depois se invisibilizam nas caixas pretas dos dispositivos. É o que acontece no capítulo 02, chamado “Hello World” – saber como imprimir/visualizar estas duas palavras estão entre os primeiros passos de mais que 9 entre 10 cursos de novas linguagens. A partir da tarefa do título, a autora apresenta alguns passos simples para a criação de um algoritmo condicional simples.

Porém, não se trata efetivamente de ensinar a leitora ou leitor a começar a programar. Mas sim levar quem lê a entender, na prática, que os códigos são socialmente construídos.

Although the data may be generated in different ways, there’s one thing all the preceding examples have in common: all of the data is generated by people. This is true Although the data may be generated in different ways, there’s one thing all the preceding examples of all data. Ultimately, data always comes down to people counting things. If we don’t think too hard about it, we might imagine that data springs into the world fully formed from the head of Zeus. We assume that because there is data, the data must be true. Note the first principle of this book: data is socially constructed. Please let go of any notion that data is made by anything except people.

Na primeira parte do livro, ao longo dos outros capítulos “Hello, reader”, “Hello AI” e “Hello, data journalism”, Broussard apresenta uma excelente introdução aos conceitos de inteligência artificial, jornalismo de dados e o papel destes nas democracias. Enfatiza bem a diferença entre “inteligência artificial geral” e “inteligência artificial estrita” para dissipar percepções erradas, criadas em parte pela ficção, sobre agentes artificiais que tomariam o mundo, de Skynet à Samantha de Her. Não é este o problema quanto à inteligência artificial e uso pervasivo de dados sociais, mas sim a sua interface com aumento de desigualdade, concentração de poder e piora das relações internacionais.

Apesar disso, existe uma adesão voluntária à ideia de que mais computadores, big data e inteligência artificial é algo necessariamente bom e remediador. É o “tecnochauvinismo” que, de modo resumido, seria a crença de que mais “tecnologia” é sempre a solução. Tecnochauvinismo é frequentemente acompanhado por meritocracia neoliberal, defesa distorcida da “liberdade de expressão” para manter discurso de ódio; da ideia de que computadores seria objetivos e uma fé de que o mundo com mais computadores resolveriam problemas sociais.”Para descrever casos reais e combater o tecnochauvinismo, Broussard se debruça na parte dois em cinco capítulos sobre questões e problemas muito reais sobre computadores e inteligência artificial: testes padronizados no sistema de ensino; raízes de desigualdade de gênero e raça na academia e mercado que produzem as tecnologias e sistemas de AI; corrida por legalização de carros autônomos; e os malefícios de equalizar popularidade com qualidade nas plataformas de comunicação como Google e Facebook. Também faz parte da segunda parte do livro um capítulo sobre  aprendizado de máquina (machine learning). Broussard ataca a frequente confusão quanto a este termo, que leva leigos a acreditar que os sistemas aprendem “sozinhos”, ao invés de serem ensinados a partir de bases de dados criadas por seres humanos.

No atual momento, no qual inteligência artificial é uma “buzzword”, ou palavra da moda no marketing, esta crença é perigosa. Para explicar as diferenças entre os tipos de aprendizado de máquina, assim como apresentar passos e decisões comuns que os desenvolvedores deveriam enfrentar de forma responsável, Broussard volta às linhas de código. No capítulo “Machine Learning: the DL on ML“, Broussard explora junto conosco um dataset com informações sobre as pessoas que morreram no naufrágio do Titanic. Passando por variáveis como gênero, classe, idade e tipo de cabine a autora explica como a construção de um sistema preditivo requer muitas decisões difíceis quando está ligado a vidas humanas. E está longe de ser apenas um recurso pedagógico: decisões similares são feitas em sistemas de policiamento, planos de saúde, crédito financeiro e afins.

A terceira parte do livro traz dois casos mais particulares da autora. O primeiro capítulo desta parte é um relato de participação da autora  em um evento de um hackaton para criação de startups chamado Startup Bus. Broussard usa o relato da experiência e construção de um pitch de startup para discorrer sobre o ethos das startups e como seus afiliados deixam de lado com frequência – seja por ignorância, seja por má fé – muitas reflexões e responsabilidades éticas e morais em prol de construção de possíveis sucessos comerciais. O segundo descreve a construção do sistema Bailiwick Campaign Finance. Broussard construiu este website para oferecer “histórias automatizadas” sobre financiamento de campanha: ao cruzar dados de políticos e financiadores, tem como objetivo ajudar jornalistas a encontrar possíveis temas para investigação. Veja abaixo:

O livro Artificial (Un)Intelligence é uma leitura necessária e rápida para qualquer comunicador e pesquisador interessado no tema da pervasividade dos algoritmos e seus impactos. Para finalizar, veja abaixo uma entrevista sobre o livro:

“Tecnologias não são neutras” – trecho do levantamento PretaLab

[O texto abaixo faz parte do levantamento inédito PretaLab, levantamento realizado pela Olabi com 570 mulheres negras e índigenas no Brasil. Artigos analíticos, dados completos e destaques podem ser acessados em www.pretalab.com ]

Um estudo feito em 2017 pelo Law’s Center on Privacy and Technology, o centro sobre privacidade e tecnologia da faculdade de direito da Universidade de Georgetown, estima que 117 milhões de cidadãos já estejam nos bancos de dados que a polícia pode usar. “O reconhecimento facial vai afetar afroamericanos desproporcionalmente. Muitos departamentos de polícia não percebem isso”, diz o estudo. Outro documento do FBI sugere que “o reconhecimento facial é menos preciso em negros. Além disso, devido à desproporção no número de negros presos, sistemas que utilizam fotos realizadas no momento da prisão incluem mais afroamericanos. “Apesar dessas descobertas, não há nenhum estudo independente com testes para viés racistas nestes programas”, conclui o estudo.

Iniciativas como a Algorithmic Justice League [em português, Liga da Justiça do Algoritmo] buscam denunciar e acabar com o racismo implícito em programas de inteligência artificial. Fundadora da iniciativa, Joy Buolamwini percebeu que programas de reconhecimento artificial nem sempre conseguem detectar rostos negros, problema causado pela falta de diversidade das equipes que criam esses programas e das imagens que as máquinas recebem para aprender a “enxergar” esses rostos. “A visão do computador usa inteligência artificial para fazer o reconhecimento facial. Você cria uma série de imagens com exemplos de rostos. No entanto, se essas séries não são diversas o suficiente, qualquer rosto que desvie da ‘norma’ será difícil de reconhecer”, ela disse em uma Ted Talk.

Enquanto as estatísticas, estudos e políticas públicas voltadas para mulheres negras ignorarem a importância da tecnologia, as mulheres negras vão estar à margem de decisões cada vez mais centrais na sociedade. “Se as mulheres negras não estiverem nesse processo, se não existirem ações para que elas estejam nesse processo, vamos perder totalmente nosso poder de integração no mundo”, afirma Silvana.

A tecnologia representa ainda uma possibilidade de geração de renda e de emancipação econômica, já que o setor cresce e costuma ter salários atrativos. Nos Estados Unidos, dados compilados pela pesquisa econômica Glassdoor mostra que os empregos da área de tecnologia, engenharia e ciência foram os mais bem pagos de 2017. Mas o desigual acesso à educação e a forte presença de estereótipos e preconceitos seguem afastando as mulheres negras dos estudos e de uma carreira nessas áreas.

A desigualdade e as barreiras já surgem quando são observados apenas os dados de gênero na tecnologia. Uma pesquisa que analisou a presença feminina em Ciência, Tecnologia e Engenharia no Brasil, China, EUA e Índia concluiu que mulheres abandonam a indústria tecnológica porque são tratadas injustamente, recebem salários menores e apresentam menos chances de serem promovidas do que seus colegas do sexo masculino. No Brasil, 29% das mulheres entrevistadas se sentem estagnadas em seus trabalhos e 22% acham que podem desistir da carreira no próximo ano.

Apesar de todas as barreiras que precisam enfrentar, estudos mostram que o trabalho das mulheres nesta área pode ser tão bem ou melhor avaliado do que de seus colegas do sexo masculino. Pesquisadores descobriram que os usuários do repositório de software GitHub aprovaram os códigos escrito por mulheres a uma taxa maior do que aqueles escritos por homens, mas apenas caso seu gênero não fosse identificado.

 

Acesse completo em https://www.pretalab.com/

Disparidades interseccionais em sistemas de classificação automatizada de gênero

Mecanismos de inteligência artificial tal como reconhecimento automatizado de faces são, como toda tecnologia, repletos de particularidades sociais de produção que muitas vezes são deixados de lado em prol de supostas eficiências que trazem mais problemas – geralmente para grupos desprivilegiados.

No artigo Gender Shades – Intersectional Accuracy Disparities in Commercial Gender Classification, as pesquisadoras Joy Buolamwini (MIT Media Lab) e Timnit Gebru (Microsoft Research) apresentam pesquisa sobre vieses interseccionais negativos em sistemas automatizados de classificação. Um agravante é que, na medida em que sistemas de inteligência artificial se baseiam em bases de dados construídas a partir de inputs preexistentes, a tendência é que sistemas derivados intensifiquem os vieses já presentes nas sociedades.

Os exemplos destes vieses são inúmeros. Já falamos aqui sobre estudos sobre reconhecimento de rostos (realizado pela própria Buolamwini), mecanismos de buscas e modelos preditivos para intensificação de vigilância. Nos EUA, mais de 117 milhões de pessoas estão inclusas em redes policiais de identificação de faces – e diferenças na precisão destes sistemas podem arruinar vidas.

No artigo, as autoras apresentam histórico de estudos e debate sobre a construção de bases de treinamento para identificação de gênero para aprendizado de máquina, partindo da discussão de duas bases públicas bastante utilizadas: a IJB-A e o gerado pela Adience. O primeiro, IJB-A, foi criado pelo Intelligence Advanced Research Projects Activity do governo americano e incluía, no momento de produção do artigo, 500 imagens de rostos indivíduos públicos. Já o Adience, por sua vez, possui imagens cerca de 2.284 indivíduos únicos e foi gerada a partir de coleta no Flickr.

Detalhes sobre a base Adience

Mas usar estas bases públicas de treinamento gera bons resultados? Entender os vieses em bases públicas é essencial pois inúmeros softwares e sistemas podem ser construídos de forma derivada a partir deles, reforçando os problemas. E a investigação sobre estas bases permite estabelecer procedimentos para auditoria de sistemas comerciais e sistemas criados/contratados por instituições públicas. Para fim de comparação, então, a autoras criaram uma base de dados própria com procedimentos mais rigorosos.

A Pilot Parliaments Benchmark reúne fotos de 1270 membros parlamentares de seis países: Ruanda, Senegal, África do Sul, Finlândia, Islândia e Suécia. Estes países foram escolhidos por terem proporção relativamente alta de distribuição entre homens e mulheres e representarem tons de pele variados, dos mais escuros aos mais claros. Levando em conta que o construto “raça” é contextual de acordo com cada cultura e país, as autoras optaram por fazer a intersecção de gênero com a variável de cor de pele, a partir da tipologia Fitzpatrick Skin Type, muito usada também por dermatologistas.

Exemplo de faces no Pilot Parliaments Benchmark

Depois de construir o PPB mais preciso e confiável do que as outras bases citadas, as autoras partem então para comparar os resultados dos classificadores comerciais. Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++  para avaliar a precisão de identificação de gênero no dataset construído. Os resultados variaram de forma impressionante:

  • Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% diferência de taxa de erro)
  • Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro)
  • Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%)
  • Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%)
  • Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro)
  • A diferença máxima de taxa de erro entre dois grupos foi de 34,4%!

Ao longo da seção de análise do artigo, as autoras apresentam detalhamento de resultados e comparações entre sub-datasets controlando variáveis como qualidade das imagens. Os resultados apontam inconsistência nas classificações que deixam negros e, sobretudo, mulheres negras em desvantagens, enfatizando a importância de auditoria algorítmica e acompanhamento da sociedade civil sobre agentes artificiais que possam tomar decisões quanto a identificação de pessoas, comunicação automatizada e, sobretudo, aplicações relacionadas a vigilância.

Algorithmic transparency and accountability reach beyond technical reports and should include mechanisms for consent and redress which we do not focus on here. Nonetheless, the ndings from this work concerning benchmark representation and intersectional auditing provide empirical support for increased demographic and phenotypic transparency and accountability in arti cial intelligence.

Assista abaixo um sumário em vídeo do artigo: