O podcast Depois das 19 é produzido por Marcus Martins, Nonny Gomes e Luiz Phelipe Santos e trata de pautas enegrecidas variadas, como política, literatura, afrocentricidade, democratização da mídia, super-heróis, humor, festa e outras minorias. Tive o prazer de participar da última edição, intitulada A Prisão dos Números, falando sobre mídias sociais, algoritmos e racialização em plataformas digitais junto ao youtuber Rick Trindade. Ouça abaixo:
Arquivo da tag: raça
(Des)Inteligência Artificial: como computadores não compreendem o mundo
Quem acompanhou o caso dos 12 garotos presos na caverna Tham Luang Nang Non, na Tailândia, possivelmente acompanhou a iniciativa do bilionário Elon Musk em criar um submarino para resgate. Ignorando os esforços locais de profissionais da Tailândia e outros países empenhados no resgate, o rosto público das empresas Tesla, Boring Company e SpaceX, Musk chegou a agredir verbalmente e difamar um jornalista que criticou a iniciativa do empresário como apenas uma iniciativa fútil de RP. E realmente era. Os 12 garotos foram resgatados por heróis incansáveis e especialistas em suas áreas, atividades e na região da caverna. Como disse o coordenador do centro de comando do resgate, Narongsak Osatanakorn, “Apesar de sua tecnologia ser boa é sofisticada, não é prática para esta missão”.
Essa postura delirante e egoica de tentar consertar o que não está quebrado com mais tecnologia, ignorando esforços, especialistas e dinâmicas anteriores, já pôde ser vista recentemente em figuras similares como Steve Jobs e Mark Zuckerberg. Entretanto, o histórico da computação e inteligência traz casos similares ao de Musk aos borbotões. Um particularmente anedótico é uma conversa atribuída a Marvin Minsky, um dos grandes nomes da área, que fundou o laboratório de inteligência artificial do MIT e ensinou centenas de cientistas e professores que desenvolveram a área. Stephen Wolfram conta que, no início dos anos 1980, em visita a Minsky na casa de sua filha, que tinha uma coleção de plantas, Wolfram percebeu que algumas delas estavam com pragas de insetos. A partir daí seguiu-se uma longa discussão sobre desenvolvimento de micro-robôs que poderiam eliminar os insetos. Porém, ao perguntar o que fazer com as plantas, Minsky responde: “Ah, acho melhor você falar com minha esposa”.
Este caso, incluído no livro, é um dos melhores exemplos da importância da publicação de trabalhos como Artificial (Un)Intelligence: how computer misunderstand the world, de Meredith Broussard. Foi lançado em abril deste ano e reúne estudos e aprendizados da autora como jornalista, programadora e pesquisadora. Meredith Broussard é professora do Arthur L. Carter Journalism Institute da NYU e pesquisadorea no Moore-Sleam Data Science Environmnent. Neste livro, apresenta 12 capítulos divididos em três partes chamadas “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”.
Em comparação a outros livros sobre viés algorítmicos e problemas na inteligência artificial que recomendei no blog, Artificial (Un)Intelligence possui uma vantagem muito interessante: em vários capítulos Broussard faz uma espécie de tour guiado por conceitos básicos da programação, de modo a levar até o leitor mais leigo a compreender como funciona parte do trabalho de construção de códigos e decisões imbricadas que depois se invisibilizam nas caixas pretas dos dispositivos. É o que acontece no capítulo 02, chamado “Hello World” – saber como imprimir/visualizar estas duas palavras estão entre os primeiros passos de mais que 9 entre 10 cursos de novas linguagens. A partir da tarefa do título, a autora apresenta alguns passos simples para a criação de um algoritmo condicional simples.
Porém, não se trata efetivamente de ensinar a leitora ou leitor a começar a programar. Mas sim levar quem lê a entender, na prática, que os códigos são socialmente construídos.
Although the data may be generated in different ways, there’s one thing all the preceding examples have in common: all of the data is generated by people. This is true Although the data may be generated in different ways, there’s one thing all the preceding examples of all data. Ultimately, data always comes down to people counting things. If we don’t think too hard about it, we might imagine that data springs into the world fully formed from the head of Zeus. We assume that because there is data, the data must be true. Note the first principle of this book: data is socially constructed. Please let go of any notion that data is made by anything except people.
Na primeira parte do livro, ao longo dos outros capítulos “Hello, reader”, “Hello AI” e “Hello, data journalism”, Broussard apresenta uma excelente introdução aos conceitos de inteligência artificial, jornalismo de dados e o papel destes nas democracias. Enfatiza bem a diferença entre “inteligência artificial geral” e “inteligência artificial estrita” para dissipar percepções erradas, criadas em parte pela ficção, sobre agentes artificiais que tomariam o mundo, de Skynet à Samantha de Her. Não é este o problema quanto à inteligência artificial e uso pervasivo de dados sociais, mas sim a sua interface com aumento de desigualdade, concentração de poder e piora das relações internacionais.
Apesar disso, existe uma adesão voluntária à ideia de que mais computadores, big data e inteligência artificial é algo necessariamente bom e remediador. É o “tecnochauvinismo” que, de modo resumido, seria a crença de que mais “tecnologia” é sempre a solução. Tecnochauvinismo é frequentemente acompanhado por meritocracia neoliberal, defesa distorcida da “liberdade de expressão” para manter discurso de ódio; da ideia de que computadores seria objetivos e uma fé de que o mundo com mais computadores resolveriam problemas sociais.”Para descrever casos reais e combater o tecnochauvinismo, Broussard se debruça na parte dois em cinco capítulos sobre questões e problemas muito reais sobre computadores e inteligência artificial: testes padronizados no sistema de ensino; raízes de desigualdade de gênero e raça na academia e mercado que produzem as tecnologias e sistemas de AI; corrida por legalização de carros autônomos; e os malefícios de equalizar popularidade com qualidade nas plataformas de comunicação como Google e Facebook. Também faz parte da segunda parte do livro um capítulo sobre aprendizado de máquina (machine learning). Broussard ataca a frequente confusão quanto a este termo, que leva leigos a acreditar que os sistemas aprendem “sozinhos”, ao invés de serem ensinados a partir de bases de dados criadas por seres humanos.
No atual momento, no qual inteligência artificial é uma “buzzword”, ou palavra da moda no marketing, esta crença é perigosa. Para explicar as diferenças entre os tipos de aprendizado de máquina, assim como apresentar passos e decisões comuns que os desenvolvedores deveriam enfrentar de forma responsável, Broussard volta às linhas de código. No capítulo “Machine Learning: the DL on ML“, Broussard explora junto conosco um dataset com informações sobre as pessoas que morreram no naufrágio do Titanic. Passando por variáveis como gênero, classe, idade e tipo de cabine a autora explica como a construção de um sistema preditivo requer muitas decisões difíceis quando está ligado a vidas humanas. E está longe de ser apenas um recurso pedagógico: decisões similares são feitas em sistemas de policiamento, planos de saúde, crédito financeiro e afins.
A terceira parte do livro traz dois casos mais particulares da autora. O primeiro capítulo desta parte é um relato de participação da autora em um evento de um hackaton para criação de startups chamado Startup Bus. Broussard usa o relato da experiência e construção de um pitch de startup para discorrer sobre o ethos das startups e como seus afiliados deixam de lado com frequência – seja por ignorância, seja por má fé – muitas reflexões e responsabilidades éticas e morais em prol de construção de possíveis sucessos comerciais. O segundo descreve a construção do sistema Bailiwick Campaign Finance. Broussard construiu este website para oferecer “histórias automatizadas” sobre financiamento de campanha: ao cruzar dados de políticos e financiadores, tem como objetivo ajudar jornalistas a encontrar possíveis temas para investigação. Veja abaixo:
O livro Artificial (Un)Intelligence é uma leitura necessária e rápida para qualquer comunicador e pesquisador interessado no tema da pervasividade dos algoritmos e seus impactos. Para finalizar, veja abaixo uma entrevista sobre o livro:
“Tecnologias não são neutras” – trecho do levantamento PretaLab
[O texto abaixo faz parte do levantamento inédito PretaLab, levantamento realizado pela Olabi com 570 mulheres negras e índigenas no Brasil. Artigos analíticos, dados completos e destaques podem ser acessados em www.pretalab.com ]
Um estudo feito em 2017 pelo Law’s Center on Privacy and Technology, o centro sobre privacidade e tecnologia da faculdade de direito da Universidade de Georgetown, estima que 117 milhões de cidadãos já estejam nos bancos de dados que a polícia pode usar. “O reconhecimento facial vai afetar afroamericanos desproporcionalmente. Muitos departamentos de polícia não percebem isso”, diz o estudo. Outro documento do FBI sugere que “o reconhecimento facial é menos preciso em negros. Além disso, devido à desproporção no número de negros presos, sistemas que utilizam fotos realizadas no momento da prisão incluem mais afroamericanos. “Apesar dessas descobertas, não há nenhum estudo independente com testes para viés racistas nestes programas”, conclui o estudo.
Iniciativas como a Algorithmic Justice League [em português, Liga da Justiça do Algoritmo] buscam denunciar e acabar com o racismo implícito em programas de inteligência artificial. Fundadora da iniciativa, Joy Buolamwini percebeu que programas de reconhecimento artificial nem sempre conseguem detectar rostos negros, problema causado pela falta de diversidade das equipes que criam esses programas e das imagens que as máquinas recebem para aprender a “enxergar” esses rostos. “A visão do computador usa inteligência artificial para fazer o reconhecimento facial. Você cria uma série de imagens com exemplos de rostos. No entanto, se essas séries não são diversas o suficiente, qualquer rosto que desvie da ‘norma’ será difícil de reconhecer”, ela disse em uma Ted Talk.
Enquanto as estatísticas, estudos e políticas públicas voltadas para mulheres negras ignorarem a importância da tecnologia, as mulheres negras vão estar à margem de decisões cada vez mais centrais na sociedade. “Se as mulheres negras não estiverem nesse processo, se não existirem ações para que elas estejam nesse processo, vamos perder totalmente nosso poder de integração no mundo”, afirma Silvana.
A tecnologia representa ainda uma possibilidade de geração de renda e de emancipação econômica, já que o setor cresce e costuma ter salários atrativos. Nos Estados Unidos, dados compilados pela pesquisa econômica Glassdoor mostra que os empregos da área de tecnologia, engenharia e ciência foram os mais bem pagos de 2017. Mas o desigual acesso à educação e a forte presença de estereótipos e preconceitos seguem afastando as mulheres negras dos estudos e de uma carreira nessas áreas.
A desigualdade e as barreiras já surgem quando são observados apenas os dados de gênero na tecnologia. Uma pesquisa que analisou a presença feminina em Ciência, Tecnologia e Engenharia no Brasil, China, EUA e Índia concluiu que mulheres abandonam a indústria tecnológica porque são tratadas injustamente, recebem salários menores e apresentam menos chances de serem promovidas do que seus colegas do sexo masculino. No Brasil, 29% das mulheres entrevistadas se sentem estagnadas em seus trabalhos e 22% acham que podem desistir da carreira no próximo ano.
Apesar de todas as barreiras que precisam enfrentar, estudos mostram que o trabalho das mulheres nesta área pode ser tão bem ou melhor avaliado do que de seus colegas do sexo masculino. Pesquisadores descobriram que os usuários do repositório de software GitHub aprovaram os códigos escrito por mulheres a uma taxa maior do que aqueles escritos por homens, mas apenas caso seu gênero não fosse identificado.
Acesse completo em https://www.pretalab.com/
Disparidades interseccionais em sistemas de classificação automatizada de gênero
Mecanismos de inteligência artificial tal como reconhecimento automatizado de faces são, como toda tecnologia, repletos de particularidades sociais de produção que muitas vezes são deixados de lado em prol de supostas eficiências que trazem mais problemas – geralmente para grupos desprivilegiados.
No artigo Gender Shades – Intersectional Accuracy Disparities in Commercial Gender Classification, as pesquisadoras Joy Buolamwini (MIT Media Lab) e Timnit Gebru (Microsoft Research) apresentam pesquisa sobre vieses interseccionais negativos em sistemas automatizados de classificação. Um agravante é que, na medida em que sistemas de inteligência artificial se baseiam em bases de dados construídas a partir de inputs preexistentes, a tendência é que sistemas derivados intensifiquem os vieses já presentes nas sociedades.
Os exemplos destes vieses são inúmeros. Já falamos aqui sobre estudos sobre reconhecimento de rostos (realizado pela própria Buolamwini), mecanismos de buscas e modelos preditivos para intensificação de vigilância. Nos EUA, mais de 117 milhões de pessoas estão inclusas em redes policiais de identificação de faces – e diferenças na precisão destes sistemas podem arruinar vidas.
No artigo, as autoras apresentam histórico de estudos e debate sobre a construção de bases de treinamento para identificação de gênero para aprendizado de máquina, partindo da discussão de duas bases públicas bastante utilizadas: a IJB-A e o gerado pela Adience. O primeiro, IJB-A, foi criado pelo Intelligence Advanced Research Projects Activity do governo americano e incluía, no momento de produção do artigo, 500 imagens de rostos indivíduos públicos. Já o Adience, por sua vez, possui imagens cerca de 2.284 indivíduos únicos e foi gerada a partir de coleta no Flickr.
Detalhes sobre a base Adience
Mas usar estas bases públicas de treinamento gera bons resultados? Entender os vieses em bases públicas é essencial pois inúmeros softwares e sistemas podem ser construídos de forma derivada a partir deles, reforçando os problemas. E a investigação sobre estas bases permite estabelecer procedimentos para auditoria de sistemas comerciais e sistemas criados/contratados por instituições públicas. Para fim de comparação, então, a autoras criaram uma base de dados própria com procedimentos mais rigorosos.
A Pilot Parliaments Benchmark reúne fotos de 1270 membros parlamentares de seis países: Ruanda, Senegal, África do Sul, Finlândia, Islândia e Suécia. Estes países foram escolhidos por terem proporção relativamente alta de distribuição entre homens e mulheres e representarem tons de pele variados, dos mais escuros aos mais claros. Levando em conta que o construto “raça” é contextual de acordo com cada cultura e país, as autoras optaram por fazer a intersecção de gênero com a variável de cor de pele, a partir da tipologia Fitzpatrick Skin Type, muito usada também por dermatologistas.
Exemplo de faces no Pilot Parliaments Benchmark
Depois de construir o PPB mais preciso e confiável do que as outras bases citadas, as autoras partem então para comparar os resultados dos classificadores comerciais. Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++ para avaliar a precisão de identificação de gênero no dataset construído. Os resultados variaram de forma impressionante:
- Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% diferência de taxa de erro)
- Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro)
- Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%)
- Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%)
- Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro)
- A diferença máxima de taxa de erro entre dois grupos foi de 34,4%!
Ao longo da seção de análise do artigo, as autoras apresentam detalhamento de resultados e comparações entre sub-datasets controlando variáveis como qualidade das imagens. Os resultados apontam inconsistência nas classificações que deixam negros e, sobretudo, mulheres negras em desvantagens, enfatizando a importância de auditoria algorítmica e acompanhamento da sociedade civil sobre agentes artificiais que possam tomar decisões quanto a identificação de pessoas, comunicação automatizada e, sobretudo, aplicações relacionadas a vigilância.
Algorithmic transparency and accountability reach beyond technical reports and should include mechanisms for consent and redress which we do not focus on here. Nonetheless, the ndings from this work concerning benchmark representation and intersectional auditing provide empirical support for increased demographic and phenotypic transparency and accountability in arti cial intelligence.
Assista abaixo um sumário em vídeo do artigo:
Pensando Raça a partir da Teoria da Informação: a diferença que faz diferença
Praticamente qualquer aluno meu já me viu citar a frase “informação é a diferença que faz diferença”. Atribuída ao matemático Gregory Bateson, é um ótimo modo de debater a distinção entre dados e informação antes de chegar aos conceitos da pirâmide DIKW (Data, Information, Knowledge e Wisdom). O que Bateson quis dizer é que informação é uma observação que faz diferença para algum “objetivo” ou em termos de “efeitos” possíveis. Em sala de aula, uso o exemplo das cores das camisas e número de notebooks. As cores das roupas dos alunos podem compor uma “diferença” observável. Posso contar a distribuição das cores. O mesmo acontece com o número de notebooks. Mas, enquanto professor, somente esta segunda diferença “faz diferença” para meus objetivos: a partir do número de notebooks em sala posso planejar melhor as atividades práticas. As cores das roupas não são informação relevante pra mim. Por outro lado, podem se tornar informação em algum exemplo sobre análise cultural e moda (ex: anti-esquerdismo diminuiu o uso de vermelho? cariocas usam mais cores que paulistas?).
É a partir desta famosa frase do Gregory Bateson que o pesquisador Syed Mustafa Ali (Open University) inicia o artigo Race: The Difference that Makes a Difference publicado na tripleC em 2012. O autor busca entender as interseções das disciplinas da Teoria Racial Crítica e da Teoria Crítica da Informação e como elas tem abordado a questão.
Quanto às múltiplas áreas da Teoria da Informação, o autor resgata diferentes abordagens, sobretudo as colaborações do filósofo Luciano Floridi em torno da filosofia da informação, que se debruça sobre tópicos, métodos e teorias do campo para estudar suas definições e colaborações. Mais recentemente, a perspectiva das ciências sociais como o trabalho de Scott Lash e Christian Fuchs (autor também de Social Media: A Critical Introduction) trazem panoramas críticos de classe, gênero e raça mas, segundo Ali, priorizando a primeira a partir de frameworks neo-Marxistas.
A colaboração da Teoria Racial Crítica, então, é essencial para a questão de pesquisa proposta. Depois de citar a crescente re-leitura informada por discurso crítico sobre raça de filósofos pós-Iluminismo a partir do trabalho de Emmanuel Chukwudi Eze nos últimos 20 anos, Ali chega à conclusão de que a perspectiva informacional não tem sido realizada. Quando é realizada, tende a ser de um olhar mais sociológico do que filosófico, em itens como: a) exclusão digital; b) representação e relações de poder em ambientes online; c) o uso de tecnologias digitais para agendas de supremacistas brancos; e d) contribuições africanas e afro-americanas à teoria dos sistemas e cibernética.
Mas qual a colaboração que Teoria dos Sistemas e Teoria da Informação podem trazer ao entendimento sobre raça, racismo e processos de racialização?
A proposta que se aproxima do que o Mustafa Ali procura seria, para o autor, a formulação de racismo oferecida por Fuller Jr.:
“Um sistema de pensamento, discurso e ação operado por pessoas que se classificam como “brancas” e que usam engano, violência e/ou ameaça de violência para subjugar, usar e/ou abusar de pessoas classificadas como “não-brancas” sob condições que promovam a falsidade, injustiça e incorrigibilidade em uma ou mais áreas de atividade, para o fim último de manter, expandir e/ou refinar a prática da supremacia branca (racismo)” (1984, 301)
Na visão de Fuller Jr. racismo equivale a supremacia branca e é um sistema global composto de 9 áreas principais de atividades ou sub-sistemas: economia, educação, entretenimento, trabalho, lei, política, religião, sexo e guerra. Para Ali, a colaboração de Fuller Jr. é uma formulação que é orientada para raça de forma radicalmente alternativa a outros pensadores críticos como Giddens, Bourdieu e Habermas.
Em seguida, as definições de Teoria Racial Crítica e Teoria Crítica da Informação são vinculadas para propor uma abordagem hermenêutica reflexiva sobre raça e informação. Quanto ao termo informação, polissêmico, Ali referencia von Bayer para explicar que informação pode ser vista de forma dual tanto como inform-ação quanto in-formação. No primeiro sentido, se refere à transmissão de significados e no segundo se refere à transmissão de forma, que pode ser configuração, ordem, organização, padrão, estrutura ou relacionamento. Neste sentido, a circulação de alguns padrões de pensamento no mundo pode ser vista como informação, tal como a ideia de hierarquia racial, discriminação e dominação associadas à diferença racial.
Assim, é possível ver raça como sistema e como processo. Como sistema, Ali cita Charles Mills para afirmar que racismo pode e de fato existe em potência puramente estrutural, isto é, em termos de relações de poder incorporadas diferencialmente que não são sempre explicitamente intenacionais então não são dependentes de consciência para a continuidade de sua existência. Assim, a ideia de “contrato racial” proposta por Mills pode ser vista como:
that set of formal or in-formal agreements or meta-agreements (higher-level contracts about contracts, which set the limits of the contract’s validity) between the members of one subset of humans, henceforth designated by (shifting) “racial” (phenotypical/genealogical/cultural) criteria C1, C2, C3… as “white”, and coexten-sive (making due allowance for gender differentiation) with the class of full persons, to categorise the remaining subset of humans as “nonwhite” and of a different and inferior moral status
Barnor Hesse é a referência citada a seguir para falar de raça como processo. Para Ali, mais do que estar correlacionado com a presença (ou ausência) de marcadores materiais no corpo,
“racialization [is] embodied in a series of onto-colonial taxonomies of land, climate, history, bodies, customs, language, all of which became sedimented metonymically, metaphorically, and normatively, as the assembled attributions of race”
Deste modo, a perspectiva consegue dar conta dos processos pelos quais racialização acontece nas interseções com contextos e projetos político-econômicos de poder em cada período, como o acirramento do ódio contra islâmicos nos EUA nos últimos 30 anos. Por fim, o artigo enfatiza a importância dessa aproximação entre as áreas da ciência da informação e da teoria racial crítica para abordar os processos de resgate de argumentos e ideais biológicos do conceito de raça graças a biometria, barateamento de testes genéticos e afins.
Para saber mais sobre o trabalho do Syed Musfata Ali, acompanhe suas páginas na Open University, ResearchGate ou confira a palestra abaixo: