(Des)Inteligência Artificial: como computadores não compreendem o mundo

Quem acompanhou o caso dos 12 garotos presos na caverna Tham Luang Nang Non, na Tailândia, possivelmente acompanhou a iniciativa do bilionário Elon Musk em criar um submarino para resgate. Ignorando os esforços locais de profissionais da Tailândia e outros países empenhados no resgate, o rosto público das empresas Tesla, Boring Company e SpaceX, Musk chegou a agredir verbalmente e difamar um jornalista que criticou a iniciativa do empresário como apenas uma iniciativa fútil de RP. E realmente era. Os 12 garotos foram resgatados por heróis incansáveis e especialistas em suas áreas, atividades e na região da caverna. Como disse o coordenador do centro de comando do resgate, Narongsak Osatanakorn, “Apesar de sua tecnologia ser boa é sofisticada, não é prática para esta missão”.

Essa postura delirante e egoica de tentar consertar o que não está quebrado com mais tecnologia, ignorando esforços, especialistas e dinâmicas anteriores, já pôde ser vista recentemente em figuras similares como Steve Jobs e Mark Zuckerberg. Entretanto, o histórico da computação e inteligência traz casos similares ao de Musk aos borbotões. Um particularmente anedótico é uma conversa atribuída a Marvin Minsky, um dos grandes nomes da área, que fundou o laboratório de inteligência artificial do MIT e ensinou centenas de cientistas e professores que desenvolveram a área. Stephen Wolfram conta que, no início dos anos 1980, em visita a Minsky na casa de sua filha, que tinha uma coleção de plantas, Wolfram percebeu que algumas delas estavam com pragas de insetos. A partir daí seguiu-se uma longa discussão sobre desenvolvimento de micro-robôs que poderiam eliminar os insetos. Porém, ao perguntar o que fazer com as plantas, Minsky responde: “Ah, acho melhor você falar com minha esposa”.

Este caso, incluído no livro, é um dos melhores exemplos da importância da publicação de trabalhos como Artificial (Un)Intelligence: how computer misunderstand the world, de Meredith Broussard. Foi lançado em abril deste ano e reúne estudos e aprendizados da autora como jornalista, programadora e pesquisadora.  Meredith Broussard é professora do Arthur L. Carter Journalism Institute da NYU e pesquisadorea no Moore-Sleam Data Science Environmnent. Neste livro, apresenta 12 capítulos divididos em três partes chamadas “Como computadores funcionam”, “Quando computadores não funcionam” e “Trabalhando juntos”.

Em comparação a outros livros sobre viés algorítmicos e problemas na inteligência artificial que recomendei no blog, Artificial (Un)Intelligence possui uma vantagem muito interessante: em vários capítulos Broussard faz uma espécie de tour guiado por conceitos básicos da programação, de modo a levar até o leitor mais leigo a compreender como funciona parte do trabalho de construção de códigos e decisões imbricadas que depois se invisibilizam nas caixas pretas dos dispositivos. É o que acontece no capítulo 02, chamado “Hello World” – saber como imprimir/visualizar estas duas palavras estão entre os primeiros passos de mais que 9 entre 10 cursos de novas linguagens. A partir da tarefa do título, a autora apresenta alguns passos simples para a criação de um algoritmo condicional simples.

Porém, não se trata efetivamente de ensinar a leitora ou leitor a começar a programar. Mas sim levar quem lê a entender, na prática, que os códigos são socialmente construídos.

Although the data may be generated in different ways, there’s one thing all the preceding examples have in common: all of the data is generated by people. This is true Although the data may be generated in different ways, there’s one thing all the preceding examples of all data. Ultimately, data always comes down to people counting things. If we don’t think too hard about it, we might imagine that data springs into the world fully formed from the head of Zeus. We assume that because there is data, the data must be true. Note the first principle of this book: data is socially constructed. Please let go of any notion that data is made by anything except people.

Na primeira parte do livro, ao longo dos outros capítulos “Hello, reader”, “Hello AI” e “Hello, data journalism”, Broussard apresenta uma excelente introdução aos conceitos de inteligência artificial, jornalismo de dados e o papel destes nas democracias. Enfatiza bem a diferença entre “inteligência artificial geral” e “inteligência artificial estrita” para dissipar percepções erradas, criadas em parte pela ficção, sobre agentes artificiais que tomariam o mundo, de Skynet à Samantha de Her. Não é este o problema quanto à inteligência artificial e uso pervasivo de dados sociais, mas sim a sua interface com aumento de desigualdade, concentração de poder e piora das relações internacionais.

Apesar disso, existe uma adesão voluntária à ideia de que mais computadores, big data e inteligência artificial é algo necessariamente bom e remediador. É o “tecnochauvinismo” que, de modo resumido, seria a crença de que mais “tecnologia” é sempre a solução. Tecnochauvinismo é frequentemente acompanhado por meritocracia neoliberal, defesa distorcida da “liberdade de expressão” para manter discurso de ódio; da ideia de que computadores seria objetivos e uma fé de que o mundo com mais computadores resolveriam problemas sociais.”Para descrever casos reais e combater o tecnochauvinismo, Broussard se debruça na parte dois em cinco capítulos sobre questões e problemas muito reais sobre computadores e inteligência artificial: testes padronizados no sistema de ensino; raízes de desigualdade de gênero e raça na academia e mercado que produzem as tecnologias e sistemas de AI; corrida por legalização de carros autônomos; e os malefícios de equalizar popularidade com qualidade nas plataformas de comunicação como Google e Facebook. Também faz parte da segunda parte do livro um capítulo sobre  aprendizado de máquina (machine learning). Broussard ataca a frequente confusão quanto a este termo, que leva leigos a acreditar que os sistemas aprendem “sozinhos”, ao invés de serem ensinados a partir de bases de dados criadas por seres humanos.

No atual momento, no qual inteligência artificial é uma “buzzword”, ou palavra da moda no marketing, esta crença é perigosa. Para explicar as diferenças entre os tipos de aprendizado de máquina, assim como apresentar passos e decisões comuns que os desenvolvedores deveriam enfrentar de forma responsável, Broussard volta às linhas de código. No capítulo “Machine Learning: the DL on ML“, Broussard explora junto conosco um dataset com informações sobre as pessoas que morreram no naufrágio do Titanic. Passando por variáveis como gênero, classe, idade e tipo de cabine a autora explica como a construção de um sistema preditivo requer muitas decisões difíceis quando está ligado a vidas humanas. E está longe de ser apenas um recurso pedagógico: decisões similares são feitas em sistemas de policiamento, planos de saúde, crédito financeiro e afins.

A terceira parte do livro traz dois casos mais particulares da autora. O primeiro capítulo desta parte é um relato de participação da autora  em um evento de um hackaton para criação de startups chamado Startup Bus. Broussard usa o relato da experiência e construção de um pitch de startup para discorrer sobre o ethos das startups e como seus afiliados deixam de lado com frequência – seja por ignorância, seja por má fé – muitas reflexões e responsabilidades éticas e morais em prol de construção de possíveis sucessos comerciais. O segundo descreve a construção do sistema Bailiwick Campaign Finance. Broussard construiu este website para oferecer “histórias automatizadas” sobre financiamento de campanha: ao cruzar dados de políticos e financiadores, tem como objetivo ajudar jornalistas a encontrar possíveis temas para investigação. Veja abaixo:

O livro Artificial (Un)Intelligence é uma leitura necessária e rápida para qualquer comunicador e pesquisador interessado no tema da pervasividade dos algoritmos e seus impactos. Para finalizar, veja abaixo uma entrevista sobre o livro:

“Tecnologias não são neutras” – trecho do levantamento PretaLab

[O texto abaixo faz parte do levantamento inédito PretaLab, levantamento realizado pela Olabi com 570 mulheres negras e índigenas no Brasil. Artigos analíticos, dados completos e destaques podem ser acessados em www.pretalab.com ]

Um estudo feito em 2017 pelo Law’s Center on Privacy and Technology, o centro sobre privacidade e tecnologia da faculdade de direito da Universidade de Georgetown, estima que 117 milhões de cidadãos já estejam nos bancos de dados que a polícia pode usar. “O reconhecimento facial vai afetar afroamericanos desproporcionalmente. Muitos departamentos de polícia não percebem isso”, diz o estudo. Outro documento do FBI sugere que “o reconhecimento facial é menos preciso em negros. Além disso, devido à desproporção no número de negros presos, sistemas que utilizam fotos realizadas no momento da prisão incluem mais afroamericanos. “Apesar dessas descobertas, não há nenhum estudo independente com testes para viés racistas nestes programas”, conclui o estudo.

Iniciativas como a Algorithmic Justice League [em português, Liga da Justiça do Algoritmo] buscam denunciar e acabar com o racismo implícito em programas de inteligência artificial. Fundadora da iniciativa, Joy Buolamwini percebeu que programas de reconhecimento artificial nem sempre conseguem detectar rostos negros, problema causado pela falta de diversidade das equipes que criam esses programas e das imagens que as máquinas recebem para aprender a “enxergar” esses rostos. “A visão do computador usa inteligência artificial para fazer o reconhecimento facial. Você cria uma série de imagens com exemplos de rostos. No entanto, se essas séries não são diversas o suficiente, qualquer rosto que desvie da ‘norma’ será difícil de reconhecer”, ela disse em uma Ted Talk.

Enquanto as estatísticas, estudos e políticas públicas voltadas para mulheres negras ignorarem a importância da tecnologia, as mulheres negras vão estar à margem de decisões cada vez mais centrais na sociedade. “Se as mulheres negras não estiverem nesse processo, se não existirem ações para que elas estejam nesse processo, vamos perder totalmente nosso poder de integração no mundo”, afirma Silvana.

A tecnologia representa ainda uma possibilidade de geração de renda e de emancipação econômica, já que o setor cresce e costuma ter salários atrativos. Nos Estados Unidos, dados compilados pela pesquisa econômica Glassdoor mostra que os empregos da área de tecnologia, engenharia e ciência foram os mais bem pagos de 2017. Mas o desigual acesso à educação e a forte presença de estereótipos e preconceitos seguem afastando as mulheres negras dos estudos e de uma carreira nessas áreas.

A desigualdade e as barreiras já surgem quando são observados apenas os dados de gênero na tecnologia. Uma pesquisa que analisou a presença feminina em Ciência, Tecnologia e Engenharia no Brasil, China, EUA e Índia concluiu que mulheres abandonam a indústria tecnológica porque são tratadas injustamente, recebem salários menores e apresentam menos chances de serem promovidas do que seus colegas do sexo masculino. No Brasil, 29% das mulheres entrevistadas se sentem estagnadas em seus trabalhos e 22% acham que podem desistir da carreira no próximo ano.

Apesar de todas as barreiras que precisam enfrentar, estudos mostram que o trabalho das mulheres nesta área pode ser tão bem ou melhor avaliado do que de seus colegas do sexo masculino. Pesquisadores descobriram que os usuários do repositório de software GitHub aprovaram os códigos escrito por mulheres a uma taxa maior do que aqueles escritos por homens, mas apenas caso seu gênero não fosse identificado.

 

Acesse completo em https://www.pretalab.com/

Disparidades interseccionais em sistemas de classificação automatizada de gênero

Mecanismos de inteligência artificial tal como reconhecimento automatizado de faces são, como toda tecnologia, repletos de particularidades sociais de produção que muitas vezes são deixados de lado em prol de supostas eficiências que trazem mais problemas – geralmente para grupos desprivilegiados.

No artigo Gender Shades – Intersectional Accuracy Disparities in Commercial Gender Classification, as pesquisadoras Joy Buolamwini (MIT Media Lab) e Timnit Gebru (Microsoft Research) apresentam pesquisa sobre vieses interseccionais negativos em sistemas automatizados de classificação. Um agravante é que, na medida em que sistemas de inteligência artificial se baseiam em bases de dados construídas a partir de inputs preexistentes, a tendência é que sistemas derivados intensifiquem os vieses já presentes nas sociedades.

Os exemplos destes vieses são inúmeros. Já falamos aqui sobre estudos sobre reconhecimento de rostos (realizado pela própria Buolamwini), mecanismos de buscas e modelos preditivos para intensificação de vigilância. Nos EUA, mais de 117 milhões de pessoas estão inclusas em redes policiais de identificação de faces – e diferenças na precisão destes sistemas podem arruinar vidas.

No artigo, as autoras apresentam histórico de estudos e debate sobre a construção de bases de treinamento para identificação de gênero para aprendizado de máquina, partindo da discussão de duas bases públicas bastante utilizadas: a IJB-A e o gerado pela Adience. O primeiro, IJB-A, foi criado pelo Intelligence Advanced Research Projects Activity do governo americano e incluía, no momento de produção do artigo, 500 imagens de rostos indivíduos públicos. Já o Adience, por sua vez, possui imagens cerca de 2.284 indivíduos únicos e foi gerada a partir de coleta no Flickr.

Detalhes sobre a base Adience

Mas usar estas bases públicas de treinamento gera bons resultados? Entender os vieses em bases públicas é essencial pois inúmeros softwares e sistemas podem ser construídos de forma derivada a partir deles, reforçando os problemas. E a investigação sobre estas bases permite estabelecer procedimentos para auditoria de sistemas comerciais e sistemas criados/contratados por instituições públicas. Para fim de comparação, então, a autoras criaram uma base de dados própria com procedimentos mais rigorosos.

A Pilot Parliaments Benchmark reúne fotos de 1270 membros parlamentares de seis países: Ruanda, Senegal, África do Sul, Finlândia, Islândia e Suécia. Estes países foram escolhidos por terem proporção relativamente alta de distribuição entre homens e mulheres e representarem tons de pele variados, dos mais escuros aos mais claros. Levando em conta que o construto “raça” é contextual de acordo com cada cultura e país, as autoras optaram por fazer a intersecção de gênero com a variável de cor de pele, a partir da tipologia Fitzpatrick Skin Type, muito usada também por dermatologistas.

Exemplo de faces no Pilot Parliaments Benchmark

Depois de construir o PPB mais preciso e confiável do que as outras bases citadas, as autoras partem então para comparar os resultados dos classificadores comerciais. Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++  para avaliar a precisão de identificação de gênero no dataset construído. Os resultados variaram de forma impressionante:

  • Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% diferência de taxa de erro)
  • Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro)
  • Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%)
  • Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%)
  • Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro)
  • A diferença máxima de taxa de erro entre dois grupos foi de 34,4%!

Ao longo da seção de análise do artigo, as autoras apresentam detalhamento de resultados e comparações entre sub-datasets controlando variáveis como qualidade das imagens. Os resultados apontam inconsistência nas classificações que deixam negros e, sobretudo, mulheres negras em desvantagens, enfatizando a importância de auditoria algorítmica e acompanhamento da sociedade civil sobre agentes artificiais que possam tomar decisões quanto a identificação de pessoas, comunicação automatizada e, sobretudo, aplicações relacionadas a vigilância.

Algorithmic transparency and accountability reach beyond technical reports and should include mechanisms for consent and redress which we do not focus on here. Nonetheless, the ndings from this work concerning benchmark representation and intersectional auditing provide empirical support for increased demographic and phenotypic transparency and accountability in arti cial intelligence.

Assista abaixo um sumário em vídeo do artigo:

Conferência Internacional sobre Comunicação Pública de Ciência e Tecnologia acontece em Salvador

Entre 5 e 8 de maio acontecerá, em Salvador, a 13th International Public Communication of Science and Technology Conference. A conferência é organizada pelo Museu da Vida da Fiocruz e o LABJOr da Unicamp, com apoio de diversas universidades federais.

pcst 2014

A conferência é composta por debates, grupos de trabalho, performances, vídeos e outras atividades culturais, incluindo gastronomia. O envio de propostas de trabalho já está encerrado, mas há uma chamada aberta para um encontro de networking de pesquisadores pós-graduandos com trabalhos na área.

As mesas plenárias confirmadas serão as seguintes:

  • Social Inclusion, Political Engagement and Science Communication, com Elizabeth Rasekoala, diretora da African-Caribbean Network for Science & Technology (Nigeria and South Africa), Alfredo Wagner da Federal University of Amazonas (Brazil) e Claudia Aguirre, Parque Explora, Medellin (Colombia)
  • Science communication and social media com Dominique Brossard, University of Wisconsin (United States) and member of the scientific committe of the PCST Network e Mohammed Yahia, editor of Nature Middle East (Egypt)
  • Science communication and the audiences com lan Irwin, Dean of Research at Copenhagen Business School (Denmark) and University of Glasgow (United Kindom), Susanna Hornig Priest, Visiting Scholar at the University of Washington and editor of the journal Science Communication (United States) e Yurij Castelfranchi, Federal University of Minas Gerais (Brazil)
  • Science in Culture, Nana Dakin, B-Floor Theatre Company (Thailand), Michael John Gorman, director of the Science Gallery, Dublin (Ireland) eIldeu Moreira, University of Rio de Janeiro (Brazil)

Internet en código feminino

tapa_internet_codigo_port

Internet en código feminino, livro organizado pela Graciela Natansohn, professora do Poscom-UFBA e coordenadora do Gig@, foi lançado recentemente e pode ser baixado gratuitamente.

A Internet e o ambiente digital colocam novos temas para a agenda feminista e para a comunicação: as brechas de acesso das mulheres e outros coletivos à rede e à cultura digital, os discursos misóginos da web, a violência de gênero – ciberassédio, sexting, a exposição da intimidade, o controle através de dispositivos tecnológicos. Tecnologia não é coisa de homem. O feminismo usa a rede para organizar-se, comunicar-se, empoderar-se. Como afirma a filosofa feminista Diana Maffía,“A brecha entre mulheres e tecnologia, vai nos dizer este livro, não é só um problema das mulheres. Devemos pensar desde o feminismo, desde uma posição política que procura a equidade entre homens e mulheres, a partir de uma nova visão que aspire à igualdade real, nomeando e considerando a diversidade sem renunciar à universalidade na disponibilidade dos recursos. Ademais, dentro do movimento de mulheres é preciso trabalhar sobre as barreiras subjetivas, as “fobias” a essa tecnologia que se percebe como hostil sem considerar seu potencial emancipador”.