Disparidades interseccionais em sistemas de classificação automatizada de gênero

Mecanismos de inteligência artificial tal como reconhecimento automatizado de faces são, como toda tecnologia, repletos de particularidades sociais de produção que muitas vezes são deixados de lado em prol de supostas eficiências que trazem mais problemas – geralmente para grupos desprivilegiados.

No artigo Gender Shades – Intersectional Accuracy Disparities in Commercial Gender Classification, as pesquisadoras Joy Buolamwini (MIT Media Lab) e Timnit Gebru (Microsoft Research) apresentam pesquisa sobre vieses interseccionais negativos em sistemas automatizados de classificação. Um agravante é que, na medida em que sistemas de inteligência artificial se baseiam em bases de dados construídas a partir de inputs preexistentes, a tendência é que sistemas derivados intensifiquem os vieses já presentes nas sociedades.

Os exemplos destes vieses são inúmeros. Já falamos aqui sobre estudos sobre reconhecimento de rostos (realizado pela própria Buolamwini), mecanismos de buscas e modelos preditivos para intensificação de vigilância. Nos EUA, mais de 117 milhões de pessoas estão inclusas em redes policiais de identificação de faces – e diferenças na precisão destes sistemas podem arruinar vidas.

No artigo, as autoras apresentam histórico de estudos e debate sobre a construção de bases de treinamento para identificação de gênero para aprendizado de máquina, partindo da discussão de duas bases públicas bastante utilizadas: a IJB-A e o gerado pela Adience. O primeiro, IJB-A, foi criado pelo Intelligence Advanced Research Projects Activity do governo americano e incluía, no momento de produção do artigo, 500 imagens de rostos indivíduos públicos. Já o Adience, por sua vez, possui imagens cerca de 2.284 indivíduos únicos e foi gerada a partir de coleta no Flickr.

Detalhes sobre a base Adience

Mas usar estas bases públicas de treinamento gera bons resultados? Entender os vieses em bases públicas é essencial pois inúmeros softwares e sistemas podem ser construídos de forma derivada a partir deles, reforçando os problemas. E a investigação sobre estas bases permite estabelecer procedimentos para auditoria de sistemas comerciais e sistemas criados/contratados por instituições públicas. Para fim de comparação, então, a autoras criaram uma base de dados própria com procedimentos mais rigorosos.

A Pilot Parliaments Benchmark reúne fotos de 1270 membros parlamentares de seis países: Ruanda, Senegal, África do Sul, Finlândia, Islândia e Suécia. Estes países foram escolhidos por terem proporção relativamente alta de distribuição entre homens e mulheres e representarem tons de pele variados, dos mais escuros aos mais claros. Levando em conta que o construto “raça” é contextual de acordo com cada cultura e país, as autoras optaram por fazer a intersecção de gênero com a variável de cor de pele, a partir da tipologia Fitzpatrick Skin Type, muito usada também por dermatologistas.

Exemplo de faces no Pilot Parliaments Benchmark

Depois de construir o PPB mais preciso e confiável do que as outras bases citadas, as autoras partem então para comparar os resultados dos classificadores comerciais. Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++  para avaliar a precisão de identificação de gênero no dataset construído. Os resultados variaram de forma impressionante:

  • Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% diferência de taxa de erro)
  • Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro)
  • Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%)
  • Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%)
  • Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro)
  • A diferença máxima de taxa de erro entre dois grupos foi de 34,4%!

Ao longo da seção de análise do artigo, as autoras apresentam detalhamento de resultados e comparações entre sub-datasets controlando variáveis como qualidade das imagens. Os resultados apontam inconsistência nas classificações que deixam negros e, sobretudo, mulheres negras em desvantagens, enfatizando a importância de auditoria algorítmica e acompanhamento da sociedade civil sobre agentes artificiais que possam tomar decisões quanto a identificação de pessoas, comunicação automatizada e, sobretudo, aplicações relacionadas a vigilância.

Algorithmic transparency and accountability reach beyond technical reports and should include mechanisms for consent and redress which we do not focus on here. Nonetheless, the ndings from this work concerning benchmark representation and intersectional auditing provide empirical support for increased demographic and phenotypic transparency and accountability in arti cial intelligence.

Assista abaixo um sumário em vídeo do artigo:

Conferência Internacional sobre Comunicação Pública de Ciência e Tecnologia acontece em Salvador

Entre 5 e 8 de maio acontecerá, em Salvador, a 13th International Public Communication of Science and Technology Conference. A conferência é organizada pelo Museu da Vida da Fiocruz e o LABJOr da Unicamp, com apoio de diversas universidades federais.

pcst 2014

A conferência é composta por debates, grupos de trabalho, performances, vídeos e outras atividades culturais, incluindo gastronomia. O envio de propostas de trabalho já está encerrado, mas há uma chamada aberta para um encontro de networking de pesquisadores pós-graduandos com trabalhos na área.

As mesas plenárias confirmadas serão as seguintes:

  • Social Inclusion, Political Engagement and Science Communication, com Elizabeth Rasekoala, diretora da African-Caribbean Network for Science & Technology (Nigeria and South Africa), Alfredo Wagner da Federal University of Amazonas (Brazil) e Claudia Aguirre, Parque Explora, Medellin (Colombia)
  • Science communication and social media com Dominique Brossard, University of Wisconsin (United States) and member of the scientific committe of the PCST Network e Mohammed Yahia, editor of Nature Middle East (Egypt)
  • Science communication and the audiences com lan Irwin, Dean of Research at Copenhagen Business School (Denmark) and University of Glasgow (United Kindom), Susanna Hornig Priest, Visiting Scholar at the University of Washington and editor of the journal Science Communication (United States) e Yurij Castelfranchi, Federal University of Minas Gerais (Brazil)
  • Science in Culture, Nana Dakin, B-Floor Theatre Company (Thailand), Michael John Gorman, director of the Science Gallery, Dublin (Ireland) eIldeu Moreira, University of Rio de Janeiro (Brazil)

Internet en código feminino

tapa_internet_codigo_port

Internet en código feminino, livro organizado pela Graciela Natansohn, professora do Poscom-UFBA e coordenadora do Gig@, foi lançado recentemente e pode ser baixado gratuitamente.

A Internet e o ambiente digital colocam novos temas para a agenda feminista e para a comunicação: as brechas de acesso das mulheres e outros coletivos à rede e à cultura digital, os discursos misóginos da web, a violência de gênero – ciberassédio, sexting, a exposição da intimidade, o controle através de dispositivos tecnológicos. Tecnologia não é coisa de homem. O feminismo usa a rede para organizar-se, comunicar-se, empoderar-se. Como afirma a filosofa feminista Diana Maffía,“A brecha entre mulheres e tecnologia, vai nos dizer este livro, não é só um problema das mulheres. Devemos pensar desde o feminismo, desde uma posição política que procura a equidade entre homens e mulheres, a partir de uma nova visão que aspire à igualdade real, nomeando e considerando a diversidade sem renunciar à universalidade na disponibilidade dos recursos. Ademais, dentro do movimento de mulheres é preciso trabalhar sobre as barreiras subjetivas, as “fobias” a essa tecnologia que se percebe como hostil sem considerar seu potencial emancipador”.

III Encontro de Tecnologia da Informação e Comunicação

III ETICO – Encontro de Tecnologia da Informação e Comunicação acontecerá em João Pessoa nos dias 25 e 26 de agosto. A PaperCliQ apóia e o Marcel Ayres, meu sócio, dará uma palestra chamada “Como Gerar Resultados em Mídias Sociais”. Veja e clique no cartaz para ir ao site do evento e conferir toda  a programação e saber como se inscrever:


Encontro de Design e Tecnologia Digital – Salvador

Encontro de Design e Tecnologia Digital - SalvadorO Encontro de Design e Tecnologia Digital (EDTED) é um evento que percorre nove capitais brasileiras. Em Salvador, acontecerá no dia 24 de outubro. Trará três espaços: design, tecnologia e oficinas. Em design e tecnologia, alguns bons profissionais (e alguns ruins, diga-se de passagem) apresentarão palestras e, no fim do dia, discutirão em uma mesa-redonda.

Em Design teremos aqui a presença de Michael Lent (OgilvyInteractive) e Frederick Van Amstel (Usabilidoido). Do mercado local, vale a pena ver a palestra do Fábio Seixas (Iwwa). De Tecnologia não conheço os palestrantes, mas me interessam as palestras sobre SEO e CMS livres. Nas Oficinas, para quem ainda não sabe WordPress, é imperdível.