{"id":10555,"date":"2018-09-01T18:24:21","date_gmt":"2018-09-01T21:24:21","guid":{"rendered":"http:\/\/tarciziosilva.com.br\/blog\/?p=10555"},"modified":"2018-09-02T20:06:08","modified_gmt":"2018-09-02T23:06:08","slug":"disparidades-interseccionais-em-sistemas-de-classificacao-automatizada-de-genero","status":"publish","type":"post","link":"https:\/\/tarciziosilva.com.br\/blog\/disparidades-interseccionais-em-sistemas-de-classificacao-automatizada-de-genero\/","title":{"rendered":"Disparidades interseccionais em sistemas de classifica\u00e7\u00e3o automatizada de g\u00eanero"},"content":{"rendered":"

Mecanismos de intelig\u00eancia artificial tal como reconhecimento automatizado de faces s\u00e3o, como toda tecnologia, repletos de particularidades sociais de produ\u00e7\u00e3o que muitas vezes s\u00e3o deixados de lado em prol de supostas efici\u00eancias que trazem mais problemas – geralmente para grupos desprivilegiados.<\/p>\n

No artigo Gender Shades \u2013 Intersectional Accuracy Disparities in Commercial Gender Classification<\/strong><\/em><\/a>, as pesquisadoras Joy Buolamwini<\/a> (MIT Media Lab) e Timnit Gebru<\/a> (Microsoft Research) apresentam pesquisa sobre vieses interseccionais negativos em sistemas automatizados de classifica\u00e7\u00e3o. Um agravante \u00e9 que, na medida em que sistemas de intelig\u00eancia artificial se baseiam em bases de dados constru\u00eddas a partir de inputs preexistentes, a tend\u00eancia \u00e9 que sistemas derivados intensifiquem os vieses j\u00e1 presentes nas sociedades.<\/p>\n

Os exemplos destes vieses s\u00e3o in\u00fameros. J\u00e1 falamos aqui sobre estudos sobre reconhecimento de rostos (realizado pela pr\u00f3pria Buolamwini)<\/a>, mecanismos de buscas<\/a> e modelos preditivos para intensifica\u00e7\u00e3o de vigil\u00e2ncia<\/a>. Nos EUA, mais de 117 milh\u00f5es de pessoas est\u00e3o inclusas em redes policiais de identifica\u00e7\u00e3o de faces \u2013 e diferen\u00e7as na precis\u00e3o destes sistemas podem arruinar vidas.<\/p>\n

No artigo, as autoras apresentam hist\u00f3rico de estudos e debate sobre a constru\u00e7\u00e3o de bases de treinamento para identifica\u00e7\u00e3o de g\u00eanero para aprendizado de m\u00e1quina, partindo da discuss\u00e3o de duas bases p\u00fablicas bastante utilizadas: a IJB-A e o gerado pela Adience. O primeiro, IJB-A, foi criado pelo Intelligence Advanced Research Projects Activity do governo americano e inclu\u00eda, no momento de produ\u00e7\u00e3o do artigo, 500 imagens de rostos indiv\u00edduos p\u00fablicos. J\u00e1 o Adience, por sua vez, possui imagens cerca de 2.284 indiv\u00edduos \u00fanicos e foi gerada a partir de coleta no Flickr.<\/p>\n

\"\"

Detalhes sobre a base Adience<\/p><\/div>\n

Mas usar estas bases p\u00fablicas de treinamento gera bons resultados? Entender os vieses em bases p\u00fablicas \u00e9 essencial pois in\u00fameros softwares e sistemas podem ser constru\u00eddos de forma derivada a partir deles, refor\u00e7ando os problemas. E a investiga\u00e7\u00e3o sobre estas bases permite estabelecer procedimentos para auditoria de sistemas comerciais e sistemas criados\/contratados por institui\u00e7\u00f5es p\u00fablicas. Para fim de compara\u00e7\u00e3o, ent\u00e3o, a autoras criaram uma base de dados pr\u00f3pria com procedimentos mais rigorosos.<\/p>\n

A Pilot Parliaments Benchmark re\u00fane fotos de 1270\u00a0membros parlamentares\u00a0de seis pa\u00edses: Ruanda, Senegal, \u00c1frica do Sul, Finl\u00e2ndia, Isl\u00e2ndia e Su\u00e9cia. Estes pa\u00edses foram escolhidos por terem propor\u00e7\u00e3o relativamente alta de distribui\u00e7\u00e3o entre homens e mulheres e representarem tons de pele variados, dos mais escuros aos mais claros. Levando em conta que o construto “ra\u00e7a” \u00e9 contextual de acordo com cada cultura e pa\u00eds, as autoras optaram por fazer a intersec\u00e7\u00e3o de g\u00eanero com a vari\u00e1vel de cor de pele, a partir da tipologia Fitzpatrick Skin Type, muito usada tamb\u00e9m por dermatologistas.<\/p>\n

\"\"

Exemplo de faces no Pilot Parliaments Benchmark<\/p><\/div>\n

Depois de construir o PPB mais preciso e confi\u00e1vel do que as outras bases citadas, as autoras partem ent\u00e3o para comparar os resultados dos classificadores comerciais. Buolamwini e Gebru selecionaram IBM Watson, Microsoft Cognitive Services e o Face++\u00a0 para avaliar a precis\u00e3o de identifica\u00e7\u00e3o de g\u00eanero no dataset constru\u00eddo. Os resultados variaram de forma impressionante:<\/p>\n

    \n
  • Todos classificadores foram mais precisos em faces de homens (8,1% – 20,6% difer\u00eancia de taxa de erro)<\/li>\n
  • Todos classificadores performaram melhor em faces mais claras do que faces mais escuras (11,8% contra 19,2% de erro)<\/li>\n
  • Todos classificadores performaram pior em faces mais escuras de mulheres (20,8% comparado a 34,7%)<\/li>\n
  • Os classificadores da Microsoft e IBM performaram melhor em rotos de homens de pele clara (taxas de erro de 0,0% e 0,3%)<\/li>\n
  • Os classificadores do Face++ performaram melhor em rostos masculinos de pele escura (0,7% de taxa de erro)<\/li>\n
  • A diferen\u00e7a m\u00e1xima de taxa de erro entre dois grupos foi de 34,4%!<\/li>\n<\/ul>\n

    Ao longo da se\u00e7\u00e3o de an\u00e1lise do artigo, as autoras apresentam detalhamento de resultados e compara\u00e7\u00f5es entre sub-datasets controlando vari\u00e1veis como qualidade das imagens. Os resultados apontam inconsist\u00eancia nas classifica\u00e7\u00f5es que deixam negros e, sobretudo, mulheres negras em desvantagens, enfatizando a import\u00e2ncia de auditoria algor\u00edtmica e acompanhamento da sociedade civil sobre agentes artificiais que possam tomar decis\u00f5es quanto a identifica\u00e7\u00e3o de pessoas, comunica\u00e7\u00e3o automatizada e, sobretudo, aplica\u00e7\u00f5es relacionadas a vigil\u00e2ncia.<\/p>\n

    Algorithmic transparency and accountability reach beyond technical reports and should include mechanisms for consent and redress which we do not focus on here. Nonetheless, the \fndings from this work concerning benchmark representation and intersectional auditing provide empirical support for increased demographic and phenotypic transparency and accountability in arti\fcial intelligence.<\/p><\/blockquote>\n

    Assista abaixo um sum\u00e1rio em v\u00eddeo do artigo:<\/p>\n