Discriminação algorítmica: desafios interdisciplinares

No último 5 de maio pude fazer a mediação do debate “Discriminação algorítmica: desafios interdisciplinares“, proposto em minha curadoria no projeto Renascença do Diplomacia para Democracia. Convidei Carla Vieira (perifaCode, USP e Google Developer Expert em Machine Learning), Bianca Kremer (Doutora PUC-Rio; pesquisadora FGV-Rio; Fellow Coding Rights) e André Mintz (UFMG, R-EST/UFMG e GAIA/USP) para responder as seguintes perguntas, respectivamente: Como a Computação pode Combater a Discriminação Algorítmica? Como o Direito pode Combater a Discriminação Algorítmica? Como a Arte pode Combater a Discriminação Algorítmica?

Assista abaixo:

Da mesma série, também faz parte o debate Desafios Globais por uma Internet Saudável.

Entre a (des)inteligência artificial e a epistemologia da ignorância

O texto “Entre a (des)inteligência artificial e a epistemologia da ignorância” foi publicado em dossiê da Revista seLecT com o tema O Algoritmo. Editado por Giselle Beiguelman, inclui reportagens, artigos traduzidos e entrevistas sobre obras de referências no campo como Kate Crawford, Trevor Paglen, Adam Harvey, Maryam Gharavi, Sonya Rapoport e outros.

Acesse o texto pelo Issuu acima ou na página do site da Revista seLecT.

Analisando mediações algorítmicas em bancos de imagens e APIs de visão computacional

O artigo “APIs de Visão Computacional: investigando mediações algorítmicas a partir de estudo de bancos de imagens” foi resultado de trabalho colaborativo em parceria com André Mintz, Janna Joceli Omena, Beatrice Gobbo, Taís Oliveira, Helen Tatiana Takamitsu, Elena Pilipets, Hamdan Azhar a partir da penúltima edição do SMART Data Sprint. Faz parte de dossiê “Instabilidade e Conflito das/nas Imagens” da revista Logos. Resumo:

O artigo apresenta resultados de estudo sobre Interfaces de Programação de Aplicações (API, na sigla em inglês) de visão computacional e sua interpretação de representações em bancos de imagens. A visão computacional é um campo das ciências da computação dedicado a desenvolver algoritmos e heurísticas para interpretar dados visuais, mas são ainda incipientes os métodos para sua aplicação ou investigação críticas. O estudo investigou três APIs de visão computacional por meio de sua reapropriação na análise de 16.000 imagens relacionadas a brasileiros, nigerianos, austríacos e portugueses em dois dos maiores bancos de imagens do ocidente. Identificamos que: a) cada API apresenta diferentes modos de
etiquetamento das imagens; b) bancos de imagens representam
visualidades nacionais com temas recorrentes, mostrando-se úteis
para descrever figurações típicas emergentes; c) APIs de visão
computacional apresentam diferentes graus de sensibilidade e
modos de tratamento de imagens culturalmente específicas.

Leia em https://www.e-publicacoes.uerj.br/index.php/logos/article/view/51523

Newsletter Desvelar: conhecimento sobre tecnologia e sociedade

Que tal receber semanalmente uma lista curada e comentada de notícias, artigos, vídeos e referências sobre tecnologia e sociedade? E o melhor: com ênfase em abordagens decoloniais e afrodiaspóricas? Esta é a newsletter da Desvelar, que foi lançada no último dia 09. Clique abaixo para ler a primeira e se inscreva:

Premiação de Jornalismo incentiva o technochauvinismo do Estadão e Microsoft

Qual o limite entre as decisões e direcionamento editoriais quanto a aspectos narrativos e de reportagem de fatos do jornalismo e a seleção de técnicas e ferramentas aparentemente neutras? Que o Estadão é um veículo que frequentemente representa o pior que há no jornalismo brasileiro é algo pouco questionável mas e sobre o excelente trabalho técnico das equipes de jornalismo de dados e infografia?

Gostaria de tratar aqui de um caso que me chocou nas eleições passadas. O Estadão buscou usar uma técnica de “inteligência artificial” para supostamente medir em tempo real as emoções dos candidatos durante o debate presidencial. No dia do debate comentei no Twitter sobre os problemas da matéria, mas para minha surpresa o projeto foi indicado ao Prêmio de Inovação em Jornalismo de Dados do Data Journalism Award em 2019.

(Clique para abrir no Wayback Machine)

Considerando o absurdo de uma matéria deste tipo ser indicada a um prêmio deste monte, vale adicionar algumas reflexões, comentários e dados para que jornalistas reflitam sobre o uso destas tecnologias.

Análise de emoções por visão computacional deveria ser estreada em um debate eleitoral à presidência? Este primeiro ponto é uma simples questão de responsabilidade. Assumindo por enquanto que a tecnologia tenha algum nível de precisão, será que os jornalistas deveriam fazer suas primeiras reportagens com a tecnologia justamente em algo tão relevante quanto um debate presidencial? A atribuição de juízos pode ser feita na imagem abaixo, por exemplo. Em trecho sobre Marina, afirma que a candidata “entra no grupo dos candidatos infelizes”.

Gráfico desenvolvido pelo Estadão

A atribuição a um grupo específico associa a imagem da candidata a valores que são rejeitados por eleitores (como inércia, fragilidade, falta de espontaneidade) a partir da avaliação de uma ferramenta automatizada. Até que ponto esta avaliação é justa?

Seduzidos pela quantidade de dados – que estão longe de se transformarem em informação -, os redatores chegam a falar de “depressão na reta final” ao comentar sobre a mensuração das supostas emoções do Álvaro Dias. A empolgação com a tecnologia leva a outros absurdos conceituais sobre emoções e condições mentais que nos fazem lembrar que a reportagem não incluiu um psicólogo entre os redatores, caso típico de colonialismo de campo: a tecnologia é mais importante que os especialistas?

Um veículo jornalístico deveria depender um fornecedor que oferece seu serviço como “caixa preta”? A ideia de caixa preta na Engenharia e nos Estudos de Ciência e Tecnologia se refere a dispositivos ou sistemas que se baseiam em entradas (“inputs”) e saídas (“outputs”) sem que o usuário entenda o que acontece entre estas duas etapas. Mas como funciona em suas minúcias? Quais fatores estão sendo levados em conta? Boa parte dos sistemas de aprendizado de máquina caem nesta categoria, sobretudo os sistemas proprietários e fechados oferecidos através de APIs como a Microsoft.

A Microsoft tem histórico de erros terríveis com inteligência artificial e visão computacional. Isto não deveria ser levado em conta? Talvez o caso mais famoso de auditoria algorítmica seja o projeto Gender Shades de Joy Buolamwini e colaboradoras. Num dos primeiros estudos (realizado por Buolamwini e Timnit Gebru), as pesquisadoras identificaram que a Microsoft a taxa de acerto em classificadores de gênero, por exemplo, foi de 79,2% em mulheres de pele escura em comparação a 100% em homens de pele clara.

O estudo acima é um dos mais robustos na história da auditoria algorítmica e gerou diversos resultados, como alguma melhoria do sistema pela Microsoft e competidores. Mas são inúmeros os outros estudos que mostram os problemas interseccionais do uso de análise de emoções em tecnologias do tipo, como o trabalho de Laura Rhue:

Por que usar especificamente uma API comercial? E por que a Microsoft? Um ponto relevante é que análises similares ao que foi feito na reportagem podem ser feitas com conjuntos de deep learning como a TensorFlow. Não acredito que o jornalismo em sua área mais importante, política, deve se pautar por lobby de corporações, sobretudo estrangeiras. Para além disto, a Microsoft seria a melhor opção? Em projeto que o Andre Mintz e eu lideramos sobre image labelling, o produto da Microsoft esteve muito aquém de seus principais competidores, a IBM e a Google:

Como é possível ver acima, em projeto realizado em janeiro de 2019, o recurso de etiquetamento de imagens da Microsoft esteve muito atrás de seus principais competidores em datasets que analisamos. É importante olhar para este dado para lembrar que a análise de imagens é uma tarefa muito complexa e ideias de “neutralidade” ou “objetividade” são risíveis.

Análise (automatizada) de emoções deveria ser utilizada pelo jornalismo? Aqui é importante que eu esclareça que não tenho restrições à tecnologia de reconhecimento de emoções ou etiquetamento de imagens em si. Pelo contrário, além do projeto que referencio nas imagens acima também aplico a tecnologia em algumas áreas como análise de consumo e tendências para clientes de várias áreas. Mas jamais usaria para atribuir julgamentos de performance ou disposições a seres humanos em um evento tão relevante para o futuro do país.

Há muitas controvérsias sobre a efetividade das propostas do Paul Ekman, o psicólogo que inventou esta tipologia de emoções e suas técnicas para supostamente identificá-las, assim como sua metodologia para interrogar suspeitos. Expressões faciais não são universais como se pensava e Ekman usou literalmente a metáfora da “mina de ouro” para falar de sua pesquisa – ganhando milhões em aplicações questionáveis ideologicamente.

Em conclusão, acredito que tanto a idealização da matéria quanto a injusta indicação ao prêmio pelo Data Journalism Awards são exemplos do technochauvinismo. Este é um conceito proposto por Meredith Broussard no livro Artificial Unintelligence. Segundo Broussard, seria:

a crença de que mais “tecnologia” é sempre a solução. Tecnochauvinismo é frequentemente acompanhado por meritocracia neoliberal, defesa distorcida da “liberdade de expressão” para manter discurso de ódio; da ideia de que computadores seria objetivos e uma fé de que o mundo com mais computadores resolveriam problemas sociais.

Mais pirotecnia tecnológica não é a solução pro jornalismo, sobretudo em temas e eventos sensíveis, sobretudo quando se trata de normalizar o produto de corporações tecnológicas que estão bem longe da precisão. Uma premiação para a reportagem como a citada pode dar a impressão a jovens jornalistas que os campos da infografia, análise e visualização de dados devam ser um fim em si mesmos, independente dos impactos nocivos que possam trazer.

É preciso pensar no papel social não só do jornalismo “em si”, mas também como escolhe, aplica e reproduz tecnologias.