Computação sem Caô – cientista explica conceitos de forma simples!

O canal Computação Sem Caô foi criado pela cientista da computação Ana Carolina da Hora dois meses atrás e já está repleto de conteúdo de ótima qualidade! A missão da Ana Carolina neste canal é democratizar o entendimento sobre ciência da computação no Brasil.  Já são mais de 10 vídeos, confira alguns:

“Tranças feias” e “tranças bonitas”: como Google intensifica racismo

Viralizou na última semana um exercício de interrogação crítica do buscador Google: basicamente pesquisar “tranças feias” e “tranças bonitas” e conferir quais imagens são destacadas na aba de resultados de imagens do buscador. Longe de ser algo pontual, estes casos, mecanismos e problemas no excelente livro de Safiya Noble “Algoritmos de Opressão: como mecanismos de busca reforçam o racismo“. Outros casos similares mantenho na minha Timeline do Racismo Algorítmico. Ontem falei com o jornalista Tiago Rugero, do blog do Ancelmo (O Globo) sobre a questão. Seguem minhas respostas:

Você considera esse um caso de racismo algorítmico?
Sim. Racismo não se trata apenas de xingamentos horrorosos contra uma minoria. Trata-se também da manutenção de desigualdades estruturadas e microagressões no cotidiano que podem ser resultado de como sistemas automatizados, como buscadores, reagem ao comportamento dos usuários. No caso que está sendo viralizado, sobre as tranças feias e bonitas, o buscador não apenas reflete percepções da sociedade, mas também pode intensificá-las ao repetir em massa sem responsabilidade. Se uma criança negra, por exemplo, vê estes resultados continuamente, sem ver outros conteúdos positivos, isto gera sentimentos negativos sobre sua estética e autoestima. Há vários pesquisadores e pesquisadoras em universidades internacionais, como Joy Buolamwini, Safiya Noble, Frank Pasquale, Cathy O’Neill, Sil Bahia, Sérgio Amadeu que tratam de impactos sociais dos algoritmos há anos, mas agora o debate se populariza.

As tecnologias não são neutras. Mas isto não quer dizer que são negativas ou positivas. Significa que podemos gerar esforços coletivamente para criar ambientes favoráveis a todas as pessoas. Algumas plataformas digitais já possuem esforços neste sentido. Microsoft e IBM, por exemplo, já reagiram a pesquisas sobre casos anteriores. É importante debater tudo isto entre desenvolvedores, sociedade, jornalistas e afins.

O que é racismo algorítmico?
O racismo algorítmico trata de entender como sistemas regidos por algoritmos podem tomar decisões negativas contra um grupo racial específico. Há casos mapeados em áreas claramente muito graves, como decisões judiciais automatizadas ou reconhecimento facial que podem gerar, por exemplo, a prisão injusta de uma pessoa inocente. Isto mostra a necessidade, já avançada em alguns países, de permitir a “auditoria algorítmica” para que sistemas contratados por governos sejam justos e não possam ser usados para fins nocivos.
Mas na comunicação também há problemas possíveis para milhões de pessoas, uma vez que hoje nós passamos a maior parte do nosso tempo em ambientes como Google e Facebook. Assim como acontece com a publicidade tradicional, a invisibilidade ou representação nociva de grupos minorizados deve ser debatida pois prejudica os grupos citados, a sociedade e a própria economia e consumo.
Na maioria dos casos, os estudos mostram que os problemas não são claramente “intencionais”. Não é um desenvolvedor racista, geralmente, que vai incluir aquelas decisões que prejudicarão alguém. Mas pecar por omissão pode ser tão negativo quanto por intenção. Por isto tanto a pressão pela transparência das plataformas quanto falar sobre casos como este é importante para gerar o debate que vai ajudar os próprios criadores destes ambientes a melhorar seus sistemas. O campo da inteligência artificial, de modo amplo, está desenvolvendo modos de treinar melhor os sistemas e desenhar melhor as interfaces para isto, com apoio também das humanidades, artes, sociólogos e jornalistas.

 

Horas depois, a Google emitiu uma nota, que reproduzo a seguir:

“Construir uma experiência de busca é um desafio complexo, dinâmico e em constante evolução. Como nossos sistemas encontram e organizam informações disponíveis na web, eventualmente, a busca pode espelhar estereótipos existentes na internet e no mundo real em função da maneira como alguns autores criam e rotulam seu conteúdo. Entendemos que pessoas de todas as raças, gêneros e grupos podem ser afetadas por essas representações. Compartilhamos essa preocupação e continuaremos trabalhando para melhorar os resultados de busca de imagens para todos nossos usuários.”

Esta pretensão de neutralidade, de que o buscador é “só uma tecnologia” está sendo combatida internacionalmente. Gostaria de destacar o artigo “Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa“, de Philip Napoli e Robyn Caplan, que explicam como discursos tais como o acima são problemáticos.

Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código

Apresentei nesta última semana o artigo Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código no Simpósio da LAVITS, em Salvador. O trabalho compõe minha pesquisa de doutorado e parte da análise de ambientes como Facebook, Twitter, YouTube e marketplaces de aplicativos mobile, que são mecanismos centrais do capitalismo de vigilância. Os vieses algorítmicos e affordances racistas nestas plataformas digitais de publicidade estão sendo crescentemente analisados nos últimos 15 anos por pesquisadoras informadas por perspectivas variadas. Como resultado estão em desenvolvimento iniciativas de auditoria de algoritmos e plataformas, construção de datasets e procedimentos mais responsáveis, além de indicações regulatórias. A opacidade presente nas caixas-pretas dos grupos de sistemas automatizados e semi-automatizados baseados em algoritmos que regem visibilidade, classificação, vigilância e regras de uso nas plataformas digitais complexifica e dificulta esta investigação. Esta questão se aplica tanto ao desenho de processos internos quanto à configuração de algoritmos e é agravada pela ideologia da “cegueira racial”, tática que compõe historicamente do genocídio negro, que também é epistemológico.

O trabalho propõe colaborar ao campo de estudos sobre vieses algorítmicos ao aproximar a investigação sobre vieses raciais nos algoritmos de plataformas digitais ao conceito de microagressões raciais (Pierce, 1970). Estas seriam definidas como mensagens rotineiras que comunicam insultos e desprezo racial e podem ser apresentadas de forma verbal, comportamental ou ambientalmente contra grupos racializados. A pesquisa sobre microagressões raciais propõe modos de analisar, entender e combater este tipo de violência em contextos de socialização, midiáticos ou educacionais com o objetivo de minimizar o impacto na formação e pleno desenvolvimento de populações negras, entre outras. Aplicando a tipologia de microagressões proposta por Tynes et al (2018) a partir de Sue (2007) a mapeamento realizado pelo autor, o artigo discute casos de comunicação algorítmica racista em plataformas digitais ligando aspectos das plataformas a categorias e subcategorias propostas sobre microagressões.

Acesse o artigo completo no ResearchGate e confira mais publicações.

A Prisão dos Números – podcast discute métricas, algoritmos, youtubers e raça

O podcast Depois das 19 é produzido por Marcus Martins, Nonny Gomes  e Luiz Phelipe Santos e trata de pautas enegrecidas variadas, como política, literaturaafrocentricidade, democratização da mídia, super-heróishumor, festa e outras minorias. Tive o prazer de participar da última edição, intitulada A Prisão dos Números, falando sobre mídias sociais, algoritmos e racialização em plataformas digitais junto ao youtuber Rick Trindade. Ouça abaixo:

Como prevenir resultados discriminatórios com machine learning?

Lançado em março de 2018, o relatório How to Prevent Discriminatory Outcomes in Machine Learning é resultado de um de trabalho em andamento do Global Future Council on Human Rights do World Economic Forum, que reúne acadêmicos, sociedade civil e experts do mercado para discutir os principais temas do futuro quanto a direitos humanos.

Um destes temas, é claro, é a inteligência artificial e técnicas como aprendizado de máquina (machine learning) que, cada vez mais, automatizam decisões em áreas como negócios, segurança,

Com 30 páginas, o documento é bastante direto em quatro seções. A primeira trata de desafios sobre machine learning quanto a problemas relacionados a dados e relacionados ao design dos algoritmos em si. O viés dos dados que servem de input nos sistemas de aprendizado de máquina podem gerar a intensificação dos vieses devido a (falta de) disponibilidade dos dados de uma determinada população ou devido a dados que já estão repletos de vieses. Vimos aqui no blog um bom exemplo de dataset de treinamento pobre com o caso dos robôs identificados pela Joy Boulamwini e um exemplo de datasets de treinamento ruins com o algoritmo de vigilância preditiva.

Ao tratar dos problemas resultantes do desenho dos algoritmos, os autores falam das seguintes possibilidades: escolha de modelo errado; construção de modelo com recursos discriminatórios acidentais; ausência de supervisão e envolvimento humanos; sistemas imprevisíveis e inescrutáveis; e discriminação intencional. O documento, que busca ser o mais neutro possível, traz apenas casos “hipotéticos” para exemplificar os problemas e remediações. Acredito ser importante enfatizar os problemas relacionados à ausência dos humanos no loop de forma contínua, como no caso das prescrições erradas oferecidas pela IBM Watson à pacientes com câncer.

Para combate aos problemas, são propostos quatro princípios: inclusão ativa;  equidade; direito à compreensão; e acesso a remediação.

A terceira parte chama à responsabilidade as empresas e, por fim, a quarta seção traz checklists sobre o que as empresas, governo, academia e cidadão podem fazer em prol do combate à discriminação ligada à inteligência artificial.