Projeto de Joy Buolamwini (@jovialjoy) combate discriminação nos algoritmos

Joy Buolamwini é mestre por Oxford e doutoranda e pesquisadora no MIT e, a partir de sua pesquisa motivada por experiências pessoais de discriminação através de vieses dos algoritmos, ela lançou os projetos Coded Gaze e Algorithmic Justice League, para combater os problemas causados pela tecnologia e algoritmos falsamente objetivos. Ela ainda é co-fundadora do Myavana Hair, sistema de recomendação de produtos, serviços e expertise para cada tipo de cabelo. Em novembro, deu uma palestra no TEDxBeaconStreet sobre o tema. Pode ser vista no vídeo abaixo, mas infelizmente ainda não há legendas em português. Então traduzi, em seguida, a transcrição oferecida pelo próprio website, para facilitar a compreensão:

Tradução da Transcrição

0:12

Olá, eu sou a Joy, uma poeta do código, com uma missão de enfrentar uma força invisível que está crescendo, uma força que eu chamei de “o olhar codificado”, meu termo para vieses algorítimicos.

0:26

Viés algorítmico (algorithmic bias), assim como o viés humano, resulta em injustiça. Entretanto, algoritmos, como vírus, podem compartilhar vieses em uma escala massiva com muita velocidade. Viés algorítmico pode também levar a experiências excludentes e práticas discriminatórias. Deixe-me mostrar o que quero dizer.

0:47

(Vídeo) Joy Boulamwini: Oi, câmera. Eu tenho um rosto. Você pode ver meu rosto? E meu rosto em óculos? Você pode ver o rosto dela. E o meu rosto? Agora tenho uma máscara. Você pode ver minha máscara?

1:07

Joy Boylamwini: Então, como isto aconteceu? Por que estou em frente a um computador com uma máscara branca, tentando ser detectada por uma câmera barata? Bem, quando não estou lutando contra o “olhar codificado” como uma poeta do código, eu sou uma estudante de pós-graduação no MIT Media Lab, e lá eu tenho a oportunidade de trabalhar em todos os tipos de projetos fantásticos, incluindo o Aspire Mirror, um projeto que eu fiz para projetar máscaras digitais em meus reflexos. Então, de manhã, se eu quiser me sentir poderosa, posso colocar uma máscara de leão. Se quero me sentir pra cima, posso colocar uma citação. Então, usei software genérico de reconhecimento facial para construir o sistema, mas descobri que era muito difícil de testá-lo a não ser que eu usasse uma máscara branca.

1:55

Infelizmente, já passei por este problema antes. Quando eu era graduando na Georgia Tech estudando Ciência da Computação, eu trabalhava com robôs sociais e uma de minhas tarefas era fazer um robô brincar de peek-a-boo, uma brancadeira simples onde as pessoas brincando cobrem sua própria face e a descobrem dizendo “Peek-a-boo!”. O problema é: peek-a-boo não funciona se eu não posso ver você, e meu robô não conseguia me ver. Mas eu emprestei o rosto de minha colega de quarto para fazer o projeto, submeti o trabalho e percebi, sabe de uma coisa, outra pessoa vai resolver este problema.

2:32

Não muito tempo depois disto, eu estava em Hong Kong para uma competição de empreendedorismo. Os organizadores decidiram levar os participantes a um tour pelas statups locais. Uma das startups tinha um robô social e eles decidiram fazer uma demonstração. A demo funcionou com todo mundo, exceto comigo, como você pode adivinhar. Não conseguiu detectar meu rosto. Perguntei aos desenvolvedores o que estava acontecendo e disseram que também estavam usando o mesmo software genérico de reconhecimento facial. Do outro lado do mundo, aprendi que o viés algorítmico pode viajar tão rápido quanto baixar alguns arquivos da internet.

3:14

Então o que estava acontecendo? Por que minha face não estava sendo detectada? Bem, precisamos nos debruçar como damos visão às máquinas. Visão computacional usa aprendizado de máquina para fazer reconhecimento facial. Então funciona da seguinte forma. Você cria uma base de treinamento com exemplos de rostos. Este é um rosto. Este é um rosto. Isto não é um rosto. E ao longo do tempo, você pode ensinar um computador a como reconhecer outros rostos. Entretanto, se a base de treinamento não é diversa, qualquer rosto que se desvie da norma estabelecida será difícil de detectar, o que aconteceu comigo.

3:48

Mas não se preocupe – há boas notícias. Bases de treinamento não se materializaram do nada. Na verdade, nós criamos eles. Então há uma oportunidade para criar bases de treinamento realmente abrangentes que reflitam um retrato mais rico da humanidade.

4:03

Agora vocês viram em meus exemplos com robôs sociais como eu descobri sobre exclusão com viés algorítmico. Mas viés algorítmico também pode levar a práticas discriminatórias. Nos EUA, departamentos de polícia estão começando a usar softwares de reconhecimento facial em seu arsenal contra o crime. Georgetown Law publicou um relatório mostrando como um a cada dois adultos nos EUA – cerca de 117 milhões de pessoas – já tem seus rostos em redes de reconhecimento facial. Departamentos de polícia atualmente acessam estas redes desreguladas, usando algoritmos que não foram auditados para precisão. Mas sabemos que reconhecimento facial é falível e identificar rostos consistentemente continua sendo um desafio. Você pode ter visto isto no Facebook. Meus amigos e eu rimos toda hora vendo pessoas marcadas de forma errada em nossas fotos. Mas identificar de forma errônea um suspeito de crime não é uma piada, assim como não é infringir as liberdades civis.

5:11

Aprendizado de máquina tem sido usado para reconhecimento fácil, mas também está se ampliando além do reino da visão computacional. Em seu livro “Weapons of Math Destruction”, a cientista de dados Cathy O’Neil fala sobre o crescimento dos novos WMDs – widespread, mysterious e destructive algoritmos que estão sendo cada vez mais usados para tomada de decisões que impactam mais e mais aspectos de nossas vidas. Então quem é contratado ou demitido?  Você consegue aquele empréstico? Você consegue seguro? Você é aprovado na faculdade que queria? Você e eu pagamos o mesmo preço pelo menos produto comprado na mesma plataforma?

5:55

Instituições da lei estão começando a aplicar aprendizado de máquina para polícia preditiva. Alguns juízes usam escores de risco gerados por máquinas para determinar quanto um indivíduo vai ficar na prisão. Então realmente temos que pensar nestas decisões. Elas são justas? E o que estamos vendo é que o viés algorítmico não necessariamente leva a resultados justos.

6:19

E o que podemos fazer sobre isto? Bem, podemos começar a pensar sobre como criar código mais inclusivo e empregar práticas de programação inclusivas. Realmente começa com as pessoas. Então quem programa importa. Estamos criando times abrangentes com indivíduos diversos que podem checar os pontos cegos uns dos outros? No lado técnico, como se programa importa. Estamos adicionando equidade enquanto desenvolvemos sistemas? E, finalmente, o porquê de programarmos importa. Usamos ferramentas de criação computacional para gerar riqueza imensa. E agora temos a oportunidade de gerar ainda mais igualdade se tornarmos mudança social uma prioridade e não apenas algo secundário. E são estes os três princípios que fazem o movimento “incoding”. Quem programa importa, como programamos importa e quem programa importa

7:14

Então para ir em direção a “incoding”, nós podemos começar a pensar em construir plataformas que identifiquem vieses ao coletar as experiências das pessoas como as que eu compartilhei, mas também auditando software existente. Nós podemos começar a criar bases de treinamento mais inclusivas. Imagine uma campanha “Selfies para Inclusão” onde você e EU podemos ajudar desenvolvedores testar e criar bases de treinamento mais inclusivas. E nós podemos pensar mais conscientemente sobre o impacto social da tecnologia que estamos desenvolvendo.

7:48

Para começar este movimento de “incoding”, lancei a Liga da Justiça Algorítmica (Algorithmic Justice League), onde qualquer pessoa que se importa com equidade pode ajudar a lugar o olhar codificado. Em codedgae.com, você pode reportar viés, pedir auditorias, se tornar um testador e se juntar ao debate contínuo – #codedgaze

8:11

Então, eu te convido a se juntar a mim na criação de um mundo onde a tecnologia trabalha para todos nós, não apenas alguns de nós, um mundo onde valorizamos inclusão e centralizamos mudança social.

8:24

Obrigado.

8:25

(Aplausos)

8:31

Mas eu tenho uma questão: vocês vão se juntar a mim na luta?

8:36

Risadas

8:38

Aplausos

Curso de Monitoramento de Mídias Sociais no Rio de Janeiro

Nos dias 11 e 18 de março acontecerá a primeira edição do curso de Monitoramento de Mídias Sociais do IBPAD no Rio de Janeiro. Com o conteúdo que aprimoramos e atualizamos desde 2010, o Wesley Muniz (Gerente de BI no Bradesco) e eu falaremos de escolha de ferramentas, preparação de briefing, planejamento da pesquisa, critérios de sentimento, construção de categorias e tags e, sobretudo, muitas aplicações.

A programação engloba os itens abaixo:

  • Mídias Sociais para Compreensão da Sociedade e Consumo
  • Métodos Digitais de Pesquisa
  • O Mercado de Monitoramento de Mídias Sociais
  • Ferramentas de Monitoramento de Mídias Sociais
  • Dados, Informação e Conhecimento
  • Análise de Sentimento
  • Gerando Categorias e Tags de Análise
  • Decompondo Produtos e Serviços
  • Entendendo Demandas de Informação
  • Gerando Hipóteses
  • Técnicas de Regras e Automatização
  • Monitoramento para Planejamento e Conteúdo
  • Cases de Análise de Comportamento
  • Tipos de Entrega de Monitoramento de Mídias Sociais
  • Modelos de Monetização dos Dados e Informações
  • Produzindo o Relatório

Aproveite o código tarumonit20 para um desconto maior na inscrição. Te vejo lá?

O potencial contra-hegemônico da internet sob ameaça em tempos de concentração midiática no Facebook

Não são poucos os exemplos dos possíveis malefícios que a coleta de dados pervasiva pode trazer a indivíduos atomizados em posições baixas nas hierarquias financeiras e tecnológicas da contemporaneidade. Em um dos casos mais famosos (descrito em MAYER-SCHONBERGER, 2009), uma professora americana, Stacy Snyder, publicou uma foto pessoal em seu perfil MySpace, na qual segurava um copo em uma festa. A legenda, “drunken pirate”, dava a entender que Stacy estava consumindo bebidas alcoólicas. Os oficiais responsáveis em sua escola fizeram uma busca na internet, encontraram a foto e julgaram que Snyder não poderia receber o certificado para ensinar, devido a seu suposto comportamento inadequado de auto-exposição pública. Este é um dos diversos casos limítrofes que Mayer-Schonberger cita em seu livro para compartilhar com o leitor os problemas que diversos desenvolvimentos técnicos e novas práticas sociais online trouxeram.

Com mais de uma década de casos em plataformas como Facebook e Twitter, já há livros dedicados a colecionar exemplos de eventos de impactos em trajetórias individuais como o livro de  Jon Ronson So You’ve Been Publicly Shamed (2016). Para além do impacto devastador que a exposição de alguma informação sensível possa ter para um indivíduo específico, os dados também tem sido explorados por academia e imprensa quanto a seu potencial de vigilância de instituições policiais como Estado. Preocupações quanto ao uso feito pela polícia propriamente dita, órgãos de inteligência como NSA (RISEN & POITRAS, 2013) e por grandes empresas de profiling são relevantes para entender os perigos da auto-exposição online (BRUNO, 2012).

Mas outro ponto essencial é compreender como as grandes empresas de “mídia social” exploram o discurso da abertura dos dados enquanto, a rigor, desenvolvem sistemas algorítmicos de controle de expressão e visibilidade de conteúdos. Em 2014 foi a público um dos estudos desenvolvidos pelo Facebook, documentado em artigo chamado Experimental evidence of massive-scale emotional contagion through social networks (KRAMER, GUILORY & HANCOCK, 2014). De modo simplificado, descreve como pequenas mudanças no algoritmo de exibição de conteúdo no Facebook impactaram emocionalmente 700 mil pessoas na plataforma. A divulgação do estudo gerou amplo debate em imprensa e academia, com duras reprimendas feitas tanto por especialistas em ética e privacidade quanto especialistas em métodos digitais de pesquisa, como Dhiraj Murthy que argumentou que “any potential scientific value of these findings (despite how valuable they may be) is outweighted by gross ethical negligence” (MURTHY, 2015, pos.1010).

O potencial assustador de impacto da plataforma no cotidiano das pessoas alcançou níveis definitivamente preocupantes com este estudo, levando a indagações também sobre os tipos possíveis de interferências que não chegam a virar documentos e artigos científicos.

Apesar de promover como suposta missão “to give people the power to share and make the world more open and connected”, o Facebook é uma caixa-preta para praticamente qualquer pessoa que não faça parte da restrita lista de decisores, cientistas e engenheiros de seus quadros.

E, para além destes pontos levantados, há ainda uma essencial preocupação sobre o impacto que o uso relativamente excessivo do Facebook frente a outras modalidades de comunicação online pode gerar. Além do debate frequente sobre os filtros-bolha e seu possível impacto no recrudescimento de posições morais progressistas, temos também a limitação de potenciais generativos da internet. Plataformas sem possibilidades de edição, exploração de códigos e funcionalidades devido a seu controle centralizado, patentes, copyright e restrições de acesso aos dados ameaçam as atividades de digital craftsmanship (LOSEY & MEINRATH, 2016).

A metrificação do cotidiano e o aparente retorno mais rápido (ao menos o metrificado) de audiência no Facebook faz com que pessoas comuns, empreendedores e produtores culturais deixem de explorar recursos open source para construção de presença na internet (como WordPress, por exemplo).

Então, a rigor, o nível de impacto direto que plataformas centralizadoras como o Facebook possuem no proposto pelo Artigo 19º da Declaração Universal dos Direitos Humanos pode ser questionado: “Todo o indivíduo tem direito à liberdade de opinião e de expressão, o que implica o direito de não ser inquietado pelas suas opiniões e o de procurar, receber e difundir, sem consideração de fronteiras, informações e ideias por qualquer meio de expressão”.

Até que ponto, então, as mídias sociais não estão se tornando um local de restrição de informações, ideias e do potencial empoderador da internet? O ethos publicitário que envolve as atividades criativas na internet convergem na metrificação de tudo no Facebook, deixando os potenciais humanistas da web 2.0 (ROMANI & KUKLINSKI, 2007).

É necessário questionar a eficácia dos fins do Facebook em contraponto a objetivos de transformação social, ecoando a distinção entre técnica e ética proposta por Comparato: “A técnica guia-se, pois, exclusivamente, pelo valor da utilidade ou eficiência dos meios da produção de um resultado”, enquanto trazer a ética para o centro dos objetivos significa acentuar “o fim último visado pelo agente e o seu valor, relativamente a outras pessoas que com ele tratam, ou em relação à coletividade” (COMPARATO, 2006, p.504)

Para alcançar estes objetivos, torna-se essencial um esforço coletivo crítico para superar os enquadramentos apenas utópicos sobre o potencial das mídias sociais. Enquanto suas rotinas produtivas não estiverem disseminadas entre sociedade civil, pesquisadores acadêmicos e imprensa, o discurso de suposta disrupção quanto a anteriores hierarquias comunicacionais pode gerar mais dano do que benefícios.

O argumento de que “os meios tradicionais de comunicação passaram a perder espaço para essa nova modalidade intercomunicativa, operacionalizada não mais por proprietários de veículos de comunicação, mas por cidadãos comuns” (MAZZUOLI, p.229), comum em discursos acadêmicos, imprensa e senso comum fortalece a invisibilidade das novas práticas do capitalismo cognitivo. Há uma agência expandida, de fato, das pessoas através do uso da internet para se conectar, gerar conteúdo e realizar ações em prol de suas comunidades, mas parece haver pouca distinção sobre as origens e modelos de negócio das tecnologias empregadas.

É possível concluir que não existe uma equivalência entre conexão e conectividade (tradução difícil dos conceitos de Jose van Dijck (2013): connectedness e connectivity). Por um lado a cultura participativa é promovida pelas pessoas e seus interesses de sociabilidade e compartilhamento, reapropriando sim as mídias sociais para fins construtivos tanto do ponto de vista pessoal quanto societário. Mas, ao mesmo tempo, está presente também a transformação dos pontos de dados relacionais e de atributos sobre os indivíduos e seus comportamentos, empreendida pelo Facebook para fortalecer seus modelos de negócio e centralizar a internet.

 

* Texto originalmente redigido como position paper para a disciplina Direitos à Comunicação na Sociedade da Informação, no doutorado da UMESP, com o prof. Fábio Josgrilberg

 

Referências

BRUNO, Fernanda. Rastros Digitais: o que eles se tornam quando vistos sob a perspectiva da teoria ator-rede? Compós, 2012.

COMPARATO, Fábio Konder. Ética: direito, moral e religião no mundo moderno. São Paulo: Companhia das Letras, 2006.

VAN DIJCK, José. The culture of connectivity: A critical history of social media. Oxford University Press, 2013.

KRAMER, Adam DI; GUILLORY, Jamie E.; HANCOCK, Jeffrey T. Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, v. 111, n. 24, p. 8788-8790, 2014.

LOSEY, James; MEINRATH, Sascha D. In Defense of the Digital Craftsperson. Journal of Peer Production, n.9, 2016.

MAYER-SCHONBERGER, Viktor. Delete: the virtue of forgetting in the digital age. Princeton, Princeton University Press: 2009.

MAZZUOLI, Valerio de Oliveira. Direitos comunicativos como direitos humanos: abrangência, limites, acesso à Internet e direito ao esquecimento. Revista do Direito de Língua Portuguesa, nº 6, (Julho/Dezembro de 2015), p. 219-240.

MURTHY, Dhiraj. Dislike This: Facebook’s Experimental Ethics. In: WOODFIELD, Kandy (org.). Social Media in Social Research: Blogs on Blurring the Boundaries. Online: NatCen Social Research, 2014.

RISEN, James; POITRAS. N.S.A. Gathers Data on Social Connections of U.S. Citizens. NY Times. 28/09/2013. Disponível em http://www.nytimes.com/2013/09/29/us/nsa-examines-social-networks-of-us-citizens.html

ROMANÍ, Cristóbal C.; KUKLINSKI, Hugo P. Planeta Web 2.0: Inteligencia colectiva o medios fast food. México: 2007. Disponível em: <http://www.planetaWeb2.net/>.

RONSON, Jon. So you’ve been publicly shamed. New York: Riverhead Books, 2016.