conferência ethos | Tarcízio Silva

Nesta terça-feira tive o prazer de participar da Conferência Ethos 360 em São Paulo. O debate, de título “O que ou quem controlará os algoritmos – o racismo estrutural e institucional na era digital” foi realizado entre mim, Silvana Bahia, criadora do Olabi e Debora Pio, do Nossas, com mediação de Sheila de Carvalho, do Instituto Ethos.

Antes do debate apresentei uma rápida fala com alguns pontos que vejo como essenciais para empresas responsáveis com um mundo menos injusto. Segue abaixo o slideshow e transcrição simplificada:

Algoritmos – e problemas decorrentes – estão em todas esferas da vida. Antes de qualquer coisa, uso de sistemas automatizados com “inteligência artificial” e algoritmos estão em todas as esferas da vida. Assim também estão os problemas decorrentes. Pesquisadoras, ativistas e jornalistas descobriram problemas nas mais diferentes esferas e tecnologias, como: discriminação contra linguagem de minorias; imprecisão na identificação de pessoas e gênero de pessoas negras; fragilidades em tecnologias de processos seletivos e outros. Vale enfatizar dois mais chocantes. O primeiro é a descoberta de que alguns sistemas de reconhecimento de pessoas para carros autônomos erram mais com pedestres negros – o que pode gerar atropelamentos, por exemplo. O outro é a descoberta que sistemas de análise de potencial de reincidência geraram sugestões de penas mais severas para réus negros que cometeram crimes irrelevantes, em comparação e réus brancos que cometeram crimes violentos repetidamente.

São só alguns exemplos entre muitos outros quanto a raça, gênero, sexualidade e condições neuroatípicas – mantenho uma Linha do Tempo do Racismo Algorítmico com algumas dúzias…

Considerando que temos um campo em construção de crítica tecnológica voltada a algoritmos, portanto há cinco pontos que vejo como essenciais para as empresas.

Tecnologias discriminatórias não são novas

Um ponto relevante é entender que tecnologias discriminatórias não são novas – e nem estão sendo estudadas somente agora. Nos últimos 70 diversos campos da sociologia e filosofia se debruçaram sobre como tecnologias possuem vieses políticos e ideológicos, de forma intencional ou não.

O campo da Sociologia chamado “Estudos da Ciência e Tecnologia” e a Teoria Racial Crítica para o Direito são exemplos de campos que estudaram como tecnologias, políticas públicas e legislações podem gerar desigualdades, de fotografia a maconha, de equipamentos médicos a urbanismo. Um caso famoso, por exemplo, são as decisões que Robert Moses planejou em Nova Iorque. Intencionalmente escolheu pontes baixas em algumas regiões para evitar que ônibus pudessem integrar bairros ricos e pobres – segregados racialmente, deixando a população negra longe dos bons serviços públicos.

Entender que existe um histórico de pensamento e crítica sobre a tecnologia é importante para não reinventarmos a roda, quadrada. Sociólogos e historiadores podem ajudar as empresas a entenderem os potenciais nocivos de decisões sobre tecnologia. E como algumas tecnologias digitais não são tão perenes quanto pontes, agir para remediá-las.

Racismo algorítmico não é uma questão de matemática

Além disto, é importante entender que racismo algorítmico ou na inteligência artificial não é uma questão de matemática. Argumentos comuns de que “tecnologias são neutras” ou “algoritmos são só matemática” são muito limitadores.

É necessário entender que as tecnologias devem ser vistas em seu contexto e não como se existissem em um vácuo social. No caso de aprendizado de máquina, no qual um sistema se baseia em dados fornecidos para tomar ações e criar comportamentos, os exemplos de problemas são muito frequentes.

Um dos mais famosos foi a robô conversacional Tay, lançada pela Microsoft em 2016. A empresa buscou mostrar seus serviços de chatbot, mercado potencialmente bilionário, lançando uma robô no Twitter que aprenderia a conversar na prática falando com outros usuários do Twitter.

O resultado foi desastroso. Em menos de 24 horas, a robô passou a promover mensagens nazistas, racistas, misóginas e homofóbicas. Um projeto que passou por desenvolvedores, marketeiros e jurídico foi pro ar sem pensar nestes impactos nocivos.

A empresa tirou o robô do ar imediatamente depois do escândalo e lançou outro algum tempo depois, desta vez com o cuidado necessário na construção de filtros sobre violência e discurso de ódio.

Mas a questão é: como ninguém no processo produtivo se perguntou o que poderia gerar de violência contra grupos minoritários? A crítica social da tecnologia explica.

Espelhar a sociedade não é uma boa ideia

Boa parte do que vemos hoje em inteligência artificial é baseado em uma ou outra medida em aprendizado de máquina. Basicamente, esta ideia – assim como a da Tay, é partir de conjuntos de dados já existentes para gerar decisões que cheguem a resultados similares ou supostamente melhores.

Só que a grande maioria das esferas sociais é altamente desigual. Desenvolver sistemas que repliquem dinâmicas e hierarquias já presentes na sociedade é ter a certeza que produzirá mais desigualdade. E, pior, como são decisões escondidas no algoritmos da máquina, não podem ser combatidas tão diretamente.

Um bom exemplo do que estou falando são pesquisas sobre diversidade nas empresas. O estudo sobre o perfil de diversidade e ações afirmativas nas 500 maiores empresas do Brasil, produzido pela Ethos, é louvável e nos mostra dados preocupantes como concentração de raça e gênero nos níveis profissionais de destaque. Saber destes dados permite analisar a relação com o contexto histórico e social e tomar ações por um mundo mais justo. Mas e quando os dados e decisões são escondidos em sistemas opacos não é possível agir.

Não é apenas uma questão de “viés inconsciente”

Outro ponto é que muito do que se fala sobre agentes artificiais é sobre “viés” ou “bias”. Sim, de fato, parte dos problemas acontece pois falta de percepção social de alguns desenvolvedores sobre um determinado sistema ou impacto social. Isto deve ser abordado sem dúvidas e algumas iniciativas tem feito isto muito bem. Precisamos que as empresas tomem iniciativas neste sentido.

Mas e quando o sistema é contratado literalmente para segregar e perseguir pessoas? No momento funcionários e sociedade civil protestam contra empresas como Amazon e Palantir nos EUA, pois elas estão apoiando o governo americano na perseguição de migrantes e organização de campos de concentração.

Então não é apenas uma questão de viés inconsciente, é uma questão de propósito e humanidade das empresas.

Esforço multidisciplinar: ativistas, jornalistas e sociedade

Um quarto ponto é lembrar que o esforço deve ser multidisciplinar. Entender algoritmos não é uma questão apenas para engenheiros e cientistas da computação. Boa parte dos grandes projetos de análise de discriminação por algoritmos ou inteligência artificial foi realizado por jornalistas, ativistas.

Empresas que busquem ser éticas na produção e contratação da implementação de sistemas com inteligência artificial devem procurar profissionais que sirvam como auditores diversos e não estejam comprometidos apenas com a tecnologia sendo vendida.

Um dado sobre esta necessidade é o número de novos modelos de aplicações de inteligência artificial. A linha vermelha na tela mostra o número de novos modelos propostos no NIPS, um dos maiores eventos de inteligência artificial do mundo. Já a linha azul é o número de trabalhos analisando os modelos já existentes. Ou seja, a produção é muito mais numerosa do que sua análise.

Empresas, sociedade e governo em interação

Por fim, é importante lembrar que tudo isto é tarefa das empresas, mas também da sociedade civil e dos governos. Em alguns locais há avanços na legislação sobre internet e uso de dados, como o GDPR na Europa e Lei Geral de Proteção de Dados no Brasil. Está em discussão,o por exemplo, a capacidade do cidadão de revisar decisões automatizadas em processos de escolha, classificação, escores, cálculos de risco ou probabilidade e outros baseados em algoritmos, IA, aprendizado de máquina e demais modelos estatísticos e computacionais.

Por fim, a transparência é indicada pelas diversos campos. O Fórum Econômico Mundial propôs ano passado melhores práticas sobre inclusão ativa, acesso a remediação, equidade e sobretudo o “Direito a Entender” os algoritmos. Perguntas sobre erros, fontes de dados e procedimentos devem ser documentados e passíveis de crítica e análise por usuários e sociedade civil.

Esta é apenas uma de dezenas de iniciativas de porte similar por organizações e comissões comprometidas com algum nível de ética e responsabilidade social das empresas. Espero que a apresentação sirva para gerar mais debates e reflexões – este documento, com links para os dados e casos citados, vai estar disponível. Enfim, esta é minha contribuição inicial para a nossa conversa.