Teoria Racial Crítica e Comunicação Digital?

Prof. Derrick Bell

A Teoria Racial Crítica é um framework teórico-metodológico proposto inicialmente por pesquisadores do Direito para combater a aplicação racista da legislação. A Teoria Racial Crítica (TRC) transpôs as fronteiras do Direito e tem sido aplicada em diversos países afrodiaspóricos à Educação, Sociologia e outras áreas como a Comunicação, mas ainda tangencial nesta última. Entretanto, há uma geração de pesquisadores que tem provado que a perspectiva da Teoria Racial Crítica fornece lentes apropriadas para superar o que eu chamo de dupla opacidade – “o modo pelo qual os discursos hegemônicos invisibilizam tanto os aspectos sociais da tecnologia quanto os debates sobre a primazia de questões raciais nas diversas esferas da sociedade – incluindo a tecnologia, recursivamente“.

Com o objetivo de colaborar para as conexões deste framework teórico, publiquei no Intercom 2019 o artigo “Teoria Racial Crítica e Comunicação Digital: conexões contra a a dupla opacidade“. O trabalho apresenta a Teoria Racial Crítica e discute do ponto de vista da comunicação digital e de casos de racismo algorítmico seis pilares definidores da TRC:

a) a ordinariedade do racismo;

b) construção social da raça;

c) interseccionalidade e anti-essencialismo;

d) reconhecimento do conhecimento experiencial;

e) agência no combate efetivo da opressão racial;

f) e a interdisciplinaridade

 

Você pode ler o artigo completo já no ResearchGate e em breve será publicada uma versão expandida como capítulo no livro “Fluxos em redes sociais sociotécnicas: das micro-narrativas ao big data

Racismo Algorítmico: pontos essenciais para as empresas responsáveis

Nesta terça-feira tive o prazer de participar da Conferência Ethos 360 em São Paulo. O debate, de título “O que ou quem controlará os algoritmos – o racismo estrutural e institucional na era digital” foi realizado entre mim, Silvana Bahia, criadora do Olabi e Debora Pio, do Nossas, com mediação de Sheila de Carvalho, do Instituto Ethos.

Antes do debate apresentei uma rápida fala com alguns pontos que vejo como essenciais para empresas responsáveis com um mundo menos injusto. Segue abaixo o slideshow e transcrição simplificada:

Algoritmos – e problemas decorrentes – estão em todas esferas da vida. Antes de qualquer coisa, uso de sistemas automatizados com “inteligência artificial” e algoritmos estão em todas as esferas da vida. Assim também estão os problemas decorrentes. Pesquisadoras, ativistas e jornalistas descobriram problemas nas mais diferentes esferas e tecnologias, como: discriminação contra linguagem de minorias; imprecisão na identificação de pessoas e gênero de pessoas negras; fragilidades em tecnologias de processos seletivos e outros. Vale enfatizar dois mais chocantes. O primeiro é a descoberta de que alguns sistemas de reconhecimento de pessoas para carros autônomos erram mais com pedestres negros – o que pode gerar atropelamentos, por exemplo. O outro é a descoberta que sistemas de análise de potencial de reincidência geraram sugestões de penas mais severas para réus negros que cometeram crimes irrelevantes, em comparação e réus brancos que cometeram crimes violentos repetidamente.

São só alguns exemplos entre muitos outros quanto a raça, gênero, sexualidade e condições neuroatípicas – mantenho uma Linha do Tempo do Racismo Algorítmico com algumas dúzias…

Considerando que temos um campo em construção de crítica tecnológica voltada a algoritmos, portanto há cinco pontos que vejo como essenciais para as empresas.

 

Tecnologias discriminatórias não são novas

Um ponto relevante é entender que tecnologias discriminatórias não são novas – e nem estão sendo estudadas somente agora. Nos últimos 70 diversos campos da sociologia e filosofia se debruçaram sobre como tecnologias possuem vieses políticos e ideológicos, de forma intencional ou não.

O campo da Sociologia chamado “Estudos da Ciência e Tecnologia” e a Teoria Racial Crítica para o Direito são exemplos de campos que estudaram como tecnologias, políticas públicas e legislações podem gerar desigualdades, de fotografia a maconha, de equipamentos médicos a urbanismo. Um caso famoso, por exemplo, são as decisões que Robert Moses planejou em Nova Iorque. Intencionalmente escolheu pontes baixas em algumas regiões para evitar que ônibus pudessem integrar bairros ricos e pobres – segregados racialmente, deixando a população negra longe dos bons serviços públicos.

Entender que existe um histórico de pensamento e crítica sobre a tecnologia é importante para não reinventarmos a roda, quadrada. Sociólogos e historiadores podem ajudar as empresas a entenderem os potenciais nocivos de decisões sobre tecnologia. E como algumas tecnologias digitais não são tão perenes quanto pontes, agir para remediá-las.

 

Racismo algorítmico não é uma questão de matemática

Além disto, é importante entender que racismo algorítmico ou na inteligência artificial não é uma questão de matemática. Argumentos comuns de que “tecnologias são neutras” ou “algoritmos são só matemática” são muito limitadores.

É necessário entender que as tecnologias devem ser vistas em seu contexto e não como se existissem em um vácuo social. No caso de aprendizado de máquina, no qual um sistema se baseia em dados fornecidos para tomar ações e criar comportamentos, os exemplos de problemas são muito frequentes.

Um dos mais famosos foi a robô conversacional Tay, lançada pela Microsoft em 2016. A empresa buscou mostrar seus serviços de chatbot, mercado potencialmente bilionário, lançando uma robô no Twitter que aprenderia a conversar na prática falando com outros usuários do Twitter.

O resultado foi desastroso. Em menos de 24 horas, a robô passou a promover mensagens nazistas, racistas, misóginas e homofóbicas. Um projeto que passou por desenvolvedores, marketeiros e jurídico foi pro ar sem pensar nestes impactos nocivos.

A empresa tirou o robô do ar imediatamente depois do escândalo e lançou outro algum tempo depois, desta vez com o cuidado necessário na construção de filtros sobre violência e discurso de ódio.

Mas a questão é: como ninguém no processo produtivo se perguntou o que poderia gerar de violência contra grupos minoritários? A crítica social da tecnologia explica.

 

Espelhar a sociedade não é uma boa ideia

Boa parte do que vemos hoje em inteligência artificial é baseado em uma ou outra medida em aprendizado de máquina. Basicamente, esta ideia – assim como a da Tay, é partir de conjuntos de dados já existentes para gerar decisões que cheguem a resultados similares ou supostamente melhores.

Só que a grande maioria das esferas sociais é altamente desigual. Desenvolver sistemas que repliquem dinâmicas e hierarquias já presentes na sociedade é ter a certeza que produzirá mais desigualdade. E, pior, como são decisões escondidas no algoritmos da máquina, não podem ser combatidas tão diretamente.

Um bom exemplo do que estou falando são pesquisas sobre diversidade nas empresas. O estudo sobre o perfil de diversidade e ações afirmativas nas 500 maiores empresas do Brasil, produzido pela Ethos, é louvável e nos mostra dados preocupantes como concentração de raça e gênero nos níveis profissionais de destaque. Saber destes dados permite analisar a relação com o contexto histórico e social e tomar ações por um mundo mais justo. Mas e quando os dados e decisões são escondidos em sistemas opacos não é possível agir.

 

Não é apenas uma questão de “viés inconsciente”

Outro ponto é que muito do que se fala sobre agentes artificiais é sobre “viés” ou “bias”. Sim, de fato, parte dos problemas acontece pois falta de percepção social de alguns desenvolvedores sobre um determinado sistema ou impacto social. Isto deve ser abordado sem dúvidas e algumas iniciativas tem feito isto muito bem. Precisamos que as empresas tomem iniciativas neste sentido.

Mas e quando o sistema é contratado literalmente para segregar e perseguir pessoas? No momento funcionários e sociedade civil protestam contra empresas como Amazon e Palantir nos EUA, pois elas estão apoiando o governo americano na perseguição de migrantes e organização de campos de concentração.

Então não é apenas uma questão de viés inconsciente, é uma questão de propósito e humanidade das empresas.

Esforço multidisciplinar: ativistas, jornalistas e sociedade

Um quarto ponto é lembrar que o esforço deve ser multidisciplinar. Entender algoritmos não é uma questão apenas para engenheiros e cientistas da computação. Boa parte dos grandes projetos de análise de discriminação por algoritmos ou inteligência artificial foi realizado por jornalistas, ativistas.

Empresas que busquem ser éticas na produção e contratação da implementação de sistemas com inteligência artificial devem procurar profissionais que sirvam como auditores diversos e não estejam comprometidos apenas com a tecnologia sendo vendida.

Um dado sobre esta necessidade é o número de novos modelos de aplicações de inteligência artificial. A linha vermelha na tela mostra o número de novos modelos propostos no NIPS, um dos maiores eventos de inteligência artificial do mundo. Já a linha azul é o número de trabalhos analisando os modelos já existentes. Ou seja, a produção é muito mais numerosa do que sua análise.

 

Empresas, sociedade e governo em interação

Por fim, é importante lembrar que tudo isto é tarefa das empresas, mas também da sociedade civil e dos governos. Em alguns locais há avanços na legislação sobre internet e uso de dados, como o GDPR na Europa e Lei Geral de Proteção de Dados no Brasil. Está em discussão,o por exemplo, a capacidade do cidadão de revisar decisões automatizadas em processos de escolha, classificação, escores, cálculos de risco ou probabilidade e outros baseados em algoritmos, IA, aprendizado de máquina e demais modelos estatísticos e computacionais.

Por fim, a transparência é indicada pelas diversos campos. O Fórum Econômico Mundial propôs ano passado melhores práticas sobre inclusão ativa, acesso a remediação, equidade e sobretudo o “Direito a Entender” os algoritmos. Perguntas sobre erros, fontes de dados e procedimentos devem ser documentados e passíveis de crítica e análise por usuários e sociedade civil.

Esta é apenas uma de dezenas de iniciativas de porte similar por organizações e comissões comprometidas com algum nível de ética e responsabilidade social das empresas. Espero que a apresentação sirva para gerar mais debates e reflexões – este documento, com links para os dados e casos citados, vai estar disponível. Enfim, esta é minha contribuição inicial para a nossa conversa.

 

Pra ler mais

Em Português

•       Timeline do Racismo Algorítmico

•       Visão Computacional e Branquitude

•       Microagressões e Racismo Codificado

•       Democracia e os Códigos Invisíveis

•       Tudo Sobre Tod@s

•       Modulação Algorítmica

•       Bancos de Imagens e Mulheres Negras

Em Inglês

•       Algorithms of Oppression

•       Race After Technology

•       Dark Matters

•       Technicolor

•       Gender Shades

•       Artificial (Un)Intelligence

•       Automating Inequality

•       Interrogating Vision APIs

•       Captivating Technology

•       Five Principles for AI in Society

•       Neurons Spike Back

•       The Risks of Bias and Errors in Artificial Intelligence

•       AI’s social sciences deficit

“Ser humano: que ficção é essa?” – Mesa-redonda em Curitiba, 21 de agosto

Com apoio do programa Rumos Itaú Cultural, o Projeto Enquanto Somos Humanos realiza a Mesa Redonda – Ser humano: que ficção é essa? – dia 21 de agosto, às 19h, em Curitiba, no Teatro José Maria Santos. A entrada é gratuita.

Se máquinas e robôs estão sendo programados a pensar e agir como humanos, como, ao longo da nossa história, aprendemos a ser humanos? Com o rápido avanço e inserção das tecnologias digitais em nossas vidas, a definição de humano poderá ser modificada? O que nos torna humanos? Que projeto de humanidade estamos construindo agora?

A mesa-redonda contará com a participação dos seguintes estudiosos/profissionais:

FLÁVIA BERNARDINI (RJ) – Flávia possui graduação em Ciência da Computação pela UNESP e mestrado e doutorado em Ciência da Computação pelo ICMC/USP. É professora associada do Instituto de Computação da Universidade Federal Fluminense (UFF). Tem experiência na coordenação e execução de projetos de pesquisa e desenvolvimento há mais de 10 anos utilizando Inteligência Artificial (IA). A temática de Cidades Inteligentes também tem sido um grande interesse de pesquisa. Também, coordena um projeto de ensino voltado para a educação básica, envolvendo programação, pensamento computacional e robótica educativa. Em sua fala, fará reflexões sobre o uso das tecnologias computacionais e da IA no processo diário de tomada de decisão, e os impactos sociais e educacionais no nosso cotidiano.

EDUARDO EKMAM SCHENBERG (SP). Neurocientista pioneiro no estudo de substâncias psicodélicas, trabalha com estados extraordinários de consciência em seus múltiplos aspectos, incluindo neuroimagem, xamanismo, respiração holotrópica e novos tratamentos psiquiátricos. Nesta mesa falará sobre a encruzilhada do homo sapiens neste começo de antropoceno e qual o papel dos estados não ordinários de consciência para a regeneração planetária.

RUDÁ IANDÉ (PR). estudioso do xamanismo ancestral e das multidimensões humanas, foi consultor criativo no filme Space in Between – Marina Abramovic in Brazil) – Rudá falará da rede de conhecimento contida no corpo humano e de como acessar tais informações através de experiências corporais e práticas xamânicas. Também falará sobre como os conhecimentos de povos ancestrais podem ser úteis nas sociedades contemporâneas.

TARCÍZIO SILVA (SP). Pesquisador de doutorado UFABC, Associado IBPAD – Instituto Brasileiro de Pesquisa e Análise de Dados. O tema de sua fala será “Abrindo as Caixas Pretas: reações à desinteligência artificial”, refletindo como o technochauvinismo tem promovido uma ideia corporativa de pós-humano. Reações e contra-narrativas do campo da academia e do ativismo serão apresentadas para destacar a opacidade das caixas pretas tecnológicas.

Mediação: VERONICA CALAZANS (PR). Doutora em Filosofia (2014) pelo Programa de Pós-graduação em Filosofia da Universidade de São Paulo. Tem experiência nas áreas de Filosofia Moderna e História e Filosofia da Ciência e da Tecnologia, atuando principalmente nos seguintes temas: realismo matemático, matematização da natureza, cultura e tecnologia. É professora adjunta de Filosofia da Ciência e Tecnologia na UTFPR.

Dia: 21 de agosto
Horário: das 19h às 22h

ENTRADA GRATUITA
Teatro José Maria Santos.
Rua 13 de Maio, 655 – Curitiba

*Esta ação integra o Projeto Enquanto Somos Humanos, contemplado pelo programa Rumos Itaú Cultural. #rumos #itaucultural . Saiba mais em http://www.teatroguaira.pr.gov.br/2019/08/2662/Projeto-aborda-a-desumanizacao-do-corpo-e-a-influencia-da-tecnologia-na-maneira-de-as-pessoas-verem-o-mundo.html 

Avançando Literacia Racial na Tecnologia

Em inglês, a ideia de literacy (literacia) vai além da alfabetização sobre letramento de leitura e escrita. Trata-se da compreensão básica de um determinado campo, esfera de conhecimento ou de prática de modo a permitir que as pessoas vejam a realidade de forma crítica gerando autonomia. O título do documento Advancing Racial Literacy in Tech evoca este sentido, ao propor os necessários avanços da literacia racial na tecnologia, sobretudo em um momento em que a plataformização e algoritmização do mundo cria novas ameaças para grupos minorizados como as populações negras.

O projeto financiado pelo Data & Society, reúne diagnóstico e propostas de referências no tema: Jessie Daniels, uma das principais especialistas mundiais sobre racismo online, autora de livros como Cyber Racism; Mutale Nkonde, analista do Data & Society e uma das responsáveis pelo Algorithmic Accountability Act proposta para a Câmara dos Deputados dos EUA; e Darakhshan Mir, professora de Ciência da Computação na Bucknell University.

O subtítulo do documento evoca uma controvérsia sobre os estudos quanto a algoritmos e as várias linhas de atuação propostas por desenvolvedores, empresas, pesquisadores e afins. As autoras propõem que “ética, diversidade na contratação e treinamento sobre viés implícito não são suficientes”. Para adereçar os diferentes impactos raciais da tecnologia, seria preciso seguir três fundamentos:

  • Compreensão intelectual de como racismo estrutural opera em algoritmos, plataformas de mídias sociais e tecnologias ainda não desenvolvidas;
  • Inteligência emocional sobre como resolver situações racialmente estressantes em organizações e;
  • Compromisso na tomada de ação para reduzir danos a grupos racializados.

As autoras citam diversos casos de racismo algorítmico mapeados por ativistas e pesquisadoras para falar da compreensão intelectual sobre o racismo necessária para que o caminho da literacia racial na tecnologia seja trilhado. Alguns pontos são similares à perspectiva histórica da Teoria Racial Crítica: racismo é um problema atual, não apenas histórico; raça intersecta com classe, gênero e sexualidade; identidades raciais são aprendidas através de práticas sociais; um vocabulário é necessário para discutir raça, racismo e anti-racismo; códigos e práticas raciais precisam ser interpretados com precisão; e “Branquitude” tem um valor simbólico na sociedade.

Seguindo para a inteligência emocional necessária para as organizações, as autoras falam de cinco estágios graduais com quem é confrontado sobre os vieses racistas: Negação, Ausência, Confessional, Confortável e Transformacional. Basicamente esta trilha vai da Negação, o “Não vejo um problema” até o Transformacional, que seria o “Tenho o compromisso de agir para impedir os danos do racismo”. Aqui vejo algo similar. Na divulgação dos primeiros mapeamentos de minha tese tenho sido confrontado geralmente com negação impassível, quando não ataque direto. Então acredito que o debate sobre tecnologias justas deve necessariamente irmanar com o debate sobre raça e racismo no Brasil. Em trabalho recente usei o termo “dupla opacidade” justamente para tratar de como a negação tanto da conversa sobre os impactos sociais da tecnologia quanto sobre o caráter pervasivo do racismo estão ligados.

A seção a seguir fala das barreiras à literacia racial na tecnologia. O primeiro, que também já enfrentei na própria academia, é a noção errônea que “códigos e algoritmos são apenas matemática e matemática não pode discriminar“. Para as autoras isto leva a uma rejeição agressiva sobre os trabalhos que tratam de discriminação algorítmica.

Entre as iniciativas já em curso sobre ética no setor da tecnologia, as autoras identificam três abordagens comuns: investigação dos funis para os profissionais de grupos minoritários; apoio a iniciativas de “diversidade e inclusão”; e teste de vieses implícitos. Mas todas estas abordagens tem suas fragilidades. Vale sublinhar a inclusão de profissionais de grupos racializados como panaceia. Além de não representarem efetivamente sua proporção na população, há outros problemas sobre cultura corporativa e capacidade de transformação, como a Safyia Noble cita em seu livro ao falar do Black Girls Code do Google. As autoras do relatório explicam:

As pessoas na área de tecnologia nos disseram que falar sobre “diversidade e inclusão” é comumente um modo de evitar falra sobre temas raciais diretamente. Ao invés, as pessoas falam sobre “background” ou “experiência” ou “grupos sub-representados”, o que pode ocultar o quão sério é o problema do racismo sistêmico. E, para a pequena porcentagem de pessoas negras e latinas que são contratadas em empresas de tecnologia, elas enfrentam fardos múltiplos de ter de fazer o trabalho de literacia racial para seus colegas, supervisores e cultura corporativa.

Finalizando o relatório, as autoras falam de alguns passos e ações para o futuro. Como criar uma série de vídeo sobre literacia racial; desenvolver uma ferramenta de avaliação; propor currículos para disciplinas em ciência da computação; experimentos e pesquisas sobre literacia racial na tecnologia.

Para finalizar, segue um pequeno resumo do trabalho da Mutale Nkonde sobre o atraso do governo dos EUA em reagir e tentar entender o avanço da inteligência artificial, assim como passos futuros de sua pesquisa como etnografia no congresso para entender o que os times dos deputados e senadores efetivamente sabem sobre o tema:

Baixe o documento em https://racialliteracy.tech