Tecnologia & Ethos Negro – ensaio de Amiri Baraka

Amiri Baraka (1934-2014) foi um escritor, poeta, professor, ativista pan-africano e crítico musical precursor do hip-hop. Seu livro “Black Music” de 1967 é um marco na área. Através de sua atuação, propôs ideias particulares sobre combate ao racismo e colonialismo – mas é pouco conhecido seu ensaio sobre tecnologia, branquitude e um ethos especulativo do que poderia ser a tecnologia preta contemporânea.

No ensaio Technology & Ethos, de 1969, Baraka reflete sobre os aspectos políticos e raciais da tecnologia em argumentos que precederam muitas obras hoje vistas como basilares no tema. O texto original pode ser lido no site da artista Marilyn Nance, mas fiz uma tradução tentativa para apoiar estudantes que não leem inglês. Há algumas particularidades de supressão de letras e estruturas frasais que não fui capaz de traduzir/adaptar plenamente – então quem puder prefira ler o original. Segue:

Tecnologia & Ethos

Amiri Baraka

Máquinas (como Norbert Wiener disse) são uma extensão de seus inventores-criadores. Isto não é tão simples quanto parece. Máquinas e toda a tecnologia do Ocidente são apenas isto: a tecnologia do Ocidente.

Nada precisa parecer ou funcionar do jeito que faz. A liberdade do homem do Ocidente, que foi conquistada não-cientificamente às custas dos povos do resto do mundo, o permitiu expandir suas disposições mentais e sensibilidades onde quer que foram e assim moldaram o mundo e seus poderosos artefatos-motores.

Poder político também é o poder de criar – não apenas o que será criado de fato – mas a liberdade de ir onde quiser ir (mentalmente e fisicamente). Criação Preta – criação impulsionada pelo ethos Preto traz resultados especiais.

Imagine a si mesmo, um criador Preto, livre de amarras europeias que significam de início as amarras ao desenvolvimento mental autodeterminado. Pense quais seriam os resultados de gerações libertas de inventores-criadores com o apoio dos recursos de suas nações. Imaginar-pensar-construir-energizar!!!

Como você se comunica com grandes massas do povo Preto? Como você usa a terra para alimentar massas de pessoas? Como você cura pessoas? Como você previne doenças? Quais são os objetivos do povo Preto em viagem espacial?

Isto atordoa a mente. Para se libertar, deixe a mente fazer o que deve como uma força construtiva de progresso, aproveitando toda a energia dos recursos de conhecimento de uma nação.

Estes cientistas brancos com bolsas vitalícias ou pensando problemas no Instituto de Estudos Avançados de Princenton.

Então um telefone é uma solução para uma cultura para o problema de enviar palavras através do espaço. É poder político que permitiu esta tecnologia emergir e parece ser (o poder político) o destino dos resultados desejados.

Uma máquina de escrever? – porque deveria usar apenas as pontas dos dedos como pontos de contato de criatividade multi direcional? Se eu tivesse inventado uma máquina de inscrição de palavras, uma “escriba-de-expressões”, se você digamos, então teria feito um instrumento onde eu poderia pisar & sentar ou espalhar ou pendurar & usar não apenas meus dedos para fazer palavras expressarem sentimentos mas também cotovelos, pés, cabeça, costas e todos os sons que eu quisesse, gritos, toques, arranhões. Teria gravado magneticamente, ao mesmo tempo & traduzido em palavras – ou talvez mesmo na expressão final o pensamento/sentimento não apenas palavra ou folha, mas a coisa em si, a expressão, tridimensional – capaz de ser tocada, saboreada ou sentida ou entrada ou ouvida ou carregada como um feitiço falante cantante comunicando constantemente. Uma máquina de escrever é tola!

Os chamados artistas percebem, aqueles que se libertaram, que nossas criações não precisam emular as do homem branco, mas é a hora de engenheiros, arquitetos, químicos, artesões eletrônicos, isto é, também [seus] filmes, rádios, sons etc entenderem que aprender tecnologia ocidental não deve ser o fim de nossa compreensão da disciplina particular com a qual nos envolvemos. A maioria da informação moldada pelo Ocidente é como lama e areia quando você está peneirando por ouro!

Os atuais começos de nossas expressões são pós-Ocidentais (assim como certamente são pre-ocidentais). É necessário que nos armemos com o completo auto-conhecimento de toda a tecnologia (que afinal de contas é apenas expressão dos criadores) para mudar e refletir a essência de um povo liberto. Livre de um opressor, mas também como Touré nos lembrou devemos nos “livrar do espírito do opressor”. É este espírito como um construto emocional que pode se manifestar como expressão de arte ou tecnologia ou qualquer forma.

Mas qual é nosso espírito, o que ele vai projetar? O que as máquinas irão produzir? O que irão alcançar? Qual será sua moralidade? Veja a diferente moralidade dos fogos de artifício nos aniversários chineses e as bombas dos garotos brancos. Máquinas tem a moralidade de seus inventores.

Veja tudo fresco e “sem forma” – então faça formas que irão nos expressar verdadeiramente e totalmente – e certamente nos libertarão eventualmente.

A nova tecnologia precisa ser espiritualmente orientada porque deve aspirar a levantar a espiritualidade do homem e expandir sua consciência. Deve começar sendo “humanística” apesar de que os garotos brancos ainda hão de alcançar isto. Testemunhe as tecnologias que matam plantas & animais, envenena o ar & degenera ou escraviza o homem.

A tecnologia em si deve representar os desafios humanos. Deve representar cada ponto na perfeição temporária do homem em evolução. E deve ser obsoleta apenas porque nada nunca é perfeito, a única constante é a mudança.

Racismo Algorítmico: pontos essenciais para as empresas responsáveis

Nesta terça-feira tive o prazer de participar da Conferência Ethos 360 em São Paulo. O debate, de título “O que ou quem controlará os algoritmos – o racismo estrutural e institucional na era digital” foi realizado entre mim, Silvana Bahia, criadora do Olabi e Debora Pio, do Nossas, com mediação de Sheila de Carvalho, do Instituto Ethos.

Antes do debate apresentei uma rápida fala com alguns pontos que vejo como essenciais para empresas responsáveis com um mundo menos injusto. Segue abaixo o slideshow e transcrição simplificada:

Algoritmos – e problemas decorrentes – estão em todas esferas da vida. Antes de qualquer coisa, uso de sistemas automatizados com “inteligência artificial” e algoritmos estão em todas as esferas da vida. Assim também estão os problemas decorrentes. Pesquisadoras, ativistas e jornalistas descobriram problemas nas mais diferentes esferas e tecnologias, como: discriminação contra linguagem de minorias; imprecisão na identificação de pessoas e gênero de pessoas negras; fragilidades em tecnologias de processos seletivos e outros. Vale enfatizar dois mais chocantes. O primeiro é a descoberta de que alguns sistemas de reconhecimento de pessoas para carros autônomos erram mais com pedestres negros – o que pode gerar atropelamentos, por exemplo. O outro é a descoberta que sistemas de análise de potencial de reincidência geraram sugestões de penas mais severas para réus negros que cometeram crimes irrelevantes, em comparação e réus brancos que cometeram crimes violentos repetidamente.

São só alguns exemplos entre muitos outros quanto a raça, gênero, sexualidade e condições neuroatípicas – mantenho uma Linha do Tempo do Racismo Algorítmico com algumas dúzias…

Considerando que temos um campo em construção de crítica tecnológica voltada a algoritmos, portanto há cinco pontos que vejo como essenciais para as empresas.

 

Tecnologias discriminatórias não são novas

Um ponto relevante é entender que tecnologias discriminatórias não são novas – e nem estão sendo estudadas somente agora. Nos últimos 70 diversos campos da sociologia e filosofia se debruçaram sobre como tecnologias possuem vieses políticos e ideológicos, de forma intencional ou não.

O campo da Sociologia chamado “Estudos da Ciência e Tecnologia” e a Teoria Racial Crítica para o Direito são exemplos de campos que estudaram como tecnologias, políticas públicas e legislações podem gerar desigualdades, de fotografia a maconha, de equipamentos médicos a urbanismo. Um caso famoso, por exemplo, são as decisões que Robert Moses planejou em Nova Iorque. Intencionalmente escolheu pontes baixas em algumas regiões para evitar que ônibus pudessem integrar bairros ricos e pobres – segregados racialmente, deixando a população negra longe dos bons serviços públicos.

Entender que existe um histórico de pensamento e crítica sobre a tecnologia é importante para não reinventarmos a roda, quadrada. Sociólogos e historiadores podem ajudar as empresas a entenderem os potenciais nocivos de decisões sobre tecnologia. E como algumas tecnologias digitais não são tão perenes quanto pontes, agir para remediá-las.

 

Racismo algorítmico não é uma questão de matemática

Além disto, é importante entender que racismo algorítmico ou na inteligência artificial não é uma questão de matemática. Argumentos comuns de que “tecnologias são neutras” ou “algoritmos são só matemática” são muito limitadores.

É necessário entender que as tecnologias devem ser vistas em seu contexto e não como se existissem em um vácuo social. No caso de aprendizado de máquina, no qual um sistema se baseia em dados fornecidos para tomar ações e criar comportamentos, os exemplos de problemas são muito frequentes.

Um dos mais famosos foi a robô conversacional Tay, lançada pela Microsoft em 2016. A empresa buscou mostrar seus serviços de chatbot, mercado potencialmente bilionário, lançando uma robô no Twitter que aprenderia a conversar na prática falando com outros usuários do Twitter.

O resultado foi desastroso. Em menos de 24 horas, a robô passou a promover mensagens nazistas, racistas, misóginas e homofóbicas. Um projeto que passou por desenvolvedores, marketeiros e jurídico foi pro ar sem pensar nestes impactos nocivos.

A empresa tirou o robô do ar imediatamente depois do escândalo e lançou outro algum tempo depois, desta vez com o cuidado necessário na construção de filtros sobre violência e discurso de ódio.

Mas a questão é: como ninguém no processo produtivo se perguntou o que poderia gerar de violência contra grupos minoritários? A crítica social da tecnologia explica.

 

Espelhar a sociedade não é uma boa ideia

Boa parte do que vemos hoje em inteligência artificial é baseado em uma ou outra medida em aprendizado de máquina. Basicamente, esta ideia – assim como a da Tay, é partir de conjuntos de dados já existentes para gerar decisões que cheguem a resultados similares ou supostamente melhores.

Só que a grande maioria das esferas sociais é altamente desigual. Desenvolver sistemas que repliquem dinâmicas e hierarquias já presentes na sociedade é ter a certeza que produzirá mais desigualdade. E, pior, como são decisões escondidas no algoritmos da máquina, não podem ser combatidas tão diretamente.

Um bom exemplo do que estou falando são pesquisas sobre diversidade nas empresas. O estudo sobre o perfil de diversidade e ações afirmativas nas 500 maiores empresas do Brasil, produzido pela Ethos, é louvável e nos mostra dados preocupantes como concentração de raça e gênero nos níveis profissionais de destaque. Saber destes dados permite analisar a relação com o contexto histórico e social e tomar ações por um mundo mais justo. Mas e quando os dados e decisões são escondidos em sistemas opacos não é possível agir.

 

Não é apenas uma questão de “viés inconsciente”

Outro ponto é que muito do que se fala sobre agentes artificiais é sobre “viés” ou “bias”. Sim, de fato, parte dos problemas acontece pois falta de percepção social de alguns desenvolvedores sobre um determinado sistema ou impacto social. Isto deve ser abordado sem dúvidas e algumas iniciativas tem feito isto muito bem. Precisamos que as empresas tomem iniciativas neste sentido.

Mas e quando o sistema é contratado literalmente para segregar e perseguir pessoas? No momento funcionários e sociedade civil protestam contra empresas como Amazon e Palantir nos EUA, pois elas estão apoiando o governo americano na perseguição de migrantes e organização de campos de concentração.

Então não é apenas uma questão de viés inconsciente, é uma questão de propósito e humanidade das empresas.

Esforço multidisciplinar: ativistas, jornalistas e sociedade

Um quarto ponto é lembrar que o esforço deve ser multidisciplinar. Entender algoritmos não é uma questão apenas para engenheiros e cientistas da computação. Boa parte dos grandes projetos de análise de discriminação por algoritmos ou inteligência artificial foi realizado por jornalistas, ativistas.

Empresas que busquem ser éticas na produção e contratação da implementação de sistemas com inteligência artificial devem procurar profissionais que sirvam como auditores diversos e não estejam comprometidos apenas com a tecnologia sendo vendida.

Um dado sobre esta necessidade é o número de novos modelos de aplicações de inteligência artificial. A linha vermelha na tela mostra o número de novos modelos propostos no NIPS, um dos maiores eventos de inteligência artificial do mundo. Já a linha azul é o número de trabalhos analisando os modelos já existentes. Ou seja, a produção é muito mais numerosa do que sua análise.

 

Empresas, sociedade e governo em interação

Por fim, é importante lembrar que tudo isto é tarefa das empresas, mas também da sociedade civil e dos governos. Em alguns locais há avanços na legislação sobre internet e uso de dados, como o GDPR na Europa e Lei Geral de Proteção de Dados no Brasil. Está em discussão,o por exemplo, a capacidade do cidadão de revisar decisões automatizadas em processos de escolha, classificação, escores, cálculos de risco ou probabilidade e outros baseados em algoritmos, IA, aprendizado de máquina e demais modelos estatísticos e computacionais.

Por fim, a transparência é indicada pelas diversos campos. O Fórum Econômico Mundial propôs ano passado melhores práticas sobre inclusão ativa, acesso a remediação, equidade e sobretudo o “Direito a Entender” os algoritmos. Perguntas sobre erros, fontes de dados e procedimentos devem ser documentados e passíveis de crítica e análise por usuários e sociedade civil.

Esta é apenas uma de dezenas de iniciativas de porte similar por organizações e comissões comprometidas com algum nível de ética e responsabilidade social das empresas. Espero que a apresentação sirva para gerar mais debates e reflexões – este documento, com links para os dados e casos citados, vai estar disponível. Enfim, esta é minha contribuição inicial para a nossa conversa.

 

Pra ler mais

Em Português

•       Timeline do Racismo Algorítmico

•       Visão Computacional e Branquitude

•       Microagressões e Racismo Codificado

•       Democracia e os Códigos Invisíveis

•       Tudo Sobre Tod@s

•       Modulação Algorítmica

•       Bancos de Imagens e Mulheres Negras

Em Inglês

•       Algorithms of Oppression

•       Race After Technology

•       Dark Matters

•       Technicolor

•       Gender Shades

•       Artificial (Un)Intelligence

•       Automating Inequality

•       Interrogating Vision APIs

•       Captivating Technology

•       Five Principles for AI in Society

•       Neurons Spike Back

•       The Risks of Bias and Errors in Artificial Intelligence

•       AI’s social sciences deficit