O Centro de Formação da Ação Educativa, com apoio da Fundação Mozilla, está com inscrições abertas para o curso gratuito “Racismo Algorítmico”, ministrado por Tarcizio Silva e Carla Vieira.
ead.acaoeducativa.org.br/
ead.acaoeducativa.org.br/
ead.acaoeducativa.org.br/
ead.acaoeducativa.org.br/
Módulos:
✅ O que é racismo algorítmico? ✅ Como as tecnologias incorporam opressões? ✅ Como nos defender?
Os módulos serão liberados semanalmente e o acesso a todo o conteúdo, na medida em que for liberado, ficará disponível para os participantes inscritos/as no curso até o início de 2023. Cada módulo é composto por videoaulas e outros materiais em diversos formatos. Também teremos dois encontros síncronos com convidades, um na abertura e outro no fechamento do curso!
💻 O curso é on-line, basta criar sua conta na plataforma e solicitar entrada no respectivo curso. Ao finalizar, disponibilizamos certificação através do Centro de Formação. Inscreva-se em: www.ead.acaoeducativa.org.br
🤔 Dúvidas? Manda um salve para centrodeformacao@acaoeducativa.org.br
No último Intercom, tive o prazer de colaborar com a pesquisadora Vanessa Gomes (UFPB) no artigo “Estratégias de Relações Públicas frente ao Racismo Algorítmico: dualidades em empresas de big tech” apresentado ao agrupamento temático – Comunicação Multimídia, da Intercom Júnior – XVIII Jornada de Iniciação Científica em Comunicação.
Veja resumo e link para baixar:
A presença do racismo codificado em produtos de empresas de tecnologia e inteligência artificial tem se tornado cada vez mais pauta nas mídias sociais virtuais e ganhado grandes proporções, chamando a atenção para um problema estrutural que se replica nesses meios. A partir das Relações Públicas, este artigo analisa duas campanhas de comunicação desenvolvidas por big techs para solucionar as crises de imagens geradas por impactos do racismo algorítmico e a existência das dualidades nos discursos de opacidade
[O artigo abaixo foi originalmente publicado na Revista da ABPN. Confira ao final link para o PDF e como citar]
Tecnologias Digitais de Comunicação: Branquitude como Padrão e Representação
As reflexões sobre representação e grupos minorizados em tecnologias digitais ganharam fôlego desde a década de 1990 inicialmente a partir de desdobramentos sobre os estudos em torno do conceito de fosso digital (“digital divide”) e desigualdade de acesso. Durante os primeiros anos da discussão sobre a web social, como fóruns e blogs textuais, o discurso hegemônico em disciplinas que estudaram a comunicação mediada por computador cogitava uma “descorporificação” dos indivíduos e suas identidades.
Uma vez que a comunicação não-simultânea limitada por texto permitia experimentar a simulação de diferentes marcadores sociais e identitários, parte da pesquisa sobre raça na internet explorava como alteridades raciais e de gênero poderiam ser “experimentadas” em fóruns e posteriormente como avatares visuais em ambientes tais como o Second Life. Como aponta Daniels, porém, este olhar evocava uma “linguagem da exploração e descoberta (por exemplo: ‘descobrir identidade racial em um grupo Usenet’). Esta retórica foi consistente com as então correntes descrições da Internet como uma ‘fronteira eletrônica’ e evoca o olhar do colonizador” (Daniels, 2013, p. 708, trad. livre). Porém, a autora (2009, 2013) resgata como supremacistas brancos viram a internet como um campo de atuação desde meados dos anos 1990, com sites de desinformação contra figuras históricas tais como Martin Luther King ou ainda a construção de portais com o objetivo de conectar internacionalmente afiliados aos grupos mais extremistas de supremacia branca (como o Stormfront).
A evolução de características sociotécnicas da internet como multiplicação de plataformas digitais de interação tais como mídias sociais, conexão pervasiva e mobile, alta velocidade de transferência de dados, centralidade da imagem, plataformas de vídeo e aumento da população conectada trouxe mais debates sobre raça e comunicação digital. Os casos midiáticos de racismo online discursivo multiplicaram-se, como os mapeados por Trindade (2018), vitimando, sobretudo mulheres negras em alguma posição de destaque ou desafio ao status quo.
É preciso, porém, sublinhar que o racismo online não trata apenas de casos aberracionais de injúrias isoladas, mas sim um “sistema de práticas contra grupos racializados que privilegiam e mantêm poder político, cultural e econômico para os brancos no espaço digital” (Tynes et al, 2019, p.195). Estes privilégios são construídos, mantidos e transformados em novas manifestações geralmente elusivas que vão além da materialidade dos discursos e imagens, indo da contratação privilegiada de grupos raciais hegemônicos (NELSON, TU & HINES, 2001) à aplicação diferencial de punições ligadas aos Termos de Uso das plataformas[1]. Dados da pesquisa EEO-1 nos Estados Unidos, por exemplo, mostram que as empresas do Vale do Silício estão muito longe de representar a diversidade da população do país[2] – e devido a concentração global das tecnologias criadas nos EUA, a situação se agrava quando se trata da complexidade e diversidade mundiais.
Considerando que as manifestações do racismo são “construídas e expressas na infraestrutura online ou back end (por exemplo: algoritmos) ou através das interfaces (por exemplo: símbolos, imagem, voz, texto e representações gráficas)” (Tynes et al, 2019, p.195, trad. livre) é necessário olhar também para estes materiais relacionados às práticas econômicas e produtivas nos contextos socio-históricos onde emergem. As interfaces e sistemas podem materializar, de forma análoga ao que acontece nos fluxos semânticos da sociedade os “preconceitos não manifestos, presentes invisivelmente na cabeça dos indivíduos, e as consequências dos efeitos da discriminação na estrutura psíquica das pessoas” (Carone & Bento, 2017, pos. 74).
Crescentemente, os algoritmos e inteligência artificial ganham destaque no debate sobre comunicação, sociedade e tecnologia por regirem cada vez mais esferas da vida. Recomendação de conteúdo nas timelines de mídias sociais, segurança digital, biometria, processamento de linguagem natural e reconhecimento facial são algumas das aplicações já frequentes no cotidiano em nossos computadores e smartphones. Mas os problemas destes agentes artificiais que tomam decisões de visibilidade, acesso, classificação e processamento de materiais digitais também são frequentes, muitas vezes ligados a vieses de raça, gênero, classe, localidade, neuroatipicidade e outros. Entender a “racialização tecnológica como uma forma de opressão algorítmica nos permite usá-la como um importante framework para criticar discursos sobre a Internet como um ambiente democrático” (Noble, 2018, pos. 1341, trad. livre).
Defendemos que os estudos sobre a branquitude são uma chave importante para entender os modos pelos quais as tecnologias automatizadas demonstram continuamente vieses racistas, mesmo provenientes de empresas globais bilionárias com todo aparato tecnológico-financeiro disponível. Interessada nos mecanismos que compõe o que chamou de “pacto narcísico da branquitude” em contextos organizacionais de empresas e setor público, Bento descreve a branquitude como
um lugar de privilégio racial, econômico e político, no qual a racialidade, não nomeada como tal, carregada de valores, de experiências, de identificações afetivas, acaba por definir a sociedade. Branquitude como preservação de hierarquias raciais, como pacto entre iguais, encontra um território particularmente fecundo nas Organizações, as quais são essencialmente reprodutoras e conservadoras (Bento, 2002, p.7)
A manutenção e reprodução dos privilégios da branquitude partindo de uma centralidade evocativa à Europa se ligaram histórica e economicamente à dominação colonial e neocolonial, com desdobramentos da ciência à tecnologia, mas sempre através da evitação ao debate sobre raça. Mills chama este esforço coletivo de inverter a epistemologia de uma “epistemologia da ignorância”, um “padrão particular de disfunções globais e locais (que são funcionais psicológica e socialmente), produzindo o resultado irônico que os brancos em geral serão incapazes de entender o mundo que eles próprios formataram” (Mills, pos.327, trad. nossa).
Estas disfunções são também registradas nos mitos de racial-blindness, pos-racialidade (BONILLA-SILVA, 2006) e democracia racial (NASCIMENTO, 2016[1978]; SOUZA, 2017) como vetores do silenciamento do debate sobre raça em todas as esferas, que acreditamos que se liga plenamente technochauvinismo. Este seria “a crença que a tecnologia é sempre a solução”, acompanhada de noções de “computadores são mais “objetivos” ou “enviesados” porque eles destilam questões e respostas em avaliação matemática” (BROUSSARD, 2018, pos. 166, trad. livre).
Propomos que isto implica em uma “dupla opacidade”, que definimos como o modo pelo qual os discursos hegemônicos invisibilizam tanto os aspectos sociais da tecnologia quanto os debates sobre a primazia de questões raciais nas diversas esferas da sociedade – incluindo a tecnologia, recursivamente. A inspiração para estas críticas parte dos pilares da Teoria Racial Crítica (TRC), framework teórico-metodológico e ativista desenvolvido na década de 1980 nos EUA, inicialmente para transformar os Estudos Legais no Direito, promovendo a compreensão da sociedade em um panorama da supremacia branca (DELGADO & STEFANCIC, 2017). Questionando a invisibilidade legal do racismo em uma sociedade baseada no mesmo, a TRC propõe uso de contra-narrativas, conhecimento interdisciplinar experiencial e agência efetiva no combate à opressão racial. A atuação e temas da TRC trazem muitos pontos em comum com o pensamento social negro brasileiro (FERREIRA & QUEIROZ, 2018; SILVA, 2019a) e tem sido crescentemente usada internacionalmente para entender a tecnologia (ALI, 2014; BROCK, 2016; NOBLE, 2018; BENJAMIN, 2019).
A ideia de “caixa preta”, que se tornou recurso explicativo na área de Estudos da Ciência e Tecnologia, se refere a dispositivos que funcionam em termos de entrada de informações e decisões e saída de resultados e operações que ocultam os modos pelos quais ciência e tecnologia são construídas. Falando de dispositivos tecnológicos e softwares, “abrir a caixa preta” significa observar “não somente que qualquer ordem social é impactada por desenvolvimento tecnológico […] mas também que normas, ideologias e práticas sociais são parte constitutivo de desenhos técnicos” (BENJAMIN, 2019, p. 72).
Desta forma, o referencial de estudos sobre a “branquitude” é elaborado a seguir como ferramenta para abrir as caixas-pretas da visão computacional de forma crítica ao racismo algorítmico.
Visão Computacional: invisibilidade, visibilidade e interpretação racistas
A computação visual (visual computing) é um termo que engloba áreas da computação e iniciativas interdisciplinares dedicadas a construir sistemas para o entendimento automatizado de imagens e vídeos. Ou seja, busca-se fazer softwares e hardwares computacionais capazes de entender objetos, entidades e situações a partir de informação visual, como imagens ou frames de vídeo. Suas aplicações são amplas, da indústria e mecatrônica até o marketing e publicidade.
Especificamente a visão computacional (computer vision) “se refere à coleta, análise e síntese de dados visuais através de computadores, com objetivos diversos como a identificação de rostos e biometria, a análise de representações de objetos, entidades, conceitos e contextos em imagens, entre outros” (Wang, Zhang & Martin, 2015, trad. livre). Foi popularizada com os buscadores, mídias sociais e aplicativos mobile. Por exemplo, a busca Google que identifica imagens similares e quais objetos estão fotografados; a marcação automática de rostos de amigos em fotos no Facebook; e os filtros lúdicos do Snapchat e Instagram são todas aplicações que entraram no dia a dia de grande parte dos usuários contemporâneos de tecnologias digitais.
Os sistemas passam a saber como identificar rostos, objetos e contextos nas imagens através do que é chamado de “aprendizado de máquina” (machine learning), um campo da inteligência artificial restrita que trata do reconhecimento de padrões através de uma base de dados e posterior aplicação do aprendizado no reconhecimento das variáveis em outras unidades ou conjuntos de dados (Oliveira, 2018). No caso da visão computacional, trata-se de “treinar” o sistema alimentando-o com um número relevante de imagens já marcadas (por ex: centenas de imagens da classe “cachorro”; centenas de imagens de uma raça específica e assim por diante) para que o software “entenda” novas imagens que não foram anteriormente vistas.
A ampla disponibilidade destes recursos hoje é um fato não só para empresas altamente especializadas em inteligência artificial, mas para todo um rol de empresas de mídia e tecnologia que podem usar os recursos oferecidos pelas grandes corporações da área. Empresas como IBM, Google, Microsoft e Amazon oferecem serviços de inteligência artificial e computação cognitiva através do modelo API (application programming interfaces) que permite que qualquer desenvolvedor com o mínimo de conhecimento contrate recursos de inteligência artificial tais como processamento de linguagem natural, descoberta de padrões em dados tabulares, modelos de aprendizado de máquina e visão computacional. Na Figura 1 podemos ver uma captura de tela da demonstração do recurso de visão computacional da Google, chamado de Google Vision:
Como é possível ver acima, o recurso identifica elementos, cena, objetos e conceitos. Na fotografia de exemplo, o recuso identificou céu, mar, horizonte e o possível contexto de férias, entre outros. Recursos como a Google Cloud Vision e outros citados também prometem identificar expressão facial de rostos, padrões de cores, elementos sensíveis (como pornografia ou violência), personalidades famosas, logotipos e marcas, identificar imagens similares na web e outros grupos de entidades em constante desenvolvimento (Etlinger, 2016; Mintz et al, 2019),
Entretanto, a aplicação da visão computacional traz problemáticas e controvérsias específicas a diversos campos. Neste trabalho o objetivo é focar no uso de tecnologias públicas como mídias sociais, computadores pessoais, aplicativos mobile e outros recursos disponíveis para a maior população no cotidiano. Na outra ponta estão tecnologias usadas por corporações e governos, especialmente reconhecimento facial para fins de vigilância ou policiamento. Entender estas tecnologias de forma múltipla é relevante pois a experiência do afrodiaspórico foi construída pelo colonialismo sob uma lógica “vigilância racializada como tecnologia de controle social onde práticas, políticas e performances de vigilância remetem a produção de normas pertinentes a raça” (Browne, 2015, p. 32, trad. livre) e se relacionam de diversos modos a tecnologias e ideologias carcerais (Benjamin, 2019) que vão muito além da prisão, mas definem o lugar e o não-lugar do negro, passível sempre a violência física ou simbólica.
Em aplicações como as que veremos, entretanto, três pontos são especialmente relevantes na relação com as tecnologias do cotidiano: são recursos que normalizam a identificação algorítmica e registro em big data dos indivíduos; são dispositivos usados pelas corporações para o treinamento de suas bases de dados para diversos fins; e se tratam de dinâmicas de comunicação e interação com impactos cumulativos na autoestima e saúde mental dos indivíduos (Pierce, 1970; Tynes et al, 2018; Silva, 2019b).
A Tabela 1 mostra alguns dos casos mais famosos de problemas identificados por usuários ou jornalistas com resultados nocivos a indivíduos negros ou população negra de modo geral. Procederemos à descrição breve destes casos, para demonstrar o paralelismo com características da branquitude nas epistemes da tecnologia das plataformas de comunicação e inteligência artificial.
Tabela 1: Casos Selecionados de Manifestação de Viés/Racismo Algorítmico em Visão Computacional
Um dos primeiros casos de problemas quanto de visão computacional racista a viralizar aconteceu em 2009 com computadores da Hewlett-Packard (HP). Em vídeo publicado no YouTube, um homem negro e uma mulher branca testam um computador da HP em uma loja de eletrônicos. O recurso MediaSmart de rastreamento de movimento de rostos conseguia identificar o rosto da mulher branca, mas não o rosto do homem negro. Com rápida viralização (400 mil visualizações em poucos dias, hoje o vídeo tem mais de 3 milhões de visualizações), o caso ganhou cobertura jornalística e um porta-voz da empresa alegou problemas que ocorrem quando “iluminação de fundo não é suficiente”[2].
Em 2015, ao lançar o recurso de etiquetação automática de fotos em seu aplicativo Google Photos, o programador Jacky Alciné teve fotos suas e de sua namorada marcadas com a tag “gorilas”. Ao divulgar o insulto no Twitter[3], um engenheiro da Google pediu desculpas, não prometeu ações concretas, mas divulgou publicação no portal da Fortune que dizia que o sistema de reconhecimento de faces da Google é considerado o melhor do mercado. Em 2018, jornalistas da Wired realizaram testes e mostraram que a solução da empresa foi simplesmente eliminar a tag “gorila” do rol possível na ontologia do recurso[4].
Outro exemplo de confusão de “tags” ligadas a indivíduos e população negras foi realizado em projeto de interrogação de APIs de visão computacional e bancos de imagens. Ao comparar como sites de bancos de imagens como Shutterstock representam fotos de diferentes países, estudo identificou que diversas fotos de mulheres com cabelos crespos volumosos foram marcadas com a tag “wig”, que significa “peruca”. Este erro possivelmente é resultante de uma base de treinamento mais rica em fotos de pessoas brancas em contexto de apropriação cultural-estética – como a prática de usar perucas afro como fantasias em festas e carnaval. Os autores concluem que “arquiteturas algorítmicas favorecem a performance de neutralidade cultural, mas com categorias genéricas com muito mais destaque do que termos específicos” (Mintz et al, 2019) onde esta ideia de neutralidade é marcada socialmente como a percepção dos desenvolvedores.
Ainda sobre identificação de características de imagens, o reconhecimento de expressões por visão computacional permitiria marcar rostos em tipologias de emoções humanas básicas organizadas pela Psicologia, tais como Raiva, Medo, Surpresa, Nojo e Tristeza. Experimento de Rhue (2019) com conjunto de fotos cuidadosamente selecionadas de atletas para testar como os fornecedores Face++ e Microsoft identificaria imagens equivalentes de atletas brancos e negros. Os resultados consistentemente atribuíram emoções/expressões negativas aos atletas negros. Rhue conclui que “o uso de reconhecimento racial pode formalizar estereótipos preexistentes em algoritmos, automaticamente incorporando-os na vida cotidiana” (Rhue, 2018, s.p., trad. livre).
Outra nota particularmente interessante foi emitida pelo CEO do aplicativo FaceApp. O aplicativo de edição de selfies possuía um filtro de “embelezar” o rosto dos usuários. Uma das principais edições automáticas era clarear a pele, gerando resultados aberrantes em fotos de pessoas negras ou indianas, por exemplo. Depois da divulgação dos problemas, Yaroslav Goncharov, CEO do aplicativo, alegou que é “um infeliz efeito colateral da rede neural subjacente causado pelo conjunto de dados de treinamento, não comportamento esperado”[5]. Como estamos falando de aprendizado de máquina (machine learning), os dados de treinamento são fator essencial em como o sistema vai performar. Ao mesmo tempo em que algumas posturas alegam que o “algoritmo em si” seria neutro, alegações como a de Goncharov são comuns ao fugir da responsabilidade sobre a seleção dos dados de treinamento, assim como aconteceu no caso citado anteriormente. Podemos evocar aqui como a invisibilidade do negro é “elemento importante da identidade do branco: ele não vê o negro. Uma reflexão sobre relações raciais pode explicitar um desconforto do branco diante da paradoxal constatação que ele não vê, não lembra, nunca pensou nos negros” (BENTO, 2002, p.91). Comumente aplicativos que buscam alcance global projetam seus consumidores apenas como brancos. Ao viralizar novamente em 2019 em terras brasileiras, o problema do embranquecimento permanece pervasivo no recurso de envelhecimento do app[6].
Uma vez que boa parte das empresas supracitadas também desenvolvem sistemas para vigilância e policiamento, biometria e reconhecimento facial, o potencial de impactos fatais contra a vida de grupos racializados parece já ser óbvia. Mas um caso a ser citado neste artigo pode mostrar a pervasividade do problema além das plataformas e aplicativos de comunicação. Em estudo publicado neste ano, Wilson, Hoffman e Morgenstern (2019) analisaram 8 sistemas de reconhecimento de imagens usados em carros autônomos e a acurácia na identificação de pessoas com pele escura poderia ser 5% menor, resultando em potenciais atropelamentos. Os autores concluem a necessidade de se olhar para o “real problema que pode surgir se este tipo de fonte de viés de captura não for considerado antes de distribuir estes tipos de modelos de reconhecimento” (2019, p.9, trad. livre).
Os casos acima, portanto, mostram que os modos pelos quais a visibilidade ou invisibilidade de brancos e negros são contextuais de acordo com as vantagens e desvantagens de cada ponto dessa dicotomia nas mídias e tecnologias em questão. A invisibilidade negra surge como uma questão de fato enquanto a invisibilidade branca é um conceito muito diferente pois se vincula à sua padronização e referência como universal e, como relata Machado “não porque nossa cor branca passa despercebida, pelo contrário, porque nossa cor é visível, porém tal visibilidade é silenciada e representa o universal garantindo a nós brancas/os, posições de privilégios, das quais ninguém quer abrir mão” (Machado, 2018, p.381).
Reações e Contra-Narrativas: códigos contra-hegemônicos
E quais as reações possíveis? Três casos de auditoria, reações e ajustes levados a cabo por desenvolvedores negros pode nos mostrar alternativas possíveis e responsáveis.
Em um dos casos ligados à identificação, podemos destacar os experimentos e projeto GenderShades.org de Buolamwini e colaboradoras. Em experimento inovador, Buolamwini e Gebru (2018) testaram os recursos de identificação de idade e gênero fornecidos por Microsoft, Face++ e IBM. Elas descobriram que os recursos falhavam com muito mais frequência em fotos de mulheres negras, no que chamaram de “disparidade interseccional”. Ao investigar as causas, descobriram que o conjunto de dados para “treinamento” do sistema era muito enviesado, com muito mais fotos de homens de pele clara (sobretudo caucasianos) do que mulheres de pele escura. A Figura 2 mostra duas destas bases enviesadas usadas pelos sistemas (Adience e IJB-A) e uma base de treinamento criada por elas, com o nome de Pilot Parliament Benchmark, com uma boa distribuição de gênero e fenótipo quanto à cor da pele. O trabalho teve um impacto relevante no campo pois, sozinhas, elas conseguiram fazer um sistema mais preciso neste aspecto do que o oferecido por aquelas corporações.
Figura 2: Comparação de datasets de treinamento (BUOLAMWINI & GEBRU, 2018)
É relevante citar que uma das motivações para a trajetória de Buolamwini foi a experiência real, em primeira mão, de racismo algorítmico. Durante sua graduação na Georgia Tech, a estudante foi a diversas feiras de tecnologia e empreendedorismo. Por mais de uma vez os robôs conseguiam encontrar os rostos de todos seus colegas brancos – exceto ela. Para mostrar o absurdo dos problemas enviesados destes aplicativos e robôs, a pesquisadora usou uma máscara branca genérica, sem feições – e até esta máscara foi reconhecida, em uma reedição involuntária da metáfora de pele negra, máscaras brancas de Frantz Fanon (FANON, 2008). Em palestra no TEDx onde falou sobre a questão e sua jornada acadêmica, Buolamwini convoca espectadores a se conectarem pela “criação de um mundo onde a tecnologia trabalhe em favor de todos, não apenas em favor de alguns, um mundo onde valorizemos a inclusão e tenhamos como foco a mudança social”[7].
Em 2019, as pesquisadoras retornaram aos dados do experimento citado acima para analisar se a divulgação dos problemas gerou impacto na diminuição da disparidade. De fato, a iniciativa gerou impacto e os sistemas da Microsoft e IBM diminuíram o abismo da taxa de erros na acurácia dos sistemas. As autoras lembram, na conclusão, que a importância deste tipo de auditoria vai muito além do campo das tecnologias de comunicação, uma vez que “o potencial de abuso e aplicação bélica das tecnologias de análise facial não podem ser ignorados nem as ameaças à privacidade ou infrações de liberdades civis diminuídas mesmo quando as disparidades de precisão diminuam” (RAJI & BUOLAMWINI, 2019, p.6, trad. livre).
Depois que o primeiro estudo foi publicado, tanto a IBM quanto a Microsoft emitiram notas afirmando compromisso com a busca pela equidade nos resultados[8]. A Microsoft emitiu nota breve, mas a IBM detalhou longamente projetos internos e experimento próprio defendendo o uso responsável de suas tecnologias. Apesar disso, relatórios mostram que a empresa vende a tecnologia para projetos repressivos de governos, como nos Emirados Árabes Unidos[9].
Iniciativa similar de transformação da tecnologia tem sido realizada por Jacky Alciné, o desenvolvedor que foi vítima da marcação racista pela Google Photos citada na seção anterior. Com ampla experiência em programação, o profissional lançou em 2018 o projeto black.af que desenvolve produtos, serviços e aplicativos para “fornecer ferramentas e plataformas a pessoas para que possam usá-las e expandir seu impacto e alcance em projetos de apoio social, promoção da justiça e comércio digital”[10]. Assim como outros desenvolvedores de grupos minorizados, Alciné busca ligar a iniciativa comercial à transformação social do mundo a partir de um ponto de vista muito particular e ainda raro nas empresas de tecnologia. Sua iniciativa evoca os projetos da Teoria Racial Crítica que propõe como um dos seus pilares o conhecimento experiencial na pesquisa e na práxis buscando se associar a conhecimento criado por grupos minorizados para “revelar os modos pelos quais raça, classe, gênero e outras formas de opressão interagem para mediar as experiências e realidades daqueles afetados por tais opressões” (MALAGON, HUBER & VELEZ, p.264, trad. livre).
Os casos citados foram identificados tanto por cientistas e engenheiras da computação quanto por ativistas, jornalistas e pesquisadoras das ciências sociais e humanidades. Concordamos com Osoba e Welser IV ao dizer que
a pesquisa técnica em vieses no aprendizado de máquina e inteligência artificial ainda está em sua infância. Questões sobre vieses e erros sistêmicos em algoritmos demandam um diferente tipo de sabedoria de cientistas de dados e criadores de algoritmos. Estes profissionais são comumente engenheiros e cientistas com menos exposição a questões de políticas públicas ou sociais (OSOBA & WELSER IV, 2017, p.24, trad. livre)
Deste modo, a pouca exposição à alteridade, sobretudo em áreas como Computação e Engenharias, reforça uma “invisibilidade, distância e um silenciamento sobre a existência do outro […]. A racialidade do branco é vivida como um círculo concêntrico: a branquitude se expande, se espalha, se ramifica e direciona o olhar do branco” (BENTO, 2017, pos. 645). Junto a iniciativas tanto de experimentação e auditoria algorítmica como as citadas e promoção da ocupação de lugares de reflexão e poder na tecnologia por grupos racializados (DANIELS, NKONDE & MIR, 2019), faz-se necessário também – pela branquitude consciente – buscar desenvolvimento de competência cultural diversa (SUE, 2001; JAIME, 2014).
Um último caso que podemos citar de reação a controvérsias ligadas a racismo algorítmico e visão computacional foi a polêmica em torno do aplicativo Diversity Recognition da Kairos. Lançado em 2017, o aplicativo Diversity Recognition buscou divulgar a empresa Kairos através da identificação de traços fenotípicos da “herança genética” dos usuários. Ao enviar uma selfie para o aplicativo, cada usuário recebia sua selfie com um gráfico sobreposto, onde as categorias Hispânica, Negra, Branca, Asiática ou “Outros” eram representadas através de porcentagem. Usado por mais de 5 milhões de pessoas, o aplicativo logo se tornou fonte para memes humorísticos e conteúdo ofensivo. Porém também críticas muito relevantes de usuários[11] que não se encaixam nos grupos étnico-raciais listados.
Em junho de 2018, o CEO da Kairos, o desenvolvedor negro Brian Brackeen publicou texto com o título “Nós aposentamos o aplicativo Diversity Recognition: estes são os motivos”. Ao longo da publicação Brackeen cita controvérsias de casos de visão computacional aplicados a policiamento, deixando explícita sua decisão de não oferecer os serviços da Kairos para este tipo de uso. Especificamente sobre oDiversity Recognition, Brackeen “enquanto a maioria dos usuários vão receber um resultado preciso, nós reconhecemos que as categorias de etnicidade atualmente oferecidos (Negros, Brancos, Asiáticos, Hispânicos, “Outros”) não representam a diversidade rica e rapidamente cambiante da complexidade da cultura e taça”[12]. Além disto, ao aplicar uma tipologia específica do ponto de vista estadunidense hegemônico a um recurso usado em todo o mundo focando em características fenotípicas, podemos lembrar que a identidade branca criou um fenótipo específico e cambiante sempre a serviço de “demarcar a superioridade dos colonizadores, dos indivíduos pertencentes ao grupo que impôs sua hegemonia em prol da exploração dos povos nativos” (BASTOS, 2016, p.228).
Estes três casos citados mostram as possibilidades de se pensar a diversidade nos ciclos de treinamento e disseminação de sistemas e algoritmos. Especificamente mostram pontos de vista paradoxalmente privilegiados de desenvolvedoras e desenvolvedores negros que, ao serem afetados pelos padrões da branquitude na tecnologia, agem por projetos alternativos. Para além do papel de especialistas em programação, entretanto, um engajamento social crítico mais amplo da sociedade com a tecnologia é necessário. Daniels, Nkonde e Mir (2019) citam os três pilares da literacia racial crítica da tecnologia que poderiam ter impacto até em grandes organizações globais:
Compreensão intelectual de como racismo estrutural opera em algoritmos, plataformas de mídias sociais e tecnologias ainda não desenvolvidas; inteligência emocional sobre como resolver situações racialmente estressantes em organizações e; compromisso na tomada de ação para reduzir danos a grupos racializados (DANIELS, NKONDE & MIR, 2019, p.2)
Investigações e auditorias como as citadas se multiplicam, entretanto o volume em que algoritmos e sistemas de inteligência artificial são publicados, divulgados e aplicados em tecnologias públicas é muito maior do que seus testes ou otimizações. Ao analisar artigos publicados em uma das principais conferências de aprendizado de máquina e inteligência artificial do mundo, a Neural Information Processing Systems Conference de 1987 a 2017, Epstein (2018) observou que o gap entre o número de trabalhos propondo novos modelos e trabalhos estudando modelos existentes aumenta ano a ano – em 2017 os novos modelos eram 10 vezes mais numerosos do que o estudo de modelos existentes. Como a sociedade racista e desvantagens estruturais decorrentes resultam em uma pequena quantidade relativa de desenvolvedores e gerentes de produto de grupos minorizados, é especialmente premente combater “a interiorização/internalização da branquitude e do racismo entre brancos e negros, se aprofundando na supremacia branca como um fenômeno perigoso e expansionista dentro dos processos sociais e educacionais” (ROSSETTO, 2014, p.131)
Podemos falar de uma sociedade algorítmica (GILLESPIE, 2014; PASQUALE, 2015; O’NEIL, 2016; SILVEIRA, 2017) onde procedimentos do tecnoliberalismo – como classificação, pseudo-meritocracia, mensuração e vigilância – são automatizados e consolidados em caixas-pretas que permitem poucos desvios. Os casos citados são numerosos, mas apresentam apenas uma pequena parte dos problemas que podem ser analisados ou interrogados por métodos criativos. A regulação e transparência é necessária, mas a sociedade americana construiu a ideologia do Vale do Silício e seus pólos de tecnologia de modo a normalizar branquitude e masculinidade, com decorrentes impactos nos modos e níveis de avaliação dos procedimentos de treinamento de máquina (BROUSSARD, 2018; NOBLE, 2018). E no campo da educação e pesquisa, concordamos e expandimos em escopo as prerrogativas que Rossatto aponta, vendo como adequados também aos currículos interdisciplinares de sociedade e tecnologia que incluam estudos anti-racistas que “desconstruam a interiorização/internalização da branquitude e do racismo entre brancos e negros, se aprofundando na supremacia branca como um fenômeno perigoso e expansionista” (2014, p.131).
Conclusões
A visão computacional é um grupo de tecnologias cada vez mais relevante na sociedade contemporânea, com impacto em práticas de mercado e gestão governamental. Apresentamos alguns casos de problemas em viés algorítmico que demonstram a dificuldade de se debater o que chamamos de “dupla opacidade” – o caráter difuso tanto da tecnologia, vista erroneamente como neutra, quanto das relações étnico-raciais na sociedade e, por consequente, na tecnologia.
Nos mercados e ambientes produtivos de tecnologia de ponta, concentrados em pólos como Vale do Silício, a diversidade é rara, o que tem impactos materiais e simbólicos nas interfaces e sistemas usados por grande parte das populações mundiais. Tanto os problemas identificados como parte da reação dos desenvolvedores quando contestados, mostram que “a hegemonia da brancura presente em todos os âmbitos sociais não colabora para que os indivíduos brancos passem a questionar seus privilégios bem como se importar com as desvantagens impostas aos demais grupos” (BASTOS, 2016, p.227).
Enquanto programa de pesquisa, a análise crítica das tecnologias como visão computacional viabilizada por inteligência artificial e aprendizado de máquina se mostra urgente para os campos das ciências sociais. Uma vez que a “geração de dados é um fenômeno social reflete de vieses humanos, aplicar algoritmos “proceduralmente corretos” a dados enviesados é um jeito de ensinar agentes artificiais a imitar qualquer viés que os dados contenham” (OSOBA & WELSER IV, 2017, p. 17).
Com o mundo imerso em ideologia hiper-neo-liberal, a ciência racial ganha nova relevância com a desregulação de ciência e investimento do capital financeiro a favor da segmentação dos corpos quanto a genética, biomedicina e vigilância (MBEMBE, 2001, 2016; ROBERTS, 2011; BROWNE, 2015). Apesar de que “categorias raciais não são simples propriedades de pessoas individuais, mas sim resultados complexos de processos sociais raramente capturados no paradigma do aprendizado de máquina” (BENTHALL & HAYNES, 2019, p.3, trad. livre), temos visto como a desigualdade brutal tanto nos dados de treinamento quanto na preocupação com procedimentos de ajuste dos sistemas vitimizam populações já em desvantagem. A construção de contra-narrativas e espaços de reflexão e ação sobre inteligência artificial e dataficação do mundo por desenvolvedores, sociólogos e cientistas negros de vários campos é cada vez mais premente.
Bibliografia:
ALI, Syed Mustafa. Race: The difference that makes a difference. tripleC: Cognition, Communication, Co-operation, v. 11, n. 1, p. 93-106, 2013.
BASTOS, Janaína Ribeiro Bueno. O lado branco do racismo: a gênese da identidade branca e a branquitude. Revista da Associação Brasileira de Pesquisadores/as Negros/as (ABPN), v. 8, n. 19, p. 211-231, 2016.
BENJAMIN, Ruha. Race After Technology: Abolitionist Tools for the New Jim Code. John Wiley & Sons, 2019.
BENTHALL, Sebastian; HAYNES, Bruce D. Racial categories in machine learning. In: Proceedings of the Conference on Fairness, Accountability, and Transparency. ACM, 2019. p. 289-298.
BENTO, Maria Aparecida Silva. Pactos narcísicos no racismo: branquitude e poder nas organizações empresariais e no poder público. Universidade de São Paulo, São Paulo, 2002.
BENTO, Maria Aparecida Silva. Branqueamento e branquitude no Brasil. In: CARONE, Iray; BENTO, Maria Aparecida Silva. Psicologia social do racismo: estudos sobre branquitude e branqueamento no Brasil. Editora Vozes Limitada, 2017.
BONILLA-SILVA, Eduardo. Racism without racists: Color-blind racism and the persistence of racial inequality in the United States. Rowman & Littlefield Publishers, 2006.
BROUSSARD, Meredith. Artificial unintelligence: How computers misunderstand the world. MIT Press, 2018.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91.
CARONE, Iray; BENTO, Maria Aparecida Silva. Psicologia social do racismo: estudos sobre branquitude e branqueamento no Brasil. Editora Vozes Limitada, 2017.
COTTOM, Tressie McMillan. Black Cyberfeminism: Ways Forward for Classification Situations, Intersectionality and Digital Sociology. 2016.
DANIELS, Jessie. Cyber racism: White supremacy online and the new attack on civil rights. Rowman & Littlefield Publishers, 2009.
DANIELS, Jessie. Race and racism in Internet studies: A review and critique. New Media & Society, v. 15, n. 5, p. 695-719, 2013.
DANIELS, J.; NKONDE, M.; MIR, D. Advancing Racial Literacy in Tech. Relatório do Data & Society Fellowship Program. 2019.
DELGADO, Richard; STEFANCIC, Jean. Critical race theory: An introduction. NYU Press, 2017.
EPSTEIN, Ziv et al. Closing the AI Knowledge Gap. arXiv preprint arXiv:1803.07233, 2018.
GILLESPIE, Tarleton. The relevance of algorithms. Media technologies: Essays on communication, materiality, and society, v. 167, 2014.
JAIME, Pedro. Interculturalidade e comunicação nas organizações: Reflexões antropológicas e notas para uma agenda de pesquisas. Organicom, v. 11, n. 21, p. 77-89, 2014.
MACHADO, Eliana Sambo. Visibilidade não marcada da Branquitude: discursos de mulheres brancas acadêmicas. Revista da Associação Brasileira de Pesquisadores/as Negros/as (ABPN), v. 10, p. 375-398, 2018.
MALAGON, Maria C.; HUBER, Lindsay Perez; VELEZ, Veronica N. Our experiences, our methods: Using grounded theory to inform a critical race theory methodology. Seattle J. Soc. Just., v. 8, p. 253, 2009.
MBEMBE, Achille. Políticas da Inimizade. Lisboa (Portugal: Antígona, 2017.
MILLS, Charles W. The racial contract. Cornell University Press, 2014.
MINTZ, André. Máquinas que veem: visão computacional e agenciamentos do visível. In: MENOTTI, Gabriel; BASTOS, Marcus; MORAN, Partrícia (orgs.). Cinema apesar da imagem. São Paulo: Intermeios, 2016.
NASCIMENTO, Abdias. O genocídio do negro brasileiro: processo de um racismo mascarado. São Paulo: Editora Perspectiva SA, 2016.
NELSON, Alondra; TU, Thuy Linh Nguyen; HINES, Alicia Headlam (Ed.). Technicolor: Race, technology, and everyday life. NYU Press, 2001.
NOBLE, Safiya Umoja. Algorithms of oppression: How search engines reinforce racism. NYU Press, 2018.
OLIVEIRA, Carla. Aprendizado de máquina e modulação do comportamento humano. In: SOUZA, Joyce; AVELINO, Rodolfo; SILVEIRA, Sérgio Amadeu. A Sociedade de Controle: manipulação e modulação nas redes digitais. São Paulo: Hedra, 2018
OSOBA, Osonde A.; WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.
PASQUALE, Frank. The black box society. Harvard University Press, 2015.
RAJI, I.; BUOLAMWINI, J.. Actionable auditing: Investigating the impact of publicly naming biased performance results of commercial ai products. In: AAAI/ACM Conf. on AI Ethics and Society. 2019.
ROBERTS, Dorothy. Fatal invention: How science, politics, and big business re-create race in the twenty-first century. New Press/ORIM, 2011.
ROSSATTO, César Augusto. A transgressão do racismo cruzando fronteiras: estudos críticos da branquitude: Brasil e Estados Unidos na luta pela justiça racial. Revista da Associação Brasileira de Pesquisadores/as Negros/as (ABPN), v. 6, n. 13, p. 120-133, 2014.
RHUE, Lauren. Emotion-reading tech fails the racial bias test. The Conversation, 2019. Disponível em < https://theconversation.com/emotion-reading-tech-fails-the-racial-bias-test-108404 >
SILVA, Tarcízio. Teoria Racial Crítica e Comunicação Digital: conexões contra a dupla opacidade. Anais do 42º Congresso Brasileiro de Ciências da Comunicação. Belém, Pará, 2019a.
SILVA, Tarcízio. Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código. Anais do VI Simpósio Internacional LAVITS. Salvador (Bahia), Brasil, 2019b.
SILVEIRA, Sérgio Amadeu da. Tudo sobre Tod@s: redes digitais, privacidade e venda de dados pessoais. São Paulo: Edições Sesc, 2017.
SOUZA, Jessé. A elite do atraso. Rio de Janeiro: Leya, 2017.
SUE, Derald Wing. Multidimensional facets of cultural competence. The counseling psychologist, v. 29, n. 6, p. 790-821, 2001.
TYNES, Brendesha M. et al. From Racial Microaggressions to Hate Crimes: A Model of Online Racism Based on the Lived Experiences of Adolescents of Color. Microaggression Theory: Influence and Implications, p. 194-212, 2018.
WANG, JuHong; ZHANG, SongHai; MARTIN, Ralph R. New advances in visual computing for intelligent processing of visual media and augmented reality. Science China Technological Sciences, v. 58, n. 12, p. 2210-2211, 2015.
[1] O recurso da Google Vision pode ser testado no endereço web https://cloud.google.com/vision/ . A foto utilizada é de autoria de Dazzle Jam e está disponível através da licença creative Commons em https://www.pexels.com/@dazzle-jam-374075.
Neste dezembro tive a oportunidade de participar de painel em minha alma matter no Congresso UFBA 75 anos, conversando com e ouvindo as iluminadas exposições dos pesquisadores Cleifson Dias, Claudiana Lelis e Luiz Ribeiro. A mesa foi registrada no canal da TV UFBA:
Você sabia que um modelo computacional desenvolvido pela famosa think tank RAND foi um dos grandes responsáveis por gigantescos incêndios que assolaram Nova Iorque nos anos 70?
Trabalho jornalístico publicado por Joe Flood no livro “The Fires: How a Computer Formula, Big Ideas, and the Best of Intentions Burned Down New York City and Determined the Future of Cities”[1] mostrou como o uso de modelos computacionais para tomada de decisões sobre combate ao incêndio ajudou a especulação imobiliária queimando bairros inteiros.
O sistema foi alimentado por dados enviesados para definir a atribuição de recursos de prevenção e combate a incêndios. Dados históricos como velocidade média de resposta aos incêndios e número de ações de prevenção e combate foram modelados para definir quais áreas da cidade seriam priorizadas. Isto gerou o que hoje conhecemos bem em casos de racismo algorítmico: o uso de dados históricos como representativo do que seria a realidade ou o que seria “justo” na verdade se torna um aceleracionismo das opressões. Bairros que eram menos atendidos por bombeiros e pelo poder público geravam menos dados, o que os invisibilizou na construção do modelo preditivo – os deixando com ainda menos recursos de prevenção e consequentemente mais vulneráveis aos incêndios. Adicionalmente, decisões intencionais e explícitas para privilegiar bairros ricos ou onde moravam pessoas influentes eram inclusas no modelo – e ocultas ao público como se fossem decisões técnicas.
Tal modelagem permitiria supostamente a otimização de custos de forma inteligente, uma ladainha frequente levada a cabo por empresas que propõem ideais de “cidades inteligentes”. Os incêndios expulsaram centenas de milhares – populações negras, latinas e imigrantes, sobretudo – de bairros visados em ideais de transformação da cidade levados à frente por urbanistas do governo e empresas de vários mercados.
Sindicatos, inclusive de bombeiros, e ativistas denunciaram que o governo estava prejudicando sistematicamente bairros negros e porto-riquenhos, mas os modelos e métricas da think tank poderiam “prover resmas de jargões técnicos e equações complicadas que davam um ar de imparcialidade ao processo“[1]. Dos anos 1970 até hoje, a tática apenas se complexificou. O poder político e do capital consegue se aproveitar do caráter quase mítico das “novas tecnologias” para levar à frente decisões discriminatórias disfarçadas em tecnicalidades. Um explícito paralelo pode ser realizado com as problemáticas iniciativas de policiamento preditivo, que apenas promovem a criminalização da pobreza e de bairros vulneráveis.
Incêndios intencionais e criminosos ou a leniência em combatê-los fazem parte da história da segregação espacial tanto nos territórios rurais quanto nas grandes cidades. A destruição de favelas por fogo virou rotina durante ondas de especulação imobiliária em São Paulo, incluindo casos célebres como a Favela do Moinho. Pesquisadores cruzaram os dados de incêndios e descobriram correlações com áreas em valorização imobiliária e motivação higienista de moradores de classe média dos entornos[2].
Em quaisquer decisões quanto a tecnologias públicas como arquitetura e ordenamento espacial, a distribuição de poder, autoridade e privilégio de uma comunidade ou entre comunidades estão em jogo e as decisões que as impactam podem ser diferentes a depender do compromisso e capacidade de ação de quem faz políticas públicas de investimento ou regulação.
Pontes
Um caso anedótico mais famoso e controverso sobre decisões quanto às cidades é o relatado pelo jornalista Robert Caro, em livro ganhador do prêmio Pulitzer. Na obra The Power Broker: Robert Moses and the fall of New York, Caro conta a história de um racista orgulhoso de seu ódio – Robert Moses. Tal ódio e afiliação à supremacia branca foi impulsionado por nada menos que 27 bilhões de dólares – o valor que ele gerenciou entre as décadas de 1920 e 1950 em cargos de tomada de decisão sobre o planejamento urbano de Nova Iorque.
Sua decisão mais famosa e controversa foi a ordenação de pontes baixas o suficiente para supostamente impedir que ônibus acessassem os parques públicos da região[3], especificamente para dificultar o acesso da população pobre e negra. Há disputas sobre a eficácia das pontes para tal objetivo[4], mas a simplicidade do exemplo nos lembra sobre como as decisões urbanas em todas as cidades tem potencial de criar barreiras adicionais para populações que não usam carros – e tal gera um efeito cumulativo de hierarquizar direito à cidade.
Uma ponte extremamente baixa pode impedir um ônibus de atravessá-la, assim como os grupos da população dependentes dos ônibus. Ou um centro administrativo municipal localizado nas bordas da cidade não cobertas por transporte público, longe da população pobre, pode desmotivar a cobrança de representantes do executivo e legislativo. As realidades materiais expressas em pontes, viadutos, ruas e malhas de transporte podem ser planejadas e ter impactos perenes na qualidade de vida da população de uma cidade.
O caso das pontes de Moses é citado pelo cientista político Langdon Winner em clássico artigo sobre propriedades políticas de artefatos, tecnologias ou objetos[5]. As decisões intencionais sobre as pontes seriam exemplo de um primeiro modo de artefatos possuírem propriedades políticas – de forma deliberada quando a invenção, design ou arranjo de um sistema/tecnologia foi realizado justamente em resposta a uma questão específica ‘política’. No caso, o projeto segregador de Moses, apoiado pela supremacia branca detentora de capital e força política.
Por mais chocante que pareça, a prática de segregação racialmente planejada foi e é comum em incontáveis cidades no mundo Ocidental. Apesar da controvérsia em específico sobre as pontes, porém, foi especialmente notável como o período regido por Robert Moses moldou padrões de planejamento urbano. Sobre tal influência, Caro aponta que:
Ao se certificar que os amplos subúrbios, áreas rurais e áreas esvaziadas fossem preenchidas por um padrão de desenvolvimento espalhado de baixa densidade dependente sobretudo de rodovias ao invés de transporte em massa, garantiu que aquele fluxo continuaria por gerações, quiçá séculos, e que a área metropolitana de New York seria – talvez para sempre – uma região onde o transporte – ir de um lugar ao outro – permaneceria uma preocupação irritante e exaustiva para 14 milhões de habitantes[3]
A distribuição racializada nas cidades brasileiras pode ser explicada tanto pelo acúmulo convergente de milhares de decisões e influências “indiretas” da desigualdade e racismo quanto pela implementação de tais ideologias de forma explícita em cidades ou bairros planejados. Paulo Henrique da Silva Santarém escreveu sobre as escalas de segregação que foram produzidas em Brasília para compô-la como um centro planejado rodeado de espaços marginais, sendo o transporte coletivo orientado ao controle e dominação urbana, definindo quem pode ir, onde, quando e como[6].
Comparando a capital de nosso país à experiência de Soweto, na África do Sul, Guilherme Lemos vez observa a distribuição do direito à cidade e “quem pode ou não ocupar espaços centrais ou a quem são destinados os espaços periféricos, em outras palavras, quem deve fazer viver e quem pode deixar morrer através do racismo institucional”[7].
[Na esquerda: remoções em Sophiatown, famílias transferidas para Soweto em 1955; Na direita: montagem de barracos de famílias removidas do entorno de Brasília em 1971. Fotos selecionadas por Guilherme Lemos (ver referências)]
Falando de arquitetura, as pontes de Moses foram desenhadas por ordens documentadas e explicitamente racistas, mas boa parte da arquitetura ocidental traz barreiras gigantescas vistas como “não-intencionais” a pedestres ou cadeirantes, por exemplo. As relações entre os grupos da sociedade através do balanço entre autoridade científica, representação política, invenções tecnológicas e, enfim, direcionamento a lucro ou bem-estar social influenciam diferencialmente o impacto das tecnologias, objetos e estruturas nas cidades. Independente da intenção de atores individuais, seus impactos em grupos específicos são efetivos.
Racismo algorítmico e reconhecimento facial nas cidades
Outro modo, para Langdon Winner, de artefatos conterem propriedades políticas seria quando estas propriedades são inerentes. Essa percepção é mais controversa, mas de acordo com este olhar “a adoção de um determinado sistema técnico traz inevitavelmente consigo condições para relações humanas que possuem uma carga política distintiva – por exemplo, centralizadora ou descentralizadora, promotora ou desencorajadora da igualdade, repressora ou libertadora“[5]. A partir de Engels, Winner discorreu sobre a produção fabril e a necessidade de coordenação em tabelas fixas de horário para a produção disciplinada. Em grandes fábricas na virada do século XIX ao XX, os trabalhadores seriam subordinados à lógica maquínica da produção, que seria despótica em si mesma?
Quando falamos de reconhecimento facial no espaço público, temos talvez outro ótimo exemplo da complexidade dos agenciamentos tecnopolíticos. Em torno do mundo, a tecnologia tem sido aplicada em contextos de violência estatal como Brasil (nos diferentes estados da Bahia, Rio de Janeiro, São Paulo e Amazonas por exemplo), Estados Unidos, Inglaterra, Canadá ou Afeganistão com diferentes níveis de permissividade mediados pela relação entre racismo, classismo e vigilantismo. No potente trabalho Direito à (Priva)Cidade: Design Discriminatório, Racismo Algorítmico e Vigilância Criminal no Distrito Federal[8], Elizandra Salomão realizou análise sobre a implementação do reconhecimento facial na capital do país.
Concentradas em terminais rodoviários, estações de metrô, centros comerciais e espaços de grande circulação de pessoas, o Reconhecimento Facial tem aplicação permitida legalmente para persecução de suspeitos desde 10 de novembro de 2020, quando da promulgação da Lei Distrital nº 6.712. Mas o uso da RF já havia sido implementado no sistema de Passe Livre, testado primeiramente no 0.110, em 2018[9], ônibus que faz o trajeto Rodoviária Central – Universidade de Brasília, permitindo aos estudantes periféricos a baldeação entre a Estação Central do Metrô/linhas de ônibus que ligam as satélites ao centro, ao transporte frequentemente superlotado que circula na UnB. Irônica a implementação de tal política 1 ano após quase 30% dos estudantes daquela Universidade se tornarem ingressos por cotas para escolas públicas
Se tanto a visão de urbanismo de Robert Moses como a “limpeza com fogo” impulsionada por modelos computacionais em Nova Iorque inspiraram técnicas de segregação, que futuros trazem o reconhecimento facial se for normalizado? A violência contra populações negras enquanto laboratório para projetos autoritários totalizadores se desdobra com potencial de velocidade, opacidade e escala no reconhecimento facial. O racismo algorítmico permite que a sociedade seja leniente com dados enviesados, modelos equivocados, infração de pilares de administração pública e objetivos de implementação que infringem direitos humanos. Elizandra Salomão fez uma ponte similar à esta ideia ao explicar como
avanços no sentido da vigilância estatal contra a população do Distrito Federal já fazem parte da rotina nas cidades satélites há muito tempo. Em Branco Sai, Preto Fica, um DF futurista é retratado como que numa profecia, na existência de um documento oficial como forma de limitar o acesso ao Plano Piloto: uma autorização legal para adentrar a cidade. A ficção ceilandense projetava essa ideia em 20 anos no futuro, mas ela já se pratica na forma das câmeras de vigilância estrategicamente vinculadas a softwares de Reconhecimento Facial Automático.
Em sociedades neoliberais que privilegiam o lucro sobre o bem-estar social, a capacidade de ação dos eventuais bons gestores públicos ou experts competentes é limitada por interesses corporativos e de outros grupos. Em torno do mundo, lobby corporativo e think tanks tentam normalizar e diluir os horrores da exploração através de re-enquadramentos discursivos como ‘govtech’, plataformização e diversos tecnosolucionismos. Na persuasão política, o vigilantismo e punitivismo rende ganhos políticos para postulantes seja ao legislativo seja ao executivo. Mas ainda há tempo para superarmos o tecnosolucionismo e apagarmos os incêndios – metafóricos e literais – que corroem as democracias.
Referências
[1] Joe Flood, The Fires: How a Computer Formula, Big Ideas, and the Best of Intentions Burned Down New York City and Determined the Future of Cities, Nova Iorque (EUA): Riverhead Books, 2010, pos. 3128.
[2] Rodrigo Dantas Bastos, Na rota do fogo: especulação imobiliária em São Paulo, Tese de Doutorado apresentada ao Instituto de Filosofia e Ciências Humanas da Universidade Estadual de Campinas, Campinas, 2018.
[3] Robert A. Caro, The power broker: Robert Moses and the fall of New York, Nova Iorque: Vintage Books, 1974.
[4] Steve Woolgar; Geoff Cooper, “Do Artefacts Have Ambivalence: Moses’ Bridges, Winner’s Bridges and other Urban Legends in S&TS”, Social studies of science, v. 29, n. 3, 1999, pp. 433-449.
[5] Langdon Winner, “Do artifacts have politics?”. Daedalus, p. 121-136, 1980
[6] Paulo Henrique da Silva Santarém, A Cidade Brasília (dfe): conflitos sociais e espaciais significados na raça, dissertação realizada na Pós-Graduação em Antropologia Social da Universidade de Brasília, Brasília – DF, 2013.
[7] Guilherme O. Lemos, “De Soweto à Ceilândia: siglas de segregação racial”, Paranoá: Cadernos de Arquitetura e Urbanismo, n. 18, 2017, p.12.
[8] Elizandra Salomão. Direito à (Priva)Cidade: Design Discriminatório, Racismo Algorítmico e Vigilância Criminal no Distrito Federal. Trabalho de Conclusão de Curso de Graduação. Faculdade de Direito – Universidade de Brasília, 2021.
[9] Elizandra Salomão. Direito à (Priva)Cidade: da câmera na catraca às prisões com uso do Reconhecimento Facial – Vigilância e Proteção de Dados Pessoais no Distrito Federal. XI Congresso Brasileiro de Pesquisadores/as Negros/as, Curitiba, 2020.
Como citar este texto? SILVA, Tarcízio. Incêndios, pontes baixas e racismo algorítmico. Blog do Tarcizio Silva, 23 nov. 2021. Disponível em:<https://tarciziosilva.com.br/blog>. Acesso em: dia, mês, ano.
