Incêndios, pontes baixas e racismo algorítmico

Você sabia que um modelo computacional desenvolvido pela famosa think tank RAND foi um dos grandes responsáveis por gigantescos incêndios que assolaram Nova Iorque nos anos 70?

Trabalho jornalístico publicado por Joe Flood no livro “The Fires: How a Computer Formula, Big Ideas, and the Best of Intentions Burned Down New York City and Determined the Future of Cities[1] mostrou como o uso de modelos computacionais para tomada de decisões sobre combate ao incêndio ajudou a especulação imobiliária queimando bairros inteiros.

O sistema foi alimentado por dados enviesados para definir a atribuição de recursos de prevenção e combate a incêndios. Dados históricos como velocidade média de resposta aos incêndios e número de ações de prevenção e combate foram modelados para definir quais áreas da cidade seriam priorizadas. Isto gerou o que hoje conhecemos bem em casos de racismo algorítmico: o uso de dados históricos como representativo do que seria a realidade ou o que seria “justo” na verdade se torna um aceleracionismo das opressões. Bairros que eram menos atendidos por bombeiros e pelo poder público geravam menos dados, o que os invisibilizou na construção do modelo preditivo – os deixando com ainda menos recursos de prevenção e consequentemente mais vulneráveis aos incêndios. Adicionalmente, decisões intencionais e explícitas para privilegiar bairros ricos ou onde moravam pessoas influentes eram inclusas no modelo – e ocultas ao público como se fossem decisões técnicas.

Tal modelagem permitiria supostamente a otimização de custos de forma inteligente, uma ladainha frequente levada a cabo por empresas que propõem ideais de “cidades inteligentes”. Os incêndios expulsaram centenas de milhares – populações negras, latinas e imigrantes, sobretudo – de bairros visados em ideais de transformação da cidade levados à frente por urbanistas do governo e empresas de vários mercados.

Sindicatos, inclusive de bombeiros, e ativistas denunciaram que o governo estava prejudicando sistematicamente bairros negros e porto-riquenhos, mas os modelos e métricas da think tank poderiam “prover resmas de jargões técnicos e equações complicadas que davam um ar de imparcialidade ao processo[1]. Dos anos 1970 até hoje, a tática apenas se complexificou. O poder político e do capital consegue se aproveitar do caráter quase mítico das “novas tecnologias” para levar à frente decisões discriminatórias disfarçadas em tecnicalidades. Um explícito paralelo pode ser realizado com as problemáticas iniciativas de policiamento preditivo, que apenas promovem a criminalização da pobreza e de bairros vulneráveis.

Incêndios intencionais e criminosos ou a leniência em combatê-los fazem parte da história da segregação espacial tanto nos territórios rurais quanto nas grandes cidades. A destruição de favelas por fogo virou rotina durante ondas de especulação imobiliária em São Paulo, incluindo casos célebres como a Favela do Moinho. Pesquisadores cruzaram os dados de incêndios e descobriram correlações com áreas em valorização imobiliária e motivação higienista de moradores de classe média dos entornos[2].

Em quaisquer decisões quanto a tecnologias públicas como arquitetura e ordenamento espacial, a distribuição de poder, autoridade e privilégio de uma comunidade ou entre comunidades estão em jogo e as decisões que as impactam podem ser diferentes a depender do compromisso e capacidade de ação de quem faz políticas públicas de investimento ou regulação.

Pontes

Um caso anedótico mais famoso e controverso sobre decisões quanto às cidades é o relatado pelo jornalista Robert Caro, em livro ganhador do prêmio Pulitzer. Na obra The Power Broker: Robert Moses and the fall of New York, Caro conta a história de um racista orgulhoso de seu ódio – Robert Moses. Tal ódio e afiliação à supremacia branca foi impulsionado por nada menos que 27 bilhões de dólares – o valor que ele gerenciou entre as décadas de 1920 e 1950 em cargos de tomada de decisão sobre o planejamento urbano de Nova Iorque.

Sua decisão mais famosa e controversa foi a ordenação de pontes baixas o suficiente para supostamente impedir que ônibus acessassem os parques públicos da região[3], especificamente para dificultar o acesso da população pobre e negra. Há disputas sobre a eficácia das pontes para tal objetivo[4], mas a simplicidade do exemplo nos lembra sobre como as decisões urbanas em todas as cidades tem potencial de criar barreiras adicionais para populações que não usam carros – e tal gera um efeito cumulativo de hierarquizar direito à cidade.

Uma ponte extremamente baixa pode impedir um ônibus de atravessá-la, assim como os grupos da população dependentes dos ônibus. Ou um centro administrativo municipal localizado nas bordas da cidade não cobertas por transporte público, longe da população pobre, pode desmotivar a cobrança de representantes do executivo e legislativo. As realidades materiais expressas em pontes, viadutos, ruas e malhas de transporte podem ser planejadas e ter impactos perenes na qualidade de vida da população de uma cidade.

O caso das pontes de Moses é citado pelo cientista político Langdon Winner em clássico artigo sobre propriedades políticas de artefatos, tecnologias ou objetos[5]. As decisões intencionais sobre as pontes seriam exemplo de um primeiro modo de artefatos possuírem propriedades políticas – de forma deliberada quando a invenção, design ou arranjo de um sistema/tecnologia foi realizado justamente em resposta a uma questão específica ‘política’. No caso, o projeto segregador de Moses, apoiado pela supremacia branca detentora de capital e força política.

Por mais chocante que pareça, a prática de segregação racialmente planejada foi e é comum em incontáveis cidades no mundo Ocidental. Apesar da controvérsia em específico sobre as pontes, porém, foi especialmente notável como o período regido por Robert Moses moldou padrões de planejamento urbano. Sobre tal influência, Caro aponta que:

Ao se certificar que os amplos subúrbios, áreas rurais e áreas esvaziadas fossem preenchidas por um padrão de desenvolvimento espalhado de baixa densidade dependente sobretudo de rodovias ao invés de transporte em massa, garantiu que aquele fluxo continuaria por gerações, quiçá séculos, e que a área metropolitana de New York seria – talvez para sempre – uma região onde o transporte – ir de um lugar ao outro – permaneceria uma preocupação irritante e exaustiva para 14 milhões de habitantes[3]

A distribuição racializada nas cidades brasileiras pode ser explicada tanto pelo acúmulo convergente de milhares de decisões e influências “indiretas” da desigualdade e racismo quanto pela implementação de tais ideologias de forma explícita em cidades ou bairros planejados. Paulo Henrique da Silva Santarém escreveu sobre as escalas de segregação que foram produzidas em Brasília para compô-la como um centro planejado rodeado de espaços marginais, sendo o transporte coletivo orientado ao controle e dominação urbana, definindo quem pode ir, onde, quando e como[6].

Comparando a capital de nosso país à experiência de Soweto, na África do Sul, Guilherme Lemos vez observa a distribuição do direito à cidade e “quem pode ou não ocupar espaços centrais ou a quem são destinados os espaços periféricos, em outras palavras, quem deve fazer viver e quem pode deixar morrer através do racismo institucional”[7].

Falando de arquitetura, as pontes de Moses foram desenhadas por ordens documentadas e explicitamente racistas, mas boa parte da arquitetura ocidental traz barreiras gigantescas vistas como “não-intencionais” a pedestres ou cadeirantes, por exemplo. As relações entre os grupos da sociedade através do balanço entre autoridade científica, representação política, invenções tecnológicas e, enfim, direcionamento a lucro ou bem-estar social influenciam diferencialmente o impacto das tecnologias, objetos e estruturas nas cidades. Independente da intenção de atores individuais,  seus impactos em grupos específicos são efetivos.

Racismo algorítmico e reconhecimento facial nas cidades

Outro modo, para Langdon Winner, de artefatos conterem propriedades políticas seria quando estas propriedades são inerentes. Essa percepção é mais controversa, mas de acordo com este olhar “a adoção de um determinado sistema técnico traz inevitavelmente consigo condições para relações humanas que possuem uma carga política distintiva – por exemplo, centralizadora ou descentralizadora, promotora ou desencorajadora da igualdade, repressora ou libertadora[5]. A partir de Engels, Winner discorreu sobre a produção fabril e a necessidade de coordenação em tabelas fixas de horário para a produção disciplinada. Em grandes fábricas na virada do século XIX ao XX, os trabalhadores seriam subordinados à lógica maquínica da produção, que seria despótica em si mesma?

Quando falamos de reconhecimento facial no espaço público, temos talvez outro ótimo exemplo da complexidade dos agenciamentos tecnopolíticos. Em torno do mundo, a tecnologia tem sido aplicada em contextos de violência estatal como Brasil (nos diferentes estados da Bahia, Rio de Janeiro, São Paulo e Amazonas por exemplo), Estados Unidos, Inglaterra, Canadá ou Afeganistão com diferentes níveis de permissividade mediados pela relação entre racismo, classismo e vigilantismo. No potente trabalho Direito à (Priva)Cidade: Design Discriminatório, Racismo Algorítmico e Vigilância Criminal no Distrito Federal[8], Elizandra Salomão realizou análise sobre a implementação do reconhecimento facial na capital do país.

Concentradas em terminais rodoviários, estações de metrô, centros comerciais e espaços de grande circulação de pessoas, o Reconhecimento Facial tem aplicação permitida legalmente para persecução de suspeitos desde 10 de novembro de 2020, quando da promulgação da Lei Distrital nº 6.712. Mas o uso da RF já havia sido implementado no sistema de Passe Livre, testado primeiramente no 0.110, em 2018[9], ônibus que faz o trajeto Rodoviária Central – Universidade de Brasília, permitindo aos estudantes periféricos a baldeação entre a Estação Central do Metrô/linhas de ônibus que ligam as satélites ao centro, ao transporte frequentemente superlotado que circula na UnB. Irônica a implementação de tal política 1 ano após quase 30% dos estudantes daquela Universidade se tornarem ingressos por cotas para escolas públicas

Se tanto a visão de urbanismo de Robert Moses como a “limpeza com fogo” impulsionada por modelos computacionais em Nova Iorque inspiraram técnicas de segregação, que futuros trazem o reconhecimento facial se for normalizado? A violência contra populações negras enquanto laboratório para projetos autoritários totalizadores se desdobra com potencial de velocidade, opacidade e escala no reconhecimento facial. O racismo algorítmico permite que a sociedade seja leniente com dados enviesados, modelos equivocados, infração de pilares de administração pública e objetivos de implementação que infringem direitos humanos. Elizandra Salomão fez uma ponte similar à esta ideia ao explicar como

avanços no sentido da vigilância estatal contra a população do Distrito Federal já fazem parte da rotina nas cidades satélites há muito tempo. Em Branco Sai, Preto Fica, um DF futurista é retratado como que numa profecia, na existência de um documento oficial como forma de limitar o acesso ao Plano Piloto: uma autorização legal para adentrar a cidade. A ficção ceilandense projetava essa ideia em 20 anos no futuro, mas ela já se pratica na forma das câmeras de vigilância estrategicamente vinculadas a softwares de Reconhecimento Facial Automático.

Em sociedades neoliberais que privilegiam o lucro sobre o bem-estar social, a capacidade de ação dos eventuais bons gestores públicos ou experts competentes é limitada por interesses corporativos e de outros grupos. Em torno do mundo, lobby corporativo e think tanks tentam normalizar e diluir os horrores da exploração através de re-enquadramentos discursivos como ‘govtech’, plataformização e diversos tecnosolucionismos. Na persuasão política, o vigilantismo e punitivismo rende ganhos políticos para postulantes seja ao legislativo seja ao executivo. Mas ainda há tempo para superarmos o tecnosolucionismo e apagarmos os incêndios – metafóricos e literais – que corroem as democracias.


Referências

[1] Joe Flood, The Fires: How a Computer Formula, Big Ideas, and the Best of Intentions Burned Down New York City and Determined the Future of Cities, Nova Iorque (EUA): Riverhead Books, 2010, pos. 3128.

[2] Rodrigo Dantas Bastos, Na rota do fogo: especulação imobiliária em São Paulo, Tese de Doutorado apresentada ao Instituto de Filosofia e Ciências Humanas da Universidade Estadual de Campinas, Campinas, 2018.

[3] Robert A. Caro, The power broker: Robert Moses and the fall of New York, Nova Iorque: Vintage Books, 1974.

[4] Steve Woolgar; Geoff Cooper, “Do Artefacts Have Ambivalence: Moses’ Bridges, Winner’s Bridges and other Urban Legends in S&TS”, Social studies of science, v. 29, n. 3, 1999, pp. 433-449.

[5] Langdon Winner, “Do artifacts have politics?”. Daedalus, p. 121-136, 1980

[6] Paulo Henrique da Silva Santarém, A Cidade Brasília (dfe): conflitos sociais e espaciais significados na raça, dissertação realizada na Pós-Graduação em Antropologia Social da Universidade de Brasília, Brasília – DF, 2013.

[7] Guilherme O. Lemos, “De Soweto à Ceilândia: siglas de segregação racial”, Paranoá: Cadernos de Arquitetura e Urbanismo, n. 18, 2017, p.12.

[8] Elizandra Salomão. Direito à (Priva)Cidade: Design Discriminatório, Racismo Algorítmico e Vigilância Criminal no Distrito Federal. Trabalho de Conclusão de Curso de Graduação. Faculdade de Direito – Universidade de Brasília, 2021.

[9] Elizandra Salomão. Direito à (Priva)Cidade: da câmera na catraca às prisões com uso do Reconhecimento Facial – Vigilância e Proteção de Dados Pessoais no Distrito Federal. XI Congresso Brasileiro de Pesquisadores/as Negros/as, Curitiba, 2020.

Como citar este texto?
SILVA, Tarcízio. Incêndios, pontes baixas e racismo algorítmico. Blog do Tarcizio Silva, 23 nov. 2021. Disponível em:<https://tarciziosilva.com.br/blog>. Acesso em: dia, mês, ano.

Dos autômatos e robôs às redes difusas de agência no racismo algorítmico

[Texto originalmente publicado no livro Vestígios do Futuro: 100 Anos de Isaac Asimov. Veja como citar ao final]

Antes de Isaac Asimov, talvez o mundo ocidental só tenha se deparado com a profundidade dos impactos sociais e especulativos da ficção científica com Mary Shelley, que inventou Frankenstein e sua criatura. Quase 100 anos antes do nascimento de Asimov, Shelley é considerada a mãe da ficção científica ao construir uma narrativa em torno de uma criatura feita de pedaços de corpos reanimados. A abordagem ficcional especulava sobre os avanços da ciência e os desafios éticos de então, mas também era uma estória em torno da inevitabilidade do destino.

Frontispício da edição de 1831 de Frankenstein

O monstro de Frankenstein e o imaginário sobre os robôs de hoje devem muito aos mitos do golem na Antiguidade e aos autômatos dos séculos XVII e XVIII. Na convergência com a Revolução Industrial, porém, aqueles últimos foram responsáveis por multiplicar as metáforas que promoveram o deslocamento da agência das máquinas, escondendo trabalho, expropriação de materiais e outras variáveis político-sociais do entendimento popular sobre artefatos com determinados graus aparentes de autonomia.

Talvez um dos mais interessantes autômatos do período foi o chamado “turco mecânico”. Criado pelo inventor húngaro Wolfgang von Kempelen, simulava o exotismo de um autômato turco que jogava xadrez de forma impecável contra oponentes humanos. O autômato era composto de uma peça humanoide com vestuário da Turquia e uma mesa sobre a qual o tabuleiro de xadrez era operado aparentemente de forma independente.

Levado a turnês por vários países europeus e EUA entre 1770 e 1854, alegadamente jogou com figuras históricas como Napoleão Bonaparte e Benjamin Franklin. Entre o fascínio e curiosidade de filósofos e cientistas da época e o medo de parte da população de que havia demônios dentro do artefato, a solução era muito mais prosaica: tratava-se apenas de uma farsa. Com o uso de ímãs e intricadas peças, um operador humano dentro da máquina movimentava as peças de xadrez a cada jogada.

Debruçado sobre os autômatos do século XVIII, o historiador de tecnologia Edward Jones-Imhotep conta a história da ideação de “fábricas fantasmas”, imaginadas por inventores empreendedores que vislumbravam um futuro em breve onde fábricas têxteis inteiras seriam totalmente automatizadas. Para seu funcionamento, seria necessária apenas uma pessoa – até mesmo apenas uma jovem garota, para choque redobrado na época – responsável por ligar, desligar e checar que nada atrapalhe as máquinas.

O vislumbre futurístico acima foi publicado em 1745 para anunciar as obras de Jacques de Vaucanson, inventor responsável por muitos mecanismos “autômatos” que fizeram história mas, defende Jones-Imhotep, sobretudo popularizou um modo de falar sobre máquinas. Em convergência com a defesa iluminista de valores particulares de governança e individualidade, os discursos da elite europeia da época em torno dos autômatos estabeleceram as bases de como falamos de máquinas e inteligência artificial hoje. Ver “máquinas como autônomas, então, historicamente significou não ver certos tipos de trabalho e as pessoas que o performam”[1].

O próprio nome da Amazon Mechanical Turk, o principal fornecedor de trabalho distribuído de micro-trabalho formatado pela égide do crowdsourcing demonstra o aceno explícito a esta história de ocultação de trabalho repetitivo e sub-valorizado. Inúmeros esforços tidos como inovadores na inteligência artificial tratam-se de camadas de qualificação, embalagem e marketing pelo Vale do Silício sobre literalmente milhões de pequenas decisões feitas por trabalhadores de países empobrecidos com baixa regulação trabalhista, como Filipinas, Marrocos e Índia.

Ideações sobre a inteligência artificial geral, aquela que algum dia poderia replicar de forma multidimensional fatores como criatividade, autonomia e autorreflexão dos humanos, são impulsionadas em grande medida por dois fatores: o fascínio – e lucratividade decorrente – dos produtos narrativos sobre robôs super inteligentes que se revoltam contra os humanos ou, ainda, partem seus corações; e a abundância de agentes do capital financeiro que acreditam que a inteligência artificial geral está logo ali – e que seus inventores e financiadores receberão vantagens astronômicas.

Entretanto, a inteligência artificial estreita – aquela que está no nosso dia a dia em recursos de visão computacional, reconhecimento facial, processamento de linguagem natural, escores de crédito, recomendação de conteúdo, predição de riscos e afins é tão ou mais interessante que a geral. E, sobretudo, mais premente. Argumentaria até que em grande medida a obra de Isaac Asimov é tão ou mais relevante para um mundo pré-inteligência artificial geral (que provavelmente nunca irá existir) do que para a ideação de possibilidades efusivas de robôs verdadeiramente inteligentes. As incidências multidirecionais entre tecnologia, sociedade e política são necessárias para discutir o agora.

Debates sobre atribuição, responsabilidade e agência, porém, frequentemente referenciam e bebem das ideações e reflexões basilares de pensadores como Isaac Asimov. Não por acaso, um interessante diálogo entre John M. Balkin e Frank Pasquale surgiu a partir da proposição, pelo primeiro, de Três Leis da Robótica na Era do Big Data, proposição na qual tais leis basilares tratam da sociedade algorítmica como um todo, incluindo IA e robôs. Balkin argumenta que as três leis, ou melhor, os três princípios legais, são:detentores de sistemas algorítmicos são fiduciários de informação; que as pessoas que usam e implementam os sistemas tem deveres públicos também para as pessoas que não são clientes, consumidoras ou usuárias finais; e que o dever público central dos detentores dos sistemas envolve evitar externalizar os custos/danos de suas operações[2].

Frank Pasquale, por sua vez, debate as proposições de Balkin com uma preocupação especial em torno de transparência e atribuição. A rastreabilidade de delegações dos sistemas é essencial e se torna mais difícil quando se trata de artefatos com mobilidade e letalidade individualizada, tais como drones. Deste modo, Pasquale propõe a importante inclusão de uma quarta lei às de Balkin, que seria enunciada como “um robô [ou sistema algorítmico] deve sempre indicar a identidade de seu criador, controlador ou proprietário”[3].

Deste ponto podemos evocar o que Latour, e outros teóricos da tríade ciência-tecnologia-sociedade, defende ao afirmar que “tecnologia é sociedade feita durável[4]. Apesar dos esforços de pesquisadores, ativistas, desenvolvedores e juristas, a assimetria de poder entre a cidadania global frente aos grandes oligopólios de tecnologia provenientes dos grupos neoimperialistas nos países centrais impõe barreiras quase intransponíveis. O lobby político, econômico e cultural da lógica technochauvinista em prol da implementação de mais e mais tecnologias de ordenação, vigilância e predição através do aprendizado de máquina para geração de mais lucro e desigualdade parece implacável.

Com a continuidade de séculos de supremacismo branco a partir dos esforços coloniais e novas colonialidades centradas na Europa e EUA, não foi surpresa aos atentos a emergência do racismo algorítmico. De plataformas de mídias sociais a tecnologias carcerárias de vigilância, a distribuição racializada de poder e opressão reproduz privilégios e discriminações em prol do fornecimento de capital – financeiro e social – a poucos, em detrimento das maiorias vulnerabilizadas do Sul Global e das periferias do Norte.

Não só o racismo algorítmico intensifica e brutaliza ainda mais a distribuição de poder em prol da branquitude, como também promove a opacidade dos seus mecanismos com o apoio da lógica do aprendizado de máquina. Sistemas de ordenação de valores, oportunidades, vigilância e respeito à humanidade são alimentados com histórico de milhares de pontos de dados desiguais, reproduzindo as dinâmicas sociais-políticas do passado em um loop de feedback cada vez mais opaco. Os casos auditados ou desvelados são inúmeros[5], mas parecem representar apenas uma pequena parte dos sistemas algorítmicos efetivamente implementados e ainda não-auditados ou analisados. Gostaria de focar em um caso especialmente pertinente ao tema em questão.

Em 2019, pesquisadores[6] publicaram na revista Science importante estudo sobre algoritmos comerciais de predição de necessidades de cuidados médicos, provando que milhões de pacientes negros receberam atribuição a escores de risco que os prejudicava. Em determinados escores de riscos atribuídos aos avaliados em triagens médicas, pacientes negros estavam na verdade muito mais doentes do que os pacientes brancos – e em índices alarmantes.

Ao investigar a origem da disparidade na base de dados, os pesquisadores descobriram que os dados que alimentavam o sistema estavam absurdamente enviesados: médicos tomavam frequentemente decisões de atribuir menos recursos a pacientes negros. Como essa métrica foi aplicada acriticamente como um proxy para supor a condição real dos pacientes, o que o algoritmo fez foi reproduzir, intensificar e esconder as decisões racistas granulares dos médicos que trabalhavam nas clínicas e hospitais fontes de dados para o sistema.

Este caso nos aponta muitos fatos e variáveis sobre a desinteligência artificial. Os mais óbvios tratam da incompetência (no mínimo) dos desenvolvedores que consideraram a métrica de “recursos gastos” como equivalente a “condições de saúde” e sobre a desumana negligência dos provedores e hospitais particulares de saúde que usaram o sistema algorítmico para otimizar custos, sem exigir auditorias prévias, uma vez que deveriam ser conscientes da factualidade discriminatória na saúde pública.

O caso também nos conta algo além. Se a comercialização de sistemas algorítmicos tem como característica fundamental a tentativa de impor opacidade nos fluxos de trabalho que os mantem, o que podemos dizer de sistemas algorítmicos baseados em aprendizado de máquina sobre milhares ou milhões de pontos de dados de decisões racistas que já estavam em andamento? Cada vez que um médico ignorou a dor de uma pessoa negra, escolheu um procedimento menos eficaz por ser mais barato ou deu atenção apenas a seus iguais, o impacto foi direto naquele paciente e se somou, como ponto de dado, à bases que permitiriam a automatização em escala das decisões racistas[7]. Ironicamente, a auditoria realizada no estudo jogou luz não só sobre os horrores da desinteligência artificial, mas também sobre os horrores das decisões realizadas por cossignatários de um contrato racial[8] em prol da branquitude violenta antes de sequer virarem dados.

Então, apesar do que leituras apressadas da obra de Isaac Asimov e outros escritores clássicos de ficção científica podem incentivar, é preciso ir além de debates óbvios sobre temas como “direitos dos robôs” ou impactos possíveis de uma improvável inteligência artificial geral. Antes precisamos concordar com Abeba Birhane e Jelle van Dijk ao defender que deveríamos focar no “bem-estar de grupos marginalizados […] que são desproporcionalmente impactados pela integração da tecnologia em nossas vidas cotidianas[9]. Em um mundo onde decisões racistas são novamente normalizadas ao serem transformadas em dados, perdendo as conexões de delegação e ganhando ares de neutralidade, não podemos perder de vista o compromisso de discutir as redes de poder e opressão incorporadas na tecnologia hoje.


Notas

[1] Edward Jones-Imhotep, “The ghost factories: histories of automata and artificial life”, History and Technology, vol. 36, n.1, 2020, p.10.

[2] Jack M. Balkin, “The Three Laws of Robotics in the Age of Big Data”, Ohio State Law Journal, vol. 78, n.5, 2017.

[3] Frank Pasquale, “Toward a Fourth Law of Robotics: Preserving Attribution, Responsibility, and Explainability in an Algorithmic Society”, Ohio State Law Journal, vol. 78, n.5, 2017.

[4] Buno Latour, “Technology is society made durable”, The Sociological Review, vol. 38, n.1, 1990.

[5] Mantenho um mapeamento contínuo em “Linha do Tempo do Racismo Algorítmico” em  https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-linha-do-tempo/

[6] Ziad Obermeyer et al., “Dissecting racial bias in an algorithm used to manage the health of populations”, Science, v. 366, n. 6464, 2019.

[7] Ruha Benjamin, “Assessing Risk, Automating Racism”, Science, v. 366, n. 6464, 2019.

[8] Charles W. Mills, The Racial Contract, Cornell University Press, 2014.

[9] Abeba Birhane; Jelle van Dijk, “Robot Rights? Let’s Talk about Human Welfare Instead”,Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 2020, p.6.


Como citar
SILVA, Tarcizio. Dos autômatos e robôs às redes difusas de agência no racismo algorítmico. In: TAVARES, A. R. Vestígios do Futuro: 100 Anos de Isaac Asimov. Rio de Janeiro: Editora Etheria, 2020.

O horror do reconhecimento facial na Bahia, onde poderia ser diferente

O uso de reconhecimento facial para promoção de violência estatal na Bahia constrange a defesa de ideais progressistas na centro-esquerda hegemônica hoje. A adição de mais aparatos policiais e violência estatal não é a solução para problemas sociais, algo que é especialmente agravado quando tratamos de tecnologias baseadas em mecanismos de automatização de decisões com inteligência artificial. Infelizmente o atual governo da Bahia buscou ser a vanguarda do atraso na temática, competindo com Doria e demais governantes bolsonaristas sobre quem promove mais rapidamente projetos de erosão da confiança da população no espaço público. Mas entre ideais e roupagens progressistas e a realidade há um enorme hiato e não é de hoje: o governo Lula foi um dos principais promotores do encarceramento em massa no país.

No atual momento – que seria muito propício para lideranças de centro-esquerda do maior partido do Brasil promoverem novas práticas e imaginários nas políticas públicas, vemos a postura inversa: de elogio a chacinas realizadas por policiais ao investimento ineficiente em tecnologias que promovem o genocídio negro hoje além do potencial de hipervigilância para toda a população no futuro.

Globalmente, moratórias e banimentos do uso de reconhecimento facial no espaço público, em especial pela polícia, estão sendo conquistados por organizações, ativistas e parlamentares. A campanha em torno da “Carta aberta para banimento global de usos de reconhecimento facial e outros reconhecimentos biométricos remotos que permitam vigilância em massa, discriminatória e enviesada” é mais uma demonstração do consenso no campo de direitos humanos contra a tecnologia:

São mais de 175 organizações signatárias de países como Estados Unidos, Reino Unido, Alemanha, Quênia, Brasil, Argentina que fortalecem as evoluções legislativas em torno do mundo que banem o reconhecimento facial do espaço público.

A jornalista Cíntia Falcão produziu recentemente importante reportagem com o título “Lentes Racistas: Rui Costa está transformando a Bahia em um laboratório de vigilância com reconhecimento facial“, que merece leitura atenta e dedicada:

Entre as descobertas, várias infrações aos direitos humanos, privacidade de dados e a desastrosa gestão da coisa pública – os dados sobre investimento e resultados são escandalosos ou ocultos. A importante reportagem explora dados e citações de alguns especialistas no tema no país, como a prolífica produção d’O Panóptico, Rosane Leal da Siva & Fernanda dos Santos Rodrigues da Silva e Pedro Diogo, que afirma que se trata de “polícia que usa esse sistema que realiza chacinas, assassinatos e desaparecimentos, seja oficialmente ou por meio de milícias e grupos de extermínio. E aí vem o sistema de reconhecimento facial a ser instalado e a expandir a capacidade do estado de promover o terror em face da população negra desse país”.


Histórico de horrores: implementar reconhecimento facial é optar pelo genocídio negro

Há diversos tipos de sistemas de reconhecimento facial que podem gerar variadas vulnerabilidades à privacidade, segurança ou direito ao espaço público. Hoje o mais comum é o tipo chamado “um a um” (one-to-one), tecnologias que tentam identificar se a imagem de um determinado rosto corresponde a um rosto específico na base de dados. Por exemplo, para controlar a entrada em um prédio governamental com alta segurança, algumas instituições usam este tipo de recurso. Para tanto, os funcionários que têm autorização de adentrar determinado espaço tem seus rostos fotografados e a cada nova entrada, o rosto da pessoa específica fisicamente no local é comparado aos dados vinculados a seu nome correspondente na base de dados.

Quando falamos de reconhecimento facial na vigilância do espaço público, estamos falando tipo “um a muitos” (one to many) onde os rostos de todas as pessoas que passam por um determinado local são registrados e cruzados com uma base de dados. Nos sistemas mais simples, é uma base de dados de supostos criminosos sendo procurados. Nos mais complexos, podem registrar movimentação de todos os cidadãos no espaço público e até indicadores – cientificamente questionáveis e eticamente deploráveis – que envolvam atribuição de estados emocionais a partir de expressões faciais, modos de andar ou até mesmo quais objetos estão sendo segurados, símbolos e estampas em rostos, tipos de vestuário etc.

Reconhecimento facial e visão computacional para identificação de objetos em imagens e vídeos são tecnologias altamente imprecisas, com amplo histórico de erros com impactos violentos que desrespeitam os direitos humanos. Sobre reconhecimento facial, alguns exemplos pontuais ou de pesquisas estruturadas: softwares da IBM, Microsoft, Amazon e outros erram mais em imagens de mulheres negras; órgão estadunidense identificou que sistemas de biometria visual erram de 10 a 100 vezes mais com imagens de pessoas negras ou asiáticas; Google marca ferramentas em mão negra como arma; Instagram bloqueia anúncio mostrando favela por “conter armas” que não existem na imagem.

Mantenho um mapeamento de casos similares, mas reforço que não se trata apenas do nível de precisão da identificação de um indivíduo no espaço físico em relação a um indivíduo na base de dados. Trata-se sobretudo de modelos de segurança pública, violência estatal, noções de privacidade e de uso da cidade que comprometem o presente e o futuro das sociedades. E tais modelos são sobretudo racistas, de promoção da seletividade penal contra negros, indígenas, imigrantes e/ou pobres.


Mais vigilância e mais tecnologias não são soluções para problemas públicos

Diversos dispositivos, objetos ou tecnologias vistas como inovação foram criadas para controle de cidadãos, sua movimentação no espaço ou mobilidade social. Tecnologias de vigilância desenvolvidas para fins militares e/ou policiais em países do Ocidente e no Brasil fortalecem as desigualdades, castas e apartheids, em particular o genocídio negro no país. O desenho político e econômico de sociedades como a brasileira promove a aceitação de erros e violências em vários momentos de decisão sobre o uso da tecnologia.

Em primeiro lugar, a decisão por mais policiamento, vigilância e violência como reação à problemas de segurança pública tem terreno fértil em países construídos através da escravidão, como Estados Unidos e Brasil, por causa da supremacia branca vigente. O acúmulo de violência e desigualdades sociais atualizado constantemente através do racismo estrutural avança no posicionamento de pessoas negras como menos dignas à vida e direitos.

As instituições policiais no país foram organizadas desde seu início para perseguir pessoas negras tanto escravizadas e alforriadas, em prol da expropriação de trabalho, capital, terras e produção para a acumulação de propriedade em um projeto eugenista.

Em segundo lugar, a própria definição de tipos penais que recebem reação ostensiva da polícia promove foco em infrações sem vítima e comumente frutos de desigualdade e pobreza. Furtos ou roubos famélicos são um exemplo, assim como a criminalização de drogas, em especial a maconha. Com uma das maiores populações penitenciárias do mundo, no Brasil centenas de milhares de pessoas são encarceradas por longos períodos por crimes banais e sem julgamento ou sentença. E a população de encarcerados e encarceradas tem se tornado alvo de experiências de coleta de dados biométricos e genéticos.

Em terceiro lugar, este panorama de coisas facilita a prática de injustiças no sistema penal e a definição de tecnologias de apoio ao aparato policial. Sistemas algorítmicos e tecnologias com qualquer tipo de automatização de processos são muito imprecisas, mas são implementadas a toque de caixa e aceitas socialmente pois as vítimas da violência estatal são sobretudo pessoas negras. Os mecanismos de controle social das tecnologias policiais enfrentam problemas devido ao racismo pervasivo no funil da criminalização, prisão, julgamento, encarceramento e marginalização posterior.

Por fim, mesmo em países onde a letalidade policial é centenas de vezes menor do que a do Brasil, a inclusão de tecnologias apenas aparentemente objetivas no processo de vigilância promove excessos dos policiais. Em etnografia realizada na implementação do sistema de reconhecimento em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção”, reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

Temos décadas de dados em torno do mundo e em países similares ao Brasil que mostram que violência estatal e vigilância pervasiva não são soluções para problemas de segurança pública. Ao contrário, a promoção do bem-estar social através do combate às desigualdades, remediações de impactos do racismo, descriminalização das drogas e priorização de indicadores de emprego e qualidade de vida na definição de políticas públicas é o caminho para combater a violência.

Cursos gratuitos sobre desigualdades na internet, autocuidado e direitos digitais

A Ação Educativa lançou, com apoio da Mozilla Foundation, uma trilha de cursos sobre internet, direitos digitais e tecnologia com minha curadoria. São cursos gratuitos, gravados, compostos de atividades em vídeo, texto e fóruns de interação – participantes podem fazer no seu tempo, com prazo super elástico! Serão vários cursos, dois já estão disponíveis. Confira:

INTERNET E DESIGUALDADES

O curso Internet e Desigualdades busca oferecer uma introdução sobre os debates em torno das desigualdades no acesso, uso e desenvolvimento da internet. Através da curadoria de dados, reflexões e conceitos sobre a internet como catalisadora de direitos, discute de infraestrutura e dispositivos até questões de raça, gênero e território. Realizado por Tarcízio Silva, pesquisador e Tech + Society Fellow na Mozilla Foundation.

BEM-VIVER NA INTERNET

O curso busca discutir e apresentar estratégias de autocuidado para as/os participantes refletirem sobre suas trajetórias online, indo de camadas individuais à governança da internet e direitos digitais, passando também por táticas coletivas. Baseado em princípios de autodefinição e autocuidado, o curso é composto de quatro módulos que incluem também aulas sobre infodemia em contexto pandêmico, ciberbullying, discurso de ódio e desinformação. Ao final da jornada, apresenta táticas para formação de grupos de apoio baseados em valores como compaixão, expressão, colaboração e respeito aos direitos humanos.

Formadoras: Glenda Dantas, jornalista e co-fundadora da plataforma Conexão Malunga. Pesquisa sobre cibercultura e ciberativismo. Participou do Programa Youth Brasil – Comitê Gestor da Internet 2020; e Mariana Gomes, jornalista co-fundadora da plataforma Conexão Malunga. Pesquisa sobre governança da internet e ciberativismo a partir do feminismo negro. Bolsista do Programa Youth Brasil – Comitê Gestor da Internet 2019. Liderança apoiada pelo Programa de Aceleração do Desenvolvimento Marielle Franco (Baobá Fundo para Equidade Racial) – 2020.

Colonialismo de dados é fruto e arma da supremacia branca

[O texto abaixo é a adaptação de respostas a uma entrevista para reportagem sobre colonialismo de dados. Como habitual, todas menções à Europa, branquitude e supremacia branca nas respostas foram suprimidas da reportagem final. Testemunhamos em torno do mundo um apagamento do colonialismo “histórico” na formatação das condições para emergência das big tech e também o apagamento de como as colonialidades do poder, do ser e do saber se relacionam com tecnologia na distribuição de hierarquias de humanidade nas dominações globais.]

Práticas de extração e processamento de dados reproduzem fluxos de apropriação de capital e epistemes típicas de sanhas coloniais que moldaram o mundo, em especial em torno do Atlântico. O domínio de meios informacionais de circulação de dados é realizado através da plataformização de mais e mais esferas sociais através da datificação. Comunicação e esfera pública centrada nas mídias sociais, trocas financeiras de serviços centradas em aplicativos mobile e mesmo trocas afetivo-sexuais são registradas e monetizadas em softwares dominados por grupos dominantes que tem a capacidade de selecionar, criar, adquirir ou copiar serviços de startups que se destacam nos negócios da tecnologia.

Quando o capital financeiro global consegue realizar dumping em países dominados pelas potências europeias e EUA, mercados e indústrias locais são fragilizados graças ao controle das trocas realizadas nas plataformas. Dos aplicativos de transporte até tecnologias biométricas, passando por plataformas de mídias sociais, o colonialismo de dados reproduz a dominação dos fluxos e trocas em favor dos grandes centros e de grupos demográficos específicos quanto a raça, classe e gênero. O trabalho gratuito ou precarizado de centenas de milhões em torno do mundo desemboca, ao fim e ao cabo, na concentração de recursos dos negócios bilionários da tecnologia que se reinventaram para se apresentar a público como uma miríade de milhares de marcas ou, mesmo, pela ficção da “economia compartilhada” que oculta tal concentração.

Levando os fluxos de interesse em conta, com certeza a articulação pela produção intelectual e práxis sócio-política descolonial é uma necessidade para o avanço das ciências e soberania epistemológica do país, mas em grande medida o fluxo de ideias sobre algumas chaves teórico-conceituais em torno do colonialismo de dados reproduz a direção Norte-Sul. Uma agenda de pesquisa brasileira que se coloca voluntariamente como “à margem” dos centros passa a reproduzir um olhar eurocêntrico sobre sua produção. Ao consumir de forma assimétrica as produções europeias sobre caminhos descoloniais ou, ainda, abarcar a ideia de um pós-colonial, corremos o risco de produzir, literalmente, para “inglês ver”. Acredito na possibilidade de intensificação de articulações Sul-Sul que promovam a conexão do Brasil com a diversidade da América Latina e da África para conexões intelectuais que desenvolvam imaginários que não busquem a chancela eurocêntrica.

Minha pesquisa atual especificamente gira em torno do conceito de racismo algorítmico, que o modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de epistemes, recursos, espaço e violência em detrimento de grupos racializados pela branquitude detentora das epistemologias e capitais hegemônicos que moldam o horizonte de ações da inteligência artificial em sistemas algorítmicos.

As práticas em torno da base de imagens etiquetadas ImageNet formam um dos exemplos mais loquazes sobre como o colonialismo de dados molda práticas e modelos que ganham incrementalmente camadas de opacidade até o ponto de serem tomados como naturais e promovem algoritmicamente o racismo. Esta base de imagens possui milhões de fotografias extraídas sem consentimento através de web scraping em buscadores. Foi etiquetada – ou seja, marcada com categorias para permitir o aprendizado de máquina – sobretudo através de trabalho do modelo “crowdsourced” realizado por profissionais precarizados em países como Filipinas e Índia. As imagens eram provenientes em sua absoluta maioria de países europeus e EUA, hipervisibilizando pessoas e ambientes destes países e invisibilizando estéticas do Sul Global. A partir deste treinamento de máquina, competições de construção de modelos algorítmicos para identificação de imagens foram realizados por centros científicos dos países afluentes. Como resultado, isto significou a reprodução opaca de modelos algorítmicos de interpretação de imagens em visão computacional que apaga ou interpreta erroneamente pessoas e ambientes não-eurocêntricos ao mesmo tempo que transferiu trabalho e recursos reproduzíveis e escaláveis para os centros afluentes da tecnologia global.

A própria existência de um oligopólio tecnológico que domina grande fatia do tempo, produção intelectual e comunicacional dos cidadãos e o valor financeiro decorrente é um empecilho inerente ao uso construtivo da internet para o bem estar social. Avança a discussão sobre a necessidade de desmembrar oligopólios do chamado FAANG – Facebook, Amazon, Apple, Netflix e Alphabet (a detentora do Google). Cada uma dessas corporações possui amplos conglomerados de empresas em setores como comunicação, mídia, inteligência artificial, varejo, infraestrutura e muitos outros, podendo cruzar dados de cada a seu bel-prazer e desenvolver modelos de ingerência nas esferas sociais, econômicas e políticas.

Neste sentido, vimos na última década como tal oligopólio se posicionou em um local privilegiado para interpretação da realidade social através da promoção da ideologia de mensuração científica de big data. Com centenas de cientistas, contratados a partir das melhores universidades do mundo, engajados em pesquisa para fins privados, grupos como Facebook e Alphabet acabaram por ter capacidade de interferência no mundo maior do que a de muitos Estados nacionais. Quando falamos de pesquisa científica, temos um risco de diluição do potencial transformador e investigativo de projetos possibilitados por grants financeiros ou acesso apenas a dados que as plataformas julgam confortável compartilhar. Precisamos defender com todas as forças a independência das universidades a esta ingerência privada e alheia aos interesses nacionais.