O horror do reconhecimento facial na Bahia, onde poderia ser diferente

O uso de reconhecimento facial para promoção de violência estatal na Bahia constrange a defesa de ideais progressistas na centro-esquerda hegemônica hoje. A adição de mais aparatos policiais e violência estatal não é a solução para problemas sociais, algo que é especialmente agravado quando tratamos de tecnologias baseadas em mecanismos de automatização de decisões com inteligência artificial. Infelizmente o atual governo da Bahia buscou ser a vanguarda do atraso na temática, competindo com Doria e demais governantes bolsonaristas sobre quem promove mais rapidamente projetos de erosão da confiança da população no espaço público. Mas entre ideais e roupagens progressistas e a realidade há um enorme hiato e não é de hoje: o governo Lula foi um dos principais promotores do encarceramento em massa no país.

No atual momento – que seria muito propício para lideranças de centro-esquerda do maior partido do Brasil promoverem novas práticas e imaginários nas políticas públicas, vemos a postura inversa: de elogio a chacinas realizadas por policiais ao investimento ineficiente em tecnologias que promovem o genocídio negro hoje além do potencial de hipervigilância para toda a população no futuro.

Globalmente, moratórias e banimentos do uso de reconhecimento facial no espaço público, em especial pela polícia, estão sendo conquistados por organizações, ativistas e parlamentares. A campanha em torno da “Carta aberta para banimento global de usos de reconhecimento facial e outros reconhecimentos biométricos remotos que permitam vigilância em massa, discriminatória e enviesada” é mais uma demonstração do consenso no campo de direitos humanos contra a tecnologia:

São mais de 175 organizações signatárias de países como Estados Unidos, Reino Unido, Alemanha, Quênia, Brasil, Argentina que fortalecem as evoluções legislativas em torno do mundo que banem o reconhecimento facial do espaço público.

A jornalista Cíntia Falcão produziu recentemente importante reportagem com o título “Lentes Racistas: Rui Costa está transformando a Bahia em um laboratório de vigilância com reconhecimento facial“, que merece leitura atenta e dedicada:

Entre as descobertas, várias infrações aos direitos humanos, privacidade de dados e a desastrosa gestão da coisa pública – os dados sobre investimento e resultados são escandalosos ou ocultos. A importante reportagem explora dados e citações de alguns especialistas no tema no país, como a prolífica produção d’O Panóptico, Rosane Leal da Siva & Fernanda dos Santos Rodrigues da Silva e Pedro Diogo, que afirma que se trata de “polícia que usa esse sistema que realiza chacinas, assassinatos e desaparecimentos, seja oficialmente ou por meio de milícias e grupos de extermínio. E aí vem o sistema de reconhecimento facial a ser instalado e a expandir a capacidade do estado de promover o terror em face da população negra desse país”.


Histórico de horrores: implementar reconhecimento facial é optar pelo genocídio negro

Há diversos tipos de sistemas de reconhecimento facial que podem gerar variadas vulnerabilidades à privacidade, segurança ou direito ao espaço público. Hoje o mais comum é o tipo chamado “um a um” (one-to-one), tecnologias que tentam identificar se a imagem de um determinado rosto corresponde a um rosto específico na base de dados. Por exemplo, para controlar a entrada em um prédio governamental com alta segurança, algumas instituições usam este tipo de recurso. Para tanto, os funcionários que têm autorização de adentrar determinado espaço tem seus rostos fotografados e a cada nova entrada, o rosto da pessoa específica fisicamente no local é comparado aos dados vinculados a seu nome correspondente na base de dados.

Quando falamos de reconhecimento facial na vigilância do espaço público, estamos falando tipo “um a muitos” (one to many) onde os rostos de todas as pessoas que passam por um determinado local são registrados e cruzados com uma base de dados. Nos sistemas mais simples, é uma base de dados de supostos criminosos sendo procurados. Nos mais complexos, podem registrar movimentação de todos os cidadãos no espaço público e até indicadores – cientificamente questionáveis e eticamente deploráveis – que envolvam atribuição de estados emocionais a partir de expressões faciais, modos de andar ou até mesmo quais objetos estão sendo segurados, símbolos e estampas em rostos, tipos de vestuário etc.

Reconhecimento facial e visão computacional para identificação de objetos em imagens e vídeos são tecnologias altamente imprecisas, com amplo histórico de erros com impactos violentos que desrespeitam os direitos humanos. Sobre reconhecimento facial, alguns exemplos pontuais ou de pesquisas estruturadas: softwares da IBM, Microsoft, Amazon e outros erram mais em imagens de mulheres negras; órgão estadunidense identificou que sistemas de biometria visual erram de 10 a 100 vezes mais com imagens de pessoas negras ou asiáticas; Google marca ferramentas em mão negra como arma; Instagram bloqueia anúncio mostrando favela por “conter armas” que não existem na imagem.

Mantenho um mapeamento de casos similares, mas reforço que não se trata apenas do nível de precisão da identificação de um indivíduo no espaço físico em relação a um indivíduo na base de dados. Trata-se sobretudo de modelos de segurança pública, violência estatal, noções de privacidade e de uso da cidade que comprometem o presente e o futuro das sociedades. E tais modelos são sobretudo racistas, de promoção da seletividade penal contra negros, indígenas, imigrantes e/ou pobres.


Mais vigilância e mais tecnologias não são soluções para problemas públicos

Diversos dispositivos, objetos ou tecnologias vistas como inovação foram criadas para controle de cidadãos, sua movimentação no espaço ou mobilidade social. Tecnologias de vigilância desenvolvidas para fins militares e/ou policiais em países do Ocidente e no Brasil fortalecem as desigualdades, castas e apartheids, em particular o genocídio negro no país. O desenho político e econômico de sociedades como a brasileira promove a aceitação de erros e violências em vários momentos de decisão sobre o uso da tecnologia.

Em primeiro lugar, a decisão por mais policiamento, vigilância e violência como reação à problemas de segurança pública tem terreno fértil em países construídos através da escravidão, como Estados Unidos e Brasil, por causa da supremacia branca vigente. O acúmulo de violência e desigualdades sociais atualizado constantemente através do racismo estrutural avança no posicionamento de pessoas negras como menos dignas à vida e direitos.

As instituições policiais no país foram organizadas desde seu início para perseguir pessoas negras tanto escravizadas e alforriadas, em prol da expropriação de trabalho, capital, terras e produção para a acumulação de propriedade em um projeto eugenista.

Em segundo lugar, a própria definição de tipos penais que recebem reação ostensiva da polícia promove foco em infrações sem vítima e comumente frutos de desigualdade e pobreza. Furtos ou roubos famélicos são um exemplo, assim como a criminalização de drogas, em especial a maconha. Com uma das maiores populações penitenciárias do mundo, no Brasil centenas de milhares de pessoas são encarceradas por longos períodos por crimes banais e sem julgamento ou sentença. E a população de encarcerados e encarceradas tem se tornado alvo de experiências de coleta de dados biométricos e genéticos.

Em terceiro lugar, este panorama de coisas facilita a prática de injustiças no sistema penal e a definição de tecnologias de apoio ao aparato policial. Sistemas algorítmicos e tecnologias com qualquer tipo de automatização de processos são muito imprecisas, mas são implementadas a toque de caixa e aceitas socialmente pois as vítimas da violência estatal são sobretudo pessoas negras. Os mecanismos de controle social das tecnologias policiais enfrentam problemas devido ao racismo pervasivo no funil da criminalização, prisão, julgamento, encarceramento e marginalização posterior.

Por fim, mesmo em países onde a letalidade policial é centenas de vezes menor do que a do Brasil, a inclusão de tecnologias apenas aparentemente objetivas no processo de vigilância promove excessos dos policiais. Em etnografia realizada na implementação do sistema de reconhecimento em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção”, reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

Temos décadas de dados em torno do mundo e em países similares ao Brasil que mostram que violência estatal e vigilância pervasiva não são soluções para problemas de segurança pública. Ao contrário, a promoção do bem-estar social através do combate às desigualdades, remediações de impactos do racismo, descriminalização das drogas e priorização de indicadores de emprego e qualidade de vida na definição de políticas públicas é o caminho para combater a violência.

Cursos gratuitos sobre desigualdades na internet, autocuidado e direitos digitais

A Ação Educativa lançou, com apoio da Mozilla Foundation, uma trilha de cursos sobre internet, direitos digitais e tecnologia com minha curadoria. São cursos gratuitos, gravados, compostos de atividades em vídeo, texto e fóruns de interação – participantes podem fazer no seu tempo, com prazo super elástico! Serão vários cursos, dois já estão disponíveis. Confira:

INTERNET E DESIGUALDADES

O curso Internet e Desigualdades busca oferecer uma introdução sobre os debates em torno das desigualdades no acesso, uso e desenvolvimento da internet. Através da curadoria de dados, reflexões e conceitos sobre a internet como catalisadora de direitos, discute de infraestrutura e dispositivos até questões de raça, gênero e território. Realizado por Tarcízio Silva, pesquisador e Tech + Society Fellow na Mozilla Foundation.

BEM-VIVER NA INTERNET

O curso busca discutir e apresentar estratégias de autocuidado para as/os participantes refletirem sobre suas trajetórias online, indo de camadas individuais à governança da internet e direitos digitais, passando também por táticas coletivas. Baseado em princípios de autodefinição e autocuidado, o curso é composto de quatro módulos que incluem também aulas sobre infodemia em contexto pandêmico, ciberbullying, discurso de ódio e desinformação. Ao final da jornada, apresenta táticas para formação de grupos de apoio baseados em valores como compaixão, expressão, colaboração e respeito aos direitos humanos.

Formadoras: Glenda Dantas, jornalista e co-fundadora da plataforma Conexão Malunga. Pesquisa sobre cibercultura e ciberativismo. Participou do Programa Youth Brasil – Comitê Gestor da Internet 2020; e Mariana Gomes, jornalista co-fundadora da plataforma Conexão Malunga. Pesquisa sobre governança da internet e ciberativismo a partir do feminismo negro. Bolsista do Programa Youth Brasil – Comitê Gestor da Internet 2019. Liderança apoiada pelo Programa de Aceleração do Desenvolvimento Marielle Franco (Baobá Fundo para Equidade Racial) – 2020.

Colonialismo de dados é fruto e arma da supremacia branca

[O texto abaixo é a adaptação de respostas a uma entrevista para reportagem sobre colonialismo de dados. Como habitual, todas menções à Europa, branquitude e supremacia branca nas respostas foram suprimidas da reportagem final. Testemunhamos em torno do mundo um apagamento do colonialismo “histórico” na formatação das condições para emergência das big tech e também o apagamento de como as colonialidades do poder, do ser e do saber se relacionam com tecnologia na distribuição de hierarquias de humanidade nas dominações globais.]

Práticas de extração e processamento de dados reproduzem fluxos de apropriação de capital e epistemes típicas de sanhas coloniais que moldaram o mundo, em especial em torno do Atlântico. O domínio de meios informacionais de circulação de dados é realizado através da plataformização de mais e mais esferas sociais através da datificação. Comunicação e esfera pública centrada nas mídias sociais, trocas financeiras de serviços centradas em aplicativos mobile e mesmo trocas afetivo-sexuais são registradas e monetizadas em softwares dominados por grupos dominantes que tem a capacidade de selecionar, criar, adquirir ou copiar serviços de startups que se destacam nos negócios da tecnologia.

Quando o capital financeiro global consegue realizar dumping em países dominados pelas potências europeias e EUA, mercados e indústrias locais são fragilizados graças ao controle das trocas realizadas nas plataformas. Dos aplicativos de transporte até tecnologias biométricas, passando por plataformas de mídias sociais, o colonialismo de dados reproduz a dominação dos fluxos e trocas em favor dos grandes centros e de grupos demográficos específicos quanto a raça, classe e gênero. O trabalho gratuito ou precarizado de centenas de milhões em torno do mundo desemboca, ao fim e ao cabo, na concentração de recursos dos negócios bilionários da tecnologia que se reinventaram para se apresentar a público como uma miríade de milhares de marcas ou, mesmo, pela ficção da “economia compartilhada” que oculta tal concentração.

Levando os fluxos de interesse em conta, com certeza a articulação pela produção intelectual e práxis sócio-política descolonial é uma necessidade para o avanço das ciências e soberania epistemológica do país, mas em grande medida o fluxo de ideias sobre algumas chaves teórico-conceituais em torno do colonialismo de dados reproduz a direção Norte-Sul. Uma agenda de pesquisa brasileira que se coloca voluntariamente como “à margem” dos centros passa a reproduzir um olhar eurocêntrico sobre sua produção. Ao consumir de forma assimétrica as produções europeias sobre caminhos descoloniais ou, ainda, abarcar a ideia de um pós-colonial, corremos o risco de produzir, literalmente, para “inglês ver”. Acredito na possibilidade de intensificação de articulações Sul-Sul que promovam a conexão do Brasil com a diversidade da América Latina e da África para conexões intelectuais que desenvolvam imaginários que não busquem a chancela eurocêntrica.

Minha pesquisa atual especificamente gira em torno do conceito de racismo algorítmico, que o modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de epistemes, recursos, espaço e violência em detrimento de grupos racializados pela branquitude detentora das epistemologias e capitais hegemônicos que moldam o horizonte de ações da inteligência artificial em sistemas algorítmicos.

As práticas em torno da base de imagens etiquetadas ImageNet formam um dos exemplos mais loquazes sobre como o colonialismo de dados molda práticas e modelos que ganham incrementalmente camadas de opacidade até o ponto de serem tomados como naturais e promovem algoritmicamente o racismo. Esta base de imagens possui milhões de fotografias extraídas sem consentimento através de web scraping em buscadores. Foi etiquetada – ou seja, marcada com categorias para permitir o aprendizado de máquina – sobretudo através de trabalho do modelo “crowdsourced” realizado por profissionais precarizados em países como Filipinas e Índia. As imagens eram provenientes em sua absoluta maioria de países europeus e EUA, hipervisibilizando pessoas e ambientes destes países e invisibilizando estéticas do Sul Global. A partir deste treinamento de máquina, competições de construção de modelos algorítmicos para identificação de imagens foram realizados por centros científicos dos países afluentes. Como resultado, isto significou a reprodução opaca de modelos algorítmicos de interpretação de imagens em visão computacional que apaga ou interpreta erroneamente pessoas e ambientes não-eurocêntricos ao mesmo tempo que transferiu trabalho e recursos reproduzíveis e escaláveis para os centros afluentes da tecnologia global.

A própria existência de um oligopólio tecnológico que domina grande fatia do tempo, produção intelectual e comunicacional dos cidadãos e o valor financeiro decorrente é um empecilho inerente ao uso construtivo da internet para o bem estar social. Avança a discussão sobre a necessidade de desmembrar oligopólios do chamado FAANG – Facebook, Amazon, Apple, Netflix e Alphabet (a detentora do Google). Cada uma dessas corporações possui amplos conglomerados de empresas em setores como comunicação, mídia, inteligência artificial, varejo, infraestrutura e muitos outros, podendo cruzar dados de cada a seu bel-prazer e desenvolver modelos de ingerência nas esferas sociais, econômicas e políticas.

Neste sentido, vimos na última década como tal oligopólio se posicionou em um local privilegiado para interpretação da realidade social através da promoção da ideologia de mensuração científica de big data. Com centenas de cientistas, contratados a partir das melhores universidades do mundo, engajados em pesquisa para fins privados, grupos como Facebook e Alphabet acabaram por ter capacidade de interferência no mundo maior do que a de muitos Estados nacionais. Quando falamos de pesquisa científica, temos um risco de diluição do potencial transformador e investigativo de projetos possibilitados por grants financeiros ou acesso apenas a dados que as plataformas julgam confortável compartilhar. Precisamos defender com todas as forças a independência das universidades a esta ingerência privada e alheia aos interesses nacionais.

Discriminação algorítmica: desafios interdisciplinares

No último 5 de maio pude fazer a mediação do debate “Discriminação algorítmica: desafios interdisciplinares“, proposto em minha curadoria no projeto Renascença do Diplomacia para Democracia. Convidei Carla Vieira (perifaCode, USP e Google Developer Expert em Machine Learning), Bianca Kremer (Doutora PUC-Rio; pesquisadora FGV-Rio; Fellow Coding Rights) e André Mintz (UFMG, R-EST/UFMG e GAIA/USP) para responder as seguintes perguntas, respectivamente: Como a Computação pode Combater a Discriminação Algorítmica? Como o Direito pode Combater a Discriminação Algorítmica? Como a Arte pode Combater a Discriminação Algorítmica?

Assista abaixo:

Da mesma série, também faz parte o debate Desafios Globais por uma Internet Saudável.