O horror do reconhecimento facial na Bahia, onde poderia ser diferente

O uso de reconhecimento facial para promoção de violência estatal na Bahia constrange a defesa de ideais progressistas na centro-esquerda hegemônica hoje. A adição de mais aparatos policiais e violência estatal não é a solução para problemas sociais, algo que é especialmente agravado quando tratamos de tecnologias baseadas em mecanismos de automatização de decisões com inteligência artificial. Infelizmente o atual governo da Bahia buscou ser a vanguarda do atraso na temática, competindo com Doria e demais governantes bolsonaristas sobre quem promove mais rapidamente projetos de erosão da confiança da população no espaço público. Mas entre ideais e roupagens progressistas e a realidade há um enorme hiato e não é de hoje: o governo Lula foi um dos principais promotores do encarceramento em massa no país.

No atual momento – que seria muito propício para lideranças de centro-esquerda do maior partido do Brasil promoverem novas práticas e imaginários nas políticas públicas, vemos a postura inversa: de elogio a chacinas realizadas por policiais ao investimento ineficiente em tecnologias que promovem o genocídio negro hoje além do potencial de hipervigilância para toda a população no futuro.

Globalmente, moratórias e banimentos do uso de reconhecimento facial no espaço público, em especial pela polícia, estão sendo conquistados por organizações, ativistas e parlamentares. A campanha em torno da “Carta aberta para banimento global de usos de reconhecimento facial e outros reconhecimentos biométricos remotos que permitam vigilância em massa, discriminatória e enviesada” é mais uma demonstração do consenso no campo de direitos humanos contra a tecnologia:

São mais de 175 organizações signatárias de países como Estados Unidos, Reino Unido, Alemanha, Quênia, Brasil, Argentina que fortalecem as evoluções legislativas em torno do mundo que banem o reconhecimento facial do espaço público.

A jornalista Cíntia Falcão produziu recentemente importante reportagem com o título “Lentes Racistas: Rui Costa está transformando a Bahia em um laboratório de vigilância com reconhecimento facial“, que merece leitura atenta e dedicada:

Entre as descobertas, várias infrações aos direitos humanos, privacidade de dados e a desastrosa gestão da coisa pública – os dados sobre investimento e resultados são escandalosos ou ocultos. A importante reportagem explora dados e citações de alguns especialistas no tema no país, como a prolífica produção d’O Panóptico, Rosane Leal da Siva & Fernanda dos Santos Rodrigues da Silva e Pedro Diogo, que afirma que se trata de “polícia que usa esse sistema que realiza chacinas, assassinatos e desaparecimentos, seja oficialmente ou por meio de milícias e grupos de extermínio. E aí vem o sistema de reconhecimento facial a ser instalado e a expandir a capacidade do estado de promover o terror em face da população negra desse país”.


Histórico de horrores: implementar reconhecimento facial é optar pelo genocídio negro

Há diversos tipos de sistemas de reconhecimento facial que podem gerar variadas vulnerabilidades à privacidade, segurança ou direito ao espaço público. Hoje o mais comum é o tipo chamado “um a um” (one-to-one), tecnologias que tentam identificar se a imagem de um determinado rosto corresponde a um rosto específico na base de dados. Por exemplo, para controlar a entrada em um prédio governamental com alta segurança, algumas instituições usam este tipo de recurso. Para tanto, os funcionários que têm autorização de adentrar determinado espaço tem seus rostos fotografados e a cada nova entrada, o rosto da pessoa específica fisicamente no local é comparado aos dados vinculados a seu nome correspondente na base de dados.

Quando falamos de reconhecimento facial na vigilância do espaço público, estamos falando tipo “um a muitos” (one to many) onde os rostos de todas as pessoas que passam por um determinado local são registrados e cruzados com uma base de dados. Nos sistemas mais simples, é uma base de dados de supostos criminosos sendo procurados. Nos mais complexos, podem registrar movimentação de todos os cidadãos no espaço público e até indicadores – cientificamente questionáveis e eticamente deploráveis – que envolvam atribuição de estados emocionais a partir de expressões faciais, modos de andar ou até mesmo quais objetos estão sendo segurados, símbolos e estampas em rostos, tipos de vestuário etc.

Reconhecimento facial e visão computacional para identificação de objetos em imagens e vídeos são tecnologias altamente imprecisas, com amplo histórico de erros com impactos violentos que desrespeitam os direitos humanos. Sobre reconhecimento facial, alguns exemplos pontuais ou de pesquisas estruturadas: softwares da IBM, Microsoft, Amazon e outros erram mais em imagens de mulheres negras; órgão estadunidense identificou que sistemas de biometria visual erram de 10 a 100 vezes mais com imagens de pessoas negras ou asiáticas; Google marca ferramentas em mão negra como arma; Instagram bloqueia anúncio mostrando favela por “conter armas” que não existem na imagem.

Mantenho um mapeamento de casos similares, mas reforço que não se trata apenas do nível de precisão da identificação de um indivíduo no espaço físico em relação a um indivíduo na base de dados. Trata-se sobretudo de modelos de segurança pública, violência estatal, noções de privacidade e de uso da cidade que comprometem o presente e o futuro das sociedades. E tais modelos são sobretudo racistas, de promoção da seletividade penal contra negros, indígenas, imigrantes e/ou pobres.


Mais vigilância e mais tecnologias não são soluções para problemas públicos

Diversos dispositivos, objetos ou tecnologias vistas como inovação foram criadas para controle de cidadãos, sua movimentação no espaço ou mobilidade social. Tecnologias de vigilância desenvolvidas para fins militares e/ou policiais em países do Ocidente e no Brasil fortalecem as desigualdades, castas e apartheids, em particular o genocídio negro no país. O desenho político e econômico de sociedades como a brasileira promove a aceitação de erros e violências em vários momentos de decisão sobre o uso da tecnologia.

Em primeiro lugar, a decisão por mais policiamento, vigilância e violência como reação à problemas de segurança pública tem terreno fértil em países construídos através da escravidão, como Estados Unidos e Brasil, por causa da supremacia branca vigente. O acúmulo de violência e desigualdades sociais atualizado constantemente através do racismo estrutural avança no posicionamento de pessoas negras como menos dignas à vida e direitos.

As instituições policiais no país foram organizadas desde seu início para perseguir pessoas negras tanto escravizadas e alforriadas, em prol da expropriação de trabalho, capital, terras e produção para a acumulação de propriedade em um projeto eugenista.

Em segundo lugar, a própria definição de tipos penais que recebem reação ostensiva da polícia promove foco em infrações sem vítima e comumente frutos de desigualdade e pobreza. Furtos ou roubos famélicos são um exemplo, assim como a criminalização de drogas, em especial a maconha. Com uma das maiores populações penitenciárias do mundo, no Brasil centenas de milhares de pessoas são encarceradas por longos períodos por crimes banais e sem julgamento ou sentença. E a população de encarcerados e encarceradas tem se tornado alvo de experiências de coleta de dados biométricos e genéticos.

Em terceiro lugar, este panorama de coisas facilita a prática de injustiças no sistema penal e a definição de tecnologias de apoio ao aparato policial. Sistemas algorítmicos e tecnologias com qualquer tipo de automatização de processos são muito imprecisas, mas são implementadas a toque de caixa e aceitas socialmente pois as vítimas da violência estatal são sobretudo pessoas negras. Os mecanismos de controle social das tecnologias policiais enfrentam problemas devido ao racismo pervasivo no funil da criminalização, prisão, julgamento, encarceramento e marginalização posterior.

Por fim, mesmo em países onde a letalidade policial é centenas de vezes menor do que a do Brasil, a inclusão de tecnologias apenas aparentemente objetivas no processo de vigilância promove excessos dos policiais. Em etnografia realizada na implementação do sistema de reconhecimento em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção”, reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

Temos décadas de dados em torno do mundo e em países similares ao Brasil que mostram que violência estatal e vigilância pervasiva não são soluções para problemas de segurança pública. Ao contrário, a promoção do bem-estar social através do combate às desigualdades, remediações de impactos do racismo, descriminalização das drogas e priorização de indicadores de emprego e qualidade de vida na definição de políticas públicas é o caminho para combater a violência.

Discriminação algorítmica: desafios interdisciplinares

No último 5 de maio pude fazer a mediação do debate “Discriminação algorítmica: desafios interdisciplinares“, proposto em minha curadoria no projeto Renascença do Diplomacia para Democracia. Convidei Carla Vieira (perifaCode, USP e Google Developer Expert em Machine Learning), Bianca Kremer (Doutora PUC-Rio; pesquisadora FGV-Rio; Fellow Coding Rights) e André Mintz (UFMG, R-EST/UFMG e GAIA/USP) para responder as seguintes perguntas, respectivamente: Como a Computação pode Combater a Discriminação Algorítmica? Como o Direito pode Combater a Discriminação Algorítmica? Como a Arte pode Combater a Discriminação Algorítmica?

Assista abaixo:

Da mesma série, também faz parte o debate Desafios Globais por uma Internet Saudável.

Reconhecimento facial deve ser banido. Veja dez razões:

As tecnologias digitais baseadas em inteligência artificial para ordenação e vigilância de cidadãos no espaço público ganham mais mercado devido à evolução técnica e barateamento na última década. Vigilância e persecução de suspeitos por reconhecimento facial não é algo novo mas tem recebido mais atenção tanto por questões técnicas que aumentam o acesso a tais recursos, inclusive através de lobby das corporações de big tech, quanto pelo avanço de ideologias violentas de extrema-direita.

No Brasil, tecnologias do tipo estão sendo implementadas por governos de diferentes espectros ideológicos, como Bahia, São Paulo e Rio de Janeiro para citar alguns exemplos. A principal tecnologia que busca normalizar o estado completo de vigilância potencial é o reconhecimento facial, proposta e defendida em diversos níveis do executivo e legislativo. Estudo promovido pela Intervozes mostrou que “dentre os 26 prefeitos de capitais empossados em janeiro de 2021, 17 apresentaram propostas que, de algum modo, preveem o uso das tecnologias de informação e comunicação na segurança pública”.

O compromisso público contra a tecnologia requer urgência, uma vez que quanto mais gasto público é aplicado em infraestruturas do tipo, mais seu uso é normalizado e difícil se torna o combate à sua implementação contínua e perene.

1) Reconhecimento facial e visão computacional são técnicas altamente imprecisas, em especial sobre pessoas racializadas
Reconhecimento facial e visão computacional para identificação de objetos em imagens e vídeos são tecnologias altamente imprecisas, com amplo histórico de erros com impactos violentos que desrespeitam os direitos humanos. Os frequentes erros em tecnologias do tipo e similares levaram estudiosos de vários locais no mundo a elaborarem o conceito de “racismo algorítmico” . Sobre reconhecimento facial, alguns exemplos anedotais ou de pesquisas estruturadas: softwares da IBM, Microsoft, Amazon e outros erram mais em imagens de mulheres negras; órgão estadunidense identificou que sistemas de biometria visual erram de 10 a 100 vezes mais com imagens de pessoas negras ou asiáticas; Google marca ferramentas em mão negra como arma; Instagram bloqueia anúncio mostrando favela por “conter armas” que não existem na imagem. Veja os casos na Linha do Tempo do Racismo Algorítmico.

Especificamente sobre casos de erros do reconhecimento facial para segurança pública, campo com pouquíssima transparência, há documentação de violências ocasionadas por erros vulgares por todo o mundo, como Salvador, Rio de Janeiro, Londres, Michigan etc. Em Londres, uma das poucas implementações com auditoria e pesquisa transparentes, o público foi erroneamente identificado em 96% dos casos.

2) A seletividade penal é norma nas polícias e judiciário brasileiros
A seletividade penal é norma nas polícias brasileiras, construídas desde o seu início como ferramentas de controle de populações vulneráveis e manutenção de relações de exploração e subjugação de classe, racialmente e patriarcalmente definidas. Adicionalmente, a polícia “erra” com mais frequência contra pessoas negras e pobres. Portanto, mesmo se sequer tomarmos uma posição explicitamente abolicionista, não podemos apoiar a implementação de mais mecanismos de promoção do encarceramento. Mesmo se tivéssemos tecnologias “precisas” de reconhecimento facial, tais vão contra projetos humanos de sociedade por avançar o encarceramento de pessoas, em grande parcela através de punição por crimes sem vítima.

Os dados sobre pessoas presas por reconhecimento facial no Brasil não são transparentes, mas organizações como o Centro de Estudos de Segurança e Cidadania levantaram que 90,5% das prisões realizadas com a tecnologia foram de pessoas negras.

3) Tecnologias digitais vistas como “neutras” ou “objetivas” favorecem ainda mais excessos de policiais
Alguns estudos emergentes descobriram que a percepção popular – e errônea – de que tecnologias digitais são neutras favorecem excessos de policiais, que agem impulsivamente aos primeiros sinais ou indícios oferecidos pelas tecnologias. A mediação tecnológica também cria mais barreiras entre suspeitos e policiais, promovendo ainda mais a desumanização ao tirar possibilidades de remediação face a face na relação social.

Dois casos sobre reconhecimento que exemplificam o problema: em prisão de homem em Michigan, o suspeito precisou mostrar repetidamente aos policiais o quanto a foto do homem nas imagens da câmera de segurança em nada se parecia nem com ele nem com a sua foto da base de dados. Apesar disso, os policiais custaram a questionar a autoridade do sistema computacional .

Em etnografia realizada na implementação do sistema de reconhecimento em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção” , reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

4) O mercado de inteligência artificial esconde o funcionamento de seus sistemas usando a defesa por “segredo de negócio” ou “inexplicabilidade algorítmica”
Técnicas de inteligência artificial cresceram em complexidade a partir de lógicas conexionistas de aprendizado profundo em aprendizado de máquina. Uma das características deste avanço é a escala de cálculo de correlações entre dados e resultados desejados no sistema que não permite auditoria humana detalhada. Apesar de não permitir a plena compreensão humana das “decisões” do sistema , são usadas assim que cumprem objetivos de negócio. Os impactos comumente são percebidos apenas muito depois da implementação, por jornalistas ou grupos de defesa de direitos humanos.

Vinculado a esta lógica, as grandes corporações de tecnologia rechaçam auditorias algorítmicas ao alegarem “segredo de negócio”. Poucas decisões judiciais buscando reparação de dados firmam a posição pela transparência.

5) Tecnologias do tipo no espaço público pressupõem e fortalecem sociedade vigilantista
Mesmo desconsiderando os fatores acima, a disseminação de tecnologias de vigilância ubíquas e pervasivas favorece uma compreensão da sociedade e espaço público como lugar de suspeição contínua e indiscriminada. O impacto da aceitação da vigilância pervasiva para a saúde do tecido social é um fator ainda desconhecido, que pode promover ainda mais a demonização do espaço público e da rua.

6) Não podemos pressupor boa-fé de corporações de tecnologia
A última década demonstrou inúmeros casos de vínculos problemáticos de corporações de tecnologia – responsáveis por sistemas de inteligência artificial, tecnologias biométricas, dispositivos digitais ou armazenamento de dados – a projetos autoritários e imperialistas. Da influência do Facebook no Brexit e eleições americanas, extremismo digital no YouTube e lobby da Google no Conselho Administrativo de Defesa Econômica, a relação de corporações big tech ou startups de tecnologia com projetos autoritários e eugenistas é comum.

Devido à incompreensão do valor dos dados e colonialismo digital, instituições públicas brasileiras recorrem a usar serviços de tais organizações, pondo não só cidadãos como a própria soberania nacional em risco. Entre exemplos recentes, estão: o relatado pela pesquisa Educação Vigiada, sobre a exportação os dados de universidades e secretarias de educação brasileiras; o uso de servidor Oracle pelo TSE nas eleições 2020; e vazamento de dados de 533 milhões de usuários de Facebook em todo o mundo .

7) Vazamentos de dados vitimam empresas de tecnologias de todos os portes
Mesmo se os argumentos anteriores não estivessem presentes, o vazamento de dados por invasão criminosa de servidores ou problemas técnicos é um risco que desencoraja a permissão do acúmulo de dados massivos, em especial se biométricos. Casos cada vez mais frequentes de vazamento de dados são descobertos e instituições brasileiras que devem abordá-los ou puni-los são coniventes com projetos de privatização do estado. Em eventuais e prováveis vazamento de dados sensíveis como biometria e informações genéticas, o dano à sociedade é irreversível e imprevisível.

8) A infraestrutura de vigilância aumenta potencial violento de projetos autoritários
A disseminação de tecnologias de vigilância estabelecida no espaço público mesmo que seja aplicada apenas para fins do que é considerado hoje socialmente adequado em termos de segurança pública e persecução penal, cria potenciais violentos em governos antidemocráticos. A infraestrutura estabelecida em contextos com alguma garantia institucional pode ser facilmente arma de potencial inédito de dano em ditaduras ou guerras civis.

9) A imprecisão da tecnologia e infrações de direitos humanos são mais intensas para pessoas trans
A ideologia de produção de sistemas de inteligência artificial, em especial o reconhecimento facial, se calca em ideologias patriarcais, eurocêntricas e normativas sobre corpo, sexualidades e gênero. Pesquisadoras da Coding Rights apontam que tecnologias do tipo “reiteram e reforçam estereótipos de gênero ao classificar os rostos a partir de critérios definidos na própria criação das bases de dados que, em geral, são enviesadas tanto nas políticas de gênero, quanto nas políticas raciais” .

10) O custo-benefício para captura de condenados não justifica a coleta massiva
Na milionária implementação de reconhecimento facial em Londres, as bases reuniam fotos de mais de 2.400 suspeitos que geraram apenas 8 prisões. Dados proporcionais ainda piores são reportados no Brasil, onde gigantesca infraestrutura de reconhecimento facial foi implementada na Micareta de Feira de Santana, Bahia, coletando e vulnerabilizando 1,3 milhões de rostos para o cumprimento de apenas 18 mandados.

Imagem do card: https://www.flickr.com/photos/electronicfrontierfoundation/39225139155

Reconhecimento Facial na Bahia: mais erros policiais contra negros e pobres

A Secretaria da Segurança Pública da Bahia transformou o estado em um laboratório perverso do technochauvinismo. Governado por Rui Costa, político do PT que festeja chacinas, o estado tem acumulado casos e anti-casos de reconhecimento facial para policiamento. No carnaval de 2019 um procurado por homicídio foi preso, ponto alto da campanha a favor do uso indiscriminado de reconhecimento facial em ambientes públicos.

Entretanto, além de ser uma tecnologia que coloca a democracia e direitos humanos em risco mesmo quando tecnicamente eficiente, traz uma quantidade absurda de erros. Em Londres, capital do Reino Unido – um dos países mais ricos e avançados tecnologicamente, descobriu-se que 81% das abordagens de suspeitos na região metropolitana estavam erradas. Este tipo de tecnologia deveria ser banida do espaço público. Veja no vídeo abaixo:

 

A reportagem da Record TV Itapoan, que defende o sistema, também contou com comentários do “jornalista” Raimundo Varela, filiado ao PRB, defendendo o uso da tecnologia e minimizando o sofrimento do adolescente. Optei por não incluir estes comentários no trecho acima.

Este é mais um caso de dano tecnológico em ligação direta com o racismo – veja dúzias de casos na Timeline do Racismo Algorítmico.