O relatório An Intelligence in Our Image – The Risks of Bias and Errors in Artificial Intelligence foi lançado em 2017 pela RAND Corporation com o objetivo de lançar luz sobre vieses e erros na inteligência artificial e pontuar a relevância do debate sobre o tema. Foi escrito por Osonde Osoba, Doutor em Engenharia, e William Welser IV, Mestre em Finanças, ambos analistas da RAND.

O texto é estruturado em quatro capítulos: Introdução; Algoritmos: definição e avaliação; O Problema em Foco: fatores e remediações; Conclusão. Na introdução e parte inicial do segundo capítulo, os autores revisam histórico, definições e nuances dos principais tipos de “agentes artificiais” (conceito que engloba a junção de inteligência artificial em algoritmos efetivamente aplicados em sistemas decisórios). Sublinham em interessante trecho a opacidade dos sistemas algorítmicos com exemplos clássicos como a Google Flu Trends, crise financeira de 2008 e outros desastres em gestão pública.

Com a abundância de dados na “era do big data”, entretanto, a emergência dos sistemas de machine learning traz o debate para os modos pelos quais são construídos e suas vulnerabilidades quanto ao datasets de treino, etapa essencial mas comumente deixada de lado (e pouquíssimo debatida).

“Learning algorithms tend to be vulnerable to characteristics of their training data. This is a feature of these algorithms: the ability to adapt in the face of changing input. But algorithmic adaptation in response input data also presents an attack vector for malicious users. This data diet vulnerability in learning algorithms is a recurring theme.”

Partindo de casos documentados por Batya Friedman e Nissenbaum 22 anos atrás em Bias in Computer Systems, os autores trazem casos contemporâneos de redlining e até discriminação baseada em proxies de raça (como nomes tipicamente afro-americanos), chegando ao conceito de scored society de Citron e Pasquale.

they mean the current state in which unregulated, opaque, and sometimes hidden algorithms produce authoritative scores of individual reputation that mediate access to opportunity. These scores include credit, criminal, and employability scores. Citron and Pasquale particularly focused on how such systems violate reasonable expectations of due process, especially expectations of fairness, accuracy, and the existence of avenues for redress. They argue that algorithmic credit scoring has not reduced bias and discriminatory practices.

O relatório cita então trabalhos de Solon Barocas e Helen Nissenbaum que argumentam firmemente que o uso de big data para alimentar algoritmos não os torna mais neutros e justos, mas justamente o contrário. Além disto, os cuidados comumente empregados é esconder campos “sensíveis” nos dados em algoritmos de aprendizado, como raça e gênero. Porém, diversos estudos já mostraram que estas variáveis podem ser descobertas implicitamente e inseridas nos modelos para classificação discriminatória.

Em algumas áreas como vigilância e segurança pública, a aplicação inadequada de algoritmos e aprendizado de máquina podem ser fatais. Como demonstra trabalho da ProPublica, um sistema de “avaliação de risco criminal” que tinha como objetivo prever reincidência criminal errou de forma criminosa e racista. Réus negros estiveram sujeitos em dobro a serem classificados erroneamente como potenciais reincidentes violentos, enquanto réus brancos efetivamente reincidentes foram classificados erroneamente como de baixo risco 62.3% mais frequentemente que réus negros.

Departamentos de polícia tem usado algoritmos também para decidir onde e como alocar recursos de vigilância, para direcionar policiamento “preditivo”. Porém, a lógica inerente ao sistema tende a gerar mais erros e discriminação. O gráfico abaixo é uma simulação feita pelos autores sobre um hipotético sistema que aloca mais vigilância policial em uma determinada área ou grupo demográfico, por alguma decisão inicial no setup do sistema. Poderia ser, por exemplo, a série histórica de dados (uma região periférica que tenha histórico maior de crimes recebe mais vigilância inicialmente). No padrão destes sistemas de alocação, a vigilância maior nesta área vai crescentemente direcionar mais vigilância pois mais dados de crime serão gerados nesta área por causa, justamente, da vigilância. E nas interseções de classe, raça, país de origem e afins, esta dinâmica aumenta a desigualdade continuamente, criminalizando e piorando as condições das populações que inicialmente possuíam alguma desvantagem econômica ou de status.

No terceiro capítulo, os autores resumem os principais tipos de causas dos problemas e possíveis soluções. Sobre os vieses, relembram que um agente artificial é tão bom quanto os dados a partir dos quais aprende a tomar decisões. Uma vez que a geração de dados é um fenômeno social, está repleta de vieses humanos. Aplicar algoritmos tecnicamente corretos a dados enviesados apenas ensina os agentes artificiais a imitar e intensificar os vieses que os dados contêm. Outro ponto dos vieses é que os julgamentos nas esferas sociais e morais são difusas, raramente são critérios simples ou binários.  Quanto aos fatores técnicos, apontam problemas como disparidade de amostragem, adaptação e hacking social dos sistemas e variáveis sensíveis inferidas dos dados.

Mas, como combater todos estes problemas? O relatório também aponta alguns caminhos possíveis.

a) Algoritmos de Raciocínio Causal – os autores citam casos na Suprema Corte de uso de métodos quantitativos empíricos para ilustrar a desproporção de penas capitais no estado da Georgia (EUA), nos quais foram contestadas as relações causais. Algoritmos devem ser auditados quanto suas pretensões de fatores causais nas decisões – uma posição necessária uma vez que há defensores do poder da correlação no contexto do big data (o argumento de que o volume de dados seria suficiente para direcionar escolhas).

b) Literacia e Transparência sobre Algoritmos – combater vieses algoritmos passa também por um público educado a ponto de compreender os mecanismos pelos quais as desigualdades e injustiças podem ser geradas por sistemas mal construídos. Transparência informada e clara sobre os algoritmos presentes em plataformas de comunicação, educação e jurídicas pode avançar ainda mais o papel dos usuários em questionar, criticar e debater os sistemas.

c) Abordagens de Pessoal – Identificar os vieses e erros sistêmicos em algoritmos requerem não apenas conhecimento computacional, matemático e estatístico, mas também exposição à questionamentos e reflexões sobre questões da sociedade e políticas públicas. Frequentemente, entretanto, os criadores ou detentores das plataformas, sistemas e algoritmos não foram treinados ou expostos a formação sobre ética, sociologia ou ciência política.

d) Regulação – por fim, o papel de organismos regulatórios do estado e sociedade civil são essenciais e devem ser impulsionados pelo interesse da sociedade e campo acadêmico. Os autores apontam que a auditoria de algoritmos pode ser complexa tecnica, social e mercadologicamente. Entretanto, apoiam a proposta de Christian Sandvig de olhar não para as minúcias e tecnicalidades internas dos agentes artificiais, mas sim para as consequências de seus resultados, decisões e ações:

Certain audit types ignore the inner workings of artificial agents and judge them according to the fairness of their results. This is akin to how [ we often judge human agents: by the consequences of their outputs (decisions and actions) and not on the content or ingenuity of their code base (thoughts).

Para finalizar, mais uma dica de conteúdo. O pequeno vídeo abaixo é uma palestra de Osonde Osoba no TEDx Massachussets de dezembro de 2017. Osoba fala sobre os desafios de “tornar inteligência artificial justa”.

Confira mais trabalhos de Osoba em https://scholar.google.com/citations?user=w5oYjbYAAAAJ