{"id":10455,"date":"2018-06-02T01:04:33","date_gmt":"2018-06-02T04:04:33","guid":{"rendered":"http:\/\/tarciziosilva.com.br\/blog\/?p=10455"},"modified":"2018-06-02T01:04:59","modified_gmt":"2018-06-02T04:04:59","slug":"os-riscos-dos-vieses-e-erros-na-inteligencia-artificial","status":"publish","type":"post","link":"https:\/\/tarciziosilva.com.br\/blog\/os-riscos-dos-vieses-e-erros-na-inteligencia-artificial\/","title":{"rendered":"Os Riscos dos Vieses e Erros na Intelig\u00eancia Artificial"},"content":{"rendered":"

\"\"<\/a>O relat\u00f3rio\u00a0An Intelligence in Our Image – The Risks of Bias and Errors in Artificial Intelligence<\/strong><\/a> foi lan\u00e7ado em 2017 pela RAND Corporation com o objetivo de lan\u00e7ar luz sobre vieses e erros na intelig\u00eancia artificial e pontuar a relev\u00e2ncia do debate sobre o tema. Foi escrito por Osonde Osoba<\/a>, Doutor em Engenharia, e William Welser IV, Mestre em Finan\u00e7as, ambos analistas da RAND.<\/p>\n

O texto \u00e9 estruturado em quatro cap\u00edtulos: Introdu\u00e7\u00e3o; Algoritmos: defini\u00e7\u00e3o e avalia\u00e7\u00e3o; O Problema em Foco: fatores e remedia\u00e7\u00f5es; Conclus\u00e3o. Na introdu\u00e7\u00e3o e parte inicial do segundo cap\u00edtulo, os autores revisam\u00a0hist\u00f3rico, defini\u00e7\u00f5es e nuances dos principais tipos de “agentes artificiais” (conceito que engloba a jun\u00e7\u00e3o de intelig\u00eancia artificial em algoritmos efetivamente aplicados em sistemas decis\u00f3rios). Sublinham em interessante trecho a opacidade dos sistemas algor\u00edtmicos com exemplos cl\u00e1ssicos como a Google Flu Trends, crise financeira de 2008 e outros desastres em gest\u00e3o p\u00fablica.<\/p>\n

Com a abund\u00e2ncia de dados na “era do big data”, entretanto, a emerg\u00eancia dos sistemas de\u00a0machine learning<\/em> traz o debate para os modos pelos quais s\u00e3o constru\u00eddos e suas vulnerabilidades quanto ao datasets de treino, etapa essencial mas comumente deixada de lado (e pouqu\u00edssimo debatida).<\/p>\n

“Learning algorithms tend to be vulnerable to characteristics of their training data. This is a feature of these algorithms: the ability to adapt in the face of changing input. But algorithmic adaptation in response input data also presents an attack vector for malicious users. This data diet vulnerability in learning algorithms is a recurring theme.”<\/p><\/blockquote>\n

Partindo de casos documentados por Batya Friedman e Nissenbaum 22 anos atr\u00e1s em\u00a0Bias in Computer Systems<\/a><\/em>, os autores trazem casos contempor\u00e2neos de\u00a0redlining<\/em> e at\u00e9 discrimina\u00e7\u00e3o baseada em\u00a0proxies<\/em> de ra\u00e7a (como nomes tipicamente afro-americanos), chegando ao conceito de scored society<\/em> de Citron e Pasquale.<\/p>\n

they mean the current state in which unregulated, opaque, and sometimes hidden algorithms produce authoritative scores of individual reputation that mediate access to opportunity. These scores include credit, criminal, and employability scores. Citron and Pasquale particularly focused on how such systems violate reasonable expectations of due process, especially expectations of fairness, accuracy, and the existence of avenues for redress. They argue that algorithmic credit scoring has not reduced bias and discriminatory practices.<\/p><\/blockquote>\n

O relat\u00f3rio cita ent\u00e3o trabalhos de Solon Barocas e Helen Nissenbaum que argumentam firmemente que o uso de\u00a0big data<\/em> para alimentar algoritmos n\u00e3o os torna mais neutros e justos, mas justamente o contr\u00e1rio<\/a>. Al\u00e9m disto, os\u00a0cuidados comumente empregados \u00e9 esconder campos “sens\u00edveis” nos dados em algoritmos de aprendizado, como ra\u00e7a e g\u00eanero. Por\u00e9m, diversos estudos j\u00e1 mostraram que estas vari\u00e1veis podem ser descobertas implicitamente e inseridas nos modelos para classifica\u00e7\u00e3o discriminat\u00f3ria<\/a>.<\/p>\n

Em algumas \u00e1reas como vigil\u00e2ncia e seguran\u00e7a p\u00fablica, a aplica\u00e7\u00e3o inadequada de algoritmos e aprendizado de m\u00e1quina podem ser fatais. Como demonstra trabalho da ProPublica<\/a>, um sistema de “avalia\u00e7\u00e3o de risco criminal” que tinha como objetivo prever reincid\u00eancia criminal errou de forma criminosa e racista. R\u00e9us negros estiveram sujeitos em dobro a serem classificados erroneamente como potenciais reincidentes violentos, enquanto r\u00e9us brancos efetivamente reincidentes foram classificados erroneamente como de baixo risco 62.3% mais frequentemente que r\u00e9us negros.<\/p>\n

Departamentos de pol\u00edcia tem usado algoritmos tamb\u00e9m para decidir onde e como alocar recursos de vigil\u00e2ncia, para direcionar policiamento “preditivo”. Por\u00e9m, a l\u00f3gica inerente ao sistema tende a gerar mais erros e discrimina\u00e7\u00e3o. O gr\u00e1fico abaixo \u00e9 uma simula\u00e7\u00e3o feita pelos autores sobre um hipot\u00e9tico sistema que aloca mais vigil\u00e2ncia policial em uma determinada \u00e1rea\u00a0ou grupo demogr\u00e1fico, por alguma decis\u00e3o inicial no setup do sistema. Poderia ser, por exemplo, a s\u00e9rie hist\u00f3rica de dados (uma regi\u00e3o perif\u00e9rica que tenha hist\u00f3rico maior de crimes recebe mais vigil\u00e2ncia inicialmente). No padr\u00e3o destes sistemas de aloca\u00e7\u00e3o, a vigil\u00e2ncia maior nesta \u00e1rea vai crescentemente direcionar mais vigil\u00e2ncia pois mais dados de crime ser\u00e3o gerados nesta \u00e1rea por causa, justamente, da vigil\u00e2ncia. E nas interse\u00e7\u00f5es de classe, ra\u00e7a, pa\u00eds de origem e afins, esta din\u00e2mica aumenta a desigualdade continuamente, criminalizando e piorando as condi\u00e7\u00f5es das popula\u00e7\u00f5es que inicialmente possu\u00edam alguma desvantagem econ\u00f4mica ou de status.<\/p>\n

\"\"<\/p>\n

No terceiro cap\u00edtulo, os autores resumem os principais tipos de causas dos problemas e poss\u00edveis solu\u00e7\u00f5es. Sobre os vieses, relembram que um agente artificial \u00e9 t\u00e3o bom quanto os dados a partir dos quais aprende a tomar decis\u00f5es. Uma vez que a gera\u00e7\u00e3o de dados \u00e9 um fen\u00f4meno social, est\u00e1 repleta de vieses humanos. Aplicar algoritmos tecnicamente corretos a dados enviesados apenas ensina os agentes artificiais a imitar e intensificar os vieses que os dados cont\u00eam. Outro ponto dos vieses \u00e9 que os julgamentos nas esferas sociais e morais s\u00e3o difusas, raramente s\u00e3o crit\u00e9rios simples ou bin\u00e1rios.\u00a0 Quanto aos fatores t\u00e9cnicos, apontam problemas como disparidade de amostragem<\/a>, adapta\u00e7\u00e3o e\u00a0hacking<\/em> social dos sistemas e vari\u00e1veis sens\u00edveis inferidas dos dados.<\/p>\n

Mas, como combater todos estes problemas? O relat\u00f3rio tamb\u00e9m aponta alguns caminhos poss\u00edveis.<\/p>\n

a) Algoritmos de Racioc\u00ednio Causal<\/strong> – os autores citam casos na Suprema Corte de uso de m\u00e9todos quantitativos emp\u00edricos para ilustrar a despropor\u00e7\u00e3o de penas capitais no estado da Georgia (EUA), nos quais foram contestadas as rela\u00e7\u00f5es causais. Algoritmos devem ser auditados quanto suas pretens\u00f5es de fatores causais nas decis\u00f5es – uma posi\u00e7\u00e3o necess\u00e1ria uma vez que h\u00e1 defensores do poder da correla\u00e7\u00e3o no contexto do big data (o argumento de que o volume de dados seria suficiente para direcionar escolhas).<\/p>\n

b) Literacia e Transpar\u00eancia sobre Algoritmos<\/strong> – combater vieses algoritmos passa tamb\u00e9m por um p\u00fablico educado a ponto de compreender os mecanismos pelos quais as desigualdades e injusti\u00e7as podem ser geradas por sistemas mal constru\u00eddos. Transpar\u00eancia informada e clara sobre os algoritmos presentes em plataformas de comunica\u00e7\u00e3o, educa\u00e7\u00e3o e jur\u00eddicas pode avan\u00e7ar\u00a0ainda mais o papel dos usu\u00e1rios em questionar, criticar e debater os sistemas.<\/p>\n

c) Abordagens de Pessoal<\/strong> – Identificar os vieses e erros sist\u00eamicos em algoritmos requerem n\u00e3o apenas conhecimento computacional, matem\u00e1tico e estat\u00edstico, mas tamb\u00e9m exposi\u00e7\u00e3o \u00e0 questionamentos e reflex\u00f5es sobre quest\u00f5es da sociedade e pol\u00edticas p\u00fablicas. Frequentemente, entretanto, os criadores ou detentores das plataformas, sistemas e algoritmos <\/a>n\u00e3o foram treinados ou expostos a forma\u00e7\u00e3o sobre \u00e9tica, sociologia ou ci\u00eancia pol\u00edtica.<\/p>\n

d) Regula\u00e7\u00e3o<\/strong> –\u00a0por fim, o papel de organismos regulat\u00f3rios do estado e sociedade civil s\u00e3o essenciais e devem ser impulsionados pelo interesse da sociedade e campo acad\u00eamico. Os autores apontam que a auditoria de algoritmos pode ser complexa tecnica, social e mercadologicamente. Entretanto, apoiam a proposta de Christian Sandvig de olhar n\u00e3o para as min\u00facias e tecnicalidades internas dos agentes artificiais, mas sim para as consequ\u00eancias de seus resultados, decis\u00f5es e a\u00e7\u00f5es:<\/p>\n

Certain audit types ignore the inner workings of artificial agents and judge\u00a0them according to the fairness of their results. This is akin to how [ we often judge human agents: by the consequences of their outputs (decisions and actions) and not on the content or ingenuity of their code base (thoughts).<\/p><\/blockquote>\n

Para finalizar, mais uma dica de conte\u00fado. O pequeno v\u00eddeo abaixo \u00e9 uma palestra de Osonde Osoba no TEDx Massachussets de dezembro de 2017. Osoba fala sobre os desafios de “tornar intelig\u00eancia\u00a0artificial justa”.
\n