{"id":12305,"date":"2021-09-30T22:39:56","date_gmt":"2021-10-01T01:39:56","guid":{"rendered":"https:\/\/tarciziosilva.com.br\/blog\/?p=12305"},"modified":"2021-12-08T11:38:38","modified_gmt":"2021-12-08T13:38:38","slug":"dos-automatos-e-robos-as-redes-difusas-de-agencia-no-racismo-algoritmico","status":"publish","type":"post","link":"https:\/\/tarciziosilva.com.br\/blog\/dos-automatos-e-robos-as-redes-difusas-de-agencia-no-racismo-algoritmico\/","title":{"rendered":"Dos aut\u00f4matos e rob\u00f4s \u00e0s redes difusas de ag\u00eancia no racismo algor\u00edtmico"},"content":{"rendered":"\n

[Texto originalmente publicado no livro Vest\u00edgios do Futuro: 100 Anos de Isaac Asimov<\/a><\/em>. Veja como citar ao final]<\/p>\n\n\n\n

Antes de Isaac Asimov, talvez o mundo ocidental s\u00f3 tenha se deparado com a profundidade dos impactos sociais e especulativos da fic\u00e7\u00e3o cient\u00edfica com Mary Shelley, que inventou Frankenstein e sua criatura. Quase 100 anos antes do nascimento de Asimov, Shelley \u00e9 considerada a m\u00e3e da fic\u00e7\u00e3o cient\u00edfica ao construir uma narrativa em torno de uma criatura feita de peda\u00e7os de corpos reanimados. A abordagem ficcional especulava sobre os avan\u00e7os da ci\u00eancia e os desafios \u00e9ticos de ent\u00e3o, mas tamb\u00e9m era uma est\u00f3ria em torno da inevitabilidade do destino.<\/p>\n\n\n\n

\"\"
Frontisp\u00edcio da edi\u00e7\u00e3o de 1831 de Frankenstein<\/em><\/sub><\/figcaption><\/figure><\/div>\n\n\n\n

O monstro de Frankenstein e o imagin\u00e1rio sobre os rob\u00f4s de hoje devem muito aos mitos do golem na Antiguidade e aos aut\u00f4matos dos s\u00e9culos XVII e XVIII. Na converg\u00eancia com a Revolu\u00e7\u00e3o Industrial, por\u00e9m, aqueles \u00faltimos foram respons\u00e1veis por multiplicar as met\u00e1foras que promoveram o deslocamento da ag\u00eancia das m\u00e1quinas, escondendo trabalho, expropria\u00e7\u00e3o de materiais e outras vari\u00e1veis pol\u00edtico-sociais do entendimento popular sobre artefatos com determinados graus aparentes de autonomia.<\/p>\n\n\n\n

\"\"<\/figure><\/div>\n\n\n\n

Talvez um dos mais interessantes aut\u00f4matos do per\u00edodo foi o chamado \u201cturco mec\u00e2nico\u201d. Criado pelo inventor h\u00fangaro Wolfgang von Kempelen, simulava o exotismo de um aut\u00f4mato turco que jogava xadrez de forma impec\u00e1vel contra oponentes humanos. O aut\u00f4mato era composto de uma pe\u00e7a humanoide com vestu\u00e1rio da Turquia e uma mesa sobre a qual o tabuleiro de xadrez era operado aparentemente de forma independente.<\/p>\n\n\n\n

Levado a turn\u00eas por v\u00e1rios pa\u00edses europeus e EUA entre 1770 e 1854, alegadamente jogou com figuras hist\u00f3ricas como Napole\u00e3o Bonaparte e Benjamin Franklin. Entre o fasc\u00ednio e curiosidade de fil\u00f3sofos e cientistas da \u00e9poca e o medo de parte da popula\u00e7\u00e3o de que havia dem\u00f4nios dentro do artefato, a solu\u00e7\u00e3o era muito mais prosaica: tratava-se apenas de uma farsa. Com o uso de \u00edm\u00e3s e intricadas pe\u00e7as, um operador humano dentro da m\u00e1quina movimentava as pe\u00e7as de xadrez a cada jogada.<\/p>\n\n\n\n

\"\"<\/figure><\/div>\n\n\n\n

Debru\u00e7ado sobre os aut\u00f4matos do s\u00e9culo XVIII, o historiador de tecnologia Edward Jones-Imhotep conta a hist\u00f3ria da idea\u00e7\u00e3o de \u201cf\u00e1bricas fantasmas\u201d, imaginadas por inventores empreendedores que vislumbravam um futuro em breve onde f\u00e1bricas t\u00eaxteis inteiras seriam totalmente automatizadas. Para seu funcionamento, seria necess\u00e1ria apenas uma pessoa \u2013 at\u00e9 mesmo apenas uma jovem garota, para choque redobrado na \u00e9poca \u2013 respons\u00e1vel por ligar, desligar e checar que nada atrapalhe as m\u00e1quinas.<\/p>\n\n\n\n

O vislumbre futur\u00edstico acima foi publicado em 1745 para anunciar as obras de Jacques de Vaucanson, inventor respons\u00e1vel por muitos mecanismos \u201caut\u00f4matos\u201d que fizeram hist\u00f3ria mas, defende Jones-Imhotep, sobretudo popularizou um modo de falar<\/em> sobre m\u00e1quinas. Em converg\u00eancia com a defesa iluminista de valores particulares de governan\u00e7a e individualidade, os discursos da elite europeia da \u00e9poca em torno dos aut\u00f4matos estabeleceram as bases de como falamos de m\u00e1quinas e intelig\u00eancia artificial hoje. Ver \u201cm\u00e1quinas como aut\u00f4nomas, ent\u00e3o, historicamente significou n\u00e3o<\/em> ver certos tipos de trabalho e as pessoas que o performam\u201d[1]<\/sup>.<\/p>\n\n\n\n

O pr\u00f3prio nome da Amazon Mechanical Turk<\/em>, o principal fornecedor de trabalho distribu\u00eddo de micro-trabalho formatado pela \u00e9gide do crowdsourcing<\/em> demonstra o aceno expl\u00edcito a esta hist\u00f3ria de oculta\u00e7\u00e3o de trabalho repetitivo e sub-valorizado. In\u00fameros esfor\u00e7os tidos como inovadores na intelig\u00eancia artificial tratam-se de camadas de qualifica\u00e7\u00e3o, embalagem e marketing pelo Vale do Sil\u00edcio sobre literalmente milh\u00f5es de pequenas decis\u00f5es feitas por trabalhadores de pa\u00edses empobrecidos com baixa regula\u00e7\u00e3o trabalhista, como Filipinas, Marrocos e \u00cdndia.<\/p>\n\n\n\n

Idea\u00e7\u00f5es sobre a intelig\u00eancia artificial geral, aquela que algum dia poderia replicar de forma multidimensional fatores como criatividade, autonomia e autorreflex\u00e3o dos humanos, s\u00e3o impulsionadas em grande medida por dois fatores: o fasc\u00ednio \u2013 e lucratividade decorrente \u2013 dos produtos narrativos sobre rob\u00f4s super inteligentes que se revoltam contra os humanos ou, ainda, partem seus cora\u00e7\u00f5es; e a abund\u00e2ncia de agentes do capital financeiro que acreditam que a intelig\u00eancia artificial geral est\u00e1 logo ali \u2013 e que seus inventores e financiadores receber\u00e3o vantagens astron\u00f4micas.<\/p>\n\n\n\n

Entretanto, a intelig\u00eancia artificial estreita \u2013 aquela que est\u00e1 no nosso dia a dia em recursos de vis\u00e3o computacional, reconhecimento facial, processamento de linguagem natural, escores de cr\u00e9dito, recomenda\u00e7\u00e3o de conte\u00fado, predi\u00e7\u00e3o de riscos e afins \u00e9 t\u00e3o ou mais interessante que a geral. E, sobretudo, mais premente. Argumentaria at\u00e9 que em grande medida a obra de Isaac Asimov \u00e9 t\u00e3o ou mais relevante para um mundo pr\u00e9-intelig\u00eancia artificial geral (que provavelmente nunca ir\u00e1 existir) do que para a idea\u00e7\u00e3o de possibilidades efusivas de rob\u00f4s verdadeiramente inteligentes. As incid\u00eancias multidirecionais entre tecnologia, sociedade e pol\u00edtica s\u00e3o necess\u00e1rias para discutir o agora.<\/p>\n\n\n\n

Debates sobre atribui\u00e7\u00e3o, responsabilidade e ag\u00eancia, por\u00e9m, frequentemente referenciam e bebem das idea\u00e7\u00f5es e reflex\u00f5es basilares de pensadores como Isaac Asimov. N\u00e3o por acaso, um interessante di\u00e1logo entre John M. Balkin e Frank Pasquale surgiu a partir da proposi\u00e7\u00e3o, pelo primeiro, de Tr\u00eas Leis da Rob\u00f3tica na Era do Big Data<\/em>, proposi\u00e7\u00e3o na qual tais leis basilares tratam da sociedade algor\u00edtmica como um todo, incluindo IA e rob\u00f4s. Balkin argumenta que as tr\u00eas leis, ou melhor, os tr\u00eas princ\u00edpios legais, s\u00e3o:detentores de sistemas algor\u00edtmicos s\u00e3o fiduci\u00e1rios de informa\u00e7\u00e3o; que as pessoas que usam e implementam os sistemas tem deveres p\u00fablicos tamb\u00e9m para as pessoas que n\u00e3o s\u00e3o clientes, consumidoras ou usu\u00e1rias finais; e que o dever p\u00fablico central dos detentores dos sistemas envolve evitar externalizar os custos\/danos de suas opera\u00e7\u00f5es[2]<\/sup>.<\/p>\n\n\n\n

Frank Pasquale, por sua vez, debate as proposi\u00e7\u00f5es de Balkin com uma preocupa\u00e7\u00e3o especial em torno de transpar\u00eancia e atribui\u00e7\u00e3o. A rastreabilidade de delega\u00e7\u00f5es dos sistemas \u00e9 essencial e se torna mais dif\u00edcil quando se trata de artefatos com mobilidade e letalidade individualizada, tais como drones. Deste modo, Pasquale prop\u00f5e a importante inclus\u00e3o de uma quarta lei \u00e0s de Balkin, que seria enunciada como \u201cum rob\u00f4 [ou sistema algor\u00edtmico] deve sempre indicar a identidade de seu criador, controlador ou propriet\u00e1rio”<\/em>[3]<\/sup>.<\/p>\n\n\n\n

Deste ponto podemos evocar o que Latour, e outros te\u00f3ricos da tr\u00edade ci\u00eancia-tecnologia-sociedade, defende ao afirmar que \u201ctecnologia \u00e9 sociedade feita dur\u00e1vel<\/em>\u201d[4]<\/sup>. Apesar dos esfor\u00e7os de pesquisadores, ativistas, desenvolvedores e juristas, a assimetria de poder entre a cidadania global frente aos grandes oligop\u00f3lios de tecnologia provenientes dos grupos neoimperialistas nos pa\u00edses centrais imp\u00f5e barreiras quase intranspon\u00edveis. O lobby<\/em> pol\u00edtico, econ\u00f4mico e cultural da l\u00f3gica technochauvinista em prol da implementa\u00e7\u00e3o de mais e mais tecnologias de ordena\u00e7\u00e3o, vigil\u00e2ncia e predi\u00e7\u00e3o atrav\u00e9s do aprendizado de m\u00e1quina para gera\u00e7\u00e3o de mais lucro e desigualdade parece implac\u00e1vel.<\/p>\n\n\n\n

Com a continuidade de s\u00e9culos de supremacismo branco a partir dos esfor\u00e7os coloniais e novas colonialidades centradas na Europa e EUA, n\u00e3o foi surpresa aos atentos a emerg\u00eancia do racismo algor\u00edtmico. De plataformas de m\u00eddias sociais a tecnologias carcer\u00e1rias de vigil\u00e2ncia, a distribui\u00e7\u00e3o racializada de poder e opress\u00e3o reproduz privil\u00e9gios e discrimina\u00e7\u00f5es em prol do fornecimento de capital \u2013 financeiro e social – a poucos, em detrimento das maiorias vulnerabilizadas do Sul Global e das periferias do Norte.<\/p>\n\n\n\n

N\u00e3o s\u00f3 o racismo algor\u00edtmico intensifica e brutaliza ainda mais a distribui\u00e7\u00e3o de poder em prol da branquitude, como tamb\u00e9m promove a opacidade dos seus mecanismos com o apoio da l\u00f3gica do aprendizado de m\u00e1quina. Sistemas de ordena\u00e7\u00e3o de valores, oportunidades, vigil\u00e2ncia e respeito \u00e0 humanidade s\u00e3o alimentados com hist\u00f3rico de milhares de pontos de dados desiguais, reproduzindo as din\u00e2micas sociais-pol\u00edticas do passado em um loop <\/em>de feedback cada vez mais opaco. Os casos auditados ou desvelados s\u00e3o in\u00fameros[5]<\/sup>, mas parecem representar apenas uma pequena parte dos sistemas algor\u00edtmicos efetivamente implementados e ainda n\u00e3o-auditados ou analisados. Gostaria de focar em um caso especialmente pertinente ao tema em quest\u00e3o.<\/p>\n\n\n\n

Em 2019, pesquisadores[6]<\/sup> publicaram na revista Science <\/em>importante estudo sobre algoritmos comerciais de predi\u00e7\u00e3o de necessidades de cuidados m\u00e9dicos, provando que milh\u00f5es de pacientes negros receberam atribui\u00e7\u00e3o a escores de risco que os prejudicava. Em determinados escores de riscos atribu\u00eddos aos avaliados em triagens m\u00e9dicas, pacientes negros estavam na verdade muito mais doentes do que os pacientes brancos – e em \u00edndices alarmantes.<\/p>\n\n\n\n

\"\"<\/figure><\/div>\n\n\n\n

Ao investigar a origem da disparidade na base de dados, os pesquisadores descobriram que os dados que alimentavam o sistema estavam absurdamente enviesados: m\u00e9dicos tomavam frequentemente decis\u00f5es de atribuir menos recursos a pacientes negros. Como essa m\u00e9trica foi aplicada acriticamente como um proxy para supor a condi\u00e7\u00e3o real dos pacientes, o que o algoritmo fez foi reproduzir, intensificar e esconder as decis\u00f5es racistas granulares dos m\u00e9dicos que trabalhavam nas cl\u00ednicas e hospitais fontes de dados para o sistema.<\/p>\n\n\n\n

Este caso nos aponta muitos fatos e vari\u00e1veis sobre a desintelig\u00eancia artificial. Os mais \u00f3bvios tratam da incompet\u00eancia (no m\u00ednimo) dos desenvolvedores que consideraram a m\u00e9trica de \u201crecursos gastos\u201d como equivalente a \u201ccondi\u00e7\u00f5es de sa\u00fade\u201d e sobre a desumana neglig\u00eancia dos provedores e hospitais particulares de sa\u00fade que usaram o sistema algor\u00edtmico para otimizar custos, sem exigir auditorias pr\u00e9vias, uma vez que deveriam ser conscientes da factualidade discriminat\u00f3ria na sa\u00fade p\u00fablica.<\/p>\n\n\n\n

O caso tamb\u00e9m nos conta algo al\u00e9m. Se a comercializa\u00e7\u00e3o de sistemas algor\u00edtmicos tem como caracter\u00edstica fundamental a tentativa de impor opacidade nos fluxos de trabalho que os mantem, o que podemos dizer de sistemas algor\u00edtmicos baseados em aprendizado de m\u00e1quina sobre milhares ou milh\u00f5es de pontos de dados de decis\u00f5es racistas que j\u00e1 estavam em andamento? Cada vez que um m\u00e9dico ignorou a dor de uma pessoa negra, escolheu um procedimento menos eficaz por ser mais barato ou deu aten\u00e7\u00e3o apenas a seus iguais, o impacto foi direto naquele paciente e se somou, como ponto de dado, \u00e0 bases que permitiriam a automatiza\u00e7\u00e3o em escala das decis\u00f5es racistas[7]<\/sup>. Ironicamente, a auditoria realizada no estudo jogou luz n\u00e3o s\u00f3 sobre os horrores da desintelig\u00eancia artificial, mas tamb\u00e9m sobre os horrores das decis\u00f5es realizadas por cossignat\u00e1rios de um contrato racial[8]<\/sup> em prol da branquitude violenta antes de sequer virarem dados.<\/p>\n\n\n\n

Ent\u00e3o, apesar do que leituras apressadas da obra de Isaac Asimov e outros escritores cl\u00e1ssicos de fic\u00e7\u00e3o cient\u00edfica podem incentivar, \u00e9 preciso ir al\u00e9m de debates \u00f3bvios sobre temas como \u201cdireitos dos rob\u00f4s\u201d ou impactos poss\u00edveis de uma improv\u00e1vel intelig\u00eancia artificial geral. Antes precisamos concordar com Abeba Birhane e Jelle van Dijk ao defender que dever\u00edamos focar no “bem-estar de grupos marginalizados […] que s\u00e3o desproporcionalmente impactados pela integra\u00e7\u00e3o da tecnologia em nossas vidas cotidianas<\/em>“[9]<\/sup>. Em um mundo onde decis\u00f5es racistas s\u00e3o novamente normalizadas ao serem transformadas em dados, perdendo as conex\u00f5es de delega\u00e7\u00e3o e ganhando ares de neutralidade, n\u00e3o podemos perder de vista o compromisso de discutir as redes de poder e opress\u00e3o incorporadas na tecnologia hoje<\/em>.<\/p>\n\n\n\n

\n\n\n\n

Notas<\/strong><\/p>\n\n\n\n

[1] Edward Jones-Imhotep, \u201cThe ghost factories: histories of automata and artificial life”, History and Technology<\/em>, vol. 36, n.1, 2020, p.10.<\/p>\n\n\n\n

[2] Jack M. Balkin, “The Three Laws of Robotics in the Age of Big Data”, Ohio State Law Journal<\/em>, vol. 78, n.5, 2017.<\/p>\n\n\n\n

[3] Frank Pasquale, \u201cToward a Fourth Law of Robotics: Preserving Attribution, Responsibility, and Explainability in an Algorithmic Society\u201d, Ohio State Law Journal<\/em>, vol. 78, n.5, 2017.<\/p>\n\n\n\n

[4] Buno Latour, “Technology is society made durable”, The Sociological Review<\/em>, vol. 38, n.1, 1990.<\/p>\n\n\n\n

[5] Mantenho um mapeamento cont\u00ednuo em \u201cLinha do Tempo do Racismo Algor\u00edtmico\u201d em  https:\/\/tarciziosilva.com.br\/blog\/posts\/racismo-algoritmico-linha-do-tempo\/<\/a><\/p>\n\n\n\n

[6] Ziad Obermeyer et al., “Dissecting racial bias in an algorithm used to manage the health of populations”, Science<\/em>, v. 366, n. 6464, 2019.<\/p>\n\n\n\n

[7] Ruha Benjamin, \u201cAssessing Risk, Automating Racism\u201d, Science<\/em>, v. 366, n. 6464, 2019.<\/p>\n\n\n\n

[8] Charles W. Mills, The Racial Contract<\/em>, Cornell University Press, 2014.<\/p>\n\n\n\n

[9] Abeba Birhane; Jelle van Dijk, \u201cRobot Rights? Let’s Talk about Human Welfare Instead\u201d,Proceedings of the AAAI\/ACM Conference on AI, Ethics, and Society<\/em>, 2020, p.6.<\/p>\n\n\n\n

\n\n\n\n

Como citar<\/strong>
SILVA, Tarcizio. Dos aut\u00f4matos e rob\u00f4s \u00e0s redes difusas de ag\u00eancia no racismo algor\u00edtmico. In: TAVARES, A. R. Vest\u00edgios do Futuro: 100 Anos de Isaac Asimov<\/em>. Rio de Janeiro: Editora Etheria, 2020.<\/p>\n","protected":false},"excerpt":{"rendered":"

[Texto originalmente publicado no livro Vest\u00edgios do Futuro: 100 Anos de Isaac Asimov. Veja como citar ao final] Antes de Isaac Asimov, talvez o mundo ocidental s\u00f3 tenha se deparado com a profundidade dos impactos sociais e especulativos da fic\u00e7\u00e3o cient\u00edfica com Mary Shelley, que inventou Frankenstein e sua criatura. Quase 100 anos antes do […]<\/p>\n","protected":false},"author":6,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2549],"tags":[2271,2117,2730,2729,2628,2272,2536],"class_list":["post-12305","post","type-post","status-publish","format-standard","hentry","category-inteligencia-artificial-e-algoritmos","tag-automatos","tag-inteligencia-artificial","tag-isaac-asimov","tag-racismo-agoritmico","tag-robotica","tag-robos","tag-saude"],"_links":{"self":[{"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/posts\/12305","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/comments?post=12305"}],"version-history":[{"count":18,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/posts\/12305\/revisions"}],"predecessor-version":[{"id":12332,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/posts\/12305\/revisions\/12332"}],"wp:attachment":[{"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/media?parent=12305"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/categories?post=12305"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tarciziosilva.com.br\/blog\/wp-json\/wp\/v2\/tags?post=12305"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}