Google acha que ferramenta em mão negra é uma arma

A desinteligência artificial é uma constante mesmo em grandes empresas reconhecidas pelos seus feitos na tecnologia digital. Na minha Linha do Tempo do Racismo Algorítmico há alguns casos como: a Google marcando pessoas negras como gorilas; Instagram vendo violência e armas onde não há; IBM e Microsoft não reconhecendo gênero de mulheres negras.

Internacionalmente esforços coordenados buscam proibir ou ao menos suspender o uso de inteligência artificial por instituições públicas, sobretudo em segurança pública. As taxas de erro são enormes, de Salvador até centros globais financeiros e tecnológicos como Londres. Atualmente a pandemia de COVID-19 tem sido a desculpa para empresas questionáveis forçarem a normalização de uso de tecnologias problemáticas seja no Brasil ou no exterior.

Mais um caso vulgar de erro em visão computacional foi mapeado. Nas imagens abaixo, o pesquisador Nicolas Kayser-Bril rodou duas imagens de pessoas segurando um termômetro na Google Vision, recurso de análise de imagens. Na foto com a pessoa asiática, as etiquetas “Tecnologia” e “Dispositivo Eletrônico” lideraram. Na com a pessoa negra, a etiqueta “Arma” foi marcada com 88% de certeza.

Esse tipo de erro é causado por um acúmulo de fatores, que vai da base de dados de péssima qualidade, lógica relacional do aprendizado de máquina falta de diversidade no campo e ao technochauvinismo dos profissionais da área que não criam ou reforçam mecanismos de representação adequada. A depender do seu ceticismo você está buscando motivos na imagem para justificar a questão? O pesquisador Bart Nagel responde com o experimento abaixo, onde embranqueceu a mão da foto:

Este é mais um de inúmeros casos da vulgaridade da aplicação da inteligência artificial para supostamente entender questões complexas e sociais da realidade. Mas quando falamos de segurança pública, o horror da necropolítica está agindo claramente. Os inúmeros casos de assassinato de cidadãos por policiais que se “confundiram” possuem uma ligação que não é coincidência com a estupidez da visão computacional. Não podemos, enquanto sociedade, permitir que o technochauvinismo avance ainda mais na segurança pública.

Veja mais casos do horror do racismo algorítmico na Linha do Tempo, entenda como estes recursos funcionam e são nocivos no artigo Visão computacional e Racismo Algorítmico: branquitude e opacidade no aprendizado de máquina e no relatório Interrogating Vision APIs, onde propomos metodologia de auditoria destes sistemas.

“Tranças feias” e “tranças bonitas”: como Google intensifica racismo

Viralizou na última semana um exercício de interrogação crítica do buscador Google: basicamente pesquisar “tranças feias” e “tranças bonitas” e conferir quais imagens são destacadas na aba de resultados de imagens do buscador. Longe de ser algo pontual, estes casos, mecanismos e problemas no excelente livro de Safiya Noble “Algoritmos de Opressão: como mecanismos de busca reforçam o racismo“. Outros casos similares mantenho na minha Timeline do Racismo Algorítmico. Ontem falei com o jornalista Tiago Rugero, do blog do Ancelmo (O Globo) sobre a questão. Seguem minhas respostas:

Você considera esse um caso de racismo algorítmico?
Sim. Racismo não se trata apenas de xingamentos horrorosos contra uma minoria. Trata-se também da manutenção de desigualdades estruturadas e microagressões no cotidiano que podem ser resultado de como sistemas automatizados, como buscadores, reagem ao comportamento dos usuários. No caso que está sendo viralizado, sobre as tranças feias e bonitas, o buscador não apenas reflete percepções da sociedade, mas também pode intensificá-las ao repetir em massa sem responsabilidade. Se uma criança negra, por exemplo, vê estes resultados continuamente, sem ver outros conteúdos positivos, isto gera sentimentos negativos sobre sua estética e autoestima. Há vários pesquisadores e pesquisadoras em universidades internacionais, como Joy Buolamwini, Safiya Noble, Frank Pasquale, Cathy O’Neill, Sil Bahia, Sérgio Amadeu que tratam de impactos sociais dos algoritmos há anos, mas agora o debate se populariza.

As tecnologias não são neutras. Mas isto não quer dizer que são negativas ou positivas. Significa que podemos gerar esforços coletivamente para criar ambientes favoráveis a todas as pessoas. Algumas plataformas digitais já possuem esforços neste sentido. Microsoft e IBM, por exemplo, já reagiram a pesquisas sobre casos anteriores. É importante debater tudo isto entre desenvolvedores, sociedade, jornalistas e afins.

O que é racismo algorítmico?
O racismo algorítmico trata de entender como sistemas regidos por algoritmos podem tomar decisões negativas contra um grupo racial específico. Há casos mapeados em áreas claramente muito graves, como decisões judiciais automatizadas ou reconhecimento facial que podem gerar, por exemplo, a prisão injusta de uma pessoa inocente. Isto mostra a necessidade, já avançada em alguns países, de permitir a “auditoria algorítmica” para que sistemas contratados por governos sejam justos e não possam ser usados para fins nocivos.
Mas na comunicação também há problemas possíveis para milhões de pessoas, uma vez que hoje nós passamos a maior parte do nosso tempo em ambientes como Google e Facebook. Assim como acontece com a publicidade tradicional, a invisibilidade ou representação nociva de grupos minorizados deve ser debatida pois prejudica os grupos citados, a sociedade e a própria economia e consumo.
Na maioria dos casos, os estudos mostram que os problemas não são claramente “intencionais”. Não é um desenvolvedor racista, geralmente, que vai incluir aquelas decisões que prejudicarão alguém. Mas pecar por omissão pode ser tão negativo quanto por intenção. Por isto tanto a pressão pela transparência das plataformas quanto falar sobre casos como este é importante para gerar o debate que vai ajudar os próprios criadores destes ambientes a melhorar seus sistemas. O campo da inteligência artificial, de modo amplo, está desenvolvendo modos de treinar melhor os sistemas e desenhar melhor as interfaces para isto, com apoio também das humanidades, artes, sociólogos e jornalistas.

 

Horas depois, a Google emitiu uma nota, que reproduzo a seguir:

“Construir uma experiência de busca é um desafio complexo, dinâmico e em constante evolução. Como nossos sistemas encontram e organizam informações disponíveis na web, eventualmente, a busca pode espelhar estereótipos existentes na internet e no mundo real em função da maneira como alguns autores criam e rotulam seu conteúdo. Entendemos que pessoas de todas as raças, gêneros e grupos podem ser afetadas por essas representações. Compartilhamos essa preocupação e continuaremos trabalhando para melhorar os resultados de busca de imagens para todos nossos usuários.”

Esta pretensão de neutralidade, de que o buscador é “só uma tecnologia” está sendo combatida internacionalmente. Gostaria de destacar o artigo “Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa“, de Philip Napoli e Robyn Caplan, que explicam como discursos tais como o acima são problemáticos.

Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa?

Mais um caso de racismo em plataformas de mídias sociais. Desta vez, o criador de “conteúdo” ou “influenciador” Cocielo, que já trabalhou pra marcas como Coca Cola, Asus, Submarino e outras publicou um tweet racista contra o jogador Mbappé e deletou em seguida, preocupado com os impactos comerciais que teriam. Quando o print do tweet começou a circular, tanto o youtuber quanto amigos e fãs argumentaram que “quem conhecece o Cocielo sabe que ele não é assim” e variantes. Foi o estopim para mostrar que sempre foi assim, na verdade: publicações racistas, misóginas, homofóbias, transfóbicas e violências de todo o tipo foram descobertas por outros tuiteiros e a reincidência em crimes de ódio ficou mais que evidente.

O absurdo de marcas e agências contratarem gente como o Cocielo, permitindo que suas vozes sejam replicadas e fortalecidas (uma vez que os remuneram aumentando seu público) foi coberto por várias analistas, como  Stephanie Ribeiro que comentou que “marcas patrocinam qualquer um, menos os negros com discurso engajado“. Em reportagem no Alma Preta, Thalyta Martins cita fala da historiadora Suzane Martins sobre as “desculpas” do YouTube – “Isso seria trabalhar a política racial em um âmbito individual mediado por conceitos como ‘culpa’ ou ‘perdão’, que dizem mais sobre uma visão cristã e maniqueísta do mundo do que sobre política e projeto de sociedade”. Anderson França em postagem relembra que “eleger pessoas negras engajadas nessa pauta, mudar leis, agir, de cima pra baixo, na educação, no judiciário, nas polícias, nas estruturas fundamentais do estado e da sociedade, para que possamos evitar os novos atos de racismo e mais: eliminar a cultura do racismo.”

Mas este caso está longe de ser novo. Como ocorreu em vários momentos nos últimos anos, criadores de conteúdo, atores e apresentadores de TV cometem repetidamente crimes de ódio nas mídias sociais. Então este caso é um ótimo momento para refletir: por que as plataformas de mídias sociais protegem criminosos? E por que não estamos falando disto?

Plataformas como Twitter, YouTube e Facebook devem ser vistas como mídia, não só como tecnologia. Algoritmos, recursos como Moments, termos de uso e aplicação restrita ou alargada dos Termos de Uso (como encobrir e até remunerar racistas com recursos como Conta Verificada) são, efetivamente, decisões editoriais. Elas não possuem o formato de decisão editorial como em jornais tradicionais, mas o são. E precisamos falar sobre isso.

Um ótimo ponto de partida é o artigo Por que empresas de mídia insistem que não são empresas de mídia, por que estão erradas e por que isso importa?, escrito por Philip Napoli e Robyn Caplan e publicado ano passado na First Monday. Acabou de ser publicado em versão em português, com tradução feita por mim e Willian Araújo na revista Parágrafo. Esta edição da revista Parágrafo inclui um dossiê completo sobre mediações algorítmicas, editado por Willian Araújo e Carlos D’Andrea, com artigos, traduções e entrevista.

No caso do artigo em questão de Napoli e Caplan, resumo pode ser visto a seguir:

Uma posição comum entre plataformas de mídia social e agregadores de conteúdo é sua resistência em ser caracterizados como empresas de mídia. Ao contrário, empresas como Google, Facebook e Twitter tem constantemente insistido que deveriam ser pensadas como puramente empresas de tecnologia. Este artigo critica a opinião que estas plataformas são empresas de tecnologias ao invés de empresas de mídia, explora seus argumentos subjacentes e considera as implicações políticas, legais e regulatórias associadas com o aceite ou recusa desta opinião. Como o artigo ilustra, não é apenas uma distinção semântica, dado que o histórico de classificação precisa de tecnologias e serviços da comunicação possui profundas implicações em como estas tecnologias e serviços da comunicação são avaliadas por decisores políticos e tribunais.

Os autores cobrem os vários argumentos usados por estas plataformas para se posicionarem no campo da “tecnologia”, contra-argumenta mostrando suas fragilidades e, por fim, apresentam a importância desta crítica e os papéis que a academia e sociedade civil podem exercer para uma internet mais justa.

Acesse o artigo diretamente e confira todo o dossiê em http://revistaseletronicas.fiamfaam.br/index.php/recicofi/issue/view/59/showToc

 

Algoritmos de Opressão: como mecanismos de busca reforçam o racismo

Algoritmos e plataformas não são neutros. São construídos de modo que algumas visões de mundo, ideologias e pontos de vista se destacam e impõem-se, seja de forma intencional ou não. Apesar de estarmos em 2018 e centenas de pesquisadores, desenvolvedores e profissionais destacarem isto, a plataformização da mídia e do capitalismo através de empresas como Google, Facebook, Uber, AirBnB e similares surfa (e alimenta) a onda do individualismo, livre mercado e endeusamento estúpido da “tecnologia” para argumentar justamente o contrário: que seriam ambientes neutros por serem, justamente, criados com mecanismos de automatização de decisões livres da interferência humana.

Pesquisadores sérios e alguns segmentos da população como, por exemplo, mulheres negras, não podem se dar ao luxo de ignorar impacto e vieses dos algoritmos. Nesta interseção, a pesquisadora e professora Safiya U. Noble nos presenteou com a indispensável publicação de Algorithms of Oppression: how search engines reinforces racism lançado oficialmente neste mês de fevereiro de 2018. é Ph.D. pela University of Illinois, professora na University of Southern California (USC), previamente tendo ensinado também na UCLA, além de ser co-fundadora do Information Ethics & Equity Institute. Também é sócia de empresa focada em ciência de dados e pesquisa, a Stratteligence. Antes desse livro, co-editou “The Interesectional Internet: Race, Sex, Culture and Class Online” e “Emotions, Technology & Design”.

Em Algorithms of Oppression: how search engines reinforces racisma autora apresenta os resultados de ampla pesquisa sobre algoritmos e representação de determinados grupos, sobretudo mulheres e garotas negras no Google. A autora abre o primeiro capítulo, “A Society, Searching”, relembrando a campanha circulada pela UN Women que usou telas reais do recurso “Autocompletar” do buscador Google para mostrar como o sexismo e misoginia são representados pelas sugestões reais.

A campanha é o gancho para começar a discussão sobre a relevância e utilidade destes recursos como fortalecedores dos comportamentos que representam. Em seguida, a autora traz mais exemplos sobre representações de mulheres a partir de buscas tão simples quanto “black girls”, “why are women so” ou “why are Black people so” para mostrar como mecanismos de acesso a informação privilegiam pontos de vista de posições de poder – por exemplo, a hiperssexualização das garotas negras nos resultados é fruto de padrões de busca por conteúdo sexual e pornográfico, desrespeitando as mulheres negras como construtoras de narrativas e conteúdos próprios. Para tratar deste problema de pesquisa, Noble propõe a aplicação de uma abordagem com método e epistemologia feminista ao citar Sandra Harding, que diz que “Definir o que é necessário em termos de explicação científica apenas da perspectiva da experiência de homens brancos burgueses leva a compreensão parcial e até perversa da vida social”.

O segundo capítulo “Searching for Black Girls” traz diversos estudos de caso sobre representação de minorias políticas nos resultados da Google, para buscas como “black girls”, “latina girls”, “asian girls” etc.  A tela abaixo é inclusa no livro e mostra como os resultados para “black girls” oferecem uma representação pornográfica de meninas negras nos resultados.

Noble critica o uso puramente comercial, pela Google, de iniciativas como Black Girls Code, que não se reflete na melhoria de práticas na empresa de tecnologia ou na contratação minimamente representativa de profissionais negros. A distribuição de profissionais em empresas como a Google, Facebook e outras gigantes da tecnologia não representam nem de longe a distribuição de gênero e raça no país.

É especialmente relevante o fato de que a Google não só contrata engenheiros e cientistas da computação de forma enviesada, como também não constrói cargos e departamentos direcionados a tarefas de otimização da oferta de mídia quanto a diversidade cultural e respeito à humanidade dos seus clientes. Não são práticas novas, apesar das embalagens do Vale do Silício, como Noble demonstra ao fazer ligações destas representações ao histórico de construção de categorias raciais discriminatórias com fins de dominação. É imprescindível, então, adereçar a opacidades das tecnologias que regem as trocas comunicacionais:

“The more we can make transparent the political dimensions of technology, the more we might be able to intervene in the spaces where algorithms are becoming a substitute for public policy debates over resource distribution – from mortgages to insurance to educational opportunities”

O terceiro capítulo trata da representação de pessoas e comunidades na web em resultados de busca, especialmente o caso de sites de notícias falsas criadas por racistas supremacistas brancos nos EUA. Usando o exemplo de termos como “black on white crime”, a autora mostra como os resultados melhor rankeados levam a sites com dados falsos e cheios de discurso de ódio, com SERPs (“search engine results page”, termo usado geralmente para se referenciar à primeira página) que geram receita para a organização.

O quarto capítulo se debruça sobre ações realizadas por grupos e indivíduos para se proteger dos malefícios dos vieses dos mecanismos de busca e do registro ilegal ou antiético de dados. A partir de casos famosos como o IsAnyoneUp (site que hospedava ilegalmente “pornô de vingança”), a autora mostra correlatos relacionados à perfilização de indivíduos em categorias criminosas. Sites como UnpublishArrest e Mugshots cobram para retirar fotos de fichamento (“mugshots”) divulgadas amplamente na internet, que prejudicam indivíduos tanto culpados quanto inocentes. Como dados mostram, minorias étnicas são presas e fichadas de forma errônea e/ou abusiva com muito mais frequência nos EUA, o que leva a morosidade (4 a 6 semanas, quando acontece) de tentativas de “limpar” resultados de busca um mecanismo de intensificação da violência contra as minorias. O “direito ao esquecimento”, tema que já tratamos aqui no blog a partir de Mayer-Schonberger, é explorado a partir do pensamento de autores como Oscar Gandy Jr., mostrando alternativas para a materialização de aspectos negativos da ultra-racionalização enviesada da sociedade.

O fechamento deste capítulo tenta enfatizar a importância da retomada da transparência sobre decisões quanto a construção de índices e sistemas de informação:

In addition to public policy, we can reconceptualize the design of indexes of the web that might be managed by librarians and info rmation institutions and workers to radically shift our ability to contextualize information. This could lead to significantly greater transparency, rather than continuing to make the neoliberal capitalist project of commercial search opaque.

O quinto capítulo, então, parte para imaginar o “Future of Knowledge in the Public” a partir de uma revisão crítica sobre o histórico de problemas de classificação de temas, pessoas e grupos em repositórios de informação. Até muito recentemente categorias como “Jewish Question”, “Yellow Peril” eram usadas no sistema de classificação da Biblioteca do Congresso nos EUA, que estabelece os padrões seguidos no país. A dominação cultural sobre minorias é estruturada e materializada em códigos de enquadramento de estudos, literatura e pensamento sobre a sociedade de um modo que direciona as interpretações e desdobramentos possíveis. Sistemas de informação não são objetivos e não podem ser vistos dessa forma. Noble propõe seguir as recomendações do prof. Jonathan Furner para se aplicar Teoria Racial Crítica a estudos de informação, através de procedimentos como:

  •  Aceitação, pelos criadores dos sistemas, que os vieses existem e são resultados inevitáveis dos modos pelos quais são estruturados;
  • Reconhecimento que a aderência a uma política de neutralidade contribuir pouco para a erradicação dos vieses e pode, na verdade, estender suas existências;
  • Construção, coleta e análise de expressões narrativas de sentimentos, pensamentos e crenças de usuários de populações racialmente diversas dos esquema de classificação.

Buscando discutir como encontrar informação “culturalmente situada” na web, a autora explica o valor e potencial de alteridade de sites e buscadores focados em minorias como Blackbird (www.blackbirdhome.com),as BlackWebPortal (www.blackwebportal.com), BlackFind.com (www.blackfind.com), Jewogle (www.jewogle.com), Jewish.net (http://jewish.net/), JewGotIt (www.jewgotit.com) e  Maven Search (www.maven.co.il).

No sexto e último capítulo, “The Future of Information Culture”, Noble critica o monopólio da informação e o papel de organismos regulatórios como a FCC (Federal Communications Commission) nos EUA. Discutir o papel de organizações de mídia cada vez mais concentradas é uma questão de políticas públicas. A autora mostra, através da revisão de várias decisões judiciais, como os possíveis malefícios desta concentração tem impactos que são materializados em casos “extremos” ao mesmo tempo que influenciam a sociedade como um todo. A insistência de enquadrar ecossistemas da Google, Facebook e afins como “neutros”, como se não tivessem responsabilidade tais como organizações de mídia e imprensa também é endereçada pela autora. Para que a internet seja de fato uma fonte de oportunidades para as pessoas de forma democrática, os modos pelos quais suas principais propriedades são construídas deve estar sob princípios de transparência e acontabilidade.

Assim como a diversidade no Vale do Silício ter diminuído ao invés de aumentado nos últimos anos, a desigualdade econômica entre famílias brancas, negras e hispânicas cresceu. Segundo dados da Federal Reserve, o patrimônio líquido de famílias brancas era cerca de 10x o de famílias negras.

A autora traz as colaborações da pesquisa sobre exclusão digital para detalhar como aspectos econômicos, educacionais, culturais são materializados em três pontos principais de desigualdade quanto a tecnologia: acesso a computadores e softwares; desenvolvimento de habilidades e treinamento; e conectividade à Internet, como banda larga.

Por fim, como diz de forma “a desigualdade social não será resolvida por um app”. A nossa atual confiança excessiva nas tecnologias e auto-regulação de mercados esconde os impactos e decisões feitas dia a dia por profissionais, designers, engenheiros, cientistas e executivos de negócio que pecam por intenção ou omissão quanto à efetiva liberdade de expressão e uso da web. Somente a associação intencional, inteligente e diversa de pessoas de diferentes backgrounds profissionais e culturais engajadas em tornar o mundo um lugar melhor pode salvar a internet. As concepções neoliberais sobre mercado, comunicação e democracia vão contra este objetivo, como aponta em:

New, neoliberal conceptions of individual freedoms (especially in the realm of technology use) are oversupported in direct opposition to protections realized through large-scale organizing to ensure collective rights. This is evident in the past thirty years of active antilabor policies put forward by several administrations47 and in increasing hostility toward unions and twenty-first-century civil rights organizations such as Black Lives Matter. These proindividual, anticommunity ideologies have been central to the antidemocratic, anti-affirmative-action, antiwelfare, antichoice, and antirace discourses that place culpability for individual failure on moral failings of the individual, not policy decisions and social systems.

É possível ver uma palestra de Safiya U. Noble realizada no Personal Democracy Forum 2016 que cobre as ideias principais da publicação:

Saiba mais sobre o livro e o trabalho da autora em seu site: https://safiyaunoble.com/research-writing/

Hipersegmentações de Publicidade na Era Algorítmica: desafio ético para as organizações

A plataformização da web é uma das principais preocupações de alguns pesquisadores e ativistas em torno do mundo. Rapidamente a empolgação recente de pesquisadores de diversas vertentes já parece datada. A crença de que “os meios tradicionais de comunicação passaram a perder espaço para essa nova modalidade intercomunicativa, operacionalizada não mais por proprietários de veículos de comunicação, mas por cidadãos comuns” (MAZZUOLI, p.229) é parcialmente correta, mas fica claro que novas hierarquias foram construídas entre numeratis, indivíduos com uma capacidade maior de análise de dados através de lógicas computacionais (BAKER, 2009).

A internet e as mídias sociais trazem dados sobre aspectos demográficos, sociais e comportamentais dos indivíduos com volume e visibilidade de um modo anteriormente pouco imaginado até na ficção científica. Entretanto, para acessar, processar, visualizar e agir sobre estes dados, são necessárias capacitações tradicionalmente associadas a formações das áreas de Computação, Engenharia, Estatística e Matemática. Em sua maioria, cursos que formam profissionais com pouca ou nenhuma carga de humanidades e ciências sociais, infelizmente. Um dos numerati do Vale do Silício é Christian Rudder, graduado em Matemática e fundador da OkCupid, site de relacionamentos inaugurado em 2004. Rudder publicou em 2014 o livro Dataclysm: Who We Are When We Think No One’s Looking, traduzido para o português no mesmo ano.

A publicação é uma ode ao big data e análise de dados não obstrusivos armazenados sobre indivíduos em seus usos cotidianos de plataformas, websites e apps dos mais diferentes tipos. Além da proeza computacional de processamento e análise de dados de milhões de pessoas, os resultados do livro são um alerta importante: trilhões de pontos de dados sobre relacionamentos, preferências afetivas e sexuais estão disponíveis apenas para um punhado de pessoas, que detêm ou trabalham em departamentos de pesquisa de plataformas como a OkCupid. São dados fechados que apenas o próprio Rudder poderia ter acesso: o livro se baseia em dados proprietários tratados por um matemático empreendedor que deixa diversos padrões científicos e trabalho crítico sobre as informações levantadas de lado. Nenhum pesquisador acadêmico teve ou poderia ter acesso a estes dados brutos.

Assim, mesmo os pesquisadores acadêmicos de ponta criando projetos e visualização na interseção entre sociologia, filosofia e tecnologia digital estão em desvantagem. Em importante artigo sobre métodos quali-quantitativos para estudar traços digitais, Tommaso Venturini e Bruno Latour dizem que “digital mediation spreads out like a giant roll of carbon paper offering the social more data than they ever dreamt of” (VENTURINI & LATOUR, 2010, p.9). A rigor, a mediação digital oferece de fato mais dados do que jamais imaginado, mas crescentemente são concentrados de forma extrema nas bases de dados e grupo de cientistas de empresas como Facebook, Google, Amazon, Apple e Twitter.


Recomendo o trabalho de Scott Galloway e seu livro The Four sobre o tema da concentração de valor, comunicação e poder em Google, Facebook, Apple e Amazon


O conceito de Noortje Marres de “redistribuição dos métodos” é loquaz para este problema. Ao tratar do avanço de empresas comerciais de comunicação no entendimento da sociedade, Marres (2012) explica como isto interfere na relação entre sociedade, mercado, estado e academia. Os exemplos são inúmeros. Mais ainda do que o caso citado anteriormente sobre a OkCupid, empresas como Facebook mantêm departamentos de pesquisa que investigaram temas como: graus de separação entre indivíduos (BACKSTROM et al, 2012); polarização política (BASHKY et al, 2015);  e até mesmo os laços fortalecidos entre amigos de pessoas recém-falecidas (HOBBS & BURKE, 2017). Entretanto, dois casos receberam mais destaque por serem experimentais e intervenientes na realidade: interferência na probabilidade de levar americanos a votar nas eleições; e contágio emocional, alcançado através de ajustes nos algoritmos de forma não-declarada, modificando artificialmente estado emocional de mais de 680 mil pessoas no Facebook (KRAMER et al., 2014).

 

Polêmica recente na esfera político-eleitoral também tem levado representantes das plataformas ao Congresso americano. Ganha destaque sobretudo o uso do sistema de anúncios para distribuir notícias falsas a segmentos hiper-personalizados de eleitores nos EUA, para promover votos em determinados candidatos ou, mesmo, desmotivar qualquer voto de eleitores pouco prováveis[1].


Sobre o tema, o trabalho da Zeynep Tufekci pode ser resumido no TED acima. Traduzi a transcrição aqui no blog.


E quanto às organizações do setor privado, quais impactos e decisões devem ser consideradas? Como as organizações tem lidado com questões éticas sobre uso de plataformas de anúncios hiperssegmentados, automatizáveis e programáticos?

A oferta de sistemas de anúncios hiperssegmentados cresceu de forma incontrolável nos últimos 10 anos graças ao uso intenso de mídias sociais e promoção de visibilidade de características demográficas, preferências culturais e comportamentais. O sistema do Facebook, por exemplo, permite criar anúncios direcionados a pessoas através de: variáveis demográficas clássicas – como idade, gênero, localização; renda e profissões; preferências culturais quanto a músicas, artistas, literatura, extraídas de likes; tipologias de fases da vida e eventos, como divórcio recente, novo emprego, relacionamento à distância; composição familiar; e combinações de todas estas variáveis e muitas outras.

O uso destas segmentações está há poucos cliques de qualquer pessoa ou empresa. No modelo self service basta um cartão de crédito e um anúncio pode ser criado em pouquíssimos minutos. O ecossistema de atores do mercado de audiência e suas divisões claras entre os atores componentes, a saber: Organizações de Mídia; Anunciantes; Agências; Empresas de Mensuração; e Consumidores (NAPOLI, 2003). Esta indefinição de papéis associada a aceleração das decisões em um ambiente veloz e competitivo, mudando, como explica como explica Bueno, “vem alterando drasticamente o perfil tradicional das organizações empresariais. Sobretudo, tem provocado uma mudança profunda no relacionamento entre as corporações e os seus distintos públicos de interesse” (BUENO, 2000, p.50).

O papel das escolhas conscientes de corporações no uso de anúncios online é questionado em casos como o descoberto por pesquisadores que avaliaram diferenças entre anúncios voltados a homens e mulheres no Google. Ao construir um sistema automatizado de coleta de anúncios, que fingia ao sistema do Google ser diferentes homens e mulheres, os pesquisadores compararam o conteúdo patrocinado. Como principal resultado, perceberam que homens recebem muito mais anúncios de vagas de trabalho e serviços de coaching ligados a posições de maior remuneração e prestígio do que mulheres (DATTA, TSCHANTZ & DATTA, 2015). Em reportagem publicada no The Guardian[2], Samuel Gibbs explica que “profiling is inherently discriminatory, as it attempts to treat people differently based on their behaviour and personal information. While that customisation can be useful, showing more relevant ads to users, it can also have negative connotations”.

Não só pesquisadores estão acompanhando onde e como as organizações publicam mensagens e anúncios, mas também ativistas. O grupo Sleeping Giants[3] tem como objetivo “stop racist and sexist media by stopping its ads dollars. Many companies don’t even know it’s happening. It’s time to tell them”. A tática é simples e efetiva: os administradores do perfil e colaboradores podem flagrar anúncio de alguma empresa em sites de fake news de extrema-direta como o Breitbart, tirar print do anúncio e informar, geralmente através de um tweet, que o anúncio está sendo veiculado no site – ou seja, financiado as práticas nocivas e antidemocráticas.

Centenas de empresas responderam alegando não saber que seus anúncios estavam sendo veiculados naqueles sites. Possivelmente é verdade: sistemas de compra de anúncio online oferecem diferentes opções de segmentação para toda a rede de sites cadastrados e a inclusão ou exclusão de websites específicos é um processo manual raramente feito. A Sleeping Giants ainda ensina as empresas e agências dispostas a como retirar os sites das campanhas, diminuindo suas receitas possíveis.

Neste panorama complexo, ainda não há uma clara definição, regulamentação ou auto-regulamentação das grandes empresas sobre como agir quanto a práticas nocivas de uso de algoritmos e automatização nas plataformas de mídia online. O recente trabalho de Wilson (2017) é um dos poucos que problematiza o tema incluindo empresas comerciais, e não apenas governos ou instituições públicas. Quanto a governo, propõe a importância de marcos regulatórios e iniciativas como as pressões da União Européia para declaração de direitos civis sobre os dados, além de promover a pesquisa científica independente sobre inteligência artificial, automação e algoritmos.

No caso de empresas comerciais, reconhece que o grande desafio é que a maximização de lucros afeta as decisões tomadas por órgãos diretivos e departamentos de marketing, mas a atuação ética deve ser buscada. Explicitar o uso de inteligência artificial em mecanismos de interação (como bots e chatbots) é outro terreno que não está definido e práticas devem ser mapeadas. Quanto às próprias plataformas, o desenvolvimento de mecanismos de customização das mensagens recebidas (como opt out de recebimento de anúncios de determinadas empresas) já existe parcialmente e pode ser melhorado.

Adicionamos ainda a importância da compreensão abrangente e distribuída sobre os impactos das tecnologias digitais em tempos de incerteza. As organizações podem e devem incluir em seus planos de formação interna e endomarketing soluções que envolvam também a criação de consciência sobre os impactos das pequenas decisões tomadas na gestão de mídia e comunicação online. Poucos cliques podem ser a diferença entre uma gestão responsável e uma gestão suscetível a crises estrondosas.

 

Referências Bibliográficas

BACKSTROM, Lars et al. Four degrees of separation. In: Proceedings of the 4th Annual ACM Web Science Conference. ACM, 2012. p. 33-42.

BAKER, Stephen. Numerati–Conheça os Numerati. Eles já conhecem você. São Paulo: Saraiva, 2009.

BAKSHY, Eytan; MESSING, Solomon; ADAMIC, Lada A. Exposure to ideologically diverse news and opinion on Facebook. Science, v. 348, n. 6239, p. 1130-1132, 2015.

BUENO, Wilson da Costa. A Comunicação como espelho das culturas empresariais. Comunicação & Inovação, v. 1, n. 1, 2000.

DATTA, Amit; TSCHANTZ, Michael Carl; DATTA, Anupam. Automated experiments on ad privacy settings. Proceedings on Privacy Enhancing Technologies, v. 2015, n. 1, p. 92-112, 2015.

KOSINSKI, Michal; STILLWELL, David; GRAEPEL, Thore. Private traits and attributes are predictable from digital records of human behavior. Proceedings of the National Academy of Sciences, v. 110, n. 15, p. 5802-5805, 2013.

KRAMER, Adam DI; GUILLORY, Jamie E.; HANCOCK, Jeffrey T. Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, v. 111, n. 24, p. 8788-8790, 2014.

NAPOLI, Philip M. Audience economics: Media institutions and the audience marketplace. Columbia University Press, 2003.

TUFEKCI, Zeynep. We’re building a dystopia just to make people click on ads. TED. Ideas worth preading. Vídeo e transcrição de palestra. Disponível em https://www.ted.com/talks/zeynep_tufekci_we_re_building_a_dystopia_just_to_make_people_click_on_ads/transcript

WILSON, Dennis G. The Ethics of Automated Behavioral Microtargeting. AI Matters, vol. 3, n.3, 2017.

[1] https://www.theverge.com/2016/10/27/13434246/donald-trump-targeted-dark-facebook-ads-black-voters

[2] https://www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study

[3] https://twitter.com/slpng_giants

 

Como Citar

SILVA, Tarcízio. Hipersegmentações de Publicidade na Era Algorítmica: desafio ético para as organizações. Online, 2017. Acesso em: XX/XX/XXXX. Disponível em: < http://tarciziosilva.com.br/blog/hipersegmentacoes-de-publicidade-na-era-algoritmica-desafio-etico-para-as-organizacoes >