Apresentação sobre Visão Computacional e Vieses Racializados no COPENE

No último dia 29 de maio, apresentei no COPENE Nordeste o trabalho Visão Computacional e Vieses Racializados: branquitude como padrão no aprendizado de máquina, que fez parte da Sessão Temática “Branquitude, Representações e Mídia”. O slideshow já está disponível:

Em breve o artigo completo será publicado nos anais do evento. Acompanhe as publicações relacionadas no ResearchGate ou Lattes.

Por Humanidades Digitais Negras

As Humanidades Digitais ganharam mais visibilidade nos últimos 20 anos, graças à gradativa expansão do campo em termos de pesquisadores engajados, produção bibliográfica, ferramentas e projetos públicos. Um dos principais destes é a série Debates in the Digital Humanities. O livro, que pode ser lido na versão impressa ou digital interativa, reúne diversas abordagens sobre as humanidades digitais em seções com reflexões sobre sua história e futuros, métodos, práticas, disciplinas e críticas, com um foco bem relevante em text analysis.

O capítulo “Making a Case for the Black Digital Humanities“, Kim Galllon busca apresentar reflexões, casos, referências e possibilidades para uma abordagem das digitais humanidades do ponto de vista do campo chamado por ela de forma resumida de Black Studies (incluindo a linha de Africana/African American studies). Recomendo a leitura do capítulo e da produção de Gallon, que atualmente é Professora de História na Purdue University, mas aqui vou enfatizar alguns pontos do excelente texto.

Para Gallon, “os black studies tem sido entendidos como estudos comparativos das experiências culturais e sociais negras sob sistemas eurocêntricos de poder nos Estados Unidos, na diáspora Africana mais ampla e no continente africano”.

Um dos principais pontos é a percepção de Gallon sobre a pesquisa dos black studies nas humanidades digitais como um tipo de “tecnologia de recuperação(technology of recovery). As “humanidades digitais negras ajudam a desmascarar os sistemas racializados de poder em jogo quando entendemos as humanidades digitais como um campo e utilizamos suas técnicas associadas”. As tecnologias de recuperação são os esforços de grupos minorizados/marginalizados em usar plataformas e ferramentas digitais tanto para resgatar história e literatura não-registrada, apagada, invisibilizada ou intencionalmente destruída quanto para recuperar a humanidade das pessoas negras em um sistema de racialização global.

Gallon cita o papel do Digital Schomburg, um dos primeiros grandes projetos de digitalização de história afro-americana, reunindo informações, literatura e arquivos de fotografias e imagens dos séculos 19 e 20. Abaixo uma das exposições online do centro, com história de nova-iorquinos afro-americanos:

Além do aspecto histórico, Gallon explica como grandes movimentações ativistas online do “Black Twitter” e comunidades negras nas mídias sociais como #SayHerName, #BlackLivesMatter e #ICanBreathe fazem parte de esforço de recuperação também sobre o presente: os ativistas e participantes destes movimentos lembram a si mesmos e o resto da população sobre a disparidade gigantes de indicadores sociais de violência policial, emprego, educação, habitação, saúde e outros.

Em seguida, a autora discorre sobre a saliência de alguns métodos específicos, como a relativa pouca exploração de text analysis sobre literatura negra. Aqui cita o Project on the History of Black Writing, fundado por Maryemma Graham, que realizou eventos e visualizações de análise de literatura assistida por computador.

Seguindo no debate sobre o caráter das humanidades digitais negras, Gallon cita Johanna Drucker e sua defesa de “usar e construir ferramentas e infraestrutura embebidas de teoria humanística de modo que funcionem de modos que reflitam os valores das humanidades”. Isto sigficaria, então, para Gallon, que

As humanidades digitais negras então apresentam o digital como hospedeiro mútuo tanto de racismo quanto de resistência e jogam luz sobre o papel da raça como uma metalinguagem que forma o terreno digital, fomentando estruturas hegemônicas que são tanto novas e antigas e replicam e transcendem as análogas

Essa perspectiva pode gerar questões sobre a relação entre racialização da humanidade e o digital como poder, superando a percepção ainda disseminada da “neutralidade” do digital ou tecnologia, nos levando e entender melhor a condição humana.

Kim Gallon não cita no texto o projeto Black Press Research Collective, fundado pela própria. Recomendo a navegação no site e visualização que inclui registros da imprensa afro-americana do início do século XX, visualizações, mapas e gráficos sobre circulação e localização, além de registro de eventos e trabalhos derivados. Uma das visualizações mais interessantes (o mapa abaixo) é a lista de vendedores do jornal The Chicago Defender, que ajudava negros do Sul com informação sobre como se defender e migrar para sobreviver. Os dados foram retirados de base de dados do FBI, que vigia(va) qualquer iniciativa de auto-defesa dos negros americanos:

Esta resenha foi motivada pelo workshop AfricanaDHi e faz parte da bibliografia do evento.

Crises com Bancos de Imagens: autenticidade e visibilidade no conteúdo em mídias sociais

Neste maio (2019), aconteceu o XIII Congresso da Abrapcorp, em São Paulo. Daniele Rodrigues e eu apresentamos trabalho inédito com o título “Bancos de imagens em conteúdo nas mídias sociais: entre (in)visibilidade e autenticidade“. O artigo teve dois objetivos. Em primeiro lugar, enfatizar a relevância dos bancos de imagens na cadeia produtiva da comunicação, uma vez que os bancos de imagens foram objeto relativamente negligenciado nos estudos científicos em língua portuguesa. Internacionalmente, passaram a ser foco de estudo recentemente do ponto de vista de representatividade, como o trabalho Interrogating Vision APIs. Em segundo lugar, o trabalho se dedicou a discutir conceitos como visibilidade, invisibilidade e autenticidade nos bancos de imagens através de uma coleção de anti-cases.

O resumo oficial do trabalho: “O presente artigo busca informações e reflexões sobre um ponto específico da cadeia de produção de conteúdo para mídias sociais: o uso de bancos de imagens na comunicação de marcas. Criados no início no século XX, os bancos de imagens influenciaram os campos da produção editorial, publicitária e midiática como um todo. Nos últimos anos, graças ao modelo de microstock e à disseminação das mídias sociais, os sites de venda ou aluguel de imagens ganham espaço e relevância nas culturas visuais corporativas. O texto apresenta, por meio de levantamento de trabalhos e casos relacionados a bancos de imagens, reflexões sobre aspectos produtivos do uso desses acervos no cotidiano de profissionais e sua relação com o conceito de autenticidade.

Veja apresentação em slideshow sobre o artigo e leia completo no ResearchGate:

Text Analysis with AntConc for social media data: Concordancer and Concordance Plot

In the lasts posts, we learn the basics about AntConc and how to generate and analyze word lists. Now we are going to show you how to use AntConc to study concordances through allowing the navigation of instances of a keywords in context.

Don’t forget that this post is part of a series of tutorials:

  1. Intro, Opening a File and Settings
  2. Word Lists and File Viewer 
  3. Concordancer and Concordance Plot (we are here)
  4. Clusters and N-Grams (soon)
  5. Collocations (soon)

 

Concordance basics

1. Open your file(s). In that example, we are going to use a simple example of only two texts: the english webpages about the countries United States and United Kingdom. You can find them at our datasets folder.

 

2. Generate a Word List.

 

3. Click on the Concordance tab. Now you can search for a letter, word or expression. We searched for the term ‘war’ and, as you can see, we got a total of 107 Concordance Hits. This is the sum of the total amount of results to that specific search in the two files.

 

4. By default, the search term will be highlighted in blue and up to three terms on the right will be highlighted in red, green and purple. You can change those colors in Global Settings.

They are useful to understand and sort the words in the vicinity of our term (or terms) of interest.

 

5. At the bottom, you can change the Kwic (Keyword-in-context) settings and choose which items you want to highlight and sort in the Concordance tab. You can select up to three levels. In the following images, 1R stands for “1 Right, or first item on the right”, 1L stands for “1 Left, or first item on the left” and so on.

 

Changing the levels to 1L, 2L and 3L will result on something like the following:

 

World War

 

as * as

 

Concordance plot

The concordance plot is a straightforward way to compare two or more corpora, their concordance hits and the distribution of words or phrases along them.


1. It is very simple to use the Concordance Plot. Just generate a Word List (if you haven’t already), search for a word or phrase on the Concordance tab and click on the Concordance Plot tab. Let’s use that same example from before, searching for ‘war’:

 

2. As we can see, the word ‘war’ is much more common on the United States WIkipedia page. What does that mean? It could be a indication of more interest on war between the editors of the USA wikipedia page, for example?

 

3. You can increase the zoom on the visualization in the option Plot Zoom:

 

4. You can observe in Step 2 that besides the number the fact that the characters in each file are different (126k x 135k), the rectangle representing the files has the same width. This is because the visualization is normalized to facilitate some comparisons. You can change that going in Tool Preferences -> Concordance Plot and selecting the option “Use a relative lenght” in the Plot Length Options.

Now you can see a width that better represents the length and the difference between the files:

 

Searching for a list of words

1. At the Concordance tool, as well in other AntConc tools, we can search for a list of words at once. Those words could be inserted manually or through a txt file.

 

2. In the Advanced Search options you can check the option “Use search term(s) from list below” and input the words. In the following example, we used the expressions below to include also terms like “economics”, “economically”, “finance”,  “financial” etc.

 

3. Alternatively, you can click on “Load File” and upload words from a .txt file.

 

4. With this technique you can look and explore concordances for words with semantic similarity:

 

5. Finally, another option on the Advanced Search specifications is to use Context Words and Horizons. The terms searched are filtered out according to proximity to other words. In the example below, the combination of terms related to war and conflicts to a filter of instances next to ‘crisis’ and ‘depression’ could be used for understanding the relations between war and economic problems:

 

 

Interrogando APIs de Visão Computacional – publicado relatório do #SMARTDataSprint

No final de janeiro aconteceu mais uma edição do SMART Data Sprint, um evento que reúne pesquisadores, programadores e designers para trabalho colaborativo sobre um determinado tema de pesquisa – e bases de dados. Tive a oportunidade de, junto ao Andre Mintz, idealizar o projeto “Interrogating Vision APIs“. Durante quatro dias, Mintz se juntou aos pesquisadores Beatrice Gobbo, Elena Pilipets, Hamdan Azhar, Helen Takamitsu, Janna Joceli Omena e Taís Oliveira para analisar ao mesmo tempo, com métodos digitais, duas perguntas de pesquisa:

a) Quais são as diferenças entre os principais fornecedores de visão computacional?

b) Podemos investigar representações nacionais usando ferramentas de visão computacional?

Para responder estas perguntas, foram processadas mais de 60 mil imagens provenientes de bancos de imagens (Shutterstock, Adobe Stock e Getty Images) para resultados à buscas como “brazilian”, “british”, “indian”, “portuguese” e outros marcadores de nacionalidade em cada um dos recursos de visão computacional citados anteriormente. O time focou em quatro nacionalidades (brasileiros, nigerianos, austríacos e portugueses).

Foram aplicados de modo emergente métodos como text analysis, visualização de redes, descrição densa e cálculos estatísticos para entender as similaridades e diferenças tanto entre os fornecedores de visão computacional quanto entre os diferentes bancos de imagens e nacionalidades representadas.

Como primeiro resultado público do esforço, um extenso relatório que também inclui protocolos de pesquisa (para replicação), detalhes sobre a metodologia, questões de pesquisa, design da pesquisa, descobertas e dicussão foi publicado no site do Inova Media Lab, organizador do evento. Em breve os autores produzirão textos acadêmicos e desdobramentos sobre o estudo, mas gostaria de adiantar – para os lusófonos, um mini-resumo das principais descobertas.

 

Diferenças entre fornecedores de computação visual

As três APIs de computação visual abordadas – desenvolvidas por Google, IBM e Microsoft – apresentam características bem diferentes de etiquetagem que descrevem diferentes ontologias e espaços semânticos. Sobre níveis de detalhes, a API da Google tende a maiores níveis de especificidade; IBM apresenta alguma especificidade mas não tanta quanto a da Google; e a da Microsoft é geralmente muito genérica e possui um escopo limitado de etiquetagem. A imagem abaixo apresenta uma comparação anedótica sobre as abordagens:

 

Redes visuais como ferramentas descritivas úteis à pesquisa social sobre representação

Sites de bancos de imagens representam visualidades com temas recorrentes para os quais as APIs de computação visual são úteis como recursos descritivos, mostrando configurações e padrões emergentes dos temas construídos como típicos para cada grupo – nacionalidade no caso. A visualização abaixo, por exemplo, mostra na rede de labels (etiquetas) como, para cada país, as APIs e a clusterização em rede (no Gephi) permitiu encontrar um padrão recorrente de grupos ligados a: a) natureza; b) comida; e c) pessoas. Para cada país um grande grupo de imagens sobre algum aspecto cultural (ou estereótipo online) esteve também presente: Carnaval para Brasil; Têxtil para Portugal; Cidade e Arquitetura para Áustria; e Dinheiro para Nigéria.

 

Visão computacional e culturas

As APIs de visão computacional apresentaram diferentes níveis de sensibilidade e modos de tratamento de imagens de culturas específicas. Por exemplo, enquanto o Google reconheceu vários itens específicos sobre comida ou instrumentos musicais, a precisão nem sempre foi satisfatória tanto no serviço da Google quanto na dos demais. Em alguns casos, as APIs reproduziram invisibilidades de marcadores culturais de grupos minorizados, possível reforço de relações étnico-raciais hierarquizadas. Na imagem abaixo vemos um dos exemplos nos quais a Google Vision marcou como peruca (“wig”) um cabelo natural:

Há muito mais no relatório que pode ser lido em toda sua extensão em https://smart.inovamedialab.org/smart-2019/project-reports/interrogating-vision-apis/