Interrogando APIs de Visão Computacional – publicado relatório do #SMARTDataSprint

No final de janeiro aconteceu mais uma edição do SMART Data Sprint, um evento que reúne pesquisadores, programadores e designers para trabalho colaborativo sobre um determinado tema de pesquisa – e bases de dados. Tive a oportunidade de, junto ao Andre Mintz, idealizar o projeto “Interrogating Vision APIs“. Durante quatro dias, Mintz se juntou aos pesquisadores Beatrice Gobbo, Elena Pilipets, Hamdan Azhar, Helen Takamitsu, Janna Joceli Omena e Taís Oliveira para analisar ao mesmo tempo, com métodos digitais, duas perguntas de pesquisa:

a) Quais são as diferenças entre os principais fornecedores de visão computacional?

b) Podemos investigar representações nacionais usando ferramentas de visão computacional?

Para responder estas perguntas, foram processadas mais de 60 mil imagens provenientes de bancos de imagens (Shutterstock, Adobe Stock e Getty Images) para resultados à buscas como “brazilian”, “british”, “indian”, “portuguese” e outros marcadores de nacionalidade em cada um dos recursos de visão computacional citados anteriormente. O time focou em quatro nacionalidades (brasileiros, nigerianos, austríacos e portugueses).

Foram aplicados de modo emergente métodos como text analysis, visualização de redes, descrição densa e cálculos estatísticos para entender as similaridades e diferenças tanto entre os fornecedores de visão computacional quanto entre os diferentes bancos de imagens e nacionalidades representadas.

Como primeiro resultado público do esforço, um extenso relatório que também inclui protocolos de pesquisa (para replicação), detalhes sobre a metodologia, questões de pesquisa, design da pesquisa, descobertas e dicussão foi publicado no site do Inova Media Lab, organizador do evento. Em breve os autores produzirão textos acadêmicos e desdobramentos sobre o estudo, mas gostaria de adiantar – para os lusófonos, um mini-resumo das principais descobertas.

 

Diferenças entre fornecedores de computação visual

As três APIs de computação visual abordadas – desenvolvidas por Google, IBM e Microsoft – apresentam características bem diferentes de etiquetagem que descrevem diferentes ontologias e espaços semânticos. Sobre níveis de detalhes, a API da Google tende a maiores níveis de especificidade; IBM apresenta alguma especificidade mas não tanta quanto a da Google; e a da Microsoft é geralmente muito genérica e possui um escopo limitado de etiquetagem. A imagem abaixo apresenta uma comparação anedótica sobre as abordagens:

 

Redes visuais como ferramentas descritivas úteis à pesquisa social sobre representação

Sites de bancos de imagens representam visualidades com temas recorrentes para os quais as APIs de computação visual são úteis como recursos descritivos, mostrando configurações e padrões emergentes dos temas construídos como típicos para cada grupo – nacionalidade no caso. A visualização abaixo, por exemplo, mostra na rede de labels (etiquetas) como, para cada país, as APIs e a clusterização em rede (no Gephi) permitiu encontrar um padrão recorrente de grupos ligados a: a) natureza; b) comida; e c) pessoas. Para cada país um grande grupo de imagens sobre algum aspecto cultural (ou estereótipo online) esteve também presente: Carnaval para Brasil; Têxtil para Portugal; Cidade e Arquitetura para Áustria; e Dinheiro para Nigéria.

 

Visão computacional e culturas

As APIs de visão computacional apresentaram diferentes níveis de sensibilidade e modos de tratamento de imagens de culturas específicas. Por exemplo, enquanto o Google reconheceu vários itens específicos sobre comida ou instrumentos musicais, a precisão nem sempre foi satisfatória tanto no serviço da Google quanto na dos demais. Em alguns casos, as APIs reproduziram invisibilidades de marcadores culturais de grupos minorizados, possível reforço de relações étnico-raciais hierarquizadas. Na imagem abaixo vemos um dos exemplos nos quais a Google Vision marcou como peruca (“wig”) um cabelo natural:

Há muito mais no relatório que pode ser lido em toda sua extensão em https://smart.inovamedialab.org/smart-2019/project-reports/interrogating-vision-apis/

Digital Media Winter Institute 2019 em Lisboa: inscrições abertas

Digital Media Winter Institute da Universidade Nova de Lisboa reúne dois eventos entre 28 de janeiro e 07 de fevereiro: SMART Data SprintInterpreting Cross-Platform Digital Networks e está com inscrições abertas!

Smart Data Sprint acontece de 28 de janeiro a 01 de fevereiro e reúne uma série de atividades voltadas a doutorandos e pesquisadores durante uma semana. Nos primeiros dias, os participantes poderão ver palestras e practical labs realizados por pesquisadores que definem a pesquisa em mídias sociais e digital methods em torno do mundo. O destaque deste ano é a participação de Richard Rogers, líder do Digital Methods Initiative da Universidade de Amsterdam. Ocorrerão também palestras e practical labs sobre análise de redes com Gephi e NodeXL, modelagem de tópicos, text analytics, query design e outras temas relevantes com pesquisadores como Inês Amaral, Bernhard Rieder, Janna Joceli, Beatrice Gobbo e André Mintz.

O grande objetivo do evento, porém, é a realização dos chamados data sprints – trabalho intensivo de análise de dados a partir de problemas de pesquisa apresentados em “pitchs”. Cada participante deverá escolher uma equipe e trabalhará junto aos líderes dos projetos e colegas de vários países do mundo durante 3 dias. Eu e André Mintz levaremos o projeto “Interrogating Vision APIs“, no qual estudaremos datasets sobre o avanço da estética de ultra-direita nas eleições brasileiras com o uso de visão computacional oferecida por APIs da Google Vision, IBM Watson e Microsoft Azure. Outros projetos submetidos são: “Health myths’ circulation on social media“, da Elaine Rabello (UERJ); “Frugal Innovation” por Miguel Amaral (Universidade de Lisboa) e Elsa Caetano (iNOVA Media Lab); e “Journalism Apps“, por Dora Santos Silva (NOVA FCSH) e Mariana Scalabrin Muller (Universidade do Minho e Universidade NOVA). Participei da edição de 2018 em equipe da Elaine Rabello e Gustavo Matta (FioCruz) analisando a circulação de informação sobre o zika vírus e recomendo o trabalho. Veja uma das visualizações e clique para ver o relatório completo:

Na segunda semana acontece o workshop Interpreting Cross-Platform Digital Networks. São 12 horas de workshop de 4 a 7 de fevereiro. Janna Joceli Omena, coordenadora do SMART Data Sprint e doutoranda no Digital Media UT Austin/Portugal da Universidade Nova de Lisboa. O curso vai apresentar metodologia para interpretar redes digitais entre diferentes plataformas, incluindo exercícios práticos de extração, análise e visualização. Conheça alguns trabalhos da Janna Omena em seu blog e ResearchGate. É possível se inscrever no data sprint e no workshop ou em cada evento separadamente.

Veja abaixo vídeo-resumo do evento e uma entrevista que realizei com a Janna Omena e não esqueça: inscrições abertas até 13 de janeiro.

 

Visualizando engajamento online sobre a epidemia Zika

No último janeiro, tive a oportunidade de participar de data sprint no evento Digital Media Winter Institute na Universidade Nova de Lisboa. Durante 5 dias, foram realizadas palestras, pratical labs e três grupos de data sprints – esforços coletivos de análise de dados de várias plataformas a partir de várias abordagens diferentes. O modelo de data sprint tem sido realizado por universidades em torno do mundo com bastante sucesso na construção de conhecimento coletivo e reunião de pesquisadores.

No evento foram realizados três sprints, dois sobre feminicídio e um sobre a epidemia Zika. Este último, que participei, foi liderado pelos pesquisadores Elaine Rabello (UERJ) e Gustavo Matta (FioCruz) e teve pesquisadores e designers de Portugal, Itália, Espanha e Brasil na equipe.

Ao longo dos três dias de trabalho, os pesquisadores se debruçaram sobre dados de Wikipedia, Google, Instagram e Facebook para entender como a epidemia Zika circula nestas plataformas, suas controvérsias emergem e vozes dominantes se destacam construindo discursos e posicionamentos.

O relatório resumido em slideshow foi publicado e pode ser visualizado abaixo, assim como o relatório completo no blog do Data Sprint em Visualising Engagement on Zika Epidemic.

Acesse também os relatórios sobre Mapping Femicide discourses on TwitterFemminicidio in Italian media and public debate. Fique de olho no Twitter e site do Inova Media Lab para saber mais e se preparar para os próximos.