Análise de Texto com AntConc: Frequência e Lista de Palavras

No últim opost, aprendemos o básico sobre AntConc. Agora vamos te mostrar como usar AntConc para gerar listas e frequência de palavras, além do útil File Viewer (Visualizador de Arquivos).

Não esqueça que

  1. Introdução e Configurações
  2. Lista, Frequência de Palavras e Visualizador (estamos aqui)
  3. Concordancer e Plotagem de ConcordÇancia  (em breve)
  4. Clusters e N-Grams (em breve)
  5. Colocações (em breve)

 

As funções do AntConc são acessadas através das sete abas abaixo:

Neste tutoria, vamos seguir os passos para produzir listas de palavras.

Lembre de abrir seu arquivo e importar as configurações recomendadas para pesquisa em mídia social [tutorial].

Gerando e navegando em uma Lista de Palavras

  1. Abra seu arquivo. Nos exemplos abaixo vou usar um dataset com 16 mil tweets em inglês contendo a palavra “brazil” (coletados através do Netlytic). Baixe o arquivo brazil_tweets_16732tweets_2017_11_30.txt em nossa pasta.

 

2. Na aba Word List,clique em Start e eespere alguns segundos:

3. Agora você pode explorar e navegar nos seus dados, descendo a barra de rolagem para encontrar palavras relevantes, organizar por Frequência (Frequency), Palavras (ordem alfabética) ou final da palavra (Word end).

4. Você pode buscar um termo específico na caixa de “Search Term” e clicar na busca “Search Only”:

 

5. Se você clicar em qualquer palavra, será direcionado para a aba Concordance. Em breve você poderá ler um tutorial aqui sobre a ferramenta.

 

6. Se clicar em qualquer palavra na ferramente de Concordance, será direcionado para a File View, onde poderá visualizar o termo/palavra. Funciona como um leitor simples de texto, onde você poderá ver o corpus/corpora completo.

 

7. Para exportar a lista, basta ir na aba Word List e clicar em File -> Save Output.

 

8. O resultado é um arquivo .txt similar a este:

9. Você pode abrir ou copiar-colar o resultado em um software de planilhas como Excel ou LibreOffice para outras análises:

 

 

Filtrando stopwords

Stopwords são palavras que você não quer contar ou visualizar. Geralmente, são as palavras mais comuns sem relevância semântica ou tópica para o seu problema de pesquisa (como artigos, pronomes e alguns advérbios).

 

  1. Primeiro, você vai precisar de uma lista pronta de stopwords. Você pode produzir ou editar uma lista você mesmo, mas vamos começar com um exemplo simples. Você pode baixar uma lista de stopwords em inglês na nossa pasta de listas:

 

2. Para carregar uma lista de stopwords a partir de um arquivo .txt vá em Tool Preferences -> Word List. Lá você verá a opção“Use a stoplist below” na seção “Word List Range”. Clique em Open e selecione seu arquivo .txt :

 

Se você fez corretamente, as palavras aparecerão na caixa:

 

Agora é só clicar em “Apply”!

  1. Volte para a aba Word List e clique no botão “Start”. Compare as duas listas abaixo. A primeira foi a lista original e a segunda é a lista com as stopwords filtradas:

 

 

Contando palavras específicas

Outra opção muito útil da Word List é contar apenas palavras específicas que você já conhecia ou descobriu como relevantes nos seus datasets/corpora. Siga os passos abaixo:

1. Primeiro, você precisa de uma lista de palavras. No nosso caso, vamos subir uma lista de palavras sobre times brasileiros. Baixe ela na pasta de listas.

 

2. Vá em Tool Preferences -> Word Lists e clique em “Add Words From File” para carregar o arquivo. Clique em “Use specific words below” e Apply:

 

3. Agora vá na aba Word List e clique ‘Start’ para gerar a lista novamente. O resultado vai ser uma lista apenas da palavras desejadas:

 

4. Exportar uma lista destas (através de File -> Save Output) permite que você use a contagem em outras ferramentas como a RAW Graphs para gerar visualizações como um Treemap:

 

É isto por agora! Espero que as funcionalidades acima te ajudem a explorar seus dados textuais extraídos de mídias sociais. O próximo tutorial vai focar no Concordancer e Concordance Plot (em breve)!

Análise de Texto com AntConc: introdução, arquivos e configurações

De modo geral, análise de texto computacional é um conjunto de técnicas para análise automatizada de conteúdo. Mesmo sem o uso de estatística complexa ou programação, pesquisadores das ciências sociais e humanidades podem otimizar suas técnicas de exploração de dados com técnicas como contagem de frequência, co-ocorrência e colocações.

AntConc é um dos softwares mais fáceis e úteis para análise textual e linguística de corpus. Foi desenvolvido por Laurence Anthony, Professor na Faculdade de Ciência e Engenharia da Waseda University, Japan. Ele desenvolve e oferece dúzias de ferramentas em seu website, como TagAntFireAnt.

Depois dessa introdução sobre AntConc, vamos cobrir suas principais funcionalidades nos posts a seguir:

  1. Introdução, Abrindo Arquivos e Configurações (estamos aqui)
  2. Lista e Frequência de Palavras
  3. Concordancer e Concordance Plot (em breve)
  4. Clusters e N-Grams (em breve)
  5. Colocações(em breve)

A matriz a seguir foi proposta no artigo Computational text analysis for social science: Model assumptions and complexity e resume as possibilidades entre estatística/computação simples x complexa e entre especialização forte x fraca no domínio. Usar AntConc para analisar dados textuais de mídias sociais engloba tarefas estatísticas simples como contagem de palavras e n-grams, mas pode ser avançada para contagem de termos chave em dicionários criados por especialistas no tema/assunto.

Para entender e comparar abordagens de análise apoiada por computador, análise textual interpretativa apoiada por computador e linguística de corpus, recomendo o artigo Taming textual data: The contribution of corpus linguistics to computer-aided text analysis.

AntConc permite realizar as principais técnicas de linguística de corpus como frequência de palavras (word frequencies), colocações (collocation), concordância (concordance), n-grams e comparação de corpora a qualquer tipo de texto.

Mas vamos começar do início! Baixe a AntConc e leia o texto a seguir, que vai te ensinar o básico sobre as configurações e como abrir um arquivo.

 

Como coletar dados textuais em mídias sociais?

Há dúzias de ferramentas para pesquisa em mídias sociais que permitem extrair ou monitorar dados textuais nas principais plataformas. A maioria delas coleta dados através de keywords/hashtags e/ou de páginas e websites específicos. Geralmente as ferramentas usam codificação UTF-8 para exportar arquivos no formato .csv . Você pode abri-los no Excel ou Libreoffice e copiar-colar os textos para um bloco de notas e salvá-los como um arquivo .txt, um dos formatos preferenciais para o AntConc.

Lista de ferramentas/respositórios:

Se você nunca coletou dados textuais em mídias sociais, recomendo fortemente que comece pela excelente e super fácil de usar Netlytic  e colete alguns tweets ou comentários do YouTube. Mas não se preocupe: vou lhe dar alguns datasets de exemplo nos próximos posts.

 

Formatos de arquivo

AntConc pode ler vários formatos diferentes: .txt, .xml, .html, .ant. O mais simples é o .txt, que você pode criar com um Bloco de Notas.

Formato Descrição
.txt .TXT é o formato mais simples para guardar arquivos. Softwares como Bloco de Notas, Notepad++, TextMate, Word dos editores de texto podem salvar seu arquivo neste formato.
.html .HTML é o padrão para salvar páginas web. Você pode salvar uma pa´gina web e carregá-la direto no AntConc.

AntConc tem algumas configurações que permite ignorar o texto entre os caracteres “<” e “>” usados em arquivos HTML.

.xml .XML: Extensible Markup Language. É similar a um arquivo .HTML, mas usa tags customizadas para definir objetos e dados dentro de cada objeto. Na análise de texto ou linguística de corpus é usada para marcar cada palavra com suas categorias/classes em Etiquetamento de Texto (Part-of-Speech Tagging).
.ant .ANT é um formato específico usado pela AntConc, intercambiável com .txt.

 

  1. Codificação

É recomendável que você salve seus arquivos de texto com a codificação UTF-8. Codificação de caracteres é uma padronização de como o software vai processar caracteres e símbolos. UTF-8 é definido pelo padrão Unicode, que engloba caracteres usados na maioria das línguas e scripts ocidentais. Graças a isto, muitas ferramentas de coleta de dados usam a codificação UTF-8 como padrão. Então lembra de salvar seus arquivos como UTF-8!

 

Configurações óptimas para Textos de Mídia Social

  1. Arquivo pré-configurado

AntConc não foi desenvolvido apenas para dados de mídias sociais mas para todos os tipos de texto, especialmente literatura, linguagem natural e corpora nacionais. Então são necessários alguns ajustes nas configurações.

As especificação serão listadas abaixo, mas ao invés de seguir cada passo, você pode simplesmente importar um Arquivo de Configurações (Settings File) com as opções recomendadas que preparei para você. Baixe o arquivo antconc_settings_for_social_media.ant e, no AntConc, vá em File -> Import Settings from File…, selecione e abra o arquivo:

 

Pronto! Agora o AntConc pode ser mais útil para análise de mídias sociais. Depois disso você pode pular os passos abaixo, mas recomendo ao menos lê-los para entender:

 

2. Configurações Globais (Global Settings) – Token Definition

Nesta seção, vamos explicar as configurações recomendadas. Mas lembre: você não precisa seguir os passos abaixo se você carregou o arquivo de configurações customizadas que mostrei acima.

Primeiro, precisamos configurar as configurações de token. Um token é  um elemento (palavra, caractere, pontuação, símbolo etc) considerado pelo software. Na opção de Token Definition dentro de “Global Settings” você pode definir quais caracteres/símbolos o AntConc vai considerar quando contar e processar seus dados. 

As configurações padrão são as seguintes:

Mas, quando trabalhos como dados de mídia social, há alguns caracteres especiais usados por usuários das plataformas que representam práticas específicas de conversação e afiliação. Dois deles são bem importantes:

O símvolo ‘@’: para usuários do Twitter e outras plataformas, o símbolo é usado para marcar perfis. Então é importante incluir o símbolo ‘@’. Isto vai nos permitir, por exemplo, contar os usuários mais comuns em um corpus ou o contrário: filtrar os usuários para focar nas palavras.

O símbolo ‘#’, por sua vez, é um tipo de marcados de metadados usados na maioria das plataformas para definir hashtags. Você pode adicionar o ‘#’ nas definições de token do AntConc para contar corretamente hashtags.

Recomendado:

Então, nós precismaos ir em Global Settings -> Token Definition, marcar a caixa “Append Following Definition” e incluir os símbolos ‘#’ and ‘@’.

3. Definições de ‘Caractere Coringa’

Um Caractere Coringa (“WildCard”) é um caractere que pode ser substituído por outro caractere, palavra ou símbolo durante uma busca. o AntConc tem vários corignas e podemos ver abaixo as configurações iniciais (Global Settings -> Wildcards).

O problema é que dois destes coringas são atribuídos a símbolos muito importantes nas mídias sociais, ‘@’ e ‘#’, como vimos anteriormente. Isto resulta que o AntConc “ignora” estes dois símbolos nos resultados, pois serão vistos como coringas.

Então recomendamos mudar estes dois coringas para outros símbolos. No exemplo abaixo, mudamos para{ e ‘} .

 

 

Abrindo seu Arquivo ou Corpora

  1. Abrindo seu(s) Arquivo(s)

Para abrir um arquivo ou conjunto de arquivos no AntConc, você só precisa ir em File -> Open File(s)… ou File -> Open Dir.

Através da opção File -> Open File(s) você pode selecionar um ou mais arquivos:

Se você abrir mais de um arquivo, o AntConc vai aplicar suas buscas e análise sem todos ao mesmo tempo:

Isto é muito útil para gerenciar datasets/corpora. Por exemplo: você pode analisar um ano de dados e salvar os textos (comentários, posts, tweets) de cada mês em um arquivo diferente. Ao abrir os 12 de um ano você conseguirá comparar coisas como: contagem de palavras específicas no Concordance Plot ou presença/permanência de clusters/n-grams.

Agora podemos falar sobre contagem de frequência de palavras. Te vejo no próximo post: Lista de Palavras, Frequência de Palavras e Visualização de Arquivos.

Mídias Sociais: a próxima fronteira para text analytics

Catherine van Zuylen, da Attensity, foi uma das palestrantes no evento “Listening is the New Asking“, promovido pela NewMR em março. Sua palestra, com o tema “Social Media: The Next Frontier in Text Analytics” discute o monitoramento e análise de mídias sociais com a utilização de técnicas de análise textual. abaixo segue um pequeno resumo de alguns tópicos principais da palestra:

Consumidores pedem mais proximidade – dados da SNCR
93% dos consumidores acreditam que uma organização deve estar presente nas mídias sociais
60% dos consumidores dizem que já interagiram com empresas nas mídias sociais
59% usam mídias sociais pra “disseminar” frustrações sobre serviços
72% utilizam mídias sociais para pesquisar reputação de organizações
74% decidem com quais empresas farão negócios baseados nas experiências de consumo compartilhados por outros em mídias sociais

Conversações são “possuídas” por diferentes departamentos
Serviço ao Consumidor (levantamentos, CRM, emails…), Marketing (levantamentos, grupos focais), Equipe de Mídias Sociais (Twitter, Facebook, Comunidades): é preciso reunir e combinar as relações com os consumidores.

Para criar um panorama do consumidor a partir de todos esses dados, é preciso: ouvir, analisar, relacionar e agir

Esquema proposto pela Catherine van Zuylen

O esquema acima é dividido em quatro parte: ouvir, analisar, relacionar e agir.

Ouvir: usar Fontes Internas como levantamentos, chats, emails e centro de contato; e usar Fontes Externas como Twitter, Facebook, sites de resenhas, e blogs

Analisar: extração de entidades (pessoas, produtos, companhias); extração exaustiva; sentimento; “vozes”; categorizações “fora da caixa” como métricas de call center, qualidade, problemas resolvidos; categorias customizadas.

Relacionar: compras; devoluções; inventários; net promoter score; taxas de satisfação.

Agir: alertas e avisos prévios; relatórios e visualizações; análises, explorações e buscas ad hoc; resposta.

Os ambientes sociais ganham destaque, mas uma visão multi-canal abrangente é a chave
Empresas, seus setores, agências e softwares devem lutar para conseguir integrar esforços e relacionar dados e informações provenientes de diversos canais. Mídias sociais não existem num vácuo, deve ser alinhada à feedback dos consumidores, marketing e processos de serviço. Os gestores e analistas de mídias sociais devem estar em contato constante com os colegas nos diferentes departamentos das empresas.

Análise Multi-Canal ajuda a…
– Identificar problemas cedo
– Reduzir categorizações incorretas de problemas
– Entender o que pode afetar taxas de resposta
– Identificar comportamentos de consumidores como intenção de compra, recomendação, agitação etc
– Descobrir problemas potenciais nos produtos e serviços a tempo
– Coletar indicadores para alimentar os modelos preditivos

É preciso relacionar sua análise multi-canal e estratégia de engajamento com seu negócio e valores
– Que grupos interagem com seus consumidores (atendimento, vendas, jurídico, marketing…)?
– Como coordenar estes grupos para entender melhor o consumidor?
– Como organizar o atendimento ao consumidor – em torno de canal, tipo de problema, língua etc?
– Como responder aos clientes? Como reagir à reclamações? Como agradecer a clientes fiéis?
– Que ações de follow-up são realizadas?