O presente estudo exploratório buscou entender como serviços baseados em grandes modelos de linguagem, popularizados por nomes como ChatGPT e Deepseek, performam em tarefas simples ligadas a objetivos relevantes ao estudo da história da África e dos africanos, a luta dos negros e dos povos indígenas no Brasil, a cultura negra e indígena brasileira e o negro e o índio na formação da sociedade nacional, assim como suas contribuições nas áreas social, econômica e política. Foram desenvolvidos três experimentos com uma série de prompts para testar a performance dos serviços em questões ligadas a cultura, mundo do trabalho e matemática.
- A literatura científica apresenta especulação de aplicações potenciais dos grandes modelos de linguagem na educação, assim como o registro de danos e impactos nocivos;
- Os sete serviços analisados – Amazônia IA, ChatGPT, Deepseek, Grok, Maritaca IA e Meta IA – não estabelecem salvaguardas notáveis sobre os seus erros e imprecisões;
- A presença de erros em um dos experimentos sobre referências musicais chega a 77% em questão geral, 87% sobre artistas negras/os e a 98% sobre artistas indígenas;
- A taxa de respostas que alegaram não conseguir encontrar artistas chegou a 29% para artistas indígenas na região Norte e Sul e a 34% para artistas negras/os da região Sul;
- Em consulta sobre matemática, nenhuma das 35 respostas mencionou explicitamente sequer um objeto, instrumento ou construção ligada à cultura e história africana, afro-brasileira ou indígenas;
- A variedade de referências sobre profissionais indígenas é notadamente inferior quando comparada a consultas gerais;
- Parte dos sistemas demostra utilizar mais recursos computacionais, como a técnica Retrieval-Augmented Generation, para consultas ligadas a grupos negros e indígenas;
- Dados demonstram potencial de geração de desinformação sobre fatos e objetos históricos e culturais.
Leia completo: