Aprendizado de Representações para Learning to Sense usando Modelos de Linguagem

Motivação e Objetivos

• Deseja-se explorar técnicas de aprendizado de representação baseadas em Language Models para capturar a semântica dos eventos (especialmente relação de causa e efeito), investigar formas de incorporar restrições espaço-temporais na representação dos eventos e avaliar a construção de mapas de sensores bidimensionais que organizem eventos semelhantes em regiões de alta densidade.

Métodos e Procedimentos

• Os procedimentos de pré-processamento sobre um dataset com pares de títulos de notícia envolveram oversampling, criação de pares simétricos, inserção de erros de digitação, extração de informação espaço-temporal com LLM, obtenção de coordenadas geográficas e isolação de eventos. Para classificação da relação causal entre títulos, foram usados o BERT (RoBERTa) e a LLM Qwen3-4B, esta última fine-tunada com diferentes formatos de entrada, incluindo informação espaço-temporal. A visualização utilizou duas abordagens de similaridade (distância de cosseno das embeddings e combinação de pesos com probabilidades da predição) para criar redes de eventos agrupando por conteúdo e localização, além de mapas de ponteiros e mapas de calor que permitem identificar eventos e regiões de maior concentração.

Resultados e Aplicações

• Os modelos Qwen3 superam o BERT, especialmente com a inclusão de informações espaço-temporais. A similaridade baseada na classificação de causalidade agrupa melhor eventos relacionados, mesmo com conteúdo diferente, enquanto a restrição geográfica pode limitar esse agrupamento. Mapas de ponteiros e de calor são eficazes para associar eventos a locais e visualizar padrões espaciais rapidamente.

Conclusão

• A identificação de relações causais entre eventos é fundamental, mas frequentemente não explícita nos textos, exigindo modelos avançados para inferi-las. LLMs surgem como uma alternativa promissora para enriquecer a representação dos eventos e identificar relações.

Arquivos

• Completo com os modelos treinados