Combinação de classificadores para sistema de automated fact checking

Abstract

A propagação de notícias falsas se tornou um problema de proporções globais, afetando a economia, saúde pública, convívio social, relações internacionais e o processo eleitoral de diversos países. Estudos indicam que fake news são compartilhadas mais vezes, e de maneira mais rápida que notícias verdadeiras. Isso ocorre porque estas declarações são fabricadas para enganar o leitor, indo de encontro com as suas convicções pessoais e diminuindo o seu senso crítico. Diversas técnicas de machine learning vêm sendo empregadas na tentativa de identificar padrões existentes em fake news, criando assim os sistemas de Automated Fact Checking. Uma alternativa a se considerar na melhoria de qualquer problema de classificação, é a combinação de um grupo de classificadores para uma classificação em conjunto, abrindo a possibilidade de se combinar os acertos individuais de cada integrante do grupo, obtendo assim, um resultado na classificação em conjunto que supere os resultados individuais de cada membro do conjunto. No entanto, combinar um grupo de classificadores, de forma a conseguir com que estas técnicas se complementem, não é uma tarefa trivial. Tendo em vista que para se conseguir uma melhoria no desempenho, os classificadores participantes do conjunto devem apresentar variações no seus padrões de acertos e erros. Este trabalho propõe uma abordagem que, dado um pool de classificadores, seja possível analisar o comportamento de cada integrante do conjunto em relação a todos os outros, tornando viável a construção de subgrupos de classificadores que apresente uma boa diversidade entre seus membros. Para testar a abordagem proposta, foi construído um pool composto por 80 classificadores, que tiveram seus desempenhos individuais verificados na classificação de um conjunto de dados de fake news. Em seguida, foi aplicado a metodologia proposta, e selecionados para uma classificação conjunta, subgrupos que apresentaram melhor diversidade entre seus membros. Este processo foi realizado duas vezes, a primeira vez considerando uma classificação binária do problema, e na segunda, foram consideradas seis classes diferentes, cada uma relacionada ao nível de veracidade contido na declaração analisada. Em todos os casos analisados, a aplicação da proposta se mostrou eficiente, possibilitando encontrar subgrupos que apresentaram melhora de desempenho na classificação em conjunto quando comparados com o desempenho individual dos classificadores do pool, superando também, experimentos publicados em outros trabalhos que se dedicavam a classificar o mesmo conjunto de dados.