Uma avaliação de desempenho de sistemas de processamento de fluxo de dados

Abstract

O crescimento dos dados em uma proporção grandiosa é uma realidade em uma parcela dos softwares atuais, principalmente os que são executados no âmbito da computação distribuída. Esse crescimento verifica-se em diversificados aspectos dos dados, como: no volume, na velocidade e na variedade. Nesse quadro, desponta o conceito de Big Data, que propõe um conjunto de técnicas e soluções para apoiar esse cenário, onde as atuais ferramentas de software não conseguem ter um papel efetivo na coleta, armazenamento, processamento e análise de grande volume de dados. Um desses importantes aspectos e requisito crucial na nossa visão, é a velocidade, que exige respostas rápidas para consultas complexas em fluxos de dados em tempo real. Na literatura, dentre as várias propostas de arquitetura para Big Data, a arquitetura de referência Lambda é uma das que se destacam. Entretanto uma perspectiva simplificada da mesma também teve o nosso interesse, a arquitetura Kappa. Nesse contexto, dado o problema do processamento eficiente de fluxo de dados em tempo real e fundamentado nas arquiteturas Lambda e Kappa, esta dissertação realizou dois experimentos. O primeiro, se deteve em explorar o sistema de processamento de fluxo de dados distribuído, Apache Storm. A partir disso, em comparação, um segundo experimento direcionado ao processamento no cenário na Computação em Névoa foi realizado em dispositivo de borda, com o Apache Edgent. Ambos foram avaliados, tendo sido observadas métricas de desempenho relacionadas a velocidade, precisão e disponibilidade de serviços. Os resultados obtidos através de experimentos apontam a possibilidade de transpor parte do processamento de fluxos de dados para dispositivos na borda da rede.