Métodos de amostragem em ambientes big data para o data profiling: fundamentos, desafios e aplicações

Abstract

O Big Data transformou-se em um pilar para a inovação e a tomada de decisão em múltiplos setores, contudo, a eficácia dessas decisões está intrinsecamente ligada à qualidade dos dados subjacentes, tornando a sua gestão um desafio de alta complexidade. A baixa qualidade dos dados pode levar a análises imprecisas, conclusões enganosas e, consequentemente, a perdas de confiança e valor. Neste cenário, o Data Profiling emergiu como um processo fundamental, atuando como uma linha de defesa e descoberta no âmbito da governança de dados e da garantia da qualidade. No entanto, o volume, a velocidade e a variedade dos dados em ambientes de Big Data tornam os métodos de perfilamento tradicionais ineficazes e computacionalmente caros. Para contornar essas limitações, as técnicas de amostragem emergem como uma solução crucial, permitindo a análise de subconjuntos representativos de dados para inferir características do conjunto total, reduzindo custos e acelerando o processamento sem comprometer significativamente a precisão. O presente trabalho constitui-se como uma Revisão Sistemática da Literatura (RSL) com o objetivo de consolidar e analisar o estado da arte sobre técnicas de amostragem em ambientes Big Data. Baseando-se em um corpus de 14 artigos científicos e publicações técnicas, esta revisão explora os fundamentos conceituais das técnicas de amostragem, detalhando suas definições, propósitos e vantagens de utilização. Por fim, a revisão conclui com uma síntese dos achados e propõe direções para pesquisas futuras, destacando a trajetória da amostragem em ambientes Big Data como uma técnica cada vez mais inteligente, escalável e consciente do contexto, indispensável para extrair valor confiável na era do Big Data, especialmente para o Data Profiling.