Boas práticas para a construção de pipelines de dados em pequenas e médias empresas: um estudo aplicado de processos ETL

Abstract

Este trabalho busca identificar e organizar boas práticas e ferramentas para a construção de pipelines de dados em pequenas e médias empresas (PMEs), com foco em processos de ETL (Extract, Transform, Load). A abordagem utilizada foi qualitativa, de natureza exploratória e descritiva, combinando uma Pesquisa Bibliográfica com a implementação de uma Prova de Conceito (PoC) em ambiente local simplificado. A pesquisa destacou a modularidade das etapas, automação por orquestração e rastreabilidade como pilares centrais para a construção de pipelines eficientes. A PoC utilizou ferramentas acessíveis como Python, PostgreSQL, Docker e Apache Airflow, integrando dados de um cenário simulado de e-commerce para validar um pipeline modular e orquestrado. Também foi adotado o modelo dimensional em estrela para facilitar análises. Os resultados mostraram que empresas pequenas e médias podem aplicar estas práticas mesmo com poucos recursos, desde que escolham as tecnologias certas. Embora o teste tenha usado dados fictícios, as descobertas sugerem que o método pode funcionar bem em situações reais, ajudando empresas a melhorarem suas análises de dados.