Pipeline de dados: um estudo de caso comparativo entre ETL e ELT usando um dataset do FIFA 21

Abstract

Esta pesquisa apresenta um estudo de caso comparativo entre as arquiteturas ETL (Ex- tract, Transform, Load) e ELT (Extract, Load, Transform) no contexto de fluxos de da- dos. Para isso, foram desenvolvidos dois fluxos: um utilizando a arquitetura ETL, onde a transformação dos dados é realizada em Python antes da carga de dados em um banco PostgreSQL, e outro seguindo a arquitetura ELT, em que os dados são carregados dire- tamente no banco e transformados utilizando a ferramenta DBT (Data Build Tool). O estudo utiliza um conjunto de dados público do jogo FIFA 21, obtido no Kaggle e inici- almente não tratado, para demonstrar as etapas de limpeza, transformação e carga em cada abordagem de extração de dados considerada. Além da análise prática, o trabalho contextualiza historicamente a evolução dessas arquiteturas, discutindo suas aplicações, vantagens e limitações no cenário tecnológico atual. Os resultados evidenciam as dife- renças entre ETL e ELT em termos de complexidade, escalabilidade, manutenibilidade e adequação a diferentes cenários, contribuindo para a compreensão das melhores práticas em engenharia de dados.