Avaliando a performance entre Apache Iceberg e Apache Hive utilizando esquema estrela

Abstract

Com a crescente necessidade de sistemas de processamento e armazenamento de dados eficientes e escaláveis, os Data Lakes (DL) tornaram-se uma das arquiteturas mais populares. Assim, desafios relacionados à sua organização, consistência e desempenho de consultas se tornaram tópicos relevantes. A introdução dos Data Lakehouses (DLHs) visa resolver esses problemas, trazendo uma mescla entre atributos de DL e Data Warehouse (DW). O Apache Iceberg é uma solução emergente que visa abordar esses problemas, oferecendo uma camada refinada de gerenciamento de metadados, com suporte a transações ACID e otimizações para a leitura de grandes conjuntos de dados. Por outro lado, tabelas Hive, uma tecnologia mais consolidada, ainda são amplamente utilizadas para estruturar dados tabulares em Data Lakes. O objetivo desta investigação é avaliar o desempenho de tabelas gerenciadas pelo Apache Iceberg e pelo Hive em um cenário analítico real utilizando o Star Schema Benchmark. Além disso, busca-se analisar o impacto da inserção de dados, verificando como a fragmentação de arquivos e sua otimização influenciam o desempenho de cada solução. A pesquisa também visa identificar as vantagens potenciais do Apache Iceberg em relação ao Apache Hive, contribuindo para a melhores decisões tecnológicas para ambientes de Big Data.