Arquitetura e Engenharia de Dados do Laboratório Agadê

Abstract

Este trabalho apresenta o projeto e a implementação da estrutura e do fluxo de dados do Laboratório Agadê, visando consolidar em um repositório de dados abertos, múltiplas fontes da Prefeitura do Recife para apoiar atividades de ensino, pesquisa e extensão. A partir do problema da dispersão e heterogeneidade dos conjuntos de dados em ambientes acadêmicos, definiu-se como objetivo desenvolver um fluxo de trabalho automatizado para coletar, processar e organizar dados em um repositório de dados baseado no Pos tgreSQL, utilizando a ferramenta Apache Hop e disponibilizando as bases por meio de um catálogo de dados. A pesquisa é classificada como aplicada e exploratória, com abor dagem predominantemente qualitativa, complementada por elementos quantitativos, e de senvolvida por meio de pesquisa bibliográfica e documental articulada a um estudo de caso experimental no ambiente computacional do Laboratório Agadê. Foram projetados workflows e pipelines parametrizados por metadados para processos de ELT com extra ções em CSV e via API, além de um catálogo de dados. Como resultado, nove bases de dados abertas, relacionadas ao trânsito e à saúde, foram integradas ao repositório, totali zando quase 54 milhões de registros, com rotinas de atualização e um catálogo de dados publicado na página web do laboratório, reduzindo o esforço manual de preparação de bases e facilitando a análise de dados no Laboratório Agadê.