Orquestrando e automatizando a implantação de um Data Lake com Ansible

Abstract

Muitas organizações têm buscado implementar Data Lakes (lagos de dados) para extrair de seus dados informações que possam ajudar na tomada de decisões estratégicas. Porém, a implantação de Data Lakes é uma tarefa difícil e trabalhosa, devido à grande quantidade de tecnologias envolvidas e suas interações entre si. O objetivo deste trabalho é mostrar como o Ansible pode auxiliar a orquestrar e automatizar a implantação de um Data Lake por completo, eliminando a instalação e configuração manual das múltiplas partes do mesmo. Para isso, foi projetado um pequeno Data Lake distribuído, composto por ferramentas como: Hadoop, Hive, MariaDB, PDI, PSQL e Trino, que foi implantado pelo Ansible em um ambiente de testes composto por seis máquinas virtuais, depois do desenvolvimento dos artefatos Ansible necessários. Os resultados mostraram que o Ansible foi capaz de fazer todo o processo de instalação e configuração das partes do Data Lake em apenas 16 minutos, resultando em uma implantação funcional. O Ansible foi mostrado como uma solução prática e eficiente para orquestrar e implantar sistemas complexos como um Data Lake.