Otimização de acesso em um sistema de integração de dados através do uso de caching e materialização de dados

Abstract

Sistemas de integração de dados oferecem acesso uniforme sobre fontes de dados heterogêneas e distribuídas. Para fornecer um acesso integrado a diversas fontes de dados, duas abordagens clássicas foram propostas na literatura atual: abordagem materializada e abordagem virtual. Na abordagem materializada, os dados são previamente acessados, integrados e armazenados em um data warehouse e as consultas submetidas ao sistema de integração são processadas nesse repositório sem haver acesso direto às fontes de dados. Na abordagem virtual, as consultas submetidas ao sistema de integração são decompostas em subconsultas endereçadas diretamente às fontes de dados. Os dados obtidos das fontes como resposta a essas subconsultas são integrados e retornados ao usuário solicitante. O nosso trabalho, consiste em criar um ambiente de integração de dados provenientes de múltiplas fontes no ambiente Web o qual combina recursos de ambas as abordagens suportando o processamento de consultas virtuais e materializadas. Um outro recurso de nossa proposta é a inserção de um subsistema de gerenciamento de uma cache para armazenar os resultados das consultas mais freqüentemente submetidas pelo usuário. O ambiente tem recursos de materialização de dados em um data warehouse, e o processo de materialização é feito seletivamente com base na análise e classificação de critérios de qualidade e custo associados aos dados das fontes. Essa seleção criteriosa visa equilibrar melhorias no tempo de resposta das consultas com taxas de custo de manutenção do data warehouse aceitáveis. A partir de uma arquitetura de integração de dados baseada na abordagem virtual, foram incluídos módulos para gerenciamento do data warehouse, gerenciamento da cache e módulos de processamento de consultas sob três formas: virtuais com acesso às fontes de dados, materializadas com acesso ao data warehouse e consultas acessando diretamente a cache. Todos esses recursos são colocados em conjunto visando obter ganhos no desempenho do processamento das consultas no sistema de integração