Engenhos de Busca Distribuídos: Uma abordagem visando escalabilidade para Crawling e Indexação

Abstract

A Internet é uma das principais fontes de informação utilizadas no apoio à solução de problemas. Paralelamente a este fato, os Engenhos de Busca surgem como um dos meios mais utilizados para pesquisa de informação nesse ambiente. Observa-se que o tamanho extraordinário, o crescimento exponencial e a elevada taxa de modificação da World-Wide-Web (www) requerem novas abordagens aos problemas de indexação e pesquisa de informação na estrutura dos Engenhos de Busca. Neste trabalho, uma solução distribuída para operação de Engenhos de Busca é apresentada, visando escalabilidade e atualidade. São comentadas arquiteturas distribuídas para Engenhos de Busca. Apresenta-se o Radix, um Engenho de Busca distribuído para indexar e pesquisar informação na www, baseado em visões Web. Um protótipo é desenvolvido, focalizando a implementação de crawling e indexação do Radix distribuído, a fim de validar o ambiente proposto. Um estudo de caso comparativo de desempenho entre Engenhos de Busca centralizados e distribuídos é apresentado, encorajando o uso de técnicas de distribuição para elevar os valores de cobertura e atualidade desses sistemas