Uma abordagem para detecção de problemas de qualidade dos dados a partir da avaliação de regras de validação

Abstract

Estudos apontam que diversas empresas e organizações, públicas e privadas, têm acumulado prejuízos por tomarem decisões baseandose em dados de baixa qualidade. Com isso, vimos que desenvolvedores e usuários têm se preocupado cada vez mais com a Qualidade dos Dados. O aumento dessa preocupação fez com que as pesquisas na área crescessem significamente a fim de medir e melhorar a Qualidade dos Dados. Qualidade é um termo subjetivo e na maior parte das vezes está relacionado à satisfação do usuário. Por esse motivo, a Qualidade dos Dados possui um contexto multidimensional e as pesquisas apontam diferentes métodos de avaliação a partir de diferentes conjuntos de Dimensão de Qualidade dos Dados. Para algumas Dimensões de Qualidade, a avaliação é realizada demaneira objetiva, para outras apenas é possível fazer a avaliação a partir de formulários subjetivos aplicados aos usuários dos dados. Trabalhos recentes apontam que é possível melhorar a Qualidade de Dados a partir de métodos automáticos de deteção e correção de Problemas de Qualidade dos Dados. Nesse contexto, a proposta deste trabalho consiste em apresentar uma abordagem para detecção de Problemas de Qualidade dos Dados a partir da avaliação de Regras de Validação. Para isso, é realizada uma associação entre conjuntos de Regras de Validação de Dados e Dimensões de Qualidade dos Dados. Além disso, foi desenvolvido um protótipo capaz de detectar Problemas de Qualidade dos Dados conforme a abordagem proposta. Por fim, a abordagem e o protótipo desenvolvidos foram utilizados em um estudo de caso em cenário real num contexto de migração de dados. Os resultados mostraram que a proposta se mostrou útil na detecção de Problemas de Qualidade dos Dados, e que a correção dos problemas encontrados, de fato, ajudaram no processo de migração dos dados.