Análise e aperfeiçoamento de benchmark OLTP para avaliação de desempenho em SGBD

Abstract

Resumo:

Medir o desempenho de ambientes de missão crítica é uma tarefa importante para consumidores e fornecedores de software e hardware. O desenvolvimento de metodologias (ou benchmarks) que viabilizem a comparação do desempenho conjunto de software e hardware foi objeto de estudo na comunidade de Banco de Dados, principalmente nos anos 80 e 90. Nos últimos 20 anos, foram propostos benchmarks que propõem métricas relevantes ao negócio do usuário final, tais como número de transações realizadas por intervalo de tempo e custo de cada transação. Muitas vezes, estes benchmarks modelam o funcionamento de uma aplicação completa, e têm destaque na mídia em anúncios de marketing dos fornecedores de hardware e software, com o objetivo de demonstrar desempenho superior ao de produtos concorrentes. Apesar da importância dos benchmarks para diversas áreas, não há trabalhos de pesquisa que realizam avaliações críticas de benchmarks, há poucos resultados experimentais mostrando possíveis melhorias nos benchmarks, e este trabalho fica sempre confinado nas organizações de benchmark. Mesmo com a abertura das especificações e resultados, uma análise mais crítica e minuciosa pode revelar pontos de melhoria nos benchmarks e nos seus processos de auditoria, execução e publicação. Um processo de benchmark dos benchmarks é importante para garantir a qualidade, credibilidade e aplicabilidade dos benchmarks ao longo do tempo. Um trabalho de pesquisa sem conflito de interesses com fabricantes dos produtos envolvidos mostra-se bastante adequado para este fim. O objetivo deste trabalho é proporcionar uma análise crítica do TPC-C, benchmark OLTP padrão de indústria. São propostas melhorias simples na implementação do benchmark, com o objetivo de torná-lo mais popular e adequado ao hardware tipicamente utilizado para sistemas OLTP na realidade atual. É proposta uma consolidação de conceitos em relação aos requisitos e qualidade de um benchmark, sugerindo um novo agrupamento e conceituação para proporcionar um melhor entendimento dos termos utilizados. Também é relatado como ocorre uma publicação TPC-C de acordo com as especificações oficiais, sugerindo pontos de melhoria no processo de publicação e auditoria do resultado. O relato é baseado em uma publicação real conduzida por um projeto de pesquisa no Centro de Informática/UFPE.