Here comes the SAM: bringing light to black box models applied to video content

Abstract

Este trabalho apresenta um método agnóstico ao modelo que melhora a explicabilidade de modelos caixa-preta aplicados a vídeos, integrando técnicas avançadas de segmentação de vídeo. Propomos utilizar o Segment Anything Model 2 (SAM) para gerar segmentos espacial e temporalmente coerentes e semanticamente significativos, que são posteriormente utilizados em explicações locais baseadas no método Local Interpretable Model-agnostic Explanations (LIME). Ao empregar a segmentação proporcionada pelo SAM, preservamos limites importantes dos objetos e a consistência temporal, proporcionando explicações mais intuitivas e confiáveis. Os resultados experimentais obtidos com o conjunto de dados Kinetics-400, voltados para o reconhecimento de ações, mostram que nossa abordagem gera explicações superiores em comparação com métodos tradicionais, aumentando significativamente a interpretabilidade e a coerência temporal. As melhorias na clareza das explicações proporcionadas por esse método são especialmente importantes em áreas críticas, como vigilância, diagnósticos médicos e sistemas autônomos, onde compreender as decisões tomadas pelos modelos é essencial para garantir confiabilidade e confiança por parte dos usuários.