Novas funções de ativação em redes neurais artificiais multilayer perceptron

Abstract

Em redes neurais artificiais (RNAs), as funções de ativação mais comumente usadas são a função sigmóide logística e a função tangente hiperbólica, dependendo das características dos dados. Entretanto, a escolha da função de ativação pode influenciar fortemente o desempenho e a complexidade da rede neural. Neste trabalho, com o objetivo de melhorar o desempenho dos modelos de redes neurais, propomos o uso de novas funções de ativação no processamento das unidades da rede neural. Aqui, as funções não-lineares implementadas são as inversas das funções de ligação usadas em modelos de regressão binomial, essas funções são: complemento log-log, probit, log-log e Aranda, sendo que esta última função apresenta um parâmetro livre e é baseada na família de transformações Aranda-Ordaz. Uma avaliação dos resultados do poder de predição com estas novas funções através de simulação Monte Carlo é apresentada. Além disso, foram realizados diversos experimentos com aproximação de funções contínuas e arbitrárias, com regressão e com previsão de séries temporais. Na utilização da função de ativação com parâmetro livre, duas metodologias foram usadas para a escolha do parâmetro livre, l . A primeira foi baseada em um procedimento semelhante ao de busca em linha (line search). A segunda foi usada uma metodologia para a otimização global dessa família de funções de ativação com parâmetro livre e dos pesos das conexões entre as unidades de processamento da rede neural. A ideia central é otimizar simultaneamente os pesos e a função de ativação usada em uma rede multilayer perceptron (MLP), através de uma abordagem que combina as vantagens de simulated annealing, de tabu search e de um algoritmo de aprendizagem local. As redes utilizadas para realizar esses experimentos foram treinadas através dos seguintes algoritmos de aprendizagem: backpropagation (BP), backpropagation com momentum (BPM), backpropagation baseado no gradiente conjugado com atualizações Fletcher-Reeves (CGF) e Levenberg-Marquardt (LM)