A destilação e a poda são duas técnicas importantes de compressão de redes neurais. Elas podem reduzir de forma eficaz a quantidade de parâmetros e a complexidade computacional, melhorando a eficiência de execução e o desempenho. A seguir, apresentamos as duas técnicas em detalhe.

Destilação de modelos

A destilação consiste em treinar um modelo menor para reproduzir as previsões de um modelo grande. O modelo grande é chamado de “modelo professor”, e o pequeno, de “modelo aluno”. O professor geralmente tem mais parâmetros e maior complexidade, podendo se ajustar melhor aos dados de treinamento e de teste. O aluno é treinado para imitar seu comportamento preditivo e alcançar desempenho semelhante com um modelo de menor tamanho.

Especificamente, a destilação segue estas etapas:

1. Treinar o professor: treinar uma grande rede neural profunda com métodos convencionais, como retropropagação e descida estocástica do gradiente, para obter bons resultados nos dados de treinamento.

2. Gerar rótulos suaves: usar as previsões do professor sobre os dados de treinamento como rótulos suaves. Esse conceito deriva dos rótulos rígidos tradicionais, com codificação one-hot. Ele fornece informações mais contínuas e descreve melhor as relações entre as classes.

3. Treinar o aluno: usar os rótulos suaves como objetivo para treinar uma pequena rede neural profunda a obter bons resultados nos dados de treinamento. Suas entradas e saídas são as mesmas do professor, mas os parâmetros e a estrutura são mais simples e compactos.

A vantagem da destilação é permitir que modelos pequenos mantenham o desempenho com menor complexidade computacional e menor necessidade de armazenamento.Além disso, os rótulos suaves fornecem informações mais contínuas, ajudando o aluno a aprender melhor as relações entre as classes. A destilação é amplamente utilizada em processamento de linguagem natural, visão computacional e reconhecimento de fala.

Poda de modelos

A poda comprime uma rede neural removendo neurônios e conexões desnecessários. Essas redes costumam conter muitos parâmetros e conexões redundantes que talvez tenham pouca influência no desempenho, mas aumentam bastante a complexidade computacional e a necessidade de armazenamento. A remoção desses elementos reduz o tamanho e o custo computacional do modelo, preservando seu desempenho.

As etapas específicas da poda são as seguintes:

1. Treinar o modelo original: treinar uma grande rede neural profunda com métodos convencionais, como retropropagação e descida estocástica do gradiente, para obter bons resultados nos dados de treinamento.

2. Avaliar a importância dos neurônios: usar métodos como regularização L1, matriz hessiana ou expansão de Taylor para avaliar a contribuição de cada neurônio para a saída final. Neurônios de baixa importância podem ser considerados desnecessários.

3. Remover neurônios e conexões desnecessários conforme sua importância, zerando seus pesos ou eliminando os neurônios e as conexões correspondentes.

A vantagem da poda é reduzir de forma eficaz o tamanho do modelo e sua complexidade computacional, melhorando o desempenho.A poda também pode ajudar a reduzir o sobreajuste e melhorar a capacidade de generalização. Ela é amplamente usada em processamento de linguagem natural, visão computacional e reconhecimento de fala.

Por fim, embora a destilação e a poda sejam técnicas de compressão de redes neurais, seus métodos e objetivos diferem um pouco. A destilação se concentra em treinar o aluno com o comportamento preditivo do professor; a poda comprime o modelo removendo parâmetros e conexões desnecessários.