La destilación y la poda son dos técnicas importantes de compresión de redes neuronales. Pueden reducir eficazmente el número de parámetros y la complejidad computacional, mejorando la eficiencia de ejecución y el rendimiento. A continuación se explican ambas técnicas.

Destilación de modelos

La destilación consiste en entrenar un modelo pequeño para reproducir las predicciones de uno grande. El modelo grande se denomina «modelo profesor» y el pequeño, «modelo alumno». El profesor suele tener más parámetros y mayor complejidad, lo que le permite ajustarse mejor a los datos de entrenamiento y de prueba. En la destilación, se entrena al alumno para imitar el comportamiento predictivo del profesor y conseguir un rendimiento similar con un modelo de menor tamaño.

En concreto, la destilación se realiza mediante los siguientes pasos:

1. Entrenar al profesor: se entrena una gran red neuronal profunda con métodos habituales, como la retropropagación y el descenso de gradiente estocástico, para que obtenga buenos resultados con los datos de entrenamiento.

2. Generar etiquetas suaves: el profesor realiza predicciones sobre los datos de entrenamiento y sus salidas se utilizan como etiquetas suaves. Este concepto se desarrolla a partir de las etiquetas duras tradicionales, codificadas mediante one-hot. Aporta información más continua y describe mejor las relaciones entre clases.

3. Entrenar al alumno: se utilizan las etiquetas suaves como objetivo para entrenar una pequeña red neuronal profunda y obtener buenos resultados con los datos de entrenamiento. Las entradas y salidas del alumno son las mismas que las del profesor, pero sus parámetros y estructura son más simples y compactos.

La ventaja de la destilación es que permite a los modelos pequeños mantener el rendimiento con menores necesidades de cálculo y almacenamiento.Además, las etiquetas suaves aportan información más continua, lo que ayuda al alumno a aprender mejor las relaciones entre clases. La destilación se utiliza ampliamente en ámbitos como el procesamiento del lenguaje natural, la visión por computador y el reconocimiento de voz.

Poda de modelos

La poda comprime una red neuronal eliminando neuronas y conexiones innecesarias. Las redes suelen contener numerosos parámetros y conexiones redundantes que quizá influyan poco en su rendimiento, pero incrementan considerablemente el coste computacional y el espacio de almacenamiento. Al eliminarlos, la poda reduce el tamaño y la complejidad computacional del modelo, manteniendo su rendimiento.

Los pasos concretos de la poda son los siguientes:

1. Entrenar el modelo original: se entrena una gran red neuronal profunda con métodos habituales, como la retropropagación y el descenso de gradiente estocástico, para que obtenga buenos resultados con los datos de entrenamiento.

2. Evaluar la importancia de las neuronas: se emplean métodos como la regularización L1, la matriz hessiana o la expansión de Taylor para evaluar la contribución de cada neurona al resultado final. Las neuronas de escasa importancia pueden considerarse innecesarias.

3. Eliminar neuronas y conexiones innecesarias: se suprimen según su importancia, ya sea fijando sus pesos en cero o eliminando las neuronas y conexiones correspondientes.

La ventaja de la poda es que reduce eficazmente el tamaño del modelo y su complejidad computacional, mejorando así su rendimiento.Además, la poda puede ayudar a reducir el sobreajuste y mejorar la capacidad de generalización. También se utiliza ampliamente en el procesamiento del lenguaje natural, la visión por computador y el reconocimiento de voz.

En definitiva, aunque la destilación y la poda son técnicas de compresión de redes neuronales, sus métodos y objetivos difieren ligeramente. La primera se centra en entrenar al alumno con el comportamiento predictivo del profesor; la segunda comprime el modelo eliminando parámetros y conexiones innecesarios.