تقطير النماذج وتقليمها تقنيتان مهمتان لضغط الشبكات العصبية. ويمكنهما تقليل عدد المعلمات والتعقيد الحسابي، مما يحسّن كفاءة تشغيل النموذج وأداءه. فيما يلي شرح للتقنيتين.
تقطير النماذج
تقطير النماذج هو تدريب نموذج أصغر لإعادة إنتاج تنبؤات نموذج كبير. ويُسمّى النموذج الكبير «المعلّم»، بينما يُسمّى النموذج الصغير «الطالب». يمتلك المعلّم عادةً معلمات أكثر وبنية أعقد، ولذلك يستطيع عمومًا ملاءمة بيانات التدريب والاختبار بصورة أفضل. ويتعلّم الطالب محاكاة السلوك التنبؤي للمعلّم، بهدف تحقيق أداء مشابه ضمن نموذج أصغر.
يجري تقطير النموذج عادةً عبر الخطوات التالية:
1. تدريب المعلّم: تُدرَّب شبكة عصبية عميقة كبيرة باستخدام طرق مألوفة، مثل الانتشار العكسي والانحدار المتدرّج العشوائي، حتى تؤدي جيدًا على بيانات التدريب.
2. توليد التسميات المرنة: يستخدم المعلّم لإنتاج تنبؤات لبيانات التدريب، وتُستخدم مخرجاته كتسميات مرنة. وبخلاف التسميات الصلبة التقليدية الممثّلة بترميز one-hot، توفّر التسميات المرنة معلومات أكثر استمرارية وتعبّر بصورة أفضل عن العلاقات بين الفئات.
3. تدريب الطالب: تُستخدم التسميات المرنة كأهداف لتدريب شبكة عصبية عميقة أصغر. ويتعامل الطالب مع الأنواع نفسها من المدخلات والمخرجات التي يتعامل معها المعلّم، لكن بعدد أقل من المعلمات وبنية أبسط.
تتيح عملية التقطير للنماذج الصغيرة الحفاظ على الأداء مع تقليل متطلبات الحساب والتخزين.وتساعد المعلومات الغنية والمستمرة في التسميات المرنة الطالب على تعلّم العلاقات بين الفئات. ويُستخدم التقطير على نطاق واسع في معالجة اللغة الطبيعية والرؤية الحاسوبية والتعرّف على الكلام وغيرها من المجالات.
تقليم النماذج
تقليم النماذج هو ضغط الشبكة العصبية بإزالة العصبونات والوصلات غير الضرورية. فالشبكات العصبية غالبًا ما تحتوي على معلمات كثيرة ووصلات زائدة؛ وقد تكون مساهمة بعضها في الأداء ضئيلة، مع أنها تزيد كثيرًا من التعقيد الحسابي ومتطلبات التخزين. ويمكن إزالتها لتقليل حجم النموذج وحساباته مع الحفاظ على أدائه.
يجري تقليم النموذج عادةً عبر الخطوات التالية:
1. تدريب النموذج الأصلي: تُدرَّب شبكة عصبية عميقة كبيرة بطرق مألوفة، مثل الانتشار العكسي والانحدار المتدرّج العشوائي، للحصول على أداء جيد على بيانات التدريب.
2. تقييم أهمية العصبونات: تُقدَّر مساهمة كل عصبون في المخرجات النهائية بطرق مثل تنظيم L1 أو مصفوفة هيسيان أو متسلسلة تايلور. ويمكن اعتبار العصبونات ذات الأهمية المنخفضة غير ضرورية.
3. إزالة العصبونات والوصلات غير الضرورية: تُزال العناصر وفقًا لأهميتها، إما بجعل أوزانها صفرًا أو بحذف العصبونات والوصلات المقابلة.
يمكن للتقليم تقليل حجم النموذج وتعقيده الحسابي، مما يحسّن كفاءته.وقد يساعد أيضًا على تقليل فرط التكيّف وتحسين قدرة النموذج على التعميم. ويُستخدم التقليم، مثل التقطير، على نطاق واسع في معالجة اللغة الطبيعية والرؤية الحاسوبية والتعرّف على الكلام وغيرها من المجالات.
على الرغم من أن التقطير والتقليم يضغطان الشبكات العصبية، فإن أسلوبهما وهدفهما يختلفان. يركّز التقطير على تعليم الطالب محاكاة تنبؤات المعلّم، بينما يركّز التقليم على إزالة المعلمات والوصلات غير الضرورية.
