การกลั่นและการตัดแต่งเป็นเทคนิคสำคัญสองอย่างในการบีบอัดโมเดลโครงข่ายประสาท โดยช่วยลดจำนวนพารามิเตอร์และความซับซ้อนในการคำนวณอย่างมีประสิทธิภาพ ทำให้โมเดลทำงานได้มีประสิทธิภาพและมีสมรรถนะดีขึ้น ต่อไปนี้เป็นรายละเอียดของทั้งสองเทคนิค

การกลั่นโมเดล

การกลั่นโมเดลคือการฝึกโมเดลขนาดเล็กให้เลียนแบบผลทำนายของโมเดลขนาดใหญ่ ในกระบวนการนี้ โมเดลใหญ่เรียกว่า “โมเดลครู” ส่วนโมเดลเล็กเรียกว่า “โมเดลนักเรียน” โดยทั่วไปโมเดลครูมีพารามิเตอร์มากกว่าและซับซ้อนกว่า จึงสามารถปรับให้เข้ากับข้อมูลฝึกและข้อมูลทดสอบได้ดีกว่า นักเรียนจะถูกฝึกให้เลียนแบบพฤติกรรมการทำนายของครู เพื่อให้ได้สมรรถนะใกล้เคียงกันด้วยขนาดโมเดลที่เล็กลง

ขั้นตอนของการกลั่นโมเดลมีดังนี้

1. ฝึกโมเดลครู: ใช้วิธีฝึกตามปกติ เช่น การแพร่ย้อนกลับและการลดระดับตามความชันแบบสุ่ม เพื่อฝึกโครงข่ายประสาทเชิงลึกขนาดใหญ่ให้ทำงานได้ดีบนข้อมูลฝึก

2. สร้างป้ายกำกับแบบอ่อน: ใช้โมเดลครูทำนายข้อมูลฝึก แล้วนำผลลัพธ์มาเป็นป้ายกำกับแบบอ่อน แนวคิดนี้พัฒนาจากป้ายกำกับแบบแข็งดั้งเดิมที่เข้ารหัสแบบ one-hot โดยให้ข้อมูลที่ต่อเนื่องกว่าและอธิบายความสัมพันธ์ระหว่างหมวดหมู่ต่าง ๆ ได้ดีขึ้น

3. ฝึกโมเดลนักเรียน: ใช้ป้ายกำกับแบบอ่อนเป็นฟังก์ชันเป้าหมายเพื่อฝึกโครงข่ายประสาทเชิงลึกขนาดเล็กให้ทำงานได้ดีบนข้อมูลฝึก อินพุตและเอาต์พุตของนักเรียนเหมือนของครู แต่พารามิเตอร์และโครงสร้างเรียบง่ายและกะทัดรัดกว่า

ข้อดีของการกลั่นคือทำให้โมเดลขนาดเล็กรักษาสมรรถนะไว้ได้ พร้อมลดความซับซ้อนในการคำนวณและความต้องการพื้นที่จัดเก็บนอกจากนี้ ข้อมูลที่ต่อเนื่องกว่าจากป้ายกำกับแบบอ่อนช่วยให้นักเรียนเรียนรู้ความสัมพันธ์ระหว่างหมวดหมู่ได้ดีขึ้น การกลั่นโมเดลถูกใช้อย่างแพร่หลายในงานประมวลผลภาษาธรรมชาติ คอมพิวเตอร์วิทัศน์ การรู้จำเสียง และงานอื่น ๆ

การตัดแต่งโมเดล

การตัดแต่งโมเดลเป็นเทคนิคบีบอัดโครงข่ายประสาทด้วยการลบนิวรอนและการเชื่อมต่อที่ไม่จำเป็น โมเดลโครงข่ายประสาทมักมีพารามิเตอร์และการเชื่อมต่อซ้ำซ้อนจำนวนมาก ซึ่งอาจไม่ส่งผลต่อสมรรถนะมากนัก แต่เพิ่มความซับซ้อนในการคำนวณและพื้นที่จัดเก็บอย่างมาก การลบส่วนที่ไม่เป็นประโยชน์เหล่านี้ช่วยลดขนาดและภาระการคำนวณ โดยยังรักษาสมรรถนะของโมเดล

ขั้นตอนของการตัดแต่งโมเดลมีดังนี้

1. ฝึกโมเดลต้นฉบับ: ใช้วิธีฝึกตามปกติ เช่น การแพร่ย้อนกลับและการลดระดับตามความชันแบบสุ่ม เพื่อฝึกโครงข่ายประสาทเชิงลึกขนาดใหญ่ให้ทำงานได้ดีบนข้อมูลฝึก

2. ประเมินความสำคัญของนิวรอน: ใช้วิธีต่าง ๆ เช่น การทำเรกิวลาไรเซชัน L1 เมทริกซ์เฮสเซียน และการกระจายเทย์เลอร์ เพื่อประเมินว่านิวรอนแต่ละตัวมีส่วนต่อผลลัพธ์สุดท้ายมากเพียงใด นิวรอนที่สำคัญน้อยอาจถือว่าไม่เป็นประโยชน์

3. ลบนิวรอนและการเชื่อมต่อที่ไม่เป็นประโยชน์: ลบตามระดับความสำคัญของนิวรอน โดยตั้งค่าน้ำหนักเป็นศูนย์ หรือลบนิวรอนและการเชื่อมต่อที่เกี่ยวข้องออกไป

ข้อดีของการตัดแต่งคือช่วยลดขนาดโมเดลและความซับซ้อนในการคำนวณอย่างมีประสิทธิภาพ ทำให้สมรรถนะของโมเดลดีขึ้นการตัดแต่งยังช่วยลดการฟิตเกินและเพิ่มความสามารถในการใช้กับข้อมูลทั่วไป เทคนิคนี้ถูกใช้อย่างแพร่หลายในงานประมวลผลภาษาธรรมชาติ คอมพิวเตอร์วิทัศน์ และการรู้จำเสียงเช่นกัน

ท้ายที่สุด แม้การกลั่นและการตัดแต่งต่างเป็นการบีบอัดโครงข่ายประสาท แต่วิธีและเป้าหมายต่างกันเล็กน้อย การกลั่นเน้นฝึกนักเรียนด้วยพฤติกรรมการทำนายของครู ส่วนการตัดแต่งเน้นลบพารามิเตอร์และการเชื่อมต่อที่ไม่เป็นประโยชน์เพื่อบีบอัดโมเดล