Chưng cất và cắt tỉa là hai kỹ thuật quan trọng để nén mô hình mạng nơ-ron. Chúng có thể giảm hiệu quả số lượng tham số và độ phức tạp tính toán, qua đó nâng cao hiệu suất thực thi và năng lực mô hình. Dưới đây là phần giới thiệu chi tiết về hai kỹ thuật này.

Chưng cất mô hình

Chưng cất mô hình là kỹ thuật huấn luyện một mô hình nhỏ để tái tạo dự đoán của mô hình lớn. Trong quá trình này, mô hình lớn được gọi là “mô hình giáo viên”, mô hình nhỏ là “mô hình học sinh”. Giáo viên thường có nhiều tham số và độ phức tạp cao hơn, nên có thể khớp dữ liệu huấn luyện và dữ liệu kiểm tra tốt hơn. Học sinh được huấn luyện để bắt chước hành vi dự đoán của giáo viên, nhằm đạt năng lực tương tự với kích thước nhỏ hơn.

Cụ thể, chưng cất mô hình được thực hiện qua các bước sau:

1. Huấn luyện mô hình giáo viên: dùng các phương pháp thông thường như lan truyền ngược và hạ gradient ngẫu nhiên để huấn luyện một mạng nơ-ron sâu lớn, giúp mô hình hoạt động tốt trên dữ liệu huấn luyện.

2. Tạo nhãn mềm: dùng giáo viên dự đoán trên dữ liệu huấn luyện và lấy đầu ra làm nhãn mềm. Khái niệm này phát triển từ nhãn cứng truyền thống dưới dạng mã hóa one-hot. Nhãn mềm cung cấp thông tin liên tục hơn và mô tả quan hệ giữa các lớp tốt hơn.

3. Huấn luyện mô hình học sinh: dùng nhãn mềm làm hàm mục tiêu để huấn luyện một mạng nơ-ron sâu nhỏ hoạt động tốt trên dữ liệu huấn luyện. Đầu vào và đầu ra của học sinh giống giáo viên, nhưng tham số và cấu trúc đơn giản, gọn nhẹ hơn.

Ưu điểm của chưng cất là giúp mô hình nhỏ duy trì năng lực trong khi giảm độ phức tạp tính toán và nhu cầu lưu trữ.Ngoài ra, thông tin liên tục hơn từ nhãn mềm giúp học sinh học quan hệ giữa các lớp tốt hơn. Chưng cất mô hình đã được ứng dụng rộng rãi trong xử lý ngôn ngữ tự nhiên, thị giác máy tính, nhận dạng giọng nói và nhiều lĩnh vực khác.

Cắt tỉa mô hình

Cắt tỉa mô hình là kỹ thuật nén mạng nơ-ron bằng cách bỏ đi các nơ-ron và kết nối không cần thiết. Mạng nơ-ron thường có nhiều tham số và kết nối dư thừa. Chúng có thể không ảnh hưởng lớn tới năng lực mô hình nhưng lại làm tăng đáng kể độ phức tạp tính toán và nhu cầu lưu trữ. Cắt tỉa loại bỏ các tham số và kết nối không hữu ích này để giảm kích thước, giảm chi phí tính toán mà vẫn giữ được năng lực mô hình.

Các bước cụ thể của cắt tỉa mô hình như sau:

1. Huấn luyện mô hình ban đầu: dùng các phương pháp thông thường như lan truyền ngược và hạ gradient ngẫu nhiên để huấn luyện mạng nơ-ron sâu lớn hoạt động tốt trên dữ liệu huấn luyện.

2. Đánh giá tầm quan trọng của nơ-ron: dùng các phương pháp như chính quy hóa L1, ma trận Hessian và khai triển Taylor để đánh giá mức đóng góp của từng nơ-ron vào đầu ra cuối cùng. Nơ-ron ít quan trọng có thể được xem là không hữu ích.

3. Loại bỏ nơ-ron và kết nối không hữu ích: dựa trên mức quan trọng để loại bỏ chúng. Có thể đặt trọng số về 0 hoặc xóa các nơ-ron và kết nối tương ứng.

Ưu điểm của cắt tỉa là giảm hiệu quả kích thước mô hình và độ phức tạp tính toán, qua đó nâng cao năng lực mô hình.Cắt tỉa còn giúp giảm hiện tượng quá khớp và cải thiện khả năng khái quát hóa. Kỹ thuật này cũng được ứng dụng rộng rãi trong xử lý ngôn ngữ tự nhiên, thị giác máy tính và nhận dạng giọng nói.

Cuối cùng, dù chưng cất và cắt tỉa đều là kỹ thuật nén mạng nơ-ron, phương pháp và mục tiêu của chúng có phần khác nhau. Chưng cất tập trung huấn luyện học sinh bằng hành vi dự đoán của giáo viên, còn cắt tỉa tập trung nén bằng cách loại bỏ tham số và kết nối không hữu ích.