ডিস্টিলেশন ও প্রুনিং নিউরাল নেটওয়ার্ক মডেল সংকোচনের দুটি গুরুত্বপূর্ণ কৌশল। এগুলো প্যারামিটারের সংখ্যা ও গণনার জটিলতা কমিয়ে মডেলের কার্যদক্ষতা ও কর্মক্ষমতা বাড়াতে পারে। নিচে কৌশল দুটির বিস্তারিত পরিচয় দেওয়া হলো।

মডেল ডিস্টিলেশন

মডেল ডিস্টিলেশনে একটি ছোট মডেলকে বড় মডেলের পূর্বাভাস অনুকরণ করতে শেখানো হয়। বড়টিকে “শিক্ষক মডেল” এবং ছোটটিকে “শিক্ষার্থী মডেল” বলা হয়। শিক্ষক মডেলে সাধারণত বেশি প্যারামিটার ও জটিলতা থাকে, তাই সেটি প্রশিক্ষণ ও পরীক্ষার ডেটার সঙ্গে ভালোভাবে খাপ খাওয়াতে পারে। ডিস্টিলেশনে শিক্ষার্থীকে শিক্ষকের পূর্বাভাসের আচরণ অনুকরণ করতে শেখানো হয়, যাতে ছোট আকারেও কাছাকাছি কর্মক্ষমতা পাওয়া যায়।

মডেল ডিস্টিলেশনের ধাপগুলো হলো:

1. শিক্ষক মডেল প্রশিক্ষণ: ব্যাকপ্রোপাগেশন ও স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের মতো প্রচলিত পদ্ধতিতে একটি বড় ডিপ নিউরাল নেটওয়ার্ককে প্রশিক্ষণ ডেটায় ভালো ফল দিতে শেখান।

2. সফট লেবেল তৈরি: শিক্ষক মডেল দিয়ে প্রশিক্ষণ ডেটার পূর্বাভাস করুন এবং তার আউটপুট সফট লেবেল হিসেবে ব্যবহার করুন। প্রচলিত হার্ড লেবেল বা ওয়ান-হট এনকোডিং থেকে এই ধারণা গড়ে উঠেছে। সফট লেবেল আরও ধারাবাহিক তথ্য দেয় এবং বিভিন্ন শ্রেণির সম্পর্ক ভালোভাবে বোঝায়।

3. শিক্ষার্থী মডেল প্রশিক্ষণ: সফট লেবেলকে লক্ষ্য ধরে একটি ছোট ডিপ নিউরাল নেটওয়ার্ককে প্রশিক্ষণ ডেটায় ভালো ফল দিতে শেখান। শিক্ষার্থীর ইনপুট ও আউটপুট শিক্ষকের মতোই থাকে, কিন্তু প্যারামিটার ও গঠন আরও সরল ও ছোট হয়।

ডিস্টিলেশনের সুবিধা হলো, ছোট মডেল কর্মক্ষমতা ধরে রেখেও কম গণনা ও সংরক্ষণস্থানের প্রয়োজন নিয়ে কাজ করতে পারে।সফট লেবেল আরও ধারাবাহিক তথ্য দেয় বলে শিক্ষার্থী বিভিন্ন শ্রেণির সম্পর্ক ভালোভাবে শিখতে পারে। প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, কম্পিউটার ভিশন ও কথন শনাক্তকরণসহ নানা ক্ষেত্রে ডিস্টিলেশন ব্যাপকভাবে ব্যবহৃত হয়।

মডেল প্রুনিং

মডেল প্রুনিংয়ে অপ্রয়োজনীয় নিউরন ও সংযোগ সরিয়ে নিউরাল নেটওয়ার্ক ছোট করা হয়। এসব মডেলে সাধারণত বিপুল প্যারামিটার ও অতিরিক্ত সংযোগ থাকে। সেগুলো কর্মক্ষমতায় খুব বেশি প্রভাব না ফেললেও গণনার জটিলতা ও সংরক্ষণস্থানের প্রয়োজন অনেক বাড়াতে পারে। এগুলো সরিয়ে প্রুনিং কর্মক্ষমতা ধরে রেখেই আকার ও গণনার জটিলতা কমায়।

মডেল প্রুনিংয়ের ধাপগুলো হলো:

1. মূল মডেল প্রশিক্ষণ: ব্যাকপ্রোপাগেশন ও স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের মতো প্রচলিত পদ্ধতিতে একটি বড় ডিপ নিউরাল নেটওয়ার্ককে প্রশিক্ষণ ডেটায় ভালো ফল দিতে শেখান।

2. নিউরনের গুরুত্ব মূল্যায়ন: L1 রেগুলারাইজেশন, হেসিয়ান ম্যাট্রিক্স বা টেইলর বিস্তারের মতো পদ্ধতিতে চূড়ান্ত আউটপুটে প্রতিটি নিউরনের অবদান মূল্যায়ন করুন। কম গুরুত্বপূর্ণ নিউরনকে অপ্রয়োজনীয় ধরা যেতে পারে।

3. অপ্রয়োজনীয় নিউরন ও সংযোগ সরান: গুরুত্বের মূল্যায়ন অনুযায়ী অপ্রয়োজনীয় নিউরন ও সংযোগ বাদ দিন। ওজন শূন্য করে অথবা সংশ্লিষ্ট নিউরন ও সংযোগ মুছে এটি করা যায়।

প্রুনিংয়ের সুবিধা হলো, এটি কার্যকরভাবে মডেলের আকার ও গণনার জটিলতা কমিয়ে কর্মক্ষমতা বাড়ায়।প্রুনিং অতিরিক্ত খাপ খাওয়ানো বা ওভারফিটিং কমিয়ে মডেলের সাধারণীকরণ ক্ষমতা বাড়াতেও সাহায্য করতে পারে। প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, কম্পিউটার ভিশন ও কথন শনাক্তকরণসহ নানা ক্ষেত্রে এটিও ব্যাপকভাবে ব্যবহৃত হয়।

শেষ কথা হলো, দুটিই নিউরাল নেটওয়ার্ক সংকোচনের কৌশল হলেও পদ্ধতি ও উদ্দেশ্যে কিছু পার্থক্য আছে। ডিস্টিলেশনে শিক্ষকের পূর্বাভাসের আচরণ দিয়ে শিক্ষার্থীকে শেখানো হয়, আর প্রুনিংয়ে অপ্রয়োজনীয় প্যারামিটার ও সংযোগ সরিয়ে মডেল ছোট করা হয়।