NVIDIA NeMo-Aligner डेटा-कुशल ज्ञान आसवन के साथ पर्यवेक्षित फाइन-ट्यूनिंग को बढ़ाता है

NVIDIA के NeMo-Aligner ने डेटा-कुशल ज्ञान आसवन के माध्यम से पर्यवेक्षित फाइन-ट्यूनिंग (SFT) को बढ़ाने के लिए एक नई पद्धति का अनावरण किया है। यह अभिनव दृष्टिकोण एक बड़े शिक्षक मॉडल से अधिक कॉम्पैक्ट छात्र मॉडल में ज्ञान के हस्तांतरण की अनुमति देता है, जो कम डेटा आवश्यकताओं के साथ तुलनीय सटीकता प्राप्त करता है। NVIDIA.

ज्ञान आसवन में प्रगति

ज्ञान आसवन एक ऐसी तकनीक है जिसका व्यापक रूप से प्रीट्रेनिंग परिदृश्यों में उपयोग किया गया है लेकिन पर्यवेक्षित फाइन-ट्यूनिंग के संदर्भ में इसकी कम खोज की गई है। NeMo-Aligner का लक्ष्य मॉडल सटीकता और दक्षता को बढ़ाने के लिए SFT के दौरान ज्ञान आसवन का लाभ उठाकर इस अंतर को पाटना है। यह विधि केवल 70% प्रशिक्षण चरणों का उपयोग करके मानक एसएफटी की तुलना में उच्च सटीकता प्राप्त करती है, जैसा कि उनके प्रयोगों में दिखाया गया है।

कार्यान्वयन और लाभ

NeMo-Aligner केडी-लॉगिट दृष्टिकोण का उपयोग करता है, जहां छात्र मॉडल को शिक्षक के आउटपुट लॉगिट से मेल खाने के लिए प्रशिक्षित किया जाता है। यह तकनीक, जिसे “डार्क नॉलेज” के रूप में जाना जाता है, विभिन्न वर्गों में समानता और असमानता को समझकर अधिक जानकारीपूर्ण ग्रेडिएंट सिग्नल प्रदान करती है। इस प्रक्रिया में प्रीप्रोसेसिंग शामिल है जहां शिक्षक मॉडल की भविष्यवाणियों को कैश किया जाता है, और छात्र मॉडल को इन भविष्यवाणियों के साथ संरेखित करने के लिए प्रशिक्षित किया जाता है, जिसके परिणामस्वरूप स्मृति बचत और तेजी से प्रशिक्षण समय होता है।

यह दृष्टिकोण शिक्षक और छात्र दोनों मॉडलों को एक साथ लोड करने की आवश्यकता को काफी कम कर देता है, जिससे जीपीयू मेमोरी की बचत होती है। इसके बजाय, विस्तृत जानकारी हस्तांतरण को बनाए रखते हुए मेमोरी उपयोग को अनुकूलित करते हुए, शिक्षक के केवल शीर्ष-K लॉग संग्रहीत किए जाते हैं।

अनुभवजन्य परिणाम

नेमोट्रॉन-4 15बी छात्र मॉडल और एक फाइन-ट्यून किए गए नेमोट्रॉन-4 340बी शिक्षक मॉडल के साथ किए गए प्रयोगों से पता चलता है कि केडी-फाइनट्यून किए गए मॉडल ह्यूमनएवल, एमबीपीपी और एमएटीएच सहित कई बेंचमार्क में वेनिला एसएफटी मॉडल से बेहतर प्रदर्शन करते हैं। विशेष रूप से, केडी-फाइनट्यून्ड मॉडल को सात में से छह मूल्यांकन मेट्रिक्स में बेहतर प्रदर्शन प्राप्त करने के लिए कम प्रशिक्षण टोकन की आवश्यकता होती है।

केडी दृष्टिकोण एमएमएलयू बेंचमार्क में भी उत्कृष्टता प्राप्त करता है, जो भाषा समझने के कार्यों की एक विस्तृत श्रृंखला का आकलन करता है, शून्य-शॉट और पांच-शॉट दोनों सेटिंग्स में बेसलाइन से बेहतर प्रदर्शन करता है।

निष्कर्ष

NVIDIA के NeMo-Aligner में ज्ञान आसवन के कार्यान्वयन से पता चलता है कि यह तकनीक न केवल डेटा-दुर्लभ वातावरण में मॉडल के प्रदर्शन को बढ़ाती है, बल्कि सिंथेटिक डेटा जेनरेशन (SDG) तकनीकों के साथ प्रभावी ढंग से तालमेल भी बिठाती है। परिणामस्वरूप, यह पर्यवेक्षित फाइन-ट्यूनिंग के माध्यम से मॉडल दक्षता और सटीकता को अधिकतम करने का लक्ष्य रखने वाले डेवलपर्स के लिए एक शक्तिशाली उपकरण प्रदान करता है।

छवि स्रोत: शटरस्टॉक