- DeepSeek को क्षमता बढ्दै गएको मेमोरीमा ठूलो क्षमता एन्ग्रामबाट अलग गर्दै मोडेलहरू
- विधिले DeepSeek मोडेलहरूलाई लुकअपहरू प्रयोग गर्न सक्षम पारेर उच्च-गति मेमोरी आवश्यकताहरू कम गर्छ
- Engram ले न्यूनतम कार्यसम्पादन ओभरहेडका साथ धेरै GPU हरूमा एसिन्क्रोनस प्रिफेचिङलाई समर्थन गर्दछ।
DeepSeek, पेकिङ युनिभर्सिटीबाट नयाँ डिजाईन मेमोरीको साथ सहयोगमा पेकिङ्ग डिजाईन भण्डारणको लागि नयाँ डिजाईन मेमोरी नामक भण्डारणको परिचय दियो। कम्प्युटेशनल प्रक्रियाहरू।
परम्परागत ठूलो भाषा मोडेलहरू ज्ञान पुन: प्राप्ति र आधारभूत गणनाको लागि उच्च-ब्यान्डविथ मेमोरी चाहिन्छ, जसले कार्यसम्पादन र लागत दुवैमा बाधा सिर्जना गर्छ।
पुन: प्राप्त जानकारी त्यसपछि मोडेलको लुकेको अवस्थासँग पङ्क्तिबद्ध गर्न सन्दर्भ-अवजात गेटिङ मेकानिज्म प्रयोग गरी समायोजन गरिन्छ।
यो डिजाइनले धेरै लामो समयसम्म सक्षम मोडेललाई समर्थन गर्न अनुमति दिन्छ। न्यूनतम कार्यसम्पादन ओभरहेडको साथ प्रिफेच गर्दै।
इन्ग्राम विधिले फिसनको एआई इन्फरेन्स एक्सेलरेटरहरू जस्ता समाधानहरू सहित अन्य हार्डवेयर-कुशल दृष्टिकोणहरूलाई पूरक बनाउँछ। class=”clear-both pt-3 pb-4 mb-4 border-solid border-y border-neutral-300″>
तपाईलाई मन पर्न सक्छ
. किफायती रूपमा समग्र मेमोरी क्षमता बढाउँदै द्रुत-मेमोरी प्रयोगलाई अनुकूलन गर्नुहोस्।
यसले उदाउँदो CXL (कम्प्युट एक्सप्रेस लिङ्क) मापदण्डहरूसँगै काम गर्दछ, जसले ठूलो मात्रामा AI वर्कलोडहरूमा GPU मेमोरी अवरोधहरू पार गर्ने लक्ष्य राख्छ।
विधिले स्थिर ढाँचा भण्डारणलाई गतिशील पारामिटर, ट्रान्सफर्मोन ब्याक ट्रान्सफर्मोन वा ट्रान्सफर्मोनब्याक ट्रान्सफर्मनबाट अलग गर्दछ। गणना गर्दछ।
DeepSeek ले MoE सशर्त गणना मोड्युल र Engram मेमोरी मोड्युल बीचको प्यारामिटरहरूको आवंटनलाई अनुकूलन गर्न U-shaped विस्तार नियमलाई औपचारिक रूप दिएको छ।
परीक्षणहरूले देखाउँछन् कि लगभग 20-25% स्प्यार्स प्यारामिटर बजेट पुन: विनियोजन गर्दा Engram मोडेलमा राम्रो प्रदर्शन प्राप्त गर्ने मोडेलमा उत्कृष्ट लाभ प्राप्त हुन्छ। स्केलहरू।
मेमोरी स्लट विस्तारले अतिरिक्त कम्प्युटेशनल लागत बिना अनुमानित सुधारहरू प्रदान गर्दछ।
यसले स्प्यार्स मोडेलहरूको लागि स्वतन्त्र अक्षको रूपमा सशर्त मेमोरीको स्केलेबिलिटी पुष्टि गर्दछ।
Engram को निर्धारणात्मक पुन: प्राप्ति संयन्त्रले मेमोरी क्षमतालाई GPU लाई समर्थन गर्ने क्रममा धेरै प्रि-सिङ्क्रोनलाई समर्थन गर्दछ। अनुमान।
यसले तल्लो तहहरूबाट स्थिर ज्ञान पुनर्निर्माणलाई अफलोड गर्दछ, विश्वव्यापी सन्दर्भमा ध्यान केन्द्रित गर्न ध्यान संयन्त्रहरू मुक्त गर्दै।
बारम्बार प्रयोग गरिएको इम्बेडिङहरूको श्रेणीबद्ध क्यासिङले दक्षता बढाउँछ, र मोड्युलले अवस्थित GPU र प्रणाली मेमोरी आर्किटेक्चर, सम्भावित रूपमा महँगो HBM अपग्रेडहरूबाट बच्न।
यो प्रविधिले चीनमा विशेष रूपमा HBM, हार्डवेयर पहुँच जस्ता महँगो क्षेत्रहरूमा मेमोरीको दबाब कम गर्न सक्छ।
Engram को प्रारम्भिक प्रमाणीकरणले मेमोरीको मागलाई अझ प्रभावकारी रूपमा व्यवस्थापन गर्दा मोडेलहरूले प्यारामिटर स्केल र तर्क क्षमता विस्तार गर्न सक्ने सुझाव दिन्छ। यस दृष्टिकोणले AI पूर्वाधारमा मेमोरी अवरोधहरूलाई कम गर्न मद्दत गर्न सक्छ, सम्भावित रूपमा तीव्र DDR5 DRAM मूल्य परिवर्तन। href=”https://www.scmp.com/tech/tech-trends/article/3339740/deepseek-founders-latest-paper-proposes-new-ai-model-training-bypass-gpu-limits” target=”_blank” rel=”nofollow” data-url=”https://www.scmp.com/tech/tech-trends/article/3339740/deepseek-founders-latest-paper-proposes-new-ai-model-training-bypass-gpu-limits” referrerpolicy=”no-referrer-when-downgrade” data-nhlone” data-mrf-recirculation=”inline-link”>SCMP
Google समाचारमा TechRadar फलो गर्नुहोस् र हामीलाई रुचाइएको स्रोतको रूपमा थप्नुहोस्हाम्रो समाचार, फिडको समीक्षा र विज्ञहरू लिनुहोस्। फलो गर्ने बटनमा क्लिक गर्न नबिर्सनुहोस्!
र पक्कै पनि तपाईं पनि TikTok मा TechRadar फलो गर्नुहोस् समाचार, समीक्षा, भिडियो फारममा अनबक्सिङका लागि, र हामीबाट नियमित अपडेटहरू प्राप्त गर्नुहोस् WhatsApp पनि।