- Nvidia’s’sly रुटमा खुला स्रोत अनुरोध यसलाई ह्यान्डल गर्न सक्ने सबैभन्दा सस्तो मोडेलमा
- यो दृष्टिकोणले यसलाई 6% शुद्धतामा कमीको बदलामा फ्रन्टियर-मात्र मोडेलको विरुद्ध 74% लागत कटौती दावी गर्न अनुमति दिन्छ
- NeMo Switchyard ले पहिले देखि नै थप, LLLM, Route, LLM, ओपन र ओपनर लगायतका खेलाडीहरू देख्न सक्ने बढ्दो रूपमा स्थापित क्षेत्रसँग जोडिएको छ। लागत बचत गर्न OpenAI र AT&T मा घरभित्रको प्रयासहरू
Nvidia ले NeMo Switchyard, खुला स्रोत मोडेल राउटर जारी गरेको छ जुन अनुप्रयोग र भाषा मोडेलहरूको पूलको बीचमा बस्छ र प्रति अनुरोध वा प्रति पालो कुन मोडेलले कुनै विशेष कार्यलाई सम्हाल्ने भन्ने निर्णय गर्छ।
उद्देश्य p माक्सको मोडेल चयन गर्ने अधिकार हो। धेरै साना वा सस्तो मोडेलहरूले ह्यान्डल गर्न सक्ने साधारण कार्यहरू गर्न फ्रन्टियर-लेभल मोडेलहरू अकुशल मात्र होइन, तर उद्यम ग्राहकहरूको लागि महँगो पनि हुन्छ। data-widget-type=”seasonal” class=”ecom-root”/>
यो यस्तो समयमा आएको हो जब उद्यम ग्राहकहरू पहिले नै बढ्दो लागतहरू जुन चाँडै नियन्त्रण बाहिर सर्पिल हुन सक्छ किनभने तिनीहरूले बढ्दो रूपमा AI अपनाइरहेका छन्। lg:my-8″ data-component-name=”JwPlayer:Carousel” data-jwp-carousel=”” data-jwp-carousel-payload=””ids”:”playerID”:”APjl6osP”,”searchPlaylistID”:”1v6djO3j”,”divID”:”botr_1v6djO3j_APjl6osP_di v”,”fallbackPlaylistID”:”KgQ4BrDw”,”fallbackDivID”:”botr_KgQ4BrDw_APjl6osP_div”,”key”:”ZuubZ0qo8PC91SeYBvrz9lq0zFhLM446g wRNTJacILQ18liS”,”tintLogo”:true,”useSearchPlaylist”:false,”enabled”:true,”signPostingEnabled”:true,”signPostingLinkEna bled”:true,”waitForAdLoad”:false,”hidePlayerOnDesktop”:false,”hidePlayerOnMobile”:false,”hidePlayerOnTablet”:false”>
class=”jwp-carousel-title-mobile”/>पछिल्लो भिडियोहरूTechRadar
AIp राउटरहरूको बढ्दो कोरसको लागि खुला स्रोत थपNvidia ले समाधान गर्न खोजेको समस्या नयाँ होइन, र उद्योगका दिग्गजहरूले पहिले नै धेरै ध्यान आकर्षित गरिरहेका छन्। उदीयमान क्षेत्र आफैंमा सम्भावित रूपमा आकर्षक छ, भले पनि यसले लागत घटाउनमा केन्द्रित छ, र प्रमुख खेलाडीहरू कार्यमा जान खोजिरहेका छन्; स्ट्राइपको OpenRouter को आगामी $7+ बिलियन अधिग्रहण, यो कुरालाई जोड दिन्छ।
स्विचयार्ड यसको साथीहरू भन्दा फरक छैन; यो अनिवार्य रूपमा एउटा प्रोक्सी हो जसले कल गर्ने एप्लिकेसन वा प्रयोगकर्तालाई चाहिने ढाँचामा जवाफ दिँदा कुन AI मोडेलमा प्रश्नहरू पठाउने भन्ने निर्णय गर्न रुटिङ्ग एल्गोरिदम प्रयोग गर्छ। class=”clear-both pt-2 pb-0 mb-4″>
तपाईलाई मन पर्न सक्छ
यसले OpenAI, Anthropic, र Responses API अनुरोधहरू स्वीकार गर्दछ, तिनीहरू बीच अनुवाद गर्दछ, र प्रत्येक कलको लागि चयन गरिएको मोडेल, निर्णय तर्क, टोकन प्रयोग, र विलम्बता कागजात गर्दछ, पारदर्शिता सक्षम पार्दै र यसलाई समयसँगै यसको दृष्टिकोणलाई ट्वीक वा ट्युन गर्न दिन्छ।
यसले एक-आकार-अन्य दृष्टिकोणसँग तुलना गर्न अर्थपूर्ण हुन्छ जुन विश्वमा पूर्व-समयमा उपयुक्त हुन्छ। फ्रन्टियर-लेभल एआई कम्प्युट, LLMs ठूला र थप माग बढ्दै जाँदा। एउटा उदाहरण Nvidia ले औंल्याएको कुरा हो: Nemotron Parse, मुख्य रूपमा PDF बाट संरचना निकाल्न डिजाइन गरिएको एक-बिलियन-प्यारामिटर मोडेल। newsletterForm-articleInbodyContent-97ztqegMkKBDFquv7Hki7H slice-container-newsletterForm”>
अधिक अप्टिमाइज्ड जज मोडेल चलाउँदा बढी बचत वा कम ओभरहेड हुन सक्छ, तर यसले प्रयोगकर्ताहरूलाई थप आधारभूत AI मोडेल चाहिने केसहरूमा पनि बाधा पुर्याउन सक्छ, र जज मोडेलले प्रत्येक पालोमा पढेर वा आउटपुट जाँच गरेर लागत बढाउँछ।
एक माध्यमिक चिन्ता भिन्नता हुनेछ: जबकि लागतहरू कुनै पनि Opus 8 बीचमा चलिरहेको भन्दा कम देखीरहेको छ। $2.16 र $3.61, एक विशाल 67% आन्दोलन अनिवार्य रूपमा निर्देशित हुन्छ जब यसले ठूलो वा स्मार्ट मोडेलमा प्रश्नहरू बढाउँछ। यो ट्रेडअफले लागत अनुमान गर्न गाह्रो बनाउँछ: राउटिङले औसत खर्चलाई कम गर्दा, यसले यसको वरिपरिको वितरणलाई फराकिलो बनाउँछ।
LangChain ले यो पनि भन्छ कि यदि प्रयोगकर्ताहरूले उनीहरूको कार्यभार छोटो वा विलम्बता-संवेदनशील छन् भने स्विचयार्ड प्रयोग गर्नु हुँदैन। यसले अनुमान गर्दछ कि यसले लगभग 700ms विलम्बता थप्छ किनभने न्यायाधीश मोडेलले सबै आउटपुट पढ्नु पर्छ।
Nvidia ले यहाँ लिनु सरल छ: यसले प्याकेज गरिएको, खुला-स्रोत समाधानलाई धक्का दिइरहेको छ जसले अनिवार्य रूपमा अपेक्षाकृत टुक्रा ठाउँमा एकीकरणको विस्तृत सेट प्रदान गर्दछ। साना ओपन-वेट मोडेलहरूमा कामलाई रूट गर्ने कार्यले Nvidia बेच्ने हार्डवेयर उद्यमहरू तर्फ निष्कर्ष निकाल्छ।
एकै समयमा, प्रति कार्य सस्तो अनुमानको अर्थ ऐतिहासिक रूपमा बढी अनुमान हो, कम होइन, जुन परिणाम हो एक्सलेरेटरहरू बेच्ने कम्पनीले उद्यमहरूलाई लुकाउन रोज्छ, जसमध्ये धेरै जसो बाडमा सीधै यो पावरमा लगानी गर्न आउँछन्
जब यो कठिन हुन्छ। id=”elk-54ddaf8c-99dc-11f1-a727-6966f4a6b186″/>
Google समाचारमा TechRadar लाई फलो गर्नुहोस् र हाम्रो समाचारको रूपमा हामीलाई थप्नुहोस्