- Tiiny AI पकेट ठूला मोडेलहरू स्थानीय रूपमा चल्छ निर्भरता
- मिनी पीसीले अलग GPU समर्थन बिना उन्नत अनुमान कार्यहरू कार्यान्वयन गर्दछ
- 10B देखि 120B मापदण्डहरू पावरको 65W भित्र अफलाइन सञ्चालन गर्दछ
Tiiny, एक अमेरिकी स्टार्टअप, ले एआई पकेट ल्याकोमको ठूलो क्यापटेबल चलिरहेको भाषाको AI जारी गरेको छ। स्थानीय रूपमा मोडेलहरू।
पहुँच, बाह्य सर्भरहरू, वा अलग गतिवर्धकहरू।
. id=”built-to-run-large-models-without-the-cloud-3″>क्लाउड बिना ठूला मोडेलहरू चलाउनको लागि निर्मित
“क्लाउड AI ले उल्लेखनीय प्रगति ल्याएको छ, तर यसले भरपर्दोता र चुनौती पनि सिर्जना गरेको छ, “ले भने। भोज, Tiiny AI का GTM निर्देशक।
“Tiiny AI Pocket Lab सँग, हामी विश्वास गर्छौं कि बुद्धिमत्ता डाटा केन्द्रहरूमा नभई मानिसहरूसँग सम्बन्धित हुनुपर्छ। क्लाउडबाट ठूला मोडेलहरूको शक्तिलाई प्रत्येक व्यक्तिगत उपकरणमा ल्याएर उन्नत एआईलाई साँच्चिकै पहुँचयोग्य, निजी र व्यक्तिगत बनाउनको लागि यो पहिलो कदम हो।” सीमित 65W पावर खाम भित्र सञ्चालन गर्दा लामो-सन्दर्भ कार्यहरू।
Tiiny ले 10B–100B प्यारामिटर दायराका मोडेलहरूका लागि 120B सम्मको समर्थनको साथ लगातार प्रदर्शनको दाबी गर्दछ।
यो माथिल्लो सीमाले अग्रणी क्लाउड प्रणालीहरूको क्षमतामा पुग्छ, उन्नत तर्क र विस्तारित सन्दर्भलाई स्थानीय रूपमा चलाउन सक्षम पार्दै। कार्यान्वयन।
प्रणालीले 12-कोर ARMv9.2 CPU प्रयोग गर्दछ जुन अनुकूलन विषम एआई मोड्युलसँग जोडिएको हुन्छ जसले लगभग 190 TOPS कम्प्युट प्रदान गर्दछ। data-nosnippet=”” class=”clear-both pt-3 pb-4 mb-4 border-solid border-y border-neutral-300″>
तपाईलाई मन पर्न सक्छ
प्रणालीमा 1TB SSD सँगसँगै 80GB को LPDDR5X मेमोरी समावेश छ, कुल पावर ड्र कथित रूपमा 65W प्रणालीको खाम भित्र रहन्छ।
यसको भौतिक आकार वर्कस्टेशन, यसको पकेट-उन्मुख ब्रान्डिङलाई बलियो बनाउँदै।
विशिष्टताहरू Houmo Manjie जस्तै देखिन्छन्, अझै पनि डेटामा निर्भर छैन – प्रदर्शन वास्तविक संसारमा Manjie M5p0 उपलब्ध।
Tiiny ले प्रमुख मोडेलहरू र एजेन्ट फ्रेमवर्कहरूको एक-क्लिक स्थापनालाई समर्थन गर्ने खुला स्रोत इकोसिस्टमलाई पनि जोड दिन्छ।
कम्पनीले OTA हार्डवेयर अपग्रेडको रूपमा वर्णन गर्ने कुराहरू सहित निरन्तर अद्यावधिकहरू उपलब्ध गराउने बताएको छ।
यो वाक्यांश समस्याग्रस्त छ, किनकि ओभर-द-एयर कथनलाई पारंपरिक रूपमा लागू गर्न सफ्टवेयर
सुझाव दिन्छ। शाब्दिक हार्डवेयर परिमार्जनको सट्टा अशुद्ध शब्द वा मार्केटिङ त्रुटि।
प्राविधिक दृष्टिकोण कच्चा सिलिकन प्रदर्शन मापन गर्नुको सट्टा दुई सफ्टवेयर-संचालित अप्टिमाइजेसनहरूमा निर्भर गर्दछ।
TurboSparse मोडेल संरचना परिवर्तन नगरी अनुमान लागत घटाउन चयनात्मक न्यूरोन सक्रियतामा केन्द्रित छ।
कम पावरमा सर्भर-ग्रेड थ्रुपुटमा पहुँच गर्न समर्पित NPU सँग CPU लाई समन्वय गर्दै।
प्रणालीमा कुनै छुट्टै GPU समावेश छैन, कम्पनीको तर्क छ कि सावधान तालिकाले महँगो गतिवर्धकहरूको आवश्यकतालाई हटाउँछ।
यी दाबीहरूले संकेत गर्दछ कि दक्षता प्राप्ति, ब्रुट फोर्स हार्डवेयरको सट्टा, फरक एआईआईटीको रूपमा सेवा गर्दछ
विभिन्न स्थान। केन्द्रीकृत AI सेवाहरूलाई असर गर्ने दिगोपन, गोपनीयता र लागत दबाबको प्रतिक्रियाको रूपमा पकेट ल्याब।
ठूलो भाषा मोडेलहरू स्थानीय रूपमा आवर्ती क्लाउड खर्च घटाउन सक्छ र संवेदनशील डेटाको एक्सपोजर सीमित गर्न सक्छ।
यद्यपि, क्षमता, सर्भर-ग्रेडमा कठिन प्रदर्शनमा कठिनाइ र सर्भर-ग्रेडमा समस्या रहन्छ। स्वतन्त्र रूपमा पुष्टि गर्नुहोस्।
data-analytics-id=”inline-link” href=”https://news.google.com/publications/CAAqKAgKIiJDQklTRXdnTWFnOEtEWFJsWTJoeVlXUmhjaTVqYjIwb0FBUAE?hl=en-GB&gl=GB&ceid”%3_blank” target=”%_blank” data-url=”https://news.google.com/publications/CAAqKAgKIiJDQklTRXdnTWFnOEtEWFJsWTJoeVlXUmhjaTVqYjIwb0FBUAE?hl=en-GB&gl=GB&ceid=GB%3Aen” referrerferredownerno”-referredownerno” data-hl-processed=”none” data-mrf-recirculation=”inline-link”>Google समाचारमा TechRadar फलो गर्नुहोस् र हामीलाई रुचाइएको स्रोतको रूपमा थप्नुहोस्हाम्रो समाचार, फिडको समीक्षा र विज्ञहरू लिनुहोस्। फलो गर्ने बटनमा क्लिक गर्न नबिर्सनुहोस्!
र पक्कै पनि तपाईं पनि TikTok मा TechRadar फलो गर्नुहोस् समाचार, समीक्षा, भिडियो फारममा अनबक्सिङका लागि, र हामीबाट नियमित अपडेटहरू प्राप्त गर्नुहोस् WhatsApp पनि।