AMD को Ryzen AI Halo भर्खरै $ 4,000 मा बिक्रीमा गयो, जसले रोचक Nvidia को थोरै मूल्यवान DGX स्पार्क अफरसँग कसरी तुलना गर्छ भन्ने बारे बहस।
राइजेन एआई हेलोले प्रस्ताव गरेको कन्फिगरेसन केही महिनादेखि बजारमा आएको छ, र धेरैजसो OEM र उद्यम प्रदायकहरूले उही स्वाद र कन्फिगरेसन प्रस्ताव गरिरहेका छन्, शेन्जेनले मेमोरीमा थप कदमहरू लिएको छ। id=”elk-seasonal”/>
भण्डारण विशालले Ryzen AI Halo को आफ्नै संस्करणमा चलिरहेको 397B-पैरामिटर AI मोडेलको स्थानीयकृत संस्करण प्रदर्शन गर्यो, जसमा उही 16-16GB RAM र y1395 RAM माक्स कन्फिगरेसन।
केवल 128GB RAM को साथ यति ठूलो मोडेल चलाउन सक्षम हुनुहुन्छ?
जब मोडल चलिरहेको छ स्पष्ट रूपमा भनिएको छैन, यो एक अनुकूलित संस्करण हो जस्तो देखिन्छ (Q1wA59B73) बाट व्युत्पन्न। मिक्स्चर-अफ-एक्सपर्ट्स (MoE) दृष्टिकोणको लाभ उठाउने मल्टिमोडल फाउन्डेशन मोडेल, जसले मौलिक DeepSeek लाई यस्तो शक्तिशाली चुनौती बनायो।
यसले INT4 क्वान्टाइजेसनको फाइदा उठाइरहेको भए पनि, मेमोरी आवश्यकताहरू उपलब्धता देखाउने यन्त्रले प्रस्ताव गरेको मेमोरीभन्दा धेरै छन्: केवल 96GB को GPU2GB कन्फिगरेसनमा उपलब्ध छ, VRAM को 81GB अनकन्फिफाइड। मोडेल चलाउनको लागि अनुमानित 200-250GB VRAM। आवश्यकताहरू पर्याप्त रूपमा।
विज्ञहरूलाई अफलोड गर्ने ठूलो, छिटो भण्डारण बफरमा सक्रिय रूपमा प्रयोग नगर्ने विज्ञहरूलाई समावेश गर्दछ जुन AI चिपले आवश्यक भएमा तिनीहरूलाई पुन: परिचय गराउन सक्छ। newsletter-inbodyContent-slice newsletterForm-articleInbodyContent-DikcuYaQVeAxxRtDQiBbsh स्लाइस-कन्टेनर-newsletterForm”>
यो ध्यान दिनु महत्त्वपूर्ण छ कि यो कदम आफैंमा एक प्रभावशाली उपलब्धि हो, Longsys ले कम्प्युट पावरमा विशिष्टता प्रदान गरेन जहाँ टोकनहरू प्रति सेकेन्ड एआईसँग तुलनात्मक रूपमा आधुनिक एआई सीमित छ। GPU प्रस्तावहरू। कुनै सानो उपलब्धि होइन। यसको मतलब यो हो कि पहिले डेटासेन्टरहरूमा सीमित गरिएका मोडेलहरू अब तपाईंको हातको हत्केलामा फिट हुने यन्त्रमा चलाउन सकिन्छ।
Google समाचारमा TechRadar फलो गर्नुहोस् र हामीलाई रुचाइएको स्रोतको रूपमा थप्नुहोस्हाम्रो राय, विज्ञहरूका समाचारहरू प्राप्त गर्नका लागि। फिडहरू।