- एउटा विकासकर्तासँग Tiion-Style 9189-11f1-88fe-6fc6c510a9ff मोडेल छ। 9.88 टोकन प्रति सेकेन्डमा पाठ, पूर्ण रूपमा अफलाइन, $ 10 माइक्रोकन्ट्रोलरमा
- यो 512KB RAM को चिपमा भाषा मोडेल फिट गरेर यसको धेरै जसो फ्लैश भण्डारणमा छोडेर हासिल गरिएको थियो
- परियोजना GitHub मा MIT लाइसेन्स अन्तर्गत उपलब्ध छ। id=”elk-72fe7646-9189-11f1-9e34-e549cc2e5404″/>
एक विकासकर्ताले slv-Dev मा slv-parameter मोडेलको पाठ-पारा9 भाषामा जाँदैछ। ESP32-S3, सेन्सर नोडहरू र स्मार्ट प्लगहरूका लागि निर्मित माइक्रोकन्ट्रोलर, 9.88 टोकन प्रति सेकेन्डमा, चिप छोडेर केही पनि छैन। data-url=”https://github.com/slvDev/esp32-ai” referrerpolicy=”no-referrer-when-downgrade” data-hl-processed=”none” data-article-category=”pro” data-mrf-recirculation=”inline-link”>GitHub मा गएको थियो, GitHub मा गएको थियो, 2 जुलाईको अन्त्यमा IT लाइसेन्स 02 मा देखाइएको थियो स्ट्याक YouTube च्यानल, र त्यसपछि 3,600 भन्दा बढी ताराहरू सङ्कलन गरेको छ र अन्तर्निहित कोडको 470 फोर्कहरू छन्। data-render-type=”fte” data-skip=”dealsy” data-widget-type=”seasonal” class=”ecom-root”/>
दिईएको छ, जुन अन्तर्निहित मोडेलमा प्रशिक्षण दिइएको थियो। TinyStories डेटासेट Microsoft अनुसन्धान, मापन घटाउनु पर्यो।
class=”jwp-carousel-title-mobile”/>पछिल्लो भिडियोहरूTechRadar
शुद्धतामा हानि भए पनि अझै सक्षम LLMयहाँ संलग्न अंकगणित क्रूर रूपमा माफ गर्न योग्य छ; तौलहरूलाई सामान्यतया मेमोरीमा बस्नको लागि प्रति प्यारामिटर एक देखि चार बाइटहरू चाहिन्छ, त्यसैले 16-बिट परिशुद्धतामा 28.9 मिलियन प्यारामिटरहरूलाई अझै पनि लगभग 60 MB RAM चाहिन्छ। ESP32-S3 ले 512 KB SRAM र 8 MB PSRAM प्रदान गर्दछ जुन पहिलो नजरमा अपर्याप्त छ।
क्वान्टाइजेसनले अन्तरको पहिलो भाग बन्द गर्छ: तौललाई चार-बिट परिशुद्धतामा छोड्दा ७५% घटाउनको लागि थोरै शुद्धता ट्रेड हुन्छ, 60MB 19MB मा तल ल्याउँछ। data-component-name=”Recirculation:ArticleRiver” data-recirculation-type=”inline” data-mrf-recirculation=”Trending Bar” data-nosnippet=”” class=”clear-both pt-2 pb-0 mb-4″>
तपाईलाई मन पर्न सक्छ
दोस्रो चरण हो जहाँ परियोजनाले आफ्नो धेरैजसो ध्यान कमाउँछ: भाषा मोडेलका अधिकांश मापदण्डहरू इम्बेडिङ तालिकाहरूमा बस्छन् जुन मोडेलले विरुद्धमा गणना गर्नुको सट्टा पढ्छ, र तपाईंले मात्र पढेको कुरा कतै ढिलो रहन सक्छ।
LLM का सीमितताहरू छन्, यद्यपि: मोडेलले छोटो, प्रायः सुसंगत कथाहरू लेख्छ र प्रश्नहरूको जवाफ दिँदैन, निर्देशनहरू पालना गर्दैन, कोड लेख्छ, वा तथ्यहरू जान्दैन। विकासकर्ता भन्छन् कि सीमा मोडेलको सानो भागबाट उत्पन्न हुन्छ जसले तर्क (~ 4M प्यारामिटरहरू) प्रदर्शन गर्दछ र मेमोरी ट्रिकले यसको क्षमताहरू परिवर्तन गर्दैन। उसको भण्डारले दोस्रो मोडेल, बरिस्ता पनि पठाउँछ, जसले स्पष्ट रूपमा एस्प्रेसो प्रश्नहरूको मात्र जवाफ दिन्छ (पन अभिप्रेत)।
छोटोमा, दृष्टिकोणले साना मोडेलहरूलाई स्मार्ट बनाउँदैन, तर यसले उनीहरूलाई बोर्ड भित्र डाटालाई चिपहरूमा अफलोड गर्न अनुमति दिन्छ जुन तिनीहरूले पहिले चलाउन सकेनन्, यसलाई एक रोचक छनोट बनाउँदै, हालको सीमित प्रयोगमा यद्यपि id=”elk-72fe783a-9189-11f1-9c3d-bda03529f607″/>
Google समाचारमा TechRadar लाई फलो गर्नुहोस् र हाम्रो समाचारको रूपमा हामीलाई थप्नुहोस्