एआई ग्याजेट्स
एआई-सक्षम ग्याजेट्स र एक्सेसरीहरू
| फोटो | उत्पादन | मूल्य | क्षमता |
|---|
मोडेल क्षमता बुझ्दै
मोडेल क्षमताले एआई मोडेलमा भएको प्यारामिटरहरूको संख्यालाई जनाउँछ (जस्तै: ७०B = ७० अर्ब प्यारामिटरहरू)। ठूला मोडेलहरूले सामान्यतया बढी मेमोरी र कम्प्युटिंग शक्ति चाहिन्छ, तर उत्तर्का र आउटपुट गुणस्तरमा सुधार गर्न सक्छ।
शुद्धता (FP16 / FP8 / FP4) ले दिइएको मोडेल क्षमताले कति मेमोरी चाहिन्छ भन्नेमा असर गर्दछ: कम-शुद्धताको ढाँचाहरूले प्रत्येक चरणमा मेमोरी आवश्यकतालाई लगभग आधा गर्दछ (FP16 → FP8 → FP4), आउटपुट शुद्धताको केही मूल्यमा।
| मोडेल साइज | सामान्य मेमोरी (FP16) | सामान्य मेमोरी (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |