जीबी10 सुपरचिप सिस्टम्स
एनव्हीडिया जीबी10 ग्रेस ब्लॅकवेल सुपरचिपवर आधारित सिस्टम्स.
| फोटो | उत्पादन | किंमत | क्षमता |
|---|
मॉडेल क्षमतेचे आकलन
मॉडेल क्षमता एखाद्या AI मॉडेलमधील पॅरामीटर्सच्या संख्येचा संदर्भ देते (उदा. 70B = 70 अब्ज पॅरामीटर्स). मोठ्या मॉडेल्सना सामान्यत: अधिक मेमरी आणि कॉम्प्युटिंग पॉवरची आवश्यकता असते, परंतु ते सुधारित तर्कशक्ती आणि आउटपुट क्वालिटी देऊ शकतात.
प्रेसिजन (FP16 / FP8 / FP4) हे दिलेल्या मॉडेल क्षमतेसाठी किती मेमरी आवश्यक आहे यावर परिणाम करते: कमी प्रेसिजनचे फॉरमॅट प्रत्येक पायरीवर मेमरीची आवश्यकता अंदाजे निम्मी करतात (FP16 → FP8 → FP4), आउटपुट प्रेसिजनमध्ये काहीशा तोट्यासह.
| मॉडेल आकार | ठराविक मेमरी (FP16) | ठराविक मेमरी (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |