訓練需要一段時間內把很多張卡放在同一個叢集,並有高速互連。推論需要較少的卡長期運行,並且靠近使用者。
承諾越久,每小時價格越低。短期隨選比較貴,也要看當週有沒有空卡。
新加坡、日本、香港、台灣、馬來西亞是常見地點。資料落地要求和到使用者的延遲,決定哪裡適合你。
問清楚儲存、對外流量,以及是裸機還是虛擬化。這些會影響實際成本。
| 模式 | 彈性 | 適合 |
|---|---|---|
| 隨選 | 高 | 實驗、短期爆量 |
| 長租(以月計) | 低 | 正式推論、排定的訓練 |
| Spot / 可中斷 | 可能被回收 | 可容錯的批次任務 |
通常可以,要看現貨。請告訴我們租期,很短的租期比較難找。
H100 還是 H200?H200 單卡記憶體更大,適合更大的模型和批次。模型在 H100 上跑得動的話,H100 通常比較划算。
多快可以交付?看卡型、數量和地點。我們會先跟供應商確認現貨,再給日期。
怎麼拿報價?在下方填表,或 Telegram 私訊我們,附上卡型、張數、租期和地點。