训练需要一段时间内把很多张卡放在同一个丛集,并有高速互连。推论需要较少的卡长期运行,并且靠近使用者。
承诺越久,每小时价格越低。短期随选比较贵,也要看当周有没有空卡。
新加坡、日本、香港、台湾、马来西亚是常见地点。资料落地要求和到使用者的延迟,决定哪里适合你。
问清楚储存、对外流量,以及是裸机还是虚拟化。这些会影响实际成本。
| 模式 | 弹性 | 适合 |
|---|---|---|
| 随选 | 高 | 实验、短期爆量 |
| 长租(以月计) | 低 | 正式推论、排定的训练 |
| Spot / 可中断 | 可能被回收 | 可容错的批次任务 |
通常可以,要看现货。请告诉我们租期,很短的租期比较难找。
H100 还是 H200?H200 单卡内存更大,适合更大的模型和批次。模型在 H100 上跑得动的话,H100 通常比较划算。
多快可以交付?看卡型、数量和地点。我们会先跟供应商确认现货,再给日期。
怎么拿报价?在下方填表,或 Telegram 私信我们,附上卡型、张数、租期和地点。