
运行,需要 500GB 的 HBM、700 到 800GB 的 DRAM,以及 5TB 的 SSD。这套配置可以跑到 1000 tokens 每秒的推理速度。至于这 1000 tokens/s 怎么分配,可以是 1000 个用户每人 1 token/s,也可以是 10 个用户每人 100 tokens/s,完全取决于应用场景。 &nbs
APTOPIX Mexico Music FestivalMexican singer Gloria Trevi performs at the Tecate Emblema music festival in Mexico City, Sunday, May 17, 2026. (AP Photo/Ginnette Riquelme)
当前文章:http://4tk93.ruocenshen.cn/t18xe/e56owfn.html
发布时间:00:00:00
新闻热点
新闻爆料
图片精选