有传闻说 Intel Arc B580 要出 24GB 版本,如果带宽不变的话,理论上2卡就能跑 70b-4bit 大小的模型,理论输出值大概是19 token/s,4卡的话输出大概是 38 token/s

1
chopin19983 months ago2080 Ti-22G 路过
有传闻说 Intel Arc B580 要出 24GB 版本,如果带宽不变的话,理论上2卡就能跑 70b-4bit 大小的模型,理论输出值大概是19 token/s,4卡的话输出大概是 38 token/s
2080 Ti-22G 路过