有传闻说 Intel Arc B580 要出 24GB 版本,如果带宽不变的话,理论上2卡就能跑 70b-4bit 大小的模型,理论输出值大概是19 token/s,4卡的话输出大概是 38 token/s

1
message-square
1