HuggingFace 上了一个新功能,只要之前在 “个人设置->本地APP和硬件” 中添加了硬件。就能在新模型的模型卡下面看到自己的硬件能不能运行这个模型。特别方便。

图1是我的M2Ultra 128G,可以看到能运行这个模型的各种量化版本。图2则是我的3080Ti,可以看到哪个都不能运行哈哈哈哈。

1
message-square
1
  • William7004
    1 day ago

    llm用iq4_xs等较小的q4量化,显存为参数量一半多1到2g就行。绘画模型和视频模型相对难计算。