2
message-square
1
  • William7004
    19 days ago

    感觉还是比较依赖cpu性能,并且30b版本显存足够,纯gpu推理应该更快 🤣 。主要还是希望能在主流配置上(8到12g显存,6到8核cpu带avx2)对30b版本有比较好的推理效果,这样就能做到接近32b版本的效果。