Fiction-liveBench 进行了长上下文测试，QwQ-32B的表现比Gemma-3-27B 好很多。在60K的长上下文情况下都很能打。

目前对我来说 QwQ-32B 最大的不爽点就是每次都至少要思考10K+才会开始回答。感觉用起来略慢。不过我主要用在离线批量任务上了。倒也还好。

评测地址：fiction.live/stories/Fiction-liveBench-Mar-14-2025/oQdzQvKHw8JyXbN87/home

1
4
  • hqshi
    15 days ago

    在寻思本地部署个32b的qwq，但是v100 16g空间不够，4090也不想占用

  • YsHaNg
    11 days ago

    “离线批量任务”是怎么做？

    • karminski-牙医OPMA
      11 days ago

      写代码，用SDK或者curl调用llm。然后设置timeout，等到LLM出结果后处理后存储