DeepSeek-R1 蒸馏模型可以在国产RISC-V CPU上运行了，刚刚工程师Felix Yan发了个推，成功在算能的SG2044上运行了ollama, 模型是DeepSeek-R1-DistillQwen-8B 速度大概是2.4token/s

（SG2044是去年1季度算能推出的64核RISC-V CPU，2.5GHz, 基于平头哥C920架构， 支持 8x LPDDR5x x32bit@9000 以及 PCI-e Gen5.0 x80，TDP120W）

地址：x.com/felixonmars/status/1888995860656402918

1
5
  • AlphaAreaA
    22 days ago

    llama.cpp（ollama）存在的意义就是让这些垃圾开发板都能蹭上LLM的热度

    最能体现cpp跨平台含金量的一集

  • xyz
    21 days ago

    不是全尺寸模型，效果差很多，没啥本地部署的意义

    • 电子烂人
      21 days ago

      不一样，现在你的电饭煲能写论文了（

    • karminski-牙医OPMA
      17 days ago

      龙芯从长期来看产品定位始终是最要命的问题