还记得NPU这个大号电阻丝吗？没错！现在它终于可以运行大模型了！

看到了一个新的开源项目可以在Apple Scilicon NPU （ANE）上运行大模型的项目 Anemll。

那么，代价是什么？答案是，运行1B大小的模型速度从 56token/s 下降到了45 token/s

当然，也不全是缺点，会更省电一些。

项目地址：github.com/Anemll/Anemll

3
5
  • naivekun
    16 days ago

    感觉desktop PC的NPU最大的应用场景还是DMA捞显存yolo锁头开挂。其他智障小助手真不如走云服务了

      • naivekun
        15 days ago

        FPS游戏和自动驾驶都是一回事，获取音视频输入，做出决策。所以自动驾驶都是锁“路”挂

    • AlphaAreaA
      15 days ago

      yolo锁头挂要效果好的话，是缩放到640x640输入还是需要做显示器原生分辨率输入？

      要是需要做4K原生输入的话，那确实挺需要NPU加速的（

  • William7004
    12 days ago

    感觉现在的集成npu大多是用于后台运行AI应用的，AI性能比不上GPU。