cake
Cake day: November 29th, 2024Joined 3 months ago







  • 我是通过ollama run deepseek-r1:32b 直接部署的,什么量化没注意,可能是int4吧,在cmd直接输入问题倒是没啥首字延迟的,token的生成速度也没啥问题的,通过verbose来看有大概20tokens/s, 符合2080ti 22g 的速度,任务管理器显示显存占用也才19.几G。


不懂就问,本地2080ti 22g,ollama 部署了32B的deepseek-r1,通过open-webui 每次提问首字延迟都是几十秒这种级别的,换chatbox只有第一次比较大,第二次及以后好点,是因为docker的性能限制么?

1
message-square
6



  • 我就分享一下我的经历,不一定能解决你的问题。我的NAS是dell optiplex 5060, 原装电源是260W。我买了个PLX8748转8盘的扩展卡,实测盘上插5个M2的时候通电自检就会卡住,表现为CPU风扇转-停-转-停,扩展卡的灯一直在闪,感觉应该是供电不足导致一直在重启-断电。由于dell 电源接口非标,买了个转接线用手上500W的电源就能正常过通电自检。也就是说品牌机原装电源甚至PCIE供电连75W都没给够。 用PLX8749转4个8654-8i 的那种转接卡就没事,M2 硬盘通过硬盘笼用SATA供电线转接,这样就能正常使用。




Karma

  • 1 Post
  • 12 Comments

Homelab

  • coming soon

Trophy Case