alert('beep')toc/ask_anything•为啥open-webui 首字延迟特别大?2 months ago我怀疑你需要配置ollama的模型keeplive时间,默认是5分钟,如果模型不在显存里读取模型加载的时间是比较久的。
alert('beep')toc/homelab•[第一届晒机大赛] 创就完了4 months ago华为的鲲鹏920我也有,但是bios有问题,启动不了新版的ubuntu,楼主是怎么解决这个问题的,可以给点经验不?我打算把这台机器利用起来跑kvm,armserver虚拟化
我怀疑你需要配置ollama的模型keeplive时间,默认是5分钟,如果模型不在显存里读取模型加载的时间是比较久的。