chraav3 days ago
PP128估计内存带宽瓶颈了,双路弄个12通道估计能提升不少
mlx版本的Q4我试了一下基本不能用在openclaw里, 能力太差了. Q6 勉强可以. 不过mlx版本最大的问题还是prefill太慢了. 而且貌似是框架 mlx_vlm 的问题

PP128估计内存带宽瓶颈了,双路弄个12通道估计能提升不少
mlx版本的Q4我试了一下基本不能用在openclaw里, 能力太差了. Q6 勉强可以. 不过mlx版本最大的问题还是prefill太慢了. 而且貌似是框架 mlx_vlm 的问题