Google 的开源模型 Gemma-3 的新 QAT (Quantization Aware Trained, 量化感知训练) 检查点量化版本放出了！

这个版本使用 Q4 量化并且能与之前 BF16 版本保持几乎一致的质量（我看到的是Q4量化比 bartowski 的Q5量化数据还好）

总之这个量化版本应该是目前最优的版本了, 有需要本地跑32B规模模型的同学可以试试

地址：huggingface.co/collections/google/gemma-3-qat-67ee61ccacbf2be4195c265b