Qwen3 的开源版本马上就要发布啦,目前Qwen已经给transformer提PR了(为了支持新模型)
从代码上开,这次开源的有两个模型(图2,图3),分别是:
Qwen3-15B-A2B (这是个MoE,A2B的意思是激活参数是2B) Qwen3-8B-beta
从大小来看是很小的,量化版本单卡都能装下。期待最终效果。中模型竞技场到时候会为大家第一时间带来测试结果~
transformer PR地址:github.com/huggingface/transformers/pull/36878



1
William70048 days ago不确定后续是否有其它版本,如果只有这两个或者其它版本也比较小就说明qwen系列转向小参数量了,能逐步成为gemini2.0等低成本模型的开源替代。