AI/LLM
Qwen3 刚刚在新出的 MEDIC-Benchmark 上的医疗问答排行榜上得了个第一和第二,另外前五名也都是Qwen和DeepSeek
排行榜地址:huggingface.co/spaces/m42-health/MEDIC-Benchmark

阿里的移动端多模态大模型APP(完全开源且使用移动端本地的模型哈)——MNN 又更新了!现在支持 Qwen-2.5-omni-3b 和 7b 了。
这个APP搭配多模态模型可以支持 文本到文本、图像到文本、音频到文本和文本到图像生成。并且速度也可以。想学习移动端大模型应用开发的可以参考试试
地址:github.com/alibaba/MNN/blob/master/apps/Android/MnnLlmChat/README.md

[https://zhuanlan.zhihu.com/p/1905008654861734139] (这是我在知乎发的帖子转载过来,所以格式和图片有所丢失)
为什么选择本地AI与Copilot?
数据隐私:所有数据处理都在本地进行,无需担心笔记内容上传云端。 离线使用:一旦设置完成,部分功能可在无网络环境下使用。…
来看新模型——INTELLECT-2
这个模型最大的特点是,他是使用全球社区免费的 GPU 训练的,而为了实现这一点,使用了 prime-rl 框架,这是个分布式强化学习框架,并且集成了魔改版 GRPO,用于改善训练稳定性。
不过,这个模型并不是从0训练的,而是基于QWQ-32B。而它的得分,跟QWQ-32B差不多…所以炼了个寂寞?可能 prime-rl 这个框架更有意义一些。
地址: huggingface.co/PrimeIntellect/INTELLECT-2 技术报告:storage.googleapis.com/public-technical-paper/INTELLECT_2_Technical_Report.pdf…

微软发了篇新论文 ARTIST (Agentic Reasoning and Tool Integration in Self-improving Transformers, 使用自主推理与工具的自改进 Transformer 框架)
我刚看完, 直接用大白话给大家总结下论文讲了啥
这个框架集成了外部工具调用和自主推理, 来提升效果. 并且推理可以多步骤. 得到结果后进行强化学习, 不断反刍, 最终效果提升高达 22%.

如果在苹果设备上用 MLX 量化模型的同学,务必试试新的 DWQ 量化。从数据上看 4bit-dwq 量化的困惑度甚至比老的 6bit 量化还低。
Qwen3-30B-A3B-4bit-DWQ 量化版本的MLX官方地址,17GB 内存就能跑:huggingface.co/mlx-community/Qwen3-30B-A3B-4bit-DWQ

HiDream i1 full在3070m上生成1920x1088分辨率的图片要12分钟,dev版本要3.5分钟,fast版本要2分钟,因结构表现下降不推荐使用。目前TeaCache还没有支持。
生成效果方面,HiDream i1 dev效果优于Flux.1 dev,但细节和光照表现还是明显低于HiDream i1 full,后者生成效果也接近比较优秀的闭源绘画模型。考虑后续有TeaCache支持的速度情况,个人还是偏向full版本。
HiDream i1发布有一段时间了,在这个适合测试是因为刚开始看到光照不如Pixelwave FLux.1 dev,但使用后者遇到细节问题,就决定尝试HiDream i1。个人认为综合光照表现,HiDream i1仍然是更好的选择。

最近使用AI辅助创建了两个项目,仍然使用Streamlit,功能比以前的项目复杂,算是实现了个人比较满意个人网站功能: https://github.com/Willian7004/new-blog https://github.com/Willian7004/media-blog 。
仓库内大部分程序是使用Deepseek R1编写的,在文件开头的多行注释记录了提示词。有几个程序试过用Qwen3 235b,但大部分程序还是Deepseek R1表现更好。不过虽然是比较简单的技术栈,部分程序也接近Deepseek R1的能力上限了,需要多次生成或人工修改才能完成。另外规划了一个GitHub Action,用于在每次更新时分别创建更新文件列表和更新文件全文的release,但没有实现预期功能,最终弃用了。
这两个项目改用markdown存储文本,后续也方便与GitHub Pages对接,但至少要等Deepseek R2推出才有希望正式转到web技术栈。
来个 Qwen3 愉快使用要规避的几个问题, 尤其是使用 Qwen3-30B-A3B 或者 Qwen3-32B :
1. 上下文避免触及到召回长度,尤其是快到 16K 就应该新开了,不然质量下降很快
2. 模型为了小又效果好,推理时长和 token 输出是要比其它模型高很多的。(想象一下神童小孩哥没学过高数,然后却能通过现有知识手撕吉米多维奇,那么他思考的时间肯定是要比同样的神人大学生要花时间的)。这个问题从 qwq 时代就存在。可以看我这个截图,运行同样数量的请求 qwq 消耗的 token 量是 claude-3.7-sonnet-thinking 的1.7倍。大部分都花在思考上了

大瓜:llama-4 用了 27 个模型刷榜 ChatBot Arena
来吃瓜昨天那个扒 ChatBot Arena 榜单造假的论文, 我看了一遍理了下,主要是这么几个地方。但在此之前,给不熟悉这个测试的同学说下他们是怎么测试的

小米 3小时前刚刚发布了四个模型!
MiMo-7B-Base 是基础模型 MiMo-7B-RL-Zero 是基于基础模型训练的 RL 模型 (强化学习) MiMo-7B-SFT 是基于基础模型训练的 SFT 模型 (监督式微调) MiMo-7B-RL 是基于 SFT 模型再 RL 的模型

Qwen3 的长上下文召回测试出了!
Fiction.Livebench 公布了最新的测试结果,Qwen3 整个系列在16K上下文时召回均能保持在60%以上(除了Qwen3-30B-A3B, 毕竟激活只有3B).
能得出的结论有:
如果运行30B大小的模型,那么还是优先选择 Qwen3-32B 而非 MoE 的Qwen3-30B-A3B。 …

看来好多人都在熬夜肝,KTransformer 支持运行 Qwen3 啦!
Xeon 铂金 4 代 + 4090 运行 Qwen3-235B-A22B 单个请求可以达到 13.8 token/s, 4个请求并行可以达到总计 24.4 token/s
地址:github.com/kvcache-ai/ktransformers/blob/main/doc/en/AMX.md

Qwen3 发布啦!
本次发布的模型包括:
MoE 模型 Qwen3-235B-A22B (MoE, 总大小235B, 激活参数22B, 上下文128K) Qwen3-30B-A3B (MoE, 总大小30B, 激活参数3B, 上下文128K) …

好家伙,模型还没发,推理引擎已经支持完毕了。mlx 最新版本已经全部支持即将发布的 Qwen3。
(mlx是Apple的大模型推理框架,可以在MacOS上运行大模型)
