Apple 平台的视觉推理框架 MLX-VLM 现在支持微调了!
这个发twi的是 mlx 核心贡献者之一。显示正在微调 Qwen2-VL-2B-Instruct。

千问3小时前发布了 QVQ-Max,一个图片/视频推理模型。
我测试了图片推理(吃惊的仓鼠),见图2。以及视频推理(win98屏保),见图3

HuggingFace 课程又又又更新了,这次是教你如何做一个推理大模型,使用之前复刻 DeeoSeek-R1 的开源项目 Open-R1
地址:huggingface.co/reasoning-course

更多的NVIDIA DGX Station GB300的图(图片来自STH)。
几个细节,图1,注意新的内存封装和安装方式,图2,ConnectX-8 800GB ,图3,可插拔BMC

在另外一个博主 cpldcpu 的 python 光线追踪渲染测试中,DeepSeek-V3-0324 的水平追上了 claude-3.7-sonnet
测试地址:github.com/cpldcpu/llmbenchmark/blob/master/raytracer/Readme.md

Gemini Code 支持Gemini-2.5-Pro 了! 这是个 VSCode插件,直接装了就能用!
地址:marketplace.visualstudio.com/items?itemName=robertpiosik.gemini-coder

Gemini-2.5-Pro 这是获得了天顶星科技么?
来自 fiction.live 的大模型长文本理解(召回)测试,Gemini-2.5-Pro 竟然在120K上下文长度有 90.6% 的召回率, 这意味着你让AI在开篇埋个伏笔, 然后AI写了差不多10万字以后,仍然能记起来用这个伏笔…妈耶
不过这个测试的波动特别大,可以看到16K左右跌到了66.7 %(当然这个数值也很猛了,一般高于60%就是极好的水平),但是32K又恢复到了86.1%。
另外刚更新的 DeepSeek-V3-0324 也很不错,虽然略低于 DeepSeek-R1, 但仍然是很可用的。 …

给大家带来全网最速 DeepSeek-V3-0324 写代码实测!
直接说结论—— 超越 DeepSeek-R1!甚至超越 Claude-3.7! 难以想象这还不是一个 Thinking 模型!
DeepSeek-V3-0324 目前以 328.3 分在 KCORES 大模型竞技场排名第三 (图1),仅次于 claude-3.7-sonnet-thinking 和 claude-3.5 (没错 claude-3.5 在我们的测试下比 claude-3.7 要好一些)。

DeepSeek-V3-0324-GGUF 量化版本来啦!
仍然是来自 Unsloth 团队,提供了Q2_K (大约244GB) - Q8_0(大约730GB) 总计7个量化版本。
地址:huggingface.co/unsloth/DeepSeek-V3-0324-GGUF

我的主力机是笔记本电脑,接触垃圾佬领域和Linux后为了尝试在低配设备运行Linux且考虑到宿舍的空间问题,设备选择上偏向瘦客户机或迷你主机。先后入手了j1800版本的升腾c92和一台使用j4125的迷你主机。
实测发现j1800适合轻量化桌面环境,网页性能较差,而j4125可以满足主流桌面环境和网页的性能需求,又考虑到缩略图生成速度的问题,经过几轮调整最终在j1800主机安装有较好的Xfce桌面外观的kail linux并作为客户机(使用xrdp),j4125主机安装linux mint作为局域网服务器提供远程桌面、文件服务器(sftp)、媒体服务器(docker版jellyfin)和其它网页服务(也使用docker)

实际上这些有完整 BIOS 的 x86 成品 NAS 都是完整的个人电脑,安装 x86 操作系统从原理到实践上都没有任何区别。写这个帖子主要是记录操作过程而不是作为教程。但如果看完帖子能给其他人启发那就更好了。
(不太确定发这个区是否合适,如果不对的话我会重新投稿的)
〇、起因
华芸 AS6602 是一台搭载了 J4125 处理器的双 2.5 盘位 + 双 M.2 盘位 + 双 2.5G 接口的品牌 NAS。具体的拆解过程与介绍可以看 KoolShare 论坛的文章:ASUS 华硕 AS6602T 双盘位双2.5G NAS 开箱拆解评测。 …
超分辨率模型 Thera 实测!
这个模型可以将模糊的图片变清晰,在我实测中,它对图片中的数字表现很不错,注意原图(图1) 牛耳标的编号, 图2,图3是两种超分辨率优化后的结果。

DeepSeek 3小时前刚刚更新了 DeepSeek-V3-0324 (685B). 目前还没上传模型卡。
而且deepseek官网貌似已经更新了(prompt提问 你的模型名称和版本是?,回答是知识截止日期为 2024年7月,之前的DeepSeek-V3 应该是2023年12月?)
总之我正在测试了!大模型竞技场稍后给出大家结果!
模型地址:huggingface.co/deepseek-ai/DeepSeek-V3-0324 …

2bit超低精度量化要进化了吗? Meta发了一篇论文:ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization
说重点,这个论文使用的ParetoQ量化方法,计算量会增加10%,但是效果相当好: LLama3-8B 全精度(FP?)得分为70%,而2bit量化得分在67%-68%之间。(仅损失3%)
(见图1,灰色圆点是全精度得分,粉色线三角形是量化得分, 粉色三角形在2bit量化全面领先其他量化方法)
当然论文中目前仅测试了最大为8B的模型,更大模型效果不得而知。但2bit量化无疑为移动设备和小型设备上实装本地大模型提供了更好的条件。 …
