1
message-square
0

1
message-square
0

1
message-square
0

大家都知道量化是有效减小模型大小的方法,代价是损失精度。那么既然模型参数也是数据,有没有压缩的方式可以无损的减少模型大小呢?来看新论文——DF11格式模型 (70%大小,100%准确率:通过动态长度浮点数实现高效 GPU 推理的无损LLM压缩)

简单来讲,论文中的压缩方法并不难,我们都知道现在模型大多是BF16,而BF16格式的bit格式如图1,可以看到指数位占了 8 bit,而本篇论文中则是创新性的提出了,这 8bit 的指数位其实有效数据很少,所以可以压缩。压缩方法也很简单,使用霍夫曼编码就行。

1
message-square
0

3
message-square
0

2
message-square
1

4
message-square
0

1
message-square
0

我给大家介绍过不少降低AI幻觉的框架和方法,但总之都是治标不治本。今天给大家介绍个另辟蹊径的框架 —— LettuceDetect

1
message-square
0

1
message-square
0

Google 刚刚悄悄上线了 Gemini-2.5-Flash-Preview-04-17

目前 Google AI Studio 仍然可以白嫖,每天可以免费用500次。并且支持使用API调用(同样免费,最大请求量10次每秒),几乎就是完全免费了。

kcores-llm-arena-2025-q2 正在搞了~ 敬请期待~

目前待测试列表: GLM-4 全家桶…

1
message-square
0

又一个重量级的系统提示词 repo 来了!system-prompts-and-models-of-ai-tools

这个repo 收集了 Cursor, Manus, Same.dev, Lovable, Devin AI, v0.dev 这些工具和AIAgent 平台的系统提示词。

比如下面的这个就是 cursor 的关于 tool_call 的 系统提示词:

您可以使用工具来解决编程任务。请遵循以下关于工具调用的规则:

  1. 始终严格按照指定的工具调用格式执行,并确保提供所有必要的参数。…

1
message-square
0

o3, o4-mini, o4-mini-high 评测来啦!

KCORES 大模型竞技场为大家带来昨晚发布的 OpenAI o3, o4-mini, o4-mini-high 大模型编程能力测试!

直接说结论:

OpenAI 可能要掉出第一梯队了…

2
message-square
1

o3 和 o4-mini 数学和编程能力得分看评分应该是头部水平的,有的项目要超过 gemini-2.5-pro (目前编程最强)

1
message-square
0

2
message-square
0

来啦!GPT-4.1 测评!

KCORES 大模型竞技场为大家带来 GPT-4.1 测评!直接说结论:

Gemini-2.5-Pro 仍然领先榜首 GPT-4.1 大概与 Qwen-2.5-Max 相当, 甚至在我的测试集里面是不如 OpenAI-O3-mini-high 和 OpenAI-o1 的 GPT-4.1-mini 则与老的 DeepSeek-V3 差不多, 或者说, 是一个价格便宜的 GPT-4.5 至于 GPT-4.1-nano, 甚至打不过文心一言, 就…别用了吧…

1
message-square
0

微软研究院整了个活,发布了个原生 1-bit 的大语言模型 —— bitnet-b1.58-2B-4T

有啥意义吗?有的,这个模型虽然将权重量化到超低精度(实际是1.58位,权重只有{-1, 0, +1}三个值),但它在性能上几乎能与其它2B参数规模的全精度模型相媲美。

与传统模型相比,这个1-bit模型带来了惊人的效率提升:

  • 内存占用只有0.4GB(其他同规模模型需要2-4.8GB)
  • CPU推理延迟只有29ms(其他模型为41-124ms)…

2
message-square
0

4
message-square
4

速报——智谱好像要发 GLM4

看上去模型大小分32B和9B,然后不同参数量大小还有衍生模型,比如 GLM-4-32B-0414 是基座模型,GLM-4-32B-Chat-0414 是 Chat 模型,GLM-Z1-32B-0414 是思考模型,GLM-4-Z1-Rumination-32B-0414 (Rumination 反刍/沉思?不知道是不是前几天那个沉思),GLM-4V-9B 视觉多模态。

1
message-square
0

卧槽, Flowith 增长真猛啊, 最近已经超过一百万美金 ARR (年度经常性收入) 了.

2
message-square
0