AI/LLM

c/ai_llm
1
4

省流：这两个模型写代码效果较差，文心 4.5 略强于文心 X1。

测试项目 文心4.5 文心X1
Ball Bouncing Inside Spinning Heptagon 23 51
Mandelbrot Set Meet LiBai 52 0
Mars Mission Animation 26 39
Solar System Animation 78 38
2
5

微软刚发了一篇论文 KBLaM，可以将外部知识引入大模型

（我简单读了一下应该就是把知识库扔进大模型里面了，不过它的存储是线性增长而非二次方增长，但我估计如果知识库足够大，还是会吃很多显存）

KBLaM 是一种将结构化知识库直接集成到预训练 LLM 中的方法，与传统 RAG 有很大不同：

知识表示方式：KBLaM 将知识三元组(实体-属性-值)转换为连续的键值向量对（使用预训练的句子编码器和轻量级线性适配器） …

2
0

Unsloth 现在支持微调 Gemma-3 了

他们与 Hugging Face 合作创建了一个免费的笔记本，使用 Gemma 3 和 GRPO 训练你自己的推理模型

地址：colab.research.google.com/github/unslothai/notebooks/blob/main/nb/HuggingFace Course-Gemma3_(1B)-GRPO.ipynb

另外团推提到：在旧 GPU 上，Gemma 3 的推理和训练都不支持 float16，这个问题影响了所有框架，包括Unsloth、transformers、vLLM 等，如果使用 float16，Gemma 3 会无限激活，因为 float16 的最大范围是 65504，而 Gemma 3 的值达到 800,000 或更大。Llama 3.1 8B 的最大激活值大约是 324。 …

1
0

NVIDIA 刚发布了一个 Llama-3.3-Nemotron-Super-49B-v1 模型。

这是一个基于llama-3.3的推理模型，这个模型是通过他们整理的蒸馏数据 (来自这些模型： Llama-3.3-70B-Instruct, DeepSeek-R1, Qwen-2.5-Math-7B-Instruct, Qwen-2.5-Coder-32B-Instruct 等等）

另外强调了这个模型适用于RAG，并且可以商用。（以下分数均开启推理模式）AIME25 分数大概是 58.4 (QwQ-32B 是60)，GPQA66.67 (QwQ-32B 是 65.2)，看测评跟QwQ-32B不相上下。

总之我已经在做中模型竞技场了。各位可以等一个中模型水平横评。 …

1
1
1
0
1
0
4
0
3
1

草，我刚看到了Gemini-2.0-Flash-Image-Generation 的最佳使用场景，真的心动了。

用 RPG Maker 的 tile set 来制作地图！我生成了几张大家看看效果。真的很好玩！

…

7
4
1
0
3
0

上周 HuggingFace 上最受关注的模型前10：

  • sesame/csm-1b : 语音合成模型, 1B参数
  • google/gemma-3-27b-it : 多模态模型, 27B参数
  • Qwen/QwQ-32B : 具有推理能力的文本生成模型, 32B参数
  • deepseek-ai/DeepSeek-R1 : 具有推理能力的文本生成模型, 685B参数
  • RekaAI/reka-flash-3 : 具有推理能力的文本生成模型, 20.9B参数
  • SparkAudio/Spark-TTS-0.5B : 语音合成模型, 0.5B参数…

2
0
2
0

Fiction-liveBench 进行了长上下文测试，QwQ-32B的表现比Gemma-3-27B 好很多。在60K的长上下文情况下都很能打。

目前对我来说 QwQ-32B 最大的不爽点就是每次都至少要思考10K+才会开始回答。感觉用起来略慢。不过我主要用在离线批量任务上了。倒也还好。

评测地址：fiction.live/stories/Fiction-liveBench-Mar-14-2025/oQdzQvKHw8JyXbN87/home

…

1
2
1
0

Gemini-2.0-Flash (Image Generation) 的另一个妙用——去除水印或者文本

效果如图。

…

2
1
1
0

使用如下提示词(第一版)可以让claude3.7自己思考起来：

<identity>
You are an AI assistant focused on providing comprehensive, well-reasoned responses. You must think step-by-step before providing any answers.
</identity>
<context>
Your task is to break down complex problems and show your complete thinking process before giving any answers.
</context>
<instructions>
For every response you must:
1. First think through the problem step-by-step in <thinking> tags
2. Then provide your final answer in <answer> tags
</instructions>
<format>
<thinking>
[Show your step-by-step reasoning process:
1. What is the core question/problem?
2. What key components need to be analyzed?
3. What approach will you take?
4. What potential challenges exist?
5. How will you structure your response?]
</thinking>
<answer>
[Provide your final, complete response based on your thinking]
</answer>
</format>

经测试，官网的和cursor的claude3.7不降智时均可以稳定触发，思考效果还不太稳定。

linuxdo上的一位老哥发现的，原帖

1
0
1
0