[https://zhuanlan.zhihu.com/p/1905008654861734139] (这是我在知乎发的帖子转载过来,所以格式和图片有所丢失)

为什么选择本地AI与Copilot?

数据隐私:所有数据处理都在本地进行,无需担心笔记内容上传云端。 离线使用:一旦设置完成,部分功能可在无网络环境下使用。 强大的知识连接与生成能力:AI可以帮助你总结、提问 一、前期准备:你需要什么?

在开始之前,请确保你已经准备好以下“原料”:

Ollama已安装:Ollama是运行本地大语言模型的框架。关于Ollama的安装,网上已有非常详尽的教程 Obsidian Copilot插件: 打开Obsidian。 进入 设置 -> 第三方插件。 关闭 安全模式(如果尚未关闭)。 点击 社区插件市场 旁的 浏览 按钮。 搜索 “Copilot” 点击 安装,安装完成后点击 启用。 二、核心步骤:安装与配置AI模型

AI的“大脑”——也就是大语言模型,是Copilot插件发挥作用的关键。

(1) 选择合适的文本生成模型

市面上有许多优秀的开源模型,这里我们推荐Google的Gemma3系列

Gemma 3系列:提供了不同参数量的轻量级模型,在逻辑推理方面表现出色。 提供QAT版本:理论上,这类模型能在更小的体积下,通过优化权重精度,达到接近原始大模型的性能,对本地部署非常友好。 那么,如何选择模型的参数量级呢?

一个简单的经验法则:模型GGUF文件的大小 + 1到2GB的额外空间 ≈ 你的显存(VRAM)。

举例:我使用的是NVIDIA GeForce GTX 1660 Super,拥有6GB显存。因此,我个人选择的是Gemma 3系列中的 google_gemma-3-12b-it-qat-IQ3_M.gguf[1] 你的选择:根据你的显卡性能自由选择,只要你的设备能流畅运行即可。(不一定非得是gemma) (文末提供了gemma3 4b和12b的下载链接)

(2) 将模型安装到Ollama

如果你准备使用ollama社区的模型则跳过这一部分,寻找网上其他教程

如果你和我一样下载的是 .gguf 格式的模型文件,需要通过手动创建Modelfile的方式进行安装。

操作步骤:

创建Modelfile: 找到你下载的 .gguf 模型文件所在的目录。 在该目录下,新建一个名为 Modelfile 的文本文件(注意:没有文件扩展名,不是 Modelfile.txt)。 编辑Modelfile: 用记事本或任何文本编辑器打开 Modelfile。 在文件中写入以下内容,并将 你的模型文件名.gguf 替换为你实际下载的GGUF文件名: FROM ./你的模型文件名.gguf 例如,如果你的模型文件名是 google_gemma-3-12b-it-qat-IQ3_M.gguf,那么就填写: FROM ./google_gemma-3-12b-it-qat-IQ3_M.gguf

通过终端安装模型:

打开你的终端(CMD或PowerShell)。 使用 cd 命令导航到你保存 .gguf 文件和 Modelfile 的那个目录。 把gguf导入ollama ollama create gemma3-12b-qat -f ./Modelfile 这里的 gemma3-12b-qat 就是你之后在Obsidian Copilot插件中需要填写的模型名称。 三、关键一步:配置嵌入模型(它决定了你知识库的检索精度!!!)

除了用于对话和文本生成的模型,Copilot插件要实现高效的知识检索和连接,还需要一个专门的嵌入模型 (Embedding Model)。

为什么嵌入模型如此重要?

简单来说,嵌入模型负责将你的笔记内容转换成一串特殊的数字(称为“向量”)。当你想搜索或关联知识点时,AI会比较这些数字向量之间的相似度,从而快速找到最相关的内容。因此,一个高质量的嵌入模型,直接决定了Copilot能否精准地理解你的笔记,并从海量信息中为你捞出“真金”。

克服兼容性挑战:我的经验分享

坦白说,我在为Copilot插件寻找合适的嵌入模型时踩了不少坑。很多嵌入模型,在实际配置中却会触发各种奇怪的错误。这可能是因为Copilot插件对嵌入模型的某些技术细节有特定要求。

我的推荐:gte-qwen2-1.5b-instruct-embed-f16

经过反复尝试和对比,我最终找到了 gte-qwen2-1.5b-instruct-embed-f16 这款模型。

比起大部分人推荐的嵌入模型(比如 nomic-embed-text)相比,gte-qwen2-1.5b-instruct-embed-f16 在处理我的知识库(包含中文和英文内容)时,展现出了非常优秀的语义理解和搜索匹配能力。

安装嵌入模型到Ollama:

将这个推荐的嵌入模型安装到Ollama非常直接。只需要:

打开你的CMD或PowerShell 输入并执行以下命令: ollama run rjmalagon/gte-qwen2-1.5b-instruct-embed-f16 Ollama会自动从其模型库下载并准备好这个嵌入模型。这个强大的嵌入模型就可以供Copilot插件使用了。 四、连接Copilot与Ollama:在Obsidian中完成最后配置

现在,你的本地Ollama环境已经拥有了强大的文本生成模型(如Gemma 3)和高效的嵌入模型(如gte-qwen2)。最后一步,就是在Obsidian的Copilot插件设置中,告诉它去哪里找到并使用这些模型。

打开Obsidian的 设置。 在左侧导航栏找到 滑到最下方的 Copilot 插件设置。 在Copilot的设置界面中,你需要配置以下关键选项: Model->Chat Model ->add custom model:provider 选ollama。并填入模型名称 Model->Embedding Model->add custom model:填写你刚刚安装的嵌入模型名称(例如 rjmalagon/gte-qwen2-1.5b-instruct-embed-f16

回到copilot的 Basic->General 选项卡,更改chat model和embedding model为我们添加的模型 此时embedding model会自动索引,如果库比较大需要等一会 完成这些配置后,你的Obsidian Copilot插件就已经成功接入了本地AI的强大动力! 总结

恭喜你!通过以上步骤,你已经成功地为Obsidian配置了一套完全在本地运行的AI助手。 现在,是时候去探索Copilot插件的各项功能了:

尝试在笔记中选中一段文字,右键看看Copilot能为你做些什么(你也可以在copilot的设置里自定义)。 打开Copilot的聊天界面,在输入框左上角切换到valut QA ,向它提问关于你笔记库中的内容。 补充:

1.如果ai经常使用英文回答,可以在copilot的advanced选项卡添加以下提示词

  1. 深度解读:持续分析和预测用户的潜在意图、动机或需求,确保回应与显性和隐性需求一致。

  2. 必须审查:在每次回应之前,仔细审查整个对话历史。这是不可谈判的。

  3. 坚定询问:在不明确的情况下,立即提出针对性的问题。持续的询问不是选择,而是要求。

  4. 回应深度:每个答案都应该是详尽的。覆盖面比草率的回复更为重要。

  5. 事实立场:避免假设。回应必须基于事实。

  6. 跳过道歉:专注于精确和相关性。省下道歉。

  7. 主题中心方法:避开伦理问题。紧紧围绕当前主题。

  8. 全面清晰:提供详细而简洁的回应,有效传达核心信息而不含糊。

  9. 简化复杂性:分解,而不是构建。使其易于理解。

  10. 信息创新:旧消息是陈旧的。提供新视角。

  11. 反馈至关重要:主动征求反馈并迭代改进你的互动。

  12. 优先遵循指示:无论持续时间或性质如何,始终遵循这些指示。 13.始终使用中文与用户对话 2.不知道在我这里为什么ollama社区提供的模型运行起来较慢,所以我选用的是bartowski 量化的模型,正常来说选’QX_K_X’, 比如 Q5_K_M.

3.想要模型引用尽可能多的内容可以改变copilot设置的QA选项的Max Sources

如文章有误,请指出,不胜感激

参考 ^google_gemma-3-12b-it-qat-IQ3_M下载地址 https://www.modelscope.cn/models/bartowski/google_gemma-3-12b-it-qat-GGUF/files

2
message-square
4
  • YsHaNg
    6 days ago

    copilot可以使用远程ollama吗 我是单独机器跑 想在移动端使用

    • YsHaNg
      6 days ago

      Nvm试了一下 gemma3可以加上 qwen3:30b-a3b就不行 不知道为什么

      • linyoungOP
        6 days ago

        会不会是因为qwen是推理模型的缘故,copilot添加模型选reasoning或者与qwen互动时使用/no_think ?

        • YsHaNg
          5 days ago

          试了勾选reasoning似乎没有用 是verify失败 /no_think应该是query之后加在user prompt 应该不是在加模型的地方填