Deepseek本身从32B到671B都部署着玩了一遍，接下来准备再看看RAG了，站长的a small step to RAG已经看了，实操环节有什么demo推荐吗 😘

2
9
  • karminski-牙医MA
    2 months ago

    我的建议是就搜github上star最多的RAG部署就行。等磨练几个自己需要的场景后，就有个具体认知了，这时候应该就知道自己需要什么样的RAG了

    • yorktownOP
      2 months ago

      谢谢，我去看看~

  • Limitee
    2 months ago

    dify也挺好的 配合bgem3

  • William7004
    2 months ago

    考虑方便部署，创建知识库可以用anythingllm，只是为了方便在对话中引用可用用openwebui。

    • yorktownOP
      2 months ago

      谢谢，正好有openwebui的部署，这就去研究下

    • atlantis414
      2 months ago

      anythingllm 你们用下来效果好吗? 试下来答非所问或者就是问了很明显的答案但是就是答不出来.

      • William7004
        2 months ago

        可能要用支持多语言的嵌入模型，我目前还没有具体对比

      • yorktownOP
        1 month ago

        😢 一个月以后的回复：BGE-M3+QwQ32B，AnythingLLM感觉不太行：一个16K的文档，AnythingLLM能把他citation出来，但是就是找不到文档里面的详细答案，感觉像没把上下文丢给底座LLM一样。同样的配置在OpenWebUI里边就是又快又好