我给大家介绍过不少降低AI幻觉的框架和方法,但总之都是治标不治本。今天给大家介绍个另辟蹊径的框架 —— LettuceDetect

这个框架可以标记由LLM生成的答案中的幻觉部分。并且无需调用大模型,因此运行速度更快,并且可以轻松集成到你的 RAG 中。
简单来说,这个框架做了这么几个事:
告诉你答案中哪些部分没有得到检索到的上下文支持(标红) 基于 ModernBERT 构建,可处理高达 4K 个令牌 在 RAGTruth 基准测试中达到 79.22% F1,与微调的LLMs 竞争力相当
我给大家做了个演示,问小小约翰可汗说的非洲三大暴君都是谁?他们互相见过面吗?效果见图2.
给我的感觉是,作为写文或者写报告的后置模型非常不错,以供快速人工审查。
地址:github.com/KRLabsOrg/LettuceDetect

0