来看这个新技术 PTS (Pivotal Token Search, 关键token检索)

简单来讲, PTS的想法基于——大模型干活的时候不是所有输出的 token 都能成为决策点, 而是几个关键点 token 能决定大模型输出的东西对不对, 其它全是水词, 于是PTS方法提取这些 token, 形成 DPO（Direct Preference Optimization, 直接偏好优化）数据集. 数据集包含 “选择的 token” (增加成功率的 token), “拒绝的token” (降低成功率的 token)。然后进行针对性微调.

除了微调, PTS 方法还可以提取关键 token 的激活模式, 生成 steering vectors（引导向量）。然后在模型推理过程中引导，这样就不用微调了。（当然计算量会增加一些）

不过我咋感觉这个方法只是将一部分参数在向量空间的分布概率拉大？尤其是作者说是收到Phi4启发的。但Phi4的效果没啥惊艳的地方。那么这个方法真的有什么改进么？还是我理解的不太对？想听听有没有大佬的想法或者实践经验

repo地址：github.com/codelion/pts