掌握从学术文献中提取核心思想、理解方法论,并进行批判性评估的能力
深入理解 STAR 架构的设计理念、核心组件和工作原理,建立系统化的论文阅读方法论。
系统揭示 LLM 在长上下文中的 U 形性能曲线——相关信息在开头/结尾时性能最高,在中间时显著下降。即使长上下文模型也无法幸免。对 RAG 的直接启示:重排序文档,把相关的放两端。
找到 Lost in the Middle 的根因(U 形注意力偏置),提出校准机制——用虚拟文档测量位置偏置并减去,得到纯相关性注意力。RAG 性能提升达 15 个百分点。核心洞见:模型能注意到中间信息,只是被位置偏置压制了。
找到对齐后 LLM 多样性下降(mode collapse)的数据层根因——偏好数据中的典型性偏置;提出无需训练的提示策略 Verbalized Sampling,让模型列出多个候选并给概率而非单一答案,创意写作多样性提升 1.6-2.1 倍。核心洞见:多样性从未丢失,只是被"封印",换种问法就能释放。