复旦RSR指标揭秘:为何「熟悉的陌生人」才是大模型的好老师
本文深入解读复旦大学提出的Rank-Surprisal Ratio (RSR)指标,揭示大模型推理蒸馏中的反直觉现象。研究证明兼顾信息量与对齐度的“熟悉的陌生人”数据才是最佳教材,为提升LLM推理能力提供了新思路。关键词:AI,LLM,大模型,RSR,推理蒸馏,复旦大学,人工智能
没有找到文章
复旦RSR指标揭秘:为何「熟悉的陌生人」才是大模型的好老师
本文深入解读复旦大学提出的Rank-Surprisal Ratio (RSR)指标,揭示大模型推理蒸馏中的反直觉现象。研究证明兼顾信息量与对齐度的“熟悉的陌生人”数据才是最佳教材,为提升LLM推理能力提供了新思路。关键词:AI,LLM,大模型,RSR,推理蒸馏,复旦大学,人工智能