AI资讯文章2026-1-14告别RoPE？Transformer作者推DroPE：零样本扩展长文本新范式 | AI资讯深度解读Sakana AI新算法DroPE，Transformer作者团队革新大模型预训练，抛弃RoPE实现零样本长文本扩展，仅需1%预算即可校准，AGI与LLM技术迎来新突破。
.png?table=collection&id=cbe6506e-1263-8358-a4d7-07ce62fcbb3f&t=cbe6506e-1263-8358-a4d7-07ce62fcbb3f){kind=small}
告别RoPE？Transformer作者推DroPE：零样本扩展长文本新范式 | AI资讯
深度解读Sakana AI新算法DroPE，Transformer作者团队革新大模型预训练，抛弃RoPE实现零样本长文本扩展，仅需1%预算即可校准，AGI与LLM技术迎来新突破。