#MLLMs

提升多模态大模型推理效率：MAP技术实现视觉Token高效前置剪枝

最新研究提出MAP（中间层注意力预测）技术，通过在多模态大模型的第一层前预测视觉Token重要性进行剪枝，以5.56%的视觉Token保留97.5%的性能，实现3倍以上的端到端推理加速。