摘要

上下文学习（ICL）使大语言模型（LLM）能够通过提示中的输入-输出示例执行任务，而无需更新模型参数。尽管广泛应用，但尚不清楚使用多个示例进行提示是否是传达任务信息的最有效方式。本文提出了一种任务嵌入软注入方法：任务嵌入仅需通过少量示例提示构建一次，并在推理时重复使用。该方法通过预优化的混合参数（称为软头选择参数）将任务嵌入与注意力头激活进行软混合，不仅无需提示演示即可执行任务，还在57个任务和12种LLM（涵盖4B至70B规模的模型族）上显著优于现有ICL方法，同时减少内存占用和计算成本。平均而言，该方法比10示例ICL性能提升10.2%-14.3%。分析还表明，该方法可揭示注意力头的任务相关角色，凸显其任务特异性。

核心贡献

  1. 软注入机制：将任务嵌入与注意力头激活混合，实现任务条件从提示空间到激活空间的转移。
    1. 效率优势：减少提示长度，降低推理时的显存和计算开销。
    1. 可解释性分析：通过软头选择参数定位任务相关的注意力头，发现相似任务间头位置可迁移，而差异任务则不可。

实验验证

  • 任务范围：涵盖57个多样化任务。
    • 模型覆盖：测试12种LLM，包括4B至70B参数规模的模型。
    • 性能提升：平均超越10示例ICL 10.2%-14.3%，部分任务提升达20%。

结论

该方法为减少提示依赖、提升任务性能提供了新范式，同时为理解注意力机制的任务相关性提供了工具。 更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）