摘要

预训练语言模型(PLMs)在各种NLP任务中表现出色，但传统微调方法存在高计算成本问题。提示调优作为高效替代方案，仅需在输入序列前添加少量可训练参数，同时冻结PLM参数。然而固定提示会降低模型灵活性。联邦学习(FL)技术虽能解决数据隐私问题，但仍面临客户端通信与计算资源限制的挑战。

方法创新

提出联邦动态提示生成器(FedDPG)，核心创新包括：

  1. 动态提示生成网络：根据输入内容生成上下文感知提示
    1. 联邦优化框架：在保护数据隐私前提下实现参数高效更新
    1. 双阶段训练机制：
    • 本地阶段：客户端训练提示生成器
    • 聚合阶段：服务器整合全局模型

实验结果

在三个NLP基准数据集上的测试表明：

  • 全局模型性能超越当前最先进的参数高效微调方法
    • 计算时间减少42%
    • 联邦网络传输参数量降低37%
    • 在AGNews、Yelp评论和IMDB数据集上分别取得2.1%、3.4%和2.8%的准确率提升

技术贡献

  1. 首次将动态提示生成引入联邦学习场景
    1. 设计轻量级提示生成器网络（仅含0.3M参数）
    1. 提出差分隐私保护下的梯度聚合方案
    1. 实现客户端计算负载均衡算法

应用价值

该技术特别适用于：

  • 医疗健康领域的跨机构NLP协作
    • 金融行业合规文本分析
    • 物联网设备上的实时语言处理
    • 资源受限边缘计算场景
  • 更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）