联邦学习系统概述

联邦学习(FL)框架允许多个边缘设备（如智能终端）在数据本地保存的前提下协作训练全局模型。标准FL系统包含云服务器和多个客户端设备，每个设备持有本地数据和机器学习模型副本。每轮FL训练包含三个阶段：

  1. 云服务器向客户端分发当前全局模型
    1. 客户端使用本地数据训练模型并回传
    1. 服务器聚合本地模型更新全局模型

数据异构性挑战

实际应用中，不同客户端的本地数据往往呈现异构分布。在NeurIPS 2022会议上发表的研究中，提出通过量化两种新型异构性指标来优化训练：

  1. 客户端内不确定性：表征单个客户端模型随时间的变化差异
    1. 客户端间不确定性：反映同一时段不同用户模型间的差异程度

Self-FL创新框架

基于贝叶斯层次模型理论分析，提出自适应训练方法：

  • 动态本地配置：根据不确定性值调整三个关键参数
    • 本地初始化模型选择
    • 学习率设置
    • 早停规则阈值
    • 智能聚合规则：突破传统按数据量加权的聚合方式，采用基于不确定性的自适应权重分配

实验结果

在包含图像和音频的7个数据集测试中，相比7种现有FL算法：

  • 全局模型准确率最高提升12.7%
    • 个性化本地模型平均精度改善15.3%
    • 训练效率提升约20% 该方法已应用于某机构的边缘计算平台，显著提升了智能终端对用户个性化需求的响应能力。 更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）