设备端语音处理技术解析

系统架构

设备端自动语音识别(ASR)模型接收语音信号后，输出按概率排序的识别假设集合。这些假设以格(lattice)结构表示——图中的边代表识别词汇及其转移概率。

相比云端ASR需要传输音频片段，设备端仅需向云端发送识别格，由强大的神经语言模型重新排序假设。识别格需在用户结束说话后才能发送，因为后续词汇可能显著改变假设概率。

端点检测模型(end-pointer)决定用户何时结束发言。设备端运行两种端点检测器：

  1. 快速推测型端点检测器（比最终检测器快200毫秒），可提前启动自然语言理解(NLU)等下游处理
    1. 高精度最终端点检测器，在快速检测器误判时发送修正指令

上下文感知机制

设备端ASR需支持动态上下文感知，例如：

  • 提升通讯录联系人名称的识别权重
    • 加强用户自定义设备名称的识别概率 采用基于多头注意力机制的上下文偏置技术，与ASR子网络联合训练：

模型训练创新

  1. 端到端RNN-T模型：直接映射语音到文本序列，显著减少内存占用
    1. 师生训练法：让小模型学习大模型输出模式
    1. 量化感知训练：训练时约束权重分布，实现8位量化存储
    1. 动态稀疏化：逐步将低权重归零，减少70%计算量
    1. 分支编码器：根据输入复杂度动态选择处理网络

硬件协同设计

专研神经边缘处理器支持：

  • 8位及以下量化运算加速
    • 零值计算自动跳过机制
    • 矩阵压缩存储格式解码电路

技术成效

  • 模型体积压缩至云端版1%
    • 用户感知延迟降低200ms
    • 带宽消耗减少90% 该技术已应用于车载等弱网环境，未来将拓展至多语言动态切换场景。 更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）