EACL 2023：大语言模型时代的语言处理

会议背景

今年欧洲计算语言学协会会议（EACL）的主席是某中心Alexa AI机构的首席科学家Alessandro Moschitti。本次会议在该领域历史上处于一个特殊时期。Moschitti指出："随着大语言模型（LLMs）最近取得的显著成就，我们自然语言处理（NLP）中大多数被认为是AI核心的问题——例如句法分析、语义分析、共指消解或情感分析——基本上已经得到解决。你可以向chatGPT发送一些查询，它能非常好地检查一段文本的语法。"

技术挑战与研究重点

提示工程的兴起

然而，大多数研究人员通过应用程序编程接口与LLMs交互，无法访问模型的内部工作机制。这导致最近集中关注提示工程，即设计输入以引导LLMs产生期望的输出。

Moschitti表示："如果你想进行更基础的研究——产生不同的架构——而且你不与LLMs的所有者关联，就无法进行这类研究。或者，你仍然需要有一个较小的模型作为代理——顺便说一句，这或多或少是相同的架构，只是规模较小。"

传统模型与LLMs的关联

因此，EACL上的许多论文仍然关注前一代语言模型，如BERT、RoBERTa、Electra和T5。LLMs基于相同的架构，但参数数量多几个数量级，并在类似文本补全任务上训练，但使用更大的数据集。因此，涉及较小模型的实验结果通常对LLMs具有启示意义。

幻觉问题与解决方案

技术挑战

LLMs最常被报道的缺点是它们倾向于"幻觉"，即做出听起来合理但虚假的事实断言。Moschitti解释说，修复幻觉已经是一个活跃的研究领域，而且可能会越来越受欢迎。

技术方法

"你甚至会在EACL上看到几篇试图解决基于Transformer模型这一局限性的论文，"Moschitti说。"主要有两种方法。一种方法是训练模型然后分析输出，构建一些分类器来检测输出是否是幻觉。"

"另一种方法在技术上更清晰，是以减少幻觉的方式训练模型。以前，我们使用约束解码，意味着在解码输入时应用一些约束，使我们不会偏离输入太远。现在，一个普遍的话题是所谓的接地。接地意味着当我们向大语言模型提问时，如果不提供任何输入——此时模型从其参数记忆中创建——如果我们提供一些基础事实，模型可以基于这些基础事实生成。"

负责任AI研究

偏见检测与消除

Moschitti表示，与过去几年大多数AI相关会议一样，负责任AI也是EACL的一个重要话题。NLP模型中的某些偏见形式很容易衡量：例如，模型将特定性别（如女性）与特定职业（如护士）关联的情况。这些类型的偏见可以使用跨学科通用的机器学习技术来解决。

但其他类型的偏见更微妙，例如描述不同人口群体成员时语气的细微差异。根除这些类型的偏见需要NLP研究人员的特殊技能。

"这肯定是适合NLP社区的一个重要话题，因为这是一个风格问题，关于你如何表达事情，"Moschitti说。"所以涉及意义和语用学。"

程序性变革

道德关切导致了EACL最近的另一个转变——但这是一个程序性转变，而不是论文主题的转变。

"我们每年有三四个主要的NLP会议，"Moschitti说。"在EACL之前，我们有EMNLP（自然语言处理实证方法会议），他们开始了一个新趋势，要求每篇论文提交都有一个关于局限性的部分。它应该描述所提出解决方案的适用性背景。因为通常，人们倾向于写得好像他们的方法在任何地方都能提供改进。但通常，一个方法有局限性。可能是效率；可能是特定语言的适用性；可能是设置；或者可能需要特定资源。所以EMNLP开始添加这个局限性部分的想法，在我们的EACL论文中，我们也有这个要求。" 更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）