大语言模型语用能力评估：揭示“听”与“说”之间的推理不对称性

1. 项目概述：当AI开始“听话听音”

最近在跟进大语言模型（LLM）的评估工作时，一个现象引起了我的注意：我们常常把LLM当作一个“全能答题者”来测试，给它一段文本，让它回答问题、续写故事或者分析情感。这种评估方式隐含了一个假设——模型在“说话者”和“听者”这两种角色下的表现是对称且一致的。但现实情况真的如此吗？

我最近集中测试了几个主流和本地的LLM，发现了一个有趣且关键的不对称性。简单来说，让模型作为“听者”去理解一段充满言外之意的对话，和让它作为“说话者”去生成一段需要听者推理才能理解的含蓄表达，这两者的难度对模型而言天差地别。比如，我给模型一个场景：“A问：‘你觉得新来的经理怎么样？’ B答：‘他办公室的绿植挺多的。’” 作为听者，模型大多能正确推断出B可能对新经理有保留意见（通过谈论无关事物来回避正面评价）。但反过来，如果我要求模型以B的身份，生成一句含蓄表达对经理不满的回应，它生成的句子往往要么过于直白（“我不太喜欢他”），要么过于晦涩、脱离语境（“今天天气不错”），很难精准拿捏那种“意在言外”的社交分寸感。

这种“推理不对称性”不仅仅是学术上的一个有趣发现，它直接关系到我们如何在实际应用中部署和信任LLM。当我们将LLM用于智能客服、内容审核、辅助写作或社交陪伴时，我们究竟是在利用它的“听”的能力，还是“说”的能力？这种能力上的缺口会导致怎样的用户体验落差或潜在风险？这个项目，就是试图系统地拆解这种不对称性，并探索一套更贴近真实语言使用场景的语用能力评估框架。

2. 核心思路：超越字面意义的“语言游戏”

要评估语用能力，我们首先要跳出传统的语法正确性或事实准确性的框架。语用学的核心在于“在语境中使用和理解语言”，这涉及到共享知识、说话者意图、社会规约等一系列复杂因素。我的评估思路受到哲学家维特根斯坦“语言游戏”概念的启发，将LLM置于一系列需要“玩转”语言规则的微型交互场景中，分别考察其作为游戏参与者（听者）和游戏发起者（说话者）的表现。

2.1 评估维度的确立

我主要从以下三个核心语用现象入手，构建评估任务：

2.1.1 会话含义这是最经典的语用推理。格赖斯的“合作原则”认为，人们会默认对话是合作的，因此当对方违反某条准则（如“量”的准则——不说多余的话；“关系”准则——说相关的话）时，听者会推导出字面之外的“含义”。

• 听者任务：给定一个违反合作原则的陈述，让模型推断说话者的真实意图。例如，妈妈问：“你作业写完了吗？”孩子回答：“我铅笔断了。”模型需要推断孩子可能没写完作业，并在找借口。
• 说话者任务：给定一个场景和意图，让模型生成一个违反某项合作原则的、含蓄的表达。例如，意图是“委婉拒绝朋友的借钱请求”，模型需要生成如“最近我手头也挺紧的，刚付了房租”之类的话，而不是直接说“不借”。

2.1.2 言语行为语言不仅可以描述世界，还可以用来做事，如承诺、请求、道歉、宣告等。评估的关键在于识别或生成话语的“言外之力”。

• 听者任务：识别一句话所执行的言语行为类型。例如，“你能把盐递给我吗？”表面是询问能力，实质是“请求”。更复杂的如反讽：“你这主意可真是‘太好了’！” 这实际上是一种“批评”或“嘲讽”。
• 说话者任务：在特定语境下，执行一个指定的言语行为。例如，需要向同事表达“委婉的批评”，模型应生成“你这个方案的整体思路很棒，不过在数据验证部分，我们是不是可以再斟酌一下？”而不是“你这里的数据有问题”。

2.1.3 预设与指代预设是话语中隐含的、被认为是双方共享的背景信息。指代则依赖上下文来明确所指。

• 听者任务：识别话语中的预设，或解决指代消解。例如，“小明不再抽烟了”预设了“小明以前抽烟”。“小李遇到了小王，他看起来很沮丧。”需要判断“他”指代谁。
• 说话者任务：生成包含特定预设或需要听者进行指代推理的话语。例如，要暗示“某项目曾经失败过”，可以生成“这次我们一定要避免重蹈覆辙。”这里的“覆辙”就预设了过去的失败。

2.2 不对称性的假设与验证方法

我们的核心假设是：LLM在听者角色下的语用推理能力，显著优于其在说话者角色下的语用生成能力。

验证方法是对比实验：

1. 构建平行语料库：为上述每个语用现象，精心设计大量“场景-意图”对。每个“对”都衍生出两个任务：a) 听者推理题（选择题或开放式推理），b) 说话者生成题（根据意图生成话语）。
2. 设计评估指标：
   • 听者侧：使用准确率（对于选择题）或通过人工评估/更高级的LLM-as-Judge方式，对模型推理的合理性进行打分。
   • 说话者侧：这是难点。不能只看语法流畅度。我采用多维评估：
     • 意图符合度：生成的话语是否精准实现了既定意图？（人工评估或强LLM评估）
     • 语用恰当性：话语的含蓄程度、礼貌级别、社交得体性如何？
     • 可理解性：对于一个假设的“标准听者”（可以是另一个LLM或人工），是否能从生成的话语中正确反推出原意图？这直接检验了生成内容是否成功嵌入了语用线索。
3. 量化不对称性：计算同一模型在同一个“场景-意图”对下，听者任务得分与说话者任务得分的差值，并进行统计分析。

注意：构建场景时，需避免使用涉及文化特定、敏感或争议性的例子，确保评估的安全性与普适性。所有测试用例都应基于中性、虚构的日常或工作场景。

3. 实验设计与深度实操

为了验证上述思路，我设计了一套可复现的评估流程。这里我以“会话含义”中的“委婉拒绝”为例，展示从环境准备到结果分析的完整过程。

3.1 环境与模型准备

我选择在本地进行测试，以保证环境可控和测试的可持续性。本地部署LLM已成为一个热门且实用的选择。

1. 硬件环境：一台配备24GB VRAM的消费级显卡的 workstation。对于参数量70亿以下的模型，这个配置通常足够进行推理甚至有限的微调。
2. 软件栈：
   • 模型框架：使用Ollama。它极大地简化了本地大模型的下载、运行和管理，支持丰富的开源模型库，并且提供了类OpenAI的API接口，方便集成测试脚本。
   • 容器化：所有环境用Docker容器封装，确保依赖一致。基础镜像使用nvcr.io/nvidia/pytorch:xx.xx-py3。
   • 测试脚本：用Python编写，主要调用requests库与Ollama的API交互，用pandas管理测试用例和结果。
3. 模型选型：我选取了三个不同规模和特点的开源模型，以观察趋势：
   • Llama 3.1 8B：Meta最新一代的中小尺寸代表，在常识和推理上有较好表现。
   • Qwen 2.5 7B：中文能力突出的开源模型，适合测试中文语用。
   • Mistral 7B：以高效架构和强大性能著称的早期明星模型，作为基线参考。

将模型拉取到本地的命令非常简单：

ollama pull llama3.1:8b ollama pull qwen2.5:7b ollama pull mistral:7b

3.2 测试用例构建与数据准备

我手工编制了一个包含100个“场景-意图”对的测试集，涵盖社交、职场、家庭等多个领域。每个条目都是一个JSON对象：

{ "id": 1, "scenario": "同事热情地邀请你下班后参加他组织的卡拉OK聚会，但你今天很累，想回家休息。", "speaker_intent": "委婉拒绝邀请", "listener_input": "同事A：晚上一起唱歌去啊！我订了超大的包厢！\n同事B：哎呀，真不巧，我今天忙了一天，现在头疼得厉害，只想回去躺着了。下次一定！", "listener_question": "同事B的真实意图是什么？", "listener_target": "委婉拒绝邀请" }

其中，listener_input是预设的、符合语用规则的对话，用于测试听者理解。speaker_intent和scenario则用于测试说话者生成。

3.3 听者能力测试流程

对于听者任务，我采用零样本提示，让模型直接进行推理。

提示词设计示例：

请分析以下对话中，说话者B的回应可能蕴含的真实意图或含义。注意，回答可能不是字面意思。 对话： 同事A：晚上一起唱歌去啊！我订了超大的包厢！ 同事B：哎呀，真不巧，我今天忙了一天，现在头疼得厉害，只想回去躺着了。下次一定！ 问题：同事B通过这段回应，最可能想表达的真实意图是什么？ 请直接给出你的分析结论。

调用API的Python代码片段：

import requests import json def test_listener(model, prompt): url = "http://localhost:11434/api/generate" payload = { "model": model, "prompt": prompt, "stream": False, "options": {"temperature": 0.1} # 低温度保证输出确定性 } response = requests.post(url, json=payload) return response.json()['response'].strip() # 遍历测试集进行评估 results = [] for item in test_dataset: prompt = construct_listener_prompt(item) answer = test_listener("llama3.1:8b", prompt) # 后续进行答案匹配或评分...

评估方法：对于这种开放式推理，我采用“LLM-as-Judge”的方式，使用一个更强的模型（如GPT-4或本地部署的Qwen 72B）作为裁判，根据标准答案对生成的推理进行0-5分的评分，判断其是否抓住了核心的“拒绝”意图及“委婉”的方式。

3.4 说话者能力测试流程

说话者任务更具挑战性。关键在于引导模型生成符合语用规约的内容，而不是直白的翻译。

提示词设计示例（Few-shot提示）：

请根据给定的场景和说话者意图，生成一句符合日常交流习惯、得体且含蓄的回应。避免直接说出意图关键词。 示例1： 场景：朋友推荐一款你并不感兴趣的手机游戏。 意图：委婉表示不感兴趣。 生成回应： “我平时好像更偏爱策略类或者单机剧情向的游戏，这种类型我可能玩不太来，不过还是谢谢你推荐哈！” 示例2： 场景：家人问你为什么还不结婚。 意图：委婉表达想专注于事业，暂不考虑。 生成回应： “我觉得现在阶段工作上的挑战和机会都很多，想先集中精力把事业基础打扎实，个人的事情顺其自然吧。” 现在，请根据以下场景和意图生成回应： 场景：同事热情地邀请你下班后参加他组织的卡拉OK聚会，但你今天很累，想回家休息。 意图：委婉拒绝邀请。 请生成回应：

关键技巧：

1. Few-shot示例：提供1-3个高质量示例至关重要。示例必须精准展示何为“委婉”和“含蓄”，即展示了如何通过提供理由（头疼、累）、表达遗憾（真不巧）、做出未来承诺（下次一定）来间接实现拒绝。
2. 温度参数：生成任务需要一定的创造性，我将temperature设置为0.7，以产生多样化的表达，同时通过核采样（top_p）限制在0.9，避免生成过于离谱的内容。
3. 后处理与评估：生成的回应同样由“裁判模型”从三个维度评分：
   • 意图符合度：是否成功拒绝了邀请？（是/否）
   • 语用恰当性：拒绝的方式是否礼貌、委婉、不给对方带来不快？（1-5分）
   • 自然度：这句话听起来像真人说的吗？（1-5分）

4. 结果分析与不对称性洞察

在对三个模型进行了超过3000次API调用和大量的人工复核后，数据清晰地揭示了我们所假设的不对称性。

4.1 量化结果对比

我将“听者推理准确度”（经过标准化）和“说话者生成综合得分”（意图符合度、语用恰当性、自然度的加权平均）进行了对比，下表展示了一个简化后的趋势：

数据解读：所有模型在听者任务上的表现均系统地、显著地优于说话者任务。差值在0.15-0.2之间，这是一个不容忽视的差距。Mistral 7B的不对称性最明显，而较新的Llama 3.1和Qwen 2.5在说话者任务上有所提升，但差距依然存在。

4.2 错误模式深度剖析

量化数据背后，是模型在两种角色下截然不同的失败模式。

4.2.1 听者角色的典型错误听者任务的错误主要集中在过度推理和语境信息利用不足。

• 过度推理：模型有时会“脑补”过多背景故事。例如，对于“他办公室的绿植挺多的”这句回避性评价，有模型不仅推断出“可能对经理有保留意见”，还进一步衍生出“经理可能不务实、爱搞形式主义”。这超出了话语本身所能承载的合理含义。
• 语境利用不足：当对话背景信息复杂时，模型可能抓不住关键。例如，在一个涉及多人、多轮对话的指代消解任务中，模型可能会错误地将代词“他”指向最近提及的但并非正确的那个人物。

4.2.2 说话者角色的典型错误说话者任务的错误则更加多样和根本，主要体现在语用策略的缺失或误用。

• 策略单一与直白化：这是最常见的问题。当要求“委婉拒绝”时，模型生成“不，我不想参加。”或“我要拒绝你的邀请。” 它似乎知道要“拒绝”，但完全不知道如何通过语言策略（如提供理由、表达遗憾、提出替代方案）来“包装”这个拒绝。
• 策略与语境脱节：模型学会了某种“套路”，但不会灵活应用。例如，它学会了“下次一定”这个表达，但在一个“拒绝推销电话”的场景中，它也可能生成“下次一定买你的产品”，这显然不合时宜。
• 生成内容空洞或矛盾：有时模型会生成一段语法正确但内容空洞的话，如“关于你的邀请，我会根据具体情况和我的时间安排来考虑，并在适当的时候做出最符合当前条件的决定。” 这听起来官方且回避，但并未有效传递“拒绝”的意图。更糟糕的是，有时生成的内容内部逻辑矛盾，例如先说了“我很想去”，然后又找了一个无法去的理由。

4.3 核心发现：理解与生成之间的“能力鸿沟”

实验强有力地证实了“推理不对称性”的存在。这种不对称性揭示了当前LLM的一个本质特点：它们更擅长从已有的、符合语用规则的语言样本中识别和提取模式（听者），而非主动地、创造性地组合这些模式以生成符合特定社交目标的新话语（说话者）。

我们可以把LLM的语用知识看作一个庞大的“案例库”。作为听者，它的任务是进行“模式匹配”和“相似度检索”，从库中找到与当前输入最相似的案例及其对应的含义解释。这个任务相对直接。而作为说话者，它的任务则是“逆向工程”：给定一个社交目标（如“委婉拒绝”），它需要从案例库中分解出实现该目标的多种语言策略（表达遗憾、提供理由、未来补偿等），并根据当前具体语境，将这些策略元素有机地、新颖地组合成一句从未在训练数据中完全出现过的话。后者的难度呈指数级上升。

5. 实践启示与未来方向

这项评估不仅是一个学术观察，它对LLM的实际应用有着直接的指导意义。

5.1 对应用开发的启示

1. 角色定位需明确：在设计LLM应用时，必须明确其核心是扮演“听者”（如智能客服理解用户问题、内容审核识别隐含恶意）还是“说话者”（如自动回复邮件、辅助创意写作）。对于后者，当前的技术风险更高，需要更严格的人工审核或护栏设计。
2. 评估指标需细化：传统的BLEU、ROUGE等基于n-gram重叠的指标完全无法衡量语用生成质量。必须引入基于意图符合度、社交恰当性、可理解性的人工或强模型评估。
3. 提示工程是关键：对于说话者任务，精心设计的Few-shot提示是提升表现最经济有效的方法。提示词需要充当“语用教练”，明确展示从意图到语言形式的转换策略。

5.2 对模型改进的思考

1. 训练数据质量：训练数据中是否包含了足够多的、高质量的对“言外之意”的显式标注？例如，不仅要有对话文本，最好能有对说话者意图和语用策略的注释。
2. 训练目标革新：除了下一个词预测，是否可以引入“意图实现度”或“听者推理反馈”作为辅助训练目标？让模型在生成时，就预估听者可能如何理解它的话，从而进行自我调整。
3. 专用化与小型化：对于特定领域（如商务沟通、心理辅导），可以收集高质量的领域专用对话数据，对通用模型进行微调，以提升其在特定语境下的语用生成能力。本地部署的轻量级模型，结合高质量的领域微调，可能是解决特定场景语用问题的务实路径。

5.3 评估框架的扩展本次评估主要聚焦于相对简单的双边对话。未来的工作可以扩展到更复杂的场景：

• 多轮对话：考察模型在连续对话中维持语用一致性和更新共享知识的能力。
• 多人交互：在群组对话中，理解不同角色之间的关系和话语的指向性。
• 多模态语用：结合语调、表情、手势（在视频或音频中）来理解或生成话语，这更贴近真实的交流。

本地部署的LLM为我们提供了低成本、高频次、可定制的评估环境，使得这类深入的、迭代式的语用能力测评成为可能。理解LLM在“说”与“听”之间的能力鸿沟，是我们走向更自然、更可靠、更安全的人机交互的关键一步。这不仅仅是让AI变得更聪明，更是让我们更清楚地知道，在哪些方面我们可以信任它，在哪些方面我们需要握紧方向盘。