语音理解评估概述
本文最后更新于 2026年10月14日 晚上
背景
近年来，语音人工智能经历了从传统信号处理方法到深度学习驱动的端到端模型的深刻变革。早期的语音系统（如基于 HMM-GMM 的 ASR 流水线）依赖手工特征工程和多模块级联，评测方式相对单一，主要围绕词错误率（WER）等指标展开。随着自监督预训练模型（如 wav2vec 2.0、HuBERT、WavLM）的兴起，语音表征学习取得了突破性进展，评测需求也随之扩展到说话人识别、情感分析、口语理解等多个下游任务。
进入大模型时代后，语音大模型（SpeechLLM）将语音感知能力与大语言模型的通用推理能力深度融合，催生了如 GPT-4o Audio、Qwen-Audio、SALMONN 等一系列具备多模态音频理解能力的系统。这类模型不再局限于单一的语音转文字任务，而是能够理解语义内容、副语言信息（情感、语速、口音）、环境声学特征乃至进行跨模态推理。
这一能力跃迁对评测体系提出了全新挑战：传统的单任务基准已无法全面衡量 SpeechLLM 的综合能力，业界亟需构建覆盖面更广、维度更丰富、更贴近真实应用场景的评测框架。
三阶段脉络
评测基准的演进对应地呈现出清晰的三阶段脉络：
- 第一阶段：单任务评测——针对 ASR、说话人验证、情感识别等独立任务设立专项基准，聚焦于特定能力维度的深度评估。
- 第二阶段：多任务评测——以 SUPERB、SLUE 为代表，通过统一框架整合多个语音任务，评估预训练模型的通用表征能力。
- 第三阶段：面向SpeechLLM的评测——面向语音大模型的综合评测，评测维度扩展至知识推理、指令遵循、对话交互、鲁棒性和安全性等高阶能力。
本文沿着这一演进路径，对各阶段的代表性评测基准进行系统梳理与深入分析。
发展时间线
下图展示了语音评测基准从单任务到多任务，再到面向SpeechLLM评测的整体演进轨迹：
单任务评测基准
单任务评测基准是语音技术评估的基石。每个基准聚焦于一种特定的语音处理能力，通过标准化的数据集和评测协议，为模型的单项性能提供精确度量。本节按任务类别进行梳理，涵盖自动语音识别（ASR）、语音翻译（AST）、说话人识别（Speaker）、情感识别（Emotion）和音频理解（Audio Understanding）等核心方向。
自动语音识别（ASR）
自动语音识别是语音技术中历史最悠久、研究最深入的方向，也是评测基准最为丰富的领域。从 1993 年发布的 TIMIT 到 2026 年的方言语音数据集，ASR 评测基准的发展清晰地反映了语音技术从实验室走向真实世界的历程。纵观二十余年的演进，可以归纳出以下四条核心趋势：
- 从朗读语音到口语化语音：早期数据集（如 TIMIT、LibriSpeech）以精心录制的朗读语音为主，近年来的基准（如 WenetSpeech、GigaSpeech）则大量采集网络音视频，涵盖了自发对话、会议讨论等多样化自然场景，更贴近真实使用环境。
- 从受控环境到复杂声学场景：数据采集环境从安静的录音棚拓展到了嘈杂的家庭、车载、会议室，甚至互联网音频，AIShell-5（车载多通道）和 AliMeeting（多方会议）等数据集正是这一趋势的典型代表。
- 从标准语音到方言口音：随着语音技术落地的深入，方言和口音的支持成为关键需求。Ke-Speech 覆盖 8 种次方言，WenetSpeech 系列陆续推出粤语（Yue）、四川话（Chuan）、吴语（Wu）等方言版本，标志着评测体系向语言多样性的纵深拓展。
- 从单语到多语言与混合语音：全球化应用催生了对多语言和代码切换（Code-Switching）能力的评估需求。CommonVoice 覆盖 289 种语言，SwitchLingua 则首次构建了涵盖 12 种语言和 63 个民族群体的大规模混合语音数据集。
中文语音数据集
| 数据集 | 年份 | 样本数 / 时长 | 简介 | 采集环境 | 数据链接 |
|---|---|---|---|---|---|
| HKUST | 2005 | - / 3.9h | 普通话电话语音语料库 | 电话语音（8KHz） | https://catalog.ldc.upenn.edu/LDC2005S15 |
| THCHS-30 | 2015 | 2496 / 6.24h | 开源中文语音语料库 | 安静室内 | https://www.openslr.org/18/ |
| AIShell-1 | 2017 | 7176 | 开源普通话录音数据集 | 安静室内 | https://www.aishelltech.com/kysjcp |
| AIShell-2 | 2018 | 15000 | 大规模普通话语音数据集 | 安静室内 | https://www.aishelltech.com/aishell_2018_eval |
| AISHELL-2019A-EVAL | 2019 | 11794×2 | 家庭环境近远场语音数据库 | 室内 | https://www.aishelltech.com/aishell_2019_eval |
| WenetSpeech-Net | 2021 | 24774 | 真实多场景语音 | 网络资源 | https://github.com/wenet-e2e/WenetSpeech |
| WenetSpeech-Meeting | 2021 | 8370 | 真实会议对话 | 真实会议 | https://github.com/wenet-e2e/WenetSpeech |
| Ke-Speech | 2021 | 19723 | 覆盖 8 种次方言的录音数据集 | 室内 | https://github.com/KeSpeech/KeSpeech |
| AliMeeting | 2022 | - / 4h | 多通道多方会议语料 | 室内真实会议 | https://github.com/yufan-aslp/AliMeeting |
| MagicData-RAMC | 2022 | 43 / 20h | 丰富标注的普通话对话语音数据集 | 安静室内 | https://www.openslr.org/123/ |
| WenetSpeech-Yue | 2025 | 7060 | 粤语多场景真实语音 | 网络资源 | https://github.com/ASLP-lab/WenetSpeech-Yue |
| WenetSpeech-Chuan | 2025 | 8051 | 四川话多场景真实语音 | 网络资源 | https://github.com/ASLP-lab/WenetSpeech-Chuan |
| AIShell-5 | 2025 | - / 3.30h | 首个开源车载多通道多说话人语音数据集 | 车内录音 | https://www.openslr.org/159/ |
| AIShell-6-whisper | 2025 | 3289 / 4.66h | 耳语语音数据集 | 安静室内 | https://aishelltech.com/aishell_6_Whisper |
| WenetSpeech-Wu | 2026 | ? | 吴语多场景真实语音 | 网络资源 | https://github.com/ASLP-lab/WenetSpeech-Wu-Repo |
英文语音数据集
| 数据集 | 年份 | 样本数 / 时长 | 简介 | 采集环境 | 数据链接 |
|---|---|---|---|---|---|
| TIMIT | 1993 | 1344 / - | 声学-音素连续语音语料库，ASR 早期标杆 | 录音棚 | https://catalog.ldc.upenn.edu/LDC93S1 |
| LibriSpeech-clean | 2015 | 2620 | 低 WER 说话人英文朗读语音 | 朗读 | https://www.openslr.org/12/ |
| LibriSpeech-other | 2015 | 2939 | 高 WER 说话人英文朗读语音 | 朗读 | https://www.openslr.org/12/ |
| GigaSpeech | 2021 | 25619 | 来自多样真实场景的大规模英文语音 | 网络资源 | https://github.com/SpeechColab/GigaSpeech |
| People’s Speech | 2021 | - | 当前最大规模的学术/商用授权英文 ASR 语料库 | 网络资源 | https://mlcommons.org/datasets/peoples-speech/ |
多语言语音数据集
| 数据集 | 年份 | 样本数 / 时长 | 简介 | 采集环境 | 数据链接 |
|---|---|---|---|---|---|
| SEAME | 2010 | 2333 / 3h | 东南亚地区中英混合语音（Code-Switching）语料库 | 安静室内 | https://catalog.ldc.upenn.edu/LDC2015S04 |
| CommonVoice | 2020 | ? | Mozilla 众包项目，覆盖 289 种语言 | 众包录音 | https://datacollective.mozillafoundation.org/organization/cmfh0j9o10006ns07jq45h7xk |
| MLS | 2020 | - / 73.82h | 大规模多语言朗读语音数据集 | 朗读 | https://www.openslr.org/94/ |
| Multilingual TEDx | 2021 | - | 多语言 TEDx 演讲语音识别与翻译语料库 | 真实演讲 | https://www.openslr.org/100 |
| Fleurs | 2022 | - / 283h | 覆盖 102 种语言的维基百科朗读语音 | 录音 | https://huggingface.co/datasets/google/fleurs |
| Emilia | 2025 | 600 / - | 大规模多语言多样化语音数据集 | 网络资源 | https://emilia-dataset.github.io/Emilia-Demo-Page/ |
| SwitchLingua | 2025 | ? | 首个大规模多语言多民族混合语音数据集，覆盖 12 种语言、63 个民族、27 个主题 | 合成语音 | https://github.com/Shelton1013/SwitchLingua |
语音翻译（AST）
语音翻译（Automatic Speech Translation）旨在将源语言语音直接翻译为目标语言的文本或语音，是连接跨语言沟通的核心技术。相比传统的级联方案（ASR + MT），端到端语音翻译能够减少错误传播并降低延迟。目前该方向的评测基准主要集中在多语言覆盖和语音到语音翻译（S2ST）两个维度。
| 数据集 | 年份 | 样本数 / 时长 | 简介 | 数据链接 |
|---|---|---|---|---|
| CoVoST | 2020 | - / 151h | 大规模多语言语音翻译语料库，支持多种语言对 | https://github.com/facebookresearch/covost |
| CVSS | 2022 | - / 95h | 大规模多语言到英语的语音到语音翻译（S2ST）语料库 | https://github.com/google-research-datasets/cvss |
说话人识别（Speaker Verification / Identification）
说话人识别技术通过分析语音中的个体声学特征来确认或辨别说话人身份，广泛应用于身份验证、智能会议、安防监控等场景。该领域的评测基准呈现出两个显著的演进趋势：
- 说话人规模持续增长：从 VoxCeleb1 的千人量级发展到 3D-Speaker 的万人规模，更大规模的测试集能够更好地评估模型的泛化能力和区分度。
- 采集条件的多样性不断提升：从单一的互联网视频源拓展到多设备、多距离、多方言的受控采集（如 3D-Speaker），也从国际数据集延伸到聚焦中文场景的 CN-Celeb 系列，使评测更加贴近实际部署条件。
| 数据集 | 年份 | 说话人数（训练 / 测试） | 简介 | 数据链接 |
|---|---|---|---|---|
| VoxCeleb1 | 2017 | 1251 / - | 大规模说话人识别数据集，源自名人采访视频 | https://www.robots.ox.ac.uk/~vgg/data/voxceleb/ |
| VoxCeleb2 | 2018 | 6112 / - | 大规模音视频说话人识别数据集，采集自开源媒体 | https://www.robots.ox.ac.uk/~vgg/data/voxceleb/ |
| CN-Celeb1 | 2019 | 997 / 200 | 大规模中文野外环境说话人识别数据集 | https://cnceleb.org/ |
| CN-Celeb2 | 2022 | 1996 / 118 | 大规模多风格中文说话人识别语料库 | https://cnceleb.org/ |
| 3D-Speaker | 2023 | 10000 / 240 | 大规模多设备、多距离、多方言说话人语料库 | https://3dspeaker.github.io/ |
其他单任务评测
除上述核心方向外，语音和音频领域还涉及情感识别（Speech Emotion Recognition, SER）、通用音频事件识别（Audio Event Recognition）以及音频问答（Audio Question Answering, AQA）等重要任务。这些任务侧重于对语音信号中副语言信息或非语言音频事件的理解能力。
| 数据集 | 年份 | 任务 | 样本数 | 简介 | 数据链接 |
|---|---|---|---|---|---|
| MELD | 2018 | 情感识别 | ? | 多模态多方对话情感识别数据集，标注 7 种情感：愤怒、厌恶、悲伤、喜悦、中性、惊讶、恐惧 | https://affective-meld.github.io/ |
| VGGSound | 2020 | 音频事件识别 | ? | 大规模音视频数据集，覆盖 164 个声音事件类别 | https://www.robots.ox.ac.uk/~vgg/data/vggsound/ |
| ClothoAQA | 2022 | 音频问答 | 801 | 众包构建的音频问答数据集 | https://zenodo.org/record/6473207 |
多任务评测基准
随着自监督预训练模型（如 wav2vec 2.0、HuBERT）的兴起，研究者开始关注语音表征的通用性——即一组预训练特征是否能在多个下游任务上同时取得良好表现。为此，多任务评测基准应运而生，它们通过统一框架整合多种语音处理任务，系统性地评估模型的通用表征能力。这一阶段的基准为后续 SpeechLLM 的综合评测奠定了重要基础。
| 基准 | 年份 | 涵盖任务 | 样本数 / 时长 | 简介 | 数据链接 |
|---|---|---|---|---|---|
| SUPERB | 2021 | ASR、说话人识别与分离、意图分类、槽位填充、情感识别等 | ? | 语音处理通用性能基准（Speech processing Universal PERformance Benchmark），涵盖 13 个任务，是评估语音预训练模型的标杆平台 | https://superbbenchmark.github.io/ |
| LeBenchmark | 2021 | ASR、口语理解（SLU）、语音翻译（AST）、音频事件识别（AER） | ? | 面向法语的自监督表征学习评估框架，强调可复现性 | http://lebenchmark.com/ |
| SLUE | 2021 | ASR、命名实体识别（NER）、情感分析 | 5375 / 12.7h | 口语理解新基准，关注语音信号中的语义理解任务 | https://asappresearch.github.io/slue-toolkit/ |
| AVQA | 2022 | 音视频问答 | ? | 视频音视频问答数据集，考察音频与视觉的联合推理能力 | https://mn.cs.tsinghua.edu.cn/avqa/ |
| SpokenWOZ | 2023 | 对话状态跟踪、响应生成 | 1000 / 44h | 大规模语音文本任务导向对话基准，面向智能语音助手场景 | https://spokenwoz.github.io/ |
SpeechLLM 专用评测基准
SpeechLLM 将语音感知能力与大语言模型的推理、生成能力深度融合，其能力边界远超传统语音模型。因此，单任务或简单多任务基准已不足以全面衡量这类系统的综合智能。SpeechLLM 专用评测基准在以下几个维度进行了显著扩展：
- 从感知到认知：不仅考察”听到了什么”，更关注模型能否基于音频内容进行推理、判断和知识运用。
- 从单轮到多轮交互：评估模型在持续对话场景中的连贯性、上下文维护和隐式意图理解。
- 从内容理解到副语言感知：关注情感、口音、语速、音量等副语言特征的识别与生成能力。
- 从理想输入到鲁棒性：通过噪声注入、说话人变化、口音变异等方式测试模型在非理想条件下的表现。
本节对2024至今涌现的代表性 SpeechLLM 评测基准进行深入分析。
AudioBench（2024.06）论文链接
AudioBench 是最早面向音频大语言模型（Audio LLM）构建的通用评测平台之一，旨在为该领域提供标准化的横向对比基础。该基准最初包含 8 个任务和 26 个数据集，后续扩展至 11 个任务和 50 个数据集，覆盖语音理解、音频场景分类、副语言分析等多个维度。
数据集统计
特点与局限
AudioBench 的核心价值在于其广覆盖特性：它汇聚了涵盖语音、通用音频和副语言理解任务的大量现有数据集，为 Audio LLM 的多维度能力提供了基线对比参考。然而，其局限也较为明显——该基准本质上是对既有数据集的聚合而非重新设计，缺乏专为大模型场景定制的深度集成化评测协议，对推理能力、多轮交互等 SpeechLLM 核心能力的覆盖尚不充分。
MMAU（2024.10）论文链接 | 排行榜
MMAU（Massive Multitask Audio Understanding）聚焦于传统评测基准较少触及的维度——专家级知识和复杂推理。与侧重感知能力的基准不同，MMAU 要求模型不仅能”听懂”音频内容，还需调用领域知识进行逻辑推断，这使其成为评估 Audio LLM 高阶认知能力的重要工具。
基准概览
MMAU 围绕三大核心领域（声音 Sound、语音 Speech、音乐 Music）构建评测体系，跨越 27 种不同技能，其中包括 16 种推理任务和 11 种信息抽取任务。这种”感知 + 推理”的双重设计使其能够同时考察模型的底层听觉理解能力和高层认知推理能力。
构建流程
MMAU 的数据构建强调高质量与专业性，所有题目均经过领域专家审核，确保推理链条的严谨性。
数据统计
信息抽取类问题（左）和推理类问题（右）所需技能的分布情况：
核心数据规模与统计信息：
MMAU 与现有音频理解和推理评测基准的对比分析：
评测样例展示：
VoiceBench（2024.10） 论文链接 | Github
VoiceBench 是首个专门面向基于 LLM 的语音助手（Voice Assistant）设计的多维度评测基准。其核心创新在于引入了”能力-鲁棒性“双轴评估框架——不仅考察模型在理想条件下的任务完成能力，还系统性地测试其在各种扰动条件下的表现稳定性。
概览
VoiceBench 从两个正交维度构建评测体系：
- 能力维度（Capability）：通用知识问答、指令遵循、安全性约束
- 鲁棒性维度（Robustness）：说话人变化（口音、年龄、性别）、环境变化（背景噪声）、内容变化（语速、情感）
构建方式
文本指令来源：
- 开放式问答：AlpacaEval、CommonEval
- 基于参考答案的问答：SD-QA
- 多项选择问答：OpenBookQA、MMSU
- 指令遵循：IFEval
- 安全性：AdvBench
语音指令构建：
VoiceBench 采用真实语音与合成语音相结合的策略：真实语音指令来自 CommonEval 和 SD-QA，合成语音指令则通过 GPT-4o 文本标准化 + Google-TTS 语音生成的流水线构建。在合成阶段，系统性地引入说话人变化、环境噪声和内容扰动，确保鲁棒性评估的覆盖面。
数据统计
评测指标
| 评测子集 | 评测方法 | 指标 |
|---|---|---|
| AlpacaEval、CommonEval | GPT 自动评分 | 1-5 分 Likert 量表 |
| SD-QA | 参考答案匹配 | 准确率（Accuracy） |
| OpenBookQA、MMSU | 规则化答案选项提取 | 准确率（Accuracy） |
| IFEval | 指令遵循度评估 | 宽松准确率 / 严格准确率 |
| AdvBench | 安全性评估 | 拒绝率（Refusal Rate） |
RSA-Bench（2026.01）论文链接
RSA-Bench（Robust Speech Audio Benchmark）专注于音频大语言模型的鲁棒性评估。不同于 VoiceBench 中相对简单的噪声叠加策略，RSA-Bench 通过高保真的听觉场景模拟（Auditory Scene Simulation）技术，构建更贴近真实世界复杂声学环境的测试条件。其核心理念是：现实中的语音交互往往伴随着多源噪声、混响、远场衰减等复杂因素，模型在这些”压力场景”下的表现才是衡量其实用价值的关键。
RSA-Bench 从声学场景的多个维度进行系统性的压力测试，包括噪声类型与信噪比变化、混响条件、说话人距离、多说话人干扰等，为评估 ALLM 的实际部署可靠性提供了严格的测试框架。
SonicBench（2026.01）论文链接
SonicBench 在评测方法论上独树一帜：它以心理声学（Psychoacoustics）理论为基础，从人类听觉感知的物理原理出发构建评测体系。这一设计哲学使其与其他侧重于任务完成度的基准形成互补——SonicBench 关注的是模型对声音底层物理属性的感知精度，这是构建可靠音频理解系统的基础能力。
概览
SonicBench 建立了一套层次化的声学属性分类体系，涵盖 5 个感知维度和 12 项核心属性：
- 频谱与幅度（Spectral & Amplitude）：频率感知、响度判断等
- 时间（Temporal）：节奏检测、时长估计等
- 空间与环境（Spatial & Environment）：声源定位、混响感知等
- 音色（Timbre）：音源辨识、乐器分类等
- 场景级（Scene-Level）：复合场景理解、声音事件检测等
与现有音频评测基准的系统性对比：
数据规模与分布统计：
构建流程
SonicBench 的数据构建结合了合成音频生成和专家标注，确保每个测试样本对应精确的物理属性标注。
整体评测结果
WavBench（2026.02）论文链接
WavBench 是目前最全面的端到端语音对话评测基准之一，其核心创新在于将”口语化表达能力“和”声学交互能力“纳入评测范畴。传统评测通常使用书面化的文本转语音作为输入，WavBench 则强调模型对真实口语化对话的理解与生成能力，填补了该方向的评测空白。
核心特性
1. 三元框架（Tripartite Framework）
WavBench 将评测划分为三个互补子集，从不同维度考察模型的对话能力：
- Pro 子集（3,176 条）：高难度推理增强任务，涵盖代码生成、数学推理、逻辑判断等，旨在压力测试模型的深度思考能力。
- Basic 子集（4,486 条）：聚焦口语化表达评估，通过自然词汇选择、语言流畅度和交互亲和力等指标，考察模型的”可听性”——即生成的回复是否适合用语音呈现。
- Audio 子集（9,915 条）：涵盖显式副语言理解、副语言特征生成和隐式对话交互三个层次，全面评估模型对声学信息的感知与运用能力。
2. 大规模多维覆盖
WavBench 共包含 17,577 条测试样本、6.5 小时语音时长，横跨 7 大认知领域（创意写作、指令遵循、代码、数学、问答、安全、逻辑）和 10 类副语言属性：
| 副语言属性 | 覆盖的变体 |
|---|---|
| 年龄 | 儿童、青少年、中年、老年 |
| 性别 | 男、女 |
| 口音 | 印度、加拿大、英国、新加坡、美国、澳大利亚 |
| 语言 | 中文、英文 |
| 音调 | 低、正常、高 |
| 语速 | 慢、正常、快 |
| 音量 | 低、正常、高 |
| 情感 | 中性、开心、悲伤、愤怒、惊讶、厌恶、恐惧 |
| 环境音 | 风声、人群、雷声、枪声、关门声 |
| 音乐 | 钢琴、吉他、鼓 |
3. 隐式交互评估
WavBench 的一个重要创新是引入了隐式交互评测——模型不仅需要响应显式的文字指令，还需根据语音中的副语言线索（如情绪变化、语气暗示）做出恰当的回应，这对模型的社交智能提出了更高要求。
生成流程
口语表达子集（Colloquial Expression Set）
| 阶段 | 具体步骤 |
|---|---|
| 阶段 1：文本语料构建 | 整合 15 个多样化开源对话数据集 |
| 阶段 2：口语化改写 | 口语化查询重构 + 回复口语化适配 |
| 阶段 3：人工验证 | 5 名专家标注员审核口语适配质量 |
| 阶段 4：语音合成 | 使用 IndexTTS2 合成，覆盖 1,088 个语音提示模板 |
| 阶段 5：质量校验 | Whisper-Large-V3 转录验证，WER < 5% |
声学交互子集（Acoustic Interaction Set）
| 阶段 | 具体步骤 |
|---|---|
| 阶段 1：文本语料构建 | 使用 Qwen3-Max 生成多场景对话语料 |
| 阶段 2：语料验证 | 质量审核与过滤 |
| 阶段 3：语音合成 | IndexTTS2 处理音调、语速、音量、性别、语言、年龄维度；GPT-4o-mini-TTS 处理口音和情感维度；AudioCaps/MusicCaps 提供环境音与音乐素材 |
| 阶段 4：语音验证 | Whisper-Large-V3 WER < 5%；Emotion2Vec 情感准确率 > 0.5 |
| 阶段 5：专家评估 | 10 名专家标注员进行最终质量评审 |
数据统计
口语表达子集统计：
声学交互子集统计：
评测样例
口语表达评测示例——展示模型对自然口语化对话的理解与生成：
声学交互评测示例——展示模型对副语言特征的感知与响应：
评测结果
评测模型
WavBench 评估了 5 个当前主流的端到端语音对话模型：
| 模型 | 参数量 | 检查点 |
|---|---|---|
| Qwen3-Omni | 30B-A3B | Qwen3-Omni-30B-A3B-Instruct |
| Kimi-Audio | 9.77B | Kimi-Audio-7B-Instruct |
| Mimo-Audio | 8B | MiMoAudio-7B-Instruct |
| Step-Audio-2-mini | 8.3B | Step-Audio-2-mini |
| GPT-4o Audio | - | API 链接 |
评测方法与指标
| 评测子集 | 评测方法 | 指标 |
|---|---|---|
| 口语表达子集 | Gemini 3 Pro Preview 自动评分 | 1-5 分 Likert 量表 |
| 声学交互 - 显式理解 | 直接计算准确率 | 准确率（Accuracy） |
| 声学交互 - 显式生成 | Gemini 3 Pro Preview 标注副语言特征 | 1-10 分评分 |
| 声学交互 - 隐式交互 | Gemini 3 Pro Preview 综合评估 | 1-10 分评分 |
整体评测结果
WildASR（2026.03） 论文链接
WildASR 是面向 Voice Agent 的评测框架，其核心出发点是：尽管 ASR 在标准基准上已接近人类水平，但在真实语音代理场景中仍然严重失效。现有评测基准无法回答”在哪些条件下（where）、对哪些人群（who）、在什么语言现象上（what）”会导致多大程度的性能退化。这种诊断能力的缺失，使得从业者在部署时难以预判风险。
更关键的是，在退化输入条件下，模型往往不是简单地识别错误，而是”幻觉”出听起来合理但从未被说出的内容，这对下游 Agent 行为构成了直接的安全隐患。
设计原则
WildASR 遵循 “real source, controlled perturbation” 原则：所有源音频来自真实人类语音（非 TTS 合成），保留了犹豫、不流畅、发音变异等真实副语言现象；在此基础上施加可控的后处理扰动，实现因素隔离分析。覆盖英语（EN）、中文（ZH）、日语（JA）、韩语（KO）四种语言。
论文专门做了消融实验验证这一设计选择的重要性：以 Whisper Large V3 为例，在合成儿童语音上错误率仅 3.7%，但在真实儿童语音上飙升至 21.7%，证明 TTS 数据会严重低估实际风险。
三维分解框架
| 维度 | 子类别 | 覆盖语言 | 设计动机 |
|---|---|---|---|
| 环境退化（Where） | 混响、远场、电话编解码（G.711/GSM）、噪声间隙、削波 | EN/ZH/JA/KO | 模拟真实部署中的声学条件变化 |
| 人口统计偏移（Who） | 儿童语音、老年人语音、口音 | EN/ZH | 覆盖教育和养老等高增长场景的关键用户群 |
| 语言多样性（What） | 短语句、不完整音频、语码转换 | EN/ZH/JA/KO | 暴露模型在语义边界条件下的幻觉倾向 |
数据规模方面，环境退化维度每种语言约 1000-5000 样本，人口统计维度每种语言 300-1000 样本，语言多样性维度每种语言 200-2500 样本。数据来源包括 FLEURS、MagicData、YODAS、KeSpeech、SwitchLingua 等公开数据集。
数据质量保障
七阶段质量控制流程：数据采集（DC）→ 说话人筛选（SF）→ 质量过滤（QF）→ 音频归一化（NR）→ 声学增强（AA）→ 人工截断与标注对齐（MT）→ 人工验证（MV）。
评测体系
评测模型（7个）：
| 模型 | 类型 | 说明 |
|---|---|---|
| Whisper Large V3 | 开源 | OpenAI，多语言通用 ASR |
| GPT-4o Transcribe | 商用 API | OpenAI，专用转录接口 |
| Gemini 2.5 Pro | 商用 API | Google，多模态大模型 |
| Gemini 3 Pro | 商用 API | Google，最新版本 |
| Qwen2-Audio | 开源 | 阿里，音频大语言模型 |
| Nova 2 | 商用 API | Deepgram，专用 ASR |
| Scribe V1 | 商用 API | ElevenLabs，专用 ASR |
评测指标：
- WER（英语）/ CER（中日韩）：词/字错误率
- MER（Mixed Error Rate）：语码转换场景专用混合错误率
- HER（Hallucination Error Rate）：语义级幻觉错误率，捕捉 WER 无法反映的语义伪造
核心实验发现
发现 1：鲁棒性不可跨语言迁移
环境退化实验（Table 2）揭示了一个重要结论——在一种语言上的鲁棒性无法可靠预测另一种语言的表现：
| 扰动类型 | EN WER | ZH CER | JA CER | KO CER |
|---|---|---|---|---|
| 原始（干净） | 19.9 / 4.1 | 14.6 / 7.8 | 19.7 / 5.1 | 19.5 / 5.9 |
| 混响 | +12.0 / +5.3 | +11.1 / +5.2 | +25.5 / +10.4 | +27.0 / +9.6 |
| 远场 | +6.1 / +11.7 | +8.5 / +4.5 | +13.9 / +8.4 | +20.6 / +13.2 |
| 噪声间隙 | +67.7 / +2.5 | +10.3 / +5.4 | +118.9 / +5.0 | +121.0 / +6.8 |
| 削波 | +10.7 / +11.5 | +22.7 / +10.1 | +32.3 / +8.5 | +27.0 / +12.5 |
（表中数据格式为 MagicData / FLEURS，Δ 为相对干净条件的绝对增长）
噪声间隙是最致命的扰动：在会话语音（MagicData）上，日语和韩语的 CER 增幅超过 +118%，但中文仅增加 +10.3%。这种极端不均匀性说明，不能用单一语言的鲁棒性测试结果来推断多语言部署的安全性。
发现 2：儿童语音是普遍性的部署风险
人口统计偏移实验（Table 3）显示，**儿童语音在英语上最低 WER 仍达 18.2%**（Gemini 3 Pro），即便是最强的模型也无法可靠处理。中文场景更为严峻，Qwen2-Audio 表现最佳但 CER 仍达 23.4%，其他模型均超过 39%。
| 模型 | 口音(ZH) | 口音(EN) | 儿童(ZH) | 儿童(EN) | 老年(ZH) | 老年(EN) |
|---|---|---|---|---|---|---|
| Gemini 3 Pro | 62.5 | 3.0 | 55.3 | 18.2 | 41.4 | 0.7 |
| Qwen2-Audio | 7.5 | 6.8 | 23.4 | 26.7 | 18.6 | 1.5 |
| GPT-4o Transcribe | 40.7 | 2.6 | 39.9 | 29.4 | 36.0 | 1.1 |
有趣的对比是：英语老年人语音对所有模型几乎不构成挑战（WER < 3%），但中文老年人语音的 CER 最低也有 18.6%。这种语言间的巨大差距值得关注。
发现 3：短语句和不完整音频触发严重幻觉
语言多样性实验（Table 4）是本文最令人警醒的部分。短语句的错误率在 38.7%–73.9% 之间，且多个场景下 WER/CER 超过 100%，意味着模型生成了大量从未被说出的内容：
- Qwen2-Audio 在韩语短语句上 CER 达 102.6%
- Qwen2-Audio 在韩语语码转换上 MER 达 211.7%
- Qwen2-Audio 在日语不完整音频上 CER 达 224.4%
HER（幻觉错误率）揭示了 WER 无法捕捉的语义伪造。例如 Nova 2 在中文语码转换上 MER 为 33.7%，但 HER 高达 68.4%——表面的词级错误掩盖了大量的语义篡改。
论文给出了令人触目惊心的真实案例：
| 场景 | 真实内容 | 模型输出 |
|---|---|---|
| 削波 | “ah yeah.” | “I’m with breast.” |
| 不完整音频 | “who identified” | “I don’t know if I can.” |
| 短语句 | “Yeah” | “I’m sorry, but I cannot listen to audio files…” |
| 短语句 | “so Putin took the” | “So Putin took the measure of the West and he decided that he could handle whatever we threw at him.” |
最后一个案例尤为危险：模型将一个被截断的句子”自动补全”为一段完整的地缘政治叙述，而这段内容从未被说出。
三大诊断分析工具
工具 1：P90 Elbow 分析
用于识别模型在失真加剧过程中的不稳定性阈值。以混响为例，通过观察 P90（第90百分位）WER 随混响时间的变化曲线，找到”拐点”——即尾部错误开始急剧恶化的临界点。这为部署者提供了明确的”安全边界”。
工具 2：Prompt 敏感性分析
使用 10 种表达相同意思但措辞不同的 prompt 测试 Gemini 2.5 Pro。结果发现 **中文 prompt 变化导致标准差高达 σ=46.1%**（儿童语音子集），而英语几乎不受影响（σ < 1%）。这意味着在非英语场景中，prompt 的措辞选择本身就是一个重要的部署风险因素。
工具 3：HER（幻觉错误率）
传统 WER 只衡量词级编辑距离，无法区分”无意义的替换错误”和”语义上合理但从未说出的内容”。HER 通过语义级评估，专门捕捉后者——这类幻觉对下游 Agent 的工具调用、API 执行等高风险操作构成直接威胁。
论文在讨论章节提出了几个重要观点：
WildASR 对人类并不困难。 人工评估的平均错误率仅 4.7%，说明基准的难度来自分布偏移而非音频本身的不可理解性，模型退化是真实的能力短板。
ASR 在语音对语音时代并未过时。 虽然端到端 S2S 模型可以直接在声学表征上操作，但论文认为 ASR 应被重新定位为 “稳定的输入层和安全护栏”（stabilizing input layer and safety guardrail）——它提供可审计的文本中间表示，是实现可解释性、日志记录和安全过滤的关键环节。
局限性与未来方向
- 语言覆盖有限：当前仅四种语言，人口统计子集仅覆盖中英，低资源语言和多说话人重叠、实时流式等场景尚未涉及
- 侧重诊断而非解决：当前工作聚焦于识别和刻画失败模式，尚未提出缓解策略
- 样本规模约束：部分子集（特别是人口统计）样本量受限于公开真实语音数据的稀缺性
未来方向包括：幻觉感知解码（hallucination-aware decoding）、更广泛的语言和条件覆盖、以及混合架构（结合传统 ASR 的稳定性与 AudioLLM 的灵活性）。
对实际工作的启示
- 不要用单一基准成绩评估部署可行性。 模型在 FLEURS 上的干净基线（平均 5.7%）与真实 OOD 条件下的表现可能相差数十倍。
- 多语言部署需要逐语言评测。 鲁棒性无法跨语言迁移，中文场景尤其需要独立验证。
- 短语句和不完整音频是幻觉重灾区。 在 Voice Agent 场景中，这类输入极为常见（backchannel、VAD 截断），需要专门的防护机制。
- 开源模型在语言多样性场景下劣势明显。 错误率超过 80% 的极端案例主要出现在 Qwen2-Audio 和 Whisper Large V3 上，商用模型整体更稳健。
- 非英语场景下 prompt 设计至关重要。 中文 ASR 对 prompt 措辞高度敏感，部署前应进行 prompt 稳定性测试。
总结与展望
SpeechLLM基准定位对比
下表从评测维度、核心关注点和独特贡献三个方面，对本文调研的 SpeechLLM 专用评测基准进行横向比较：
| 基准 | 发布时间 | 核心关注点 | 独特贡献 |
|---|---|---|---|
| AudioBench | 2024.06 | 广覆盖的任务聚合 | 首个系统化的 Audio LLM 评测集合 |
| MMAU | 2024.10 | 专家知识与推理能力 | 将”领域知识 + 推理”引入音频评测 |
| VoiceBench | 2024.10 | 语音助手的能力与鲁棒性 | 首个”能力-鲁棒性”双轴语音助手评测框架 |
| RSA-Bench | 2026.01 | 复杂声学环境下的鲁棒性 | 高保真声学场景模拟的压力测试 |
| SonicBench | 2026.01 | 声学物理属性的底层感知 | 基于心理声学理论的感知精度评测 |
| WavBench | 2026.02 | 口语化对话与副语言交互 | 首次系统性评估口语化能力与隐式交互 |
| WildASR | 2026.03 | 真实场景下的 ASR 鲁棒性与幻觉检测 | 首个面向 Voice Agent 的”Where-Who-What”三维诊断评测框架 |
当前评测体系的不足
尽管近两年 SpeechLLM 评测基准发展迅速，但整体评测体系仍面临以下挑战：
- 实时交互评估缺失：现有基准普遍采用离线、非流式的评测模式，尚未充分考量模型在实时对话中的响应延迟、打断处理（Barge-in）和流式生成能力。
- 多模态融合评测有限：语音与视觉、文本的联合推理评测仍处于起步阶段（如 AVQA），缺乏面向 SpeechLLM 的深层多模态融合评测基准。
- 长程对话与记忆能力：大多数基准聚焦于单轮或短程多轮对话，对模型在数十轮甚至跨会话的长程对话中的上下文管理和信息保持能力的评估不足。
- 安全性与伦理评估不完善：仅 VoiceBench 的 AdvBench 子集涉及安全性测试，在语音深度伪造检测（Deepfake Detection）、说话人隐私保护、有害内容过滤等方面的评测仍需加强。
- 评测标准化与可复现性：不同基准采用不同的评测协议和指标体系，缺乏统一的评估框架，给跨基准的公平比较带来困难。
未来方向
展望未来，SpeechLLM 评测基准有望在以下方向取得突破：
- 全双工对话评测：设计能够评估模型在全双工（Full-Duplex）对话中的表现的基准，包括实时理解、自然轮换、打断恢复等能力。
- 个性化与自适应评估：考察模型在不同用户画像下的个性化适配能力，如针对特定口音、语速偏好的自适应调整。
- 端到端语音生成质量评测：随着语音生成模型能力的提升，需要建立专门评估语音自然度、表现力和说话人一致性的标准化基准。
- 跨文化与社会语言学评测：纳入文化背景、社交语境、礼貌策略等社会语言学维度，评估模型在全球多元文化场景下的交互适当性。