阶跃星辰发布端到端语音大模型Step-Audio2mini，多个基准测试取得SOTA成绩

9月1日消息，阶跃星辰今日发布开源端到端语音大模型Step-Audio2mini，该模型在多个国际基准测试集上取得SOTA成绩。Step-Audio2mini现已上线阶跃星辰开放平台。

从官方介绍获悉，它将语音理解、音频推理与生成统一建模，并率先支持语音原生的ToolCalling能力，可实现联网搜索等操作。

Step-Audio2mini在多个关键基准测试中取得SOTA成绩，在音频理解、语音识别、翻译和对话场景中表现突出，综合性能超越Qwen-Omni、Kimi-Audio在内的所有开源端到端语音模型，并在大部分任务上超越GPT-4oAudio。

在通用多模态音频理解测试集MMAU上，Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首；

在衡量口语对话能力的UROBench上，Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分，展现出优秀的对话理解与表达能力；

在中英互译任务上，Step-Audio2mini优势明显，在CoVoST2和CVSS评测集上分别取得39.3和29.1的分数，大幅领先GPT-4oAudio和其他开源语音模型；

在语音识别任务上，Step-Audio2mini取得多语言和多方言第一。其中开源中文测试集平均CER（字错误率）3.19，开源英语测试集平均WER（词错误率）3.50，领先其他开源模型15%以上。

过往的AI语音常被吐槽智商、情商双低。一是“没知识”，缺乏文本大模型一样的知识储备和推理能力；二是“冷冰冰”，听不懂潜台词，语气、情绪、笑声这些“弦外之音”。Step-Audio2mini通过创新架构设计，有效解决了此前语音模型存在的问题。

真端到端多模态架构：Step-Audio2mini突破传统ASR+LLM+TTS三级结构，实现原始音频输入到语音响应输出的直接转换，架构更简洁、时延更低，并能有效理解副语言信息与非人声信号。

Step-Audio2mini模型架构图

CoT推理结合强化学习：Step-Audio2mini在端到端语音模型中首次引入链式思维推理（Chain-of-Thought，CoT）与强化学习联合优化，能对情绪、语调、音乐等副语言和非语音信号进行精细理解、推理并自然回应。

音频知识增强：模型支持包括web检索等外部工具，有助于模型解决幻觉问题，并赋予模型在多场景扩展上的能力。

GitHub：https://github.com/stepfun-ai/Step-Audio2

HuggingFace：https://huggingface.co/stepfun-ai/Step-Audio-2-mini

ModelScope：https://www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini