首个中英双语语音对话开源大模型，效果究竟如何？

首个有着支持中英双语语音对话功能的开源大模型，才刚刚得以面世，这表明一家知名的中国AI公司，跟顶尖学府所展开的联合研究，极有可能会改变我们同人工智能的交互方式。

架构设计与核心组件

进行了把语音识别跟大型语言模型予以整合的LLaSM模型，其核心就在于此。它是由三个主要模块构成的，其中一个自动语音识别模型，负责处理音频输入，还有一个模态适配器成为桥梁，另外一个基于LLaMA的大语言模型，负责理解和生成内容。这样的设计目的在于，能使模型同时都能接受语音以及文本这两种形式的指令，达成更灵活的“混合输入”交互 。

训练全程被划分成两个关键时期，最初阶段，从事研究的人员着重于训练模态适配器，与此同时，将语音编码器以及大语言模型的参数予以固定，其目的在于促使适配器学会把语音特征与文本表示保持对齐，第二阶段转而开展对适配器和大语言模型的训练，以此来学习真正的多模态对话能力，在这个时候，语音编码器的参数被冻结，这种分阶段的策略意在高效地融合不同模态的信息。

训练数据与技术创新

这个模型的训练，是由研究团队构建了一个数据集，这个数据集名为LLaSM-Audio- 。这个数据集当中，包含了大概19.9万段对话，还有50.8万个语音-文本配对样本，它是目前已知规模最大的中英文语音-文本指令遵循数据集。研究人员是基于多个现有的文本对话数据集，借助文本转语音技术为它们生成了相应的语音数据，并且过滤了无效内容。

其数据构建之法，乃此工作显著创新之处，借合成语音数据，团队于较大程度上化解了高质量多模态对话数据稀缺的棘手难处。据知，此数据集仍在持续深入整理，日后有期望面向社区予以开源，这会为后续相关研究供给珍贵资源。数据集的规模以及质量，是模型达成双语多模态能力的根基。

实际功能与应用场景

其支持中英文双语输入，这是LLaSM最直观的特点，且它能够处理纯语音指令，还能处理纯文本指令，也能处理二者混合的指令。举例来说，用户可以直接用中文语音进行提问，还可以用英文打字来输入，甚至在一句话当中混合使用两种语言。这为开发更自然的多语言应用创造了可能，像跨语言客服助手或者教育工具之类的 。

在实际进行试玩的过程当中，模型呈现出了一定程度的基础能力。当被提出要用英文去评价中国诗人李白这个要求的时候，它能够给出相对而言较为中立的回答，从而显示出大语言模型所具有的常见的平衡性方面的“常识”。这在初步层面上证明了模型在着手处理跨文化内容之际具备着一定的理解以及生成能力，而不再是单纯简单的单语言或者单模态的工具， 。

现存缺陷与性能局限

然而，模型于实际测试里也显露出一些显著的缺陷。当中英混合的指令趋向复杂时，它的表现便不太稳定。举例而言，当提问中掺和英文词汇时，模型有时候会“佯装”不理解进而完全以英文回复了，这偏离了用户意图。在更极端的测试情形下，比如说要求其谈论某位英文歌手的作品时，模型甚至有可能陷入周而复始输出同一句话的故障状态 。

这显示出，即便在架构方面对混合输入存在支持情况，然而当模型面对那些语言边界模糊不清、指令错综复杂的实际场景之际，它的鲁棒性以及深层理解能力依旧存在着相当大的可供提升的余地。这些不足之处同样是未来进行迭代时需要着重去攻克的方向，距离达成真正流畅且毫无感觉的混合交互还是有着一定的差距的。

研究背景与合作团队

这项研究是由零一万物，和北京大学，以及创新工场旗下的AI初创公司一同完成的。其中，零一万物是李开复创立的大模型公司。而另一合作方之前曾因为推出首个开源Llama 2的中文版本而受到关注。此次强强联合，聚焦于语音与文本的多模态融合，这体现了业界对下一代人机交互形态的探索。

多机构一同进行合作，具有一种奇特优势，那便是此能将学术前沿方面所从事的研究，与企业性质层面所包含的工程实践能力予以整合起来。北大在学术领域所储备积累起来的内容，与AI公司在产品化方面所拥有的经验相互结合在一起，从而加快了从理论模型朝着开源并且能够用于商业用途的产品进行转化的进程。这样一种产学研性质的模式置身于当下大模型快速发展的阶段时，显得特别重要。

开源意义与未来展望

被研究者称作首个开源且可商用 ， 的中英文语音 - 文本多模态对话模型是LLaSM 。开源意味着开发者能够免费获取并且使用它的代码与模型权重 ， 并在这个基础之上展开二次开发或者商业部署 ， 如此一来极大地降低了相关应用创新的门槛 。它的可商用许可协议同样为企业采用清除了法律障碍 。

这一模型予以发布，也许标志着大模型交互方式从“手动输入”朝着“自然对话”演进的关键一步，尽管当前能力还未臻完善，然而它为未来真正拥有倾听及表达能力、支持多语言的自然交互AI助手奠定了一块基石，伴随数据以及算法的不断优化，更具智能的语音对话体验或许并非遥不可及。

对于期盼着“仅仅通过一动嘴皮子就能够使得AI去干活”的那些用户而言，你觉得语音在哪些确切场景当中最有被率先用来替换传统文本入法方式成为可能性？欢迎于评论区给出你的看法，要是认为本文存在有助益作用，请进行点赞予以支持。