小米声音理解大模型 MiDashengLM-7B 发布并全量开源，22 个公开评测集刷新最好成绩

【导(dǎo)语(yǔ)】8月(yuè)4日(rì)，小(xiǎo)米(mǐ)公(gōng)司(sī)正(zhèng)式(shì)发(fā)布(bù)了(le)自(zì)研(yán)的(de)声(shēng)音(yīn)理(lǐ)解(jiě)大(dà)模(mó)型(xíng)MiDashengLM-7B，并(bìng)决(jué)定(dìng)全量(liàng)开(kāi)源(yuán)该(gāi)模(mó)型(xíng)。据(jù)官(guān)方(fāng)介(jiè)绍，MiDashengLM-7B在(zài)速(sù)度(dù)和(hé)精(jīng)度(dù)上(shàng)均(jūn)实(shí)现(xiàn)了(le)显(xiǎn)著(zhe)突(tū)破(pò)，刷(shuā)新(xīn)了(le)多(duō)项(xiàng)评(píng)测(cè)记(jì)录(lù)。该(gāi)模(mó)型(xíng)基(jī)于(yú)创(chuàng)新(xīn)的(de)训(xun)练(liàn)策(cè)略(è)，能(néng)够(gòu)统(tǒng)一(yī)理(lǐ)解(jiě)语(yǔ)音(yīn)、环(huán)境(jìng)声(shēng)音(yīn)和(hé)音(yīn)乐，为小米的“人车家全生态”战略提供关键技术支撑。通过自然语言交互，MiDashengLM-7B能为用户提供更人性化的沟通和反馈，未来还将进一步优化计算效率，拓展更多功能。

　　8 月 4 日消息，小米自研声音理解大模型 MiDashengLM-7B 正式发布，并全量开源。

　　据小米官方介绍，MiDashengLM-7B 速度精度上实现双突破：单样本首 Token 延迟仅为同类模型 1/4、同显存下并发超 20 倍，在 22 个公开评测集上刷新多模态大模型最好成绩（SOTA）。

　　MiDashengLM-7B 基于 Xiaomi Dasheng 作为音频编码器和 Qwen2.5-Omni-7B Thinker 作为自回归解码器，通过创新的通用音频描述训练策略，实现了对语音、环境声音和音乐的统一理解。

　　2024 年，小米发布的 Xiaomi Dasheng 声音基座模型在国际上首次突破 AudioSet 50+ mAP，在 HEAR Benchmark 环境声、语音、音乐三大领域建立领先优势并保持至今。

　　Xiaomi Dasheng 在小米的智能家居和汽车座舱等场景有超过 30 项落地应用。行业首发的车外唤醒防御、手机音箱全天候监控异常声音、“打个响指”环境音关联 IoT 控制能力，以及小米 YU7 上搭载的增强哨兵模式划车检测等，背后都有 Xiaomi Dasheng 作为核心算法的赋能。

　　MiDashengLM 的训练数据由 100% 的公开数据构成，模型以宽松的 Apache License 2.0 发布，同时支持学术和商业应用。

　　小米表示，不同于 Qwen2.5-Omni 等未公开训练数据细节的模型，MiDashengLM 完整公开了 77 个数据源的详细配比，技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。

　　作为小米“人车家全生态”战略的关键技(jì)术(shù)，MiDashengLM 通(tōng)过(guò)统(tǒng)一(yī)理(lǐ)解(jiě)语(yǔ)音(yīn)、环(huán)境(jìng)声(shēng)与(yǔ)音(yīn)乐(lè)的(de)跨(kuà)领(lǐng)域能(néng)力(lì)，不(bù)仅(jǐn)能(néng)听(tīng)懂(dǒng)用(yòng)户(hù)周(zhōu)围(wéi)发(fā)生(shēng)了(le)什(shén)么(me)事(shì)情(qíng)，还(hái)能(néng)分(fēn)析(xī)发(fā)现(xiàn)这(zhè)些(xiē)事(shì)情(qíng)的(de)隐藏含义，提高用户场景理解的泛化性。

　　基于 MiDashengLM 的模型通过自然语言和用户交互，为用户提更人性化的沟通和反馈，比如在用户练习唱歌或练习外语时提供发音反馈并制定针对性提升方案，又比如在用户驾驶车辆时实时对用户关于环境声音的提问做出解(jiě)答(dá)。

　　MiDashengLM 以(yǐ) Xiaomi Dasheng 音(yīn)频编码器为核心组件，是 Xiaomi Dasheng 系列模型的重要升级。在当前版本的基础上，小米已着手对该模型做计算效率的进一步升级，寻求终端设备上可离线部署，并完善基于用户自然语(yǔ)言(yán)提(tí)示(shì)的(de)声(shēng)音编辑等更全面的功能。