百度智能云开源视觉理解模型 Qianfan-VL，基于自研昆仑芯 P800 芯片计算

【导语】9月22日，百度智能云千帆正式推出并全面开源全新视觉理解模型Qianfan-VL，含3B、8B、70B三个版本，针对企业级多模(mó)态(tài)场(chǎng)景(jǐng)深(shēn)度(dù)优(yōu)化(huà)，具(jù)备(bèi)多(duō)尺(chǐ)寸(cùn)适(shì)配(pèi)、思(sī)考(kǎo)推(tuī)理(lǐ)及(jí)OCR与(yǔ)文档(dàng)理(lǐ)解(jiě)等(děng)强(qiáng)大(dà)能(néng)力(lì)，在(zài)多(duō)项(xiàng)基(jī)准(zhǔn)测(cè)试(shì)中表现优异，将助力AI技术在各行业落地。

　　9月 22 日消息，百度智能云千帆正式推出全新视觉理解模型 ——Qianfan-VL，并全面开源。该系列包含 3B、8B 和 70B 三个尺寸版本，是面向企业(yè)级(jí)多(duō)模(mó)态(tài)应(yīng)用(yòng)场(chǎng)景(jǐng)，进(jìn)行(xíng)了(le)深(shēn)度(dù)优(yōu)化(huà)的(de)视(shì)觉(jué)理(lǐ)解(jiě)大(dà)模(mó)型(xíng)。官(guān)方(fāng)称(chēng)，Qianfan-VL 不(bù)仅(jǐn)具(jù)备(bèi)出(chū)色(sè)的(de)基(jī)础(chǔ)通(tōng)用(yòng)能(néng)力，还针对产业落地中的高频需求，如 OCR 和教育垂直场景做了专项强化，使其在实际应用中表现更加卓越。

　　Qianfan-VL 现已开源，即日起至 10 月 10 日，企业用户和开发者可在百度智能云千帆平台免费体验 8B、70B 模型。

　　附模型官方介绍如下：

　　Qianfan-VL 系列模型是由百度智能云千帆模型研发团队，基于开源模型进行开发，并在百度自研昆仑芯 P800 上完成全流程计算任务。昆仑芯 P800 提供了强大的算力支撑，确保模型能够高效处理海量数据与复杂算法，同时支持单任务 5000 卡规模的并行计算。这一结合不仅优化了模型计算的效率，更使得模型在性能表现上达到了新的高度，在通用和垂类任务评测中展现出 SOTA 水平。Qianfan-VL 模型具备三大特点：

　　● 多尺寸模型满足不同场景需求：提供 3B、8B、70B 三种规格的模型，让不同规模的企业和开发者都能找到合适的解决方案。

　　● 提供思考推理能力：8B 和 70B 模型支持通过特殊 token 激活思维链能力，覆盖复杂图表理解、视觉推理、数学解题等多种场景。

　　● OCR 与文档理解能力增强：主打 OCR 全场景识别和复杂版面文档理解两大特色能力，在多项基准测试中表现优异，为企业级应用提供高精度的视觉理解解决方案。

　　模型性能与效果

　　>> 通用能力基准测试表现

　　在通用能力基准测试中，Qianfan-VL 系列模型（3B、8B、70B）展现出显著核心优势。从视觉理解到专业领域问答，模型性能随参数规模增大提升显著，体现出很好的 Scaling 趋势。在 ScienceQA 等专业问答测试中，精准度表现突出；多模态任务如 RefCOCO 等，物体识别与关联能力优异；同时，在各类通用基准测试里，相较主流模型，整体表现也颇为亮眼，充分彰显出在视觉理解通用能力上的出色实力，为不同场景下的智能应用提供了有力支撑。

　　>>OCR 与文档理解基准测试表现

　　Qianfan-VL 系列模型（3B、8B、70B）在 OCR 与文档理解领域尽显卓越实力。一方面，具备 OCR 全场景识别能力，能精准识别手写体、数学公式、自然场景文字，还可对卡证票据信息进行结构化提取；另一方面，复杂版面文档理解能力突出，可自动分析版面元素，精准解析表格、图表，实现文档智能问答与结构化解析。从基准测试表现看，在 OCRBench、各类专业测试中，相较于主流模型，成绩优异且随参数规模提升持续向好，为企业级应用提供了高精度的视觉理解解决方案，有力推动文档智能处理场景的高效落地。

　　>> 数学解题基准测试表现

　　Qianfan-VL 系列的 8B 和 70B 模型，在思考推理能力方面表现卓越。它们支持通过特殊 token 激活思维链能力，能覆盖复杂(zá)图(tú)表(biǎo)理(lǐ)解(jiě)、视(shì)觉(jué)推(tuī)理(lǐ)、数(shù)学(xué)解(jiě)题(tí)等(děng)多(duō)类(lèi)场(chǎng)景(jǐng)。这(zhè)类(lèi)任(rèn)务(wu)需(xū)结(jié)合(hé)视(shì)觉(jué)信(xìn)息(xi)与(yǔ)外(wài)部(bù)知(zhī)识(shi)进(jìn)行(xíng)组(zǔ)合(hé)推(tuī)理(lǐ)，而(ér)模(mó)型(xíng)通(tōng)过(guò)融(róng)合(hé)大(dà)量(liàng)视(shì)觉(jué)类(lèi)、文本(běn)类(lèi)推(tuī)理(lǐ)数(shù)据(jù)并(bìng)用(yòng)于(yú)后(hòu)训(xun)练(liàn)，从(cóng) benchmark 表(biǎo)现(xiàn)来(lái)看(kàn)，推(tuī)理(lǐ)计(jì)算(suàn)相(xiāng)关任(rèn)务(wu)效(xiào)果(guǒ)显(xiǎn)著(zhe)提(tí)升(shēng)。

　　在(zài)核(hé)心(xīn)推(tuī)理(lǐ)应(yīng)用(yòng)场(chǎng)景(jǐng)上(shàng)，复(fù)杂(zá)图(tú)表(biǎo)理(lǐ)解(jiě)与(yǔ)推(tuī)理(lǐ)方(fāng)面(miàn)，可(kě)从(cóng)复(fù)杂(zá)图(tú)表(biǎo)提(tí)取(qǔ)关键信(xìn)息(xi)，进(jìn)行(xíng)数(shù)据(jù)分(fēn)析(xī)、趋(qū)势(shì)预(yù)测(cè)、关联(lián)推(tuī)理(lǐ)及统计计算；数学解题与视觉推理领域，能实现几何推理、公式识别、分步求解与逻辑推断。从数学解题基准测试表现看，在 MathVista-mini、MathVision 等多项测试中，相较于主流模型，成绩优异且随参数规模提升持续向好，为复杂推理场景下的应用提供了强力支持。

　　模型架构设计与技术特色

　　Qianfan-VL 通过先进的多模态架构设计，凭借持续预训练和三大技术创新，实现了领域增强的通用视觉-语言能力。

　　● 能力增强训练方案：创新的四阶段训练策略，在保持通用能力基础上实现领域能力显著提升。

　　● 高精度数据合成管线：构建面向多模态任务的大规模数据合成管线，涵盖文档识别、数学解题、图表理解、表格识别、公(gōng)式(shì)识(shi)别(bié)、自然场景 OCR 等核心任务，通过精细化的管线设计和中间过程数据构造，实现高质量训练数据的规模化生产。

　　● 昆仑芯驱动大模型高效计算：基于百度(dù)自(zì)研(yán)昆(kūn)仑(lún)芯 P800 芯片，构建了业界领先的超大规模（5000 卡）分布式计算系统，通过创新的并行策略和算子优化，显著提升大模型任务的处理性能与运行效率。

　　模型应用(yòng)案(àn)例(lì)

　　>>OCR 识(shi)别(bié)场(chǎng)景(jǐng)