专业网站建设B/S软件开发专业微信营销专业技术建设团队做客户满意度高的软件公司
郑州网站建设、郑州网站开发
 

33.5万亿Token喂出来!百度文心5.5 Flash Base正式开源

作者:网站建设出处:快科技发布时间:2026年11月07日点击数:127

快科技11月6日新闻,百度正式开源最新基座模子文心5.5 Flash Base(ERNIE 5.5 Flash Base)。

这款模子接纳MoE混淆专家架构,总参数目到达2800亿,但每个Token现实激活的参数只有140亿。整个模子使用33.5万亿个Token完成预训练,微协调推理阶段支持最长100万Token上下文。

从参数规模来看,文心5.5 Flash Base并不算小,但它的重点并不是一味堆参数,而是尽可能提高盘算效率。

简朴来说,MoE架构可以让模子凭证差异使命,选择部门专家加入盘算,而不是每次都挪用所有参数。文心5.5 Flash Base总参数到达2800亿,每个Token只激活140亿参数,在保留较大模子容量的同时,也能镌汰现实盘算量。

上下文长度也是这次的一大看点。模子预训练阶段最高支持128K上下文,而经由微调后,推理阶段最长可以支持100万Token。对于需要处置赏罚长文档、代码客栈和大量资料的开发者来说,这项能力较量适用。

百度还针对模子效率做了不少优化。

在注重力机制上,文心5.5 Flash Base接纳混淆希罕注重力方案,通过压缩历史信息,镌汰处置赏罚长文本时的显存占用。同时引入多路由专家机制,让多个路由器配合加入专家选择,提高盘算资源的使用率。

训练方面,模子接纳Muon优化器和FP8混淆精度,并推出自研FlashMask-4注重力算子,进一步改善大规模训练时的盘算和显存效率。

性能方面,百度宣布的测试效果显示,文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个项目中取得同尺寸模型领先效果。

其中,MMLU效果到达93.3分,MMLU-Pro到达78.4分,HumanEval 到达82.3分,MBPP 到达81.5分。在代码测试中,相比DeepSeek-V4-Flash-Base等同级模子有显着优势。

不外需要注重,这次开源的是纯预训练基座模子,还没有经由中训练和后训练。也就是说,它并不是下载下来就能直接看成成熟谈天机械人使用,而是主要提供应开发者和企业,用于后续指令微调、领域适配和强化学习。

现在,百度已经在Hugging Face上提供FP8和BF16两种版本的模子权重,利便差异需求的开发团队下载使用。

百度也体现,经事后训练的ERNIE 5.5 Flash版本将在后续推出。

这次开源最大的看点,是百度把一个2800亿参数、经由33.5万亿Token训练的模子开放给开发者,同时通过MoE和希罕注重力等手艺控制盘算成本。

随着大模子竞争越来越强烈,单纯比拼参数规模已经不够了,模子能不能跑得快、占用几多显存,以及后续训练是否利便,同样主要。文心5.5 Flash Base的开源,也给海内开发者提供了一个新的选择。

河南学众软件科技