百度文心大模型4.0训练最新内幕_万卡集群”开启万亿参数级训练_对标GPT-4

10月9日报道丨获悉，百度公司正在加紧训练旗下的AI大模型——文心大模型4.0，很可能会在10月17日举办的百度世界大会上发布。而最新的情报显示，文心大模型 4.0 正在加紧训练，已经接近可发布状态。

今天，更多关于文心大模型4.0的内幕被曝光，涉及了底层架构、基础设施、训练数据集、成本等关键信息。

先总结一下核心的讯息点：

文心大模型 4.0 实际上已经在小规模灰度测试文心大模型 4.0 的参数量大于所有已对外公布参数信息的LLM大模型（不包括GPT-4），也是国内首次使用万卡集群训练的大模型推理成本相比文心大模型 3.5 增加很多，据传成本增长了 8-10 倍

文心大模型 4.0 的参数规模要大于目前所有公开发布参数的 LLM，这意味着文心大模型 4.0 的参数规模有望突破万亿级别。

如果要比较的话，对比GPT-4被曝光，训练参数量可能在 1.8 万亿左右，文心大模型 4.0 仍然是一个单一体系的大模型，并没有采用类似 ChatGPT 和很多其他大语言模型目前正在应用的所谓”混合专家模型(MoE)”。

这么大参数量的模型，对算力要求注定不会小。现在的消息是，文心 4.0 是在万卡 AI 集群上训练出来的，可能是——超万张GPU集群训练，创建史上最大的LLM参数大模型。应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。

所谓的“万卡集群”，国内目前只有华为、阿里能够实现。据分析称，正是因为百度飞桨的深度联合，才能基于“万卡集群”训练出如此巨大规模的LLM大模型。

最后，根据内部员工的说法，百度实际上已经开始秘密小流量测试文心大模型4.0。有小部分的文心一言用户其实正在使用的就是最新的4.0版本模型。

如无意外的话，文心大模型4.0最快将在10月17日下周的百度世界大会上正式公布。让我们拭目以待，看看能否与目前的行业标杆GPT-4背水一战？