ChatGPT

百川智能发布超千亿大模型 Baichuan 3,技术能力如何?

从爆料来看,还是值得期待的。其在中文通用任务中的表现,肯定是要超过 GPT-4 的。

作为 AI 大模型最基础的语义理解和文本生成能力,往往是决定其智能表现的基座。

百川智能发布超千亿大模型 Baichuan 3,技术能力如何?

AI 界一众天骄,都在为提升此两项能力,而无所不用其极。比如 OpenAI、Google 等业内翘楚,就率先引入了RLHF(基于人类反馈的强化学习) 和RLAIF(基于 AI 反馈的强化学习) 两项强化学习技术。

这些强化学习技术,既可以让 AI 大模型更精准地理解用户(多约束和多轮对话)指令,还能提升 AI 大模型的「生成」质量。

不过,AI 大模型要想充分发挥强化学习技术的功效,可不是件容易的事。这需要持续稳定的强化学习训练框架和高质量的偏序数据支持。

面对强化学习带来的挑战,百川智能下足了功夫:

在强化学习训练框架方面,百川智能发布了自研的训练框架(基于训练、推理双引擎融合的多模型并行调度)。据传,该框架能够支持千亿模型以上的高效训练。

在偏序数据方面,百川智能也积极拥抱RLHF与RLAIF,力图在数据质量和成本之间,找到平衡。

综上,Baichuan3 大模型在通用英文任务测试中,接近 GPT-4 的水平,也就不足为奇了。更为惊艳的还是,Baichuan3 依赖的中文强化学习技术,让其在通用中文任务测试中,扬眉吐气(超越 GPT-4)。

发表评论:

验证码

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。