阶跃星辰姜大昕：Scaling Law仍处于陡峭区间，万亿参数是基本出发点正是基于这样的认知，阶跃星辰很早便启动了万亿参数模型的训练。 本文关键字： 参数 在2024世界人工智能大会启明创投·创业与投资论坛上，阶跃星辰创始人、CEO姜大昕发表了演讲，分享了对于大模型发展现状与趋势的观察与思考。在演讲中，姜大昕重点阐述了一个核心观点：探索AGI路径，“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进，最终到达AGI。
近年来，GPT系列模型的演进，客观上验证了Scaling Law的有效性。模型参数量决定模型能力的上限。从模型效果看，参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law还能走多远”尚未形成共识，但阶跃星辰认为，参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效，模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中，万亿参数量已经成为一个基本的入门门槛。 正是基于这样的认知，阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿，模型的参数规模提升了一个量级，难度也提升了十倍以上。为此，阶跃星辰加大资源投入，尤其在系统和算法上积极探索，最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上，阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试，Step-2 模型能力都已全面接近国际主流模型，在部分测试集甚至实现了超越。 责编：畅享精灵  微信扫一扫实时了解行业动态 著作权声明：畅享网文章著作权分属畅享网、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。 |
最新文章
|
NCV6.3产品手册-采购管理.pdf
【评测稿】移动CRM软件比较.doc
