潞晨科技旗下Colossal-AI开源650亿参数大模型预训练方案

极客号(Daydx.com)7月20日 消息:AI创业公司潞晨科技宣布,旗下Colossal-AI 首个开源了650亿参数 LLaMA 低成本预训练方案。

据介绍,相比业界其他主流选择,该预训练方案可提升预训练速度38%,仅需32张 A100/A800即可使用,并且不限制商业使用。

潞晨科技旗下Colossal-AI开源650亿参数大模型预训练方案

开源地址:https://github.com/hpcaitech/ColossalAI

声明:本文内容整理自网络,观点仅代表原作者本人,投稿号仅提供信息发布服务。如有侵权,请联系管理员。

(0)
上一篇 2023年7月20日 12:21
下一篇 2023年7月20日 13:00

热点推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注