“ APUS 联合新旦智能开源国内首个千亿级 MoE 架构大模型 头条 ”
发布时间：2024-04-02
今日阅读：0
来源：OSCHINA
作者：菠萝的海子
4月2日，APUS发布官方公告，称其与战略合作伙伴新旦智能联合训练、研发的千亿MoEMixture of Experts架构大模型APUS-xDAN-4.0(MoE)在GitHub上正式开源。
开源地址https://github.com/shootime2021/APUS-xDAN-4.0-moe
据介绍，APUS-xDAN-4.0(MoE)是国内首个千亿以上参数MoE架构的开源大模型，参数规模为1360亿，这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中，参数规模最大的是阿里720亿参数的千问72B，参数规模为720亿。
此外，APUS-xDAN-4.0(MoE)还是国内首个支持在4090低端算力上训练的千亿参数开源大模型，通过MoE架构和算法优化实现了对低端算力芯片的适配。模型架构如下
APUS-xDAN-4.0(MoE)与其他模型的性能对比
推荐阅读
(0)
每日一言
""付出就会有回报，比如一倍的奢望，换两倍的失望。""
热门标签
站点统计
本周更新文章: 0 篇
文章总数: 59110 篇
今日访问量: 53143 次
访问总量: 147300 次