当前位置:首页软件资讯 → 李开复零一万物发布大模型Yi-34B ,阿里云魔搭社区开源首发

李开复零一万物发布大模型Yi-34B ,阿里云魔搭社区开源首发

来源:小编 | 更新时间:2023-12-16 06:28:33

11月6日,李开复博士创办的AI 2.0公司零易玩物正式开源其首个预训练大模型Yi-34B。该模型已开放商业应用,并已上线阿里云Moda社区ModelScope。 Moda立即推出了模型部署相关教程,供开发者参考并快速上手。

零易玩开源的易模型系列包括34B和6B两个版本。根据Hugging Face英文开源社区平台和C-eval中文评测的最新榜单,Yi-34B预训练模型获得多项SOTA国际最佳性能指标认可,成为全球开源大型“双冠军”楷模。

01Wan创始人兼CEO李开复博士表示:“01Wan坚定了进入全球第一梯队的目标。从聘用第一个人、写出第一行代码、设计出第一个模型,我们一直怀着成为‘世界第一’的初心和决心。”

Moda社区开源地址:

https://www.modelscope.cn/models/01ai/Yi-34B/summary

https://www.modelscope.cn/models/01ai/Yi-6B/summary

MoDa 社区最佳实践:

https://mp.weixin.qq.com/s/hy-ovRIkXGfv39RiNEHddw

Yi-34B 登顶全球英文及中文权威榜单 No.1

在Hugging Face 英语测试公开榜Pretrained 预训练开源模型排名中,Yi-34B 以70.72 的成绩排名全球第一,碾压LLaMA2-70B、Falcon-180B 等众多大尺寸模型。

page2image28079936

Hugging Face Open LLM排行榜(预训练)大模型排名,Yi-34B位居榜首(2023年11月5日)

在C-eval中国权威榜单中,Yi-34B超越了全球所有开源型号。与GPT-4相比,Yi-34B在CMMLU、E-eval、高考三个主要中文指标上也占有绝对优势。

page3image28040304

C-eval排名:公开型号,Yi-34B位列全球第一(2023年11月5日)

Yi-34B在反映模型综合能力的评估集上也表现出色,例如全球大型模型最关键的评估MMLU(大规模多任务语言理解)和BBH。 Yi-34B在综合能力、知识推理、阅读理解等各项指标的比赛中也表现出色。

page4image27946576

各评估集得分:Yi模型vs. 其他开源模型

与LLaMA2一样,Yi系列模型在GSM8k和MBPP的数学和代码评估方面比GPT模型表现稍差。未来,零千物系列开源计划将推出专门针对编码能力和数学能力的持续训练模型。

全球最长200K 上下文窗口

Yi-34B型号将发布全球最长的版本,可支持20万个超上下文窗口,可处理约40万个汉字超文本输入。上下文窗口是大型模型综合计算能力的黄金指标之一,对于理解和生成与特定上下文相关的文本至关重要。

受限于计算复杂度和数据完整性等问题,上下文窗口大小的扩展从计算、内存和通信等角度提出了各种挑战。为此,零一Everything技术团队进行了一系列优化,包括计算和通信重叠、序列并行、通信压缩等,实现了大规模模型训练能力近百倍的提升,还提供对一系列模型上下文尺度的支持。一次跳跃就储备了足够的“力量”。

AI Infra实测实现 40%训练成本下降

李开复曾说过,“做大规模模型基础设施的人比做算法的人更稀缺”。超强的基础设施能力是大模型研发的核心护城河之一。

AI Infra(AI Infrastructure人工智能基础设施技术)涵盖大模型训练和部署,提供各类底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等。

Yi系列大模型构建在阿里云平台上。阿里云强大的智能计算基础设施为模型训练提供了坚实的基础。零千基础设施技术通过“高精度”系统、弹性训练、接力训练等全栈解决方案,确保训练高效、安全地进行。

凭借强大的AI Infra,Yi-34B模型训练成本经实测降低了40%。实际训练完成时间与预测时间相差不到一小时。进一步的模拟可以将训练成本降低50%之多,达到千亿规模。目前,01W Infra能够实现故障预测准确率超过90%,故障早期发现率达到99.9%,无需人工参与的故障自愈率超过95%。

灵异物组建了由前谷歌大数据和知识图谱专家领衔的数据团队,构建高效、自动化、可评估、可扩展的智能数据处理管道;还开发了自主研发的“大规模训练实验平台”,用于指导模型的设计和优化。数据处理管道和训练能力的建设以增加大规模预测,使之前大规模模型训练的“炼金”过程变成了极其细致和科学的过程。

李开复宣布零一愿望已经开始下一个千亿参数模型的训练。

接下来,灵异玩物将基于易系列大机型打造更多To C超级应用。李开复强调,“AI 2.0是历史上最大的技术革命,它带来改变世界的最大机会一定是平台和技术。就像PC时代的微软Office,移动互联网时代的微信、抖音、美团一样,业务爆发性增长概率最高的一定是ToC应用。零义乌诚邀开发者社区与我们一起构建Yi开源模式的应用生态,共同打造AI 2.0时代的超级应用。”

热点资讯

软件排行榜

CopyRight©2020-2030 www.sjpcw.cn