智源发布全球最大预训练模型“悟道2.0” ,智谱AI等多家机构联合研发

2021-09-24 16:23:00    来源:网络整理    浏览: 2000 次 首页 > 流行 > 科技>
【热】央行罕见出手,时隔14年重启上调外汇存款准备金率,释放的信息非常明显。速看>>

【TechWeb】6月3日消息,2021北京智源大会举办首日,智源研究院学术副院长、清华大学计算机科学与技术系长聘教授、计算机系副主任唐杰发布全球最大预训练模型“悟道2.0”,该模型规模参数达1.75万亿。“悟道2.0”由智源牵头研发,北京智谱华章科技有限公司(以下简称智谱AI)作为骨干参与,并主要开发了“悟道2.0”的平台应用生态。其中,智源、智谱AI和小冰公司联合开发的虚拟学生华智冰引起了广泛关注。

“悟道2.0”还取得了多项世界级的创新突破,在预训练模型架构、微调算法、高效预训练框架方面实现了原始理论创新,在世界公认的人工智能能力排名榜单上,取得9项能力的领先地位。 “悟道”预训练模型是由唐杰领衔,来自智谱AI、北京智源人工智能研究院、小冰公司等单位的100余位AI科学家团队联合攻关完成。今年3月22日,智源曾发布了“悟道1.0”,2个多月后,悟道进化到2.0。

“悟道2.0”特征:最大、最准、通用、国产

唐杰介绍,“悟道”的定位,从一开始就不止要做“中国第一”,而是瞄向世界顶尖水平,让机器像人一样思考,迈向通用人工智能。

“悟道2.0”参数达到1.75万亿,打破了此前谷歌 Switch Transformer 预训练模型创造的 1.6 万亿参数记录,也超过OpenAI开发的第三代生成式预训练Transformer(GPT-3)10倍,是全球最大预训练模型。而通常AI科学界认为模型参数越大,意味着通用人工智能潜能越强。尤其值得一提是,“悟道2.0”这个世界最大万亿模型,完全基于国产超算 GPU 平台打造。

为什么新一代“全球最大”预训练模型会出现在智源与智谱AI团队?唐杰表示,团队开创的FastMoE技术,打破了国外MoE技术存在的限制瓶颈,是实现“万亿模型”基石的关键。

FastMoE作为首个支持PyTorch框架的MoE系统,具有易用性强、灵活性好、训练速度快的优势,可在不同规模的计算机或集群上支持研究者探索不同的MoE模型在不同领域的应用。相比直接使用PyTorch实现的版本,提速47倍。

FastMoE可以支持NoisyGate、GShard、Swith Transformer等复杂均衡策略,支持不同专家不同模型,目前已基于阿里 PAI 平台,亦在国产神威众核超算平台成功部署。

精准方面,悟道 2.0也取得了亮眼的成绩,在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等项目都取得了突破,获得了9项任务上的 SOTA。目前悟道2.0在问答、绘画、作诗、视频等任务中都已逼近图灵测试。

大规模预训练模型的参数规模通常远超传统的专用人工智能模型,在算力资源、训练时间等方面消耗巨大。为了提升大规模预训练模型的产业普适性和易用性,悟道团队搭建高效预训练框架,实现了全链路的原创突破或迭代优化,预训练效率大幅提升。

唐杰介绍,悟道 2.0预训练框架具有“五个高效”特点:高效编码、高效模型、高效训练、高效微调、高效推理,它真正面向产业界的应用。悟道 2.0预训练框架还整合了全球最大的中文语料库WuDaoCorpora,包括最大中文文本数据集、多模态数据集与中文对话数据集。

唐杰称悟道完全开源,任何企业、开发者拿到悟道 2.0预训练框架以后,可以非常快地进行部署,然后应用在实际业务中。目前,悟道 2.0已经与美团、小米、快手、360、搜狗、寒武纪、第四范式、推想科技、好未来、小冰科技等达成合作共建模型生态。

联合智谱AI和小冰团队共同打造首位虚拟学生“华智冰”

虚拟学生“华智冰”

现场,唐杰还介绍了一位自己的新学生-“华智冰”。

“华智冰”是以悟道为内核,以智谱AI的知识数据双轮驱动框架和小冰公司全球领先的人工智能完备框架为基础开发的虚拟数字人,是中国首个原创的全科虚拟学生。华智冰将师从唐杰,开启在清华大学计算机系知识工程实验室的学习和研究生涯,接受智源、智谱AI和小冰公司的联合培养。

华智冰由三方共同研发打造,同时,智谱AI还为虚拟学生提供了融合知识和数据的双轮驱动人工智能系统,让她具有一定的认知和推理能力。小冰则提供了全球领先的人工智能完备框架,同时负责声音、形象的开发应用。智谱.AI依托清华大学团队十余年在知识智能方面的积累和人才优势,构造了高质量大规模知识图谱,致力于打造可解释、鲁棒、安全可靠、具有推理能力的新一代认知引擎,谈到对新学生华智冰的培养目标,唐杰称,从感知智能向认知智能时代迈进,我们希望这个数字人在多项认知智能上超过人,她不仅仅识别图像,还应该有创造能力。比如可以创造诗、作画,甚至回答一些数学问题。

先来看看华智冰同学的绘画和诗作能力。

因为华智冰是到计算机系学习,唐杰也表示,那她应该还要会编程,下一步给她一个任务,能自动设计出网页的板块或者项目架构设计,还能把里面的代码填满,让代码运行正常等待,这些是我们未来对华智冰的一些期望。当然这个过程中不是一天就来了,是慢慢成长的过程,

一位多才多艺的清华同学,请期待!

  (免责声明:本文仅代表作者观点,并不代表品潮时尚网立场。)

本文来自: 品潮时尚网(http://www.pinchao.org/fashion/f/2021060332407.html),转载请注明来源。
猜您喜欢
  • COW STYLE牛乳石硷以安心配方,呵护秋日美肌
    COW STYLE牛乳石硷以安心配   八月正值夏秋换季,身体肌肤的护理面临着敏感时期,同时防疫措施的常态化也在加重肌肤负 ...
  • 法国免疫科技美学护理品牌Docteur M.勉宜博士正式进军中国
    法国免疫科技美学护理品牌D   我们的身体蕴藏着巨大的宝藏和能量,这些能量将赋予我们新生,我们应当感谢免疫细胞,是 ...
  • 金鹰女神迪丽热巴,珠宝搭配堪称完美,这样搭配让你可甜可盐!
    金鹰女神迪丽热巴,珠宝搭配   现在人们对于服装的流行性越来越重视,在意服装如何穿的端庄或者时尚,而对搭配的细节也 ...
  • 新零售产业标杆企业:恰美莱以技术革命纤体养生
    新零售产业标杆企业:恰美莱   随着视觉经济在各个年龄段的不断深入,长久以来,人们对完美身材逐渐开始越来越热烈的追 ...
  • 《生命不息疯狂不止》新书与读者见面
    《生命不息疯狂不止》新书与   4月21日下午,由广东人民出版社主办的《生命不息 疯狂不止》新书发布会在广州永泰新华书 ...
  • 12月21~27星座运势:天秤收入提升,摩羯潜能爆发,水瓶可当老板
    12月21~27星座运势:天秤收 双鱼座要注意的是搞好人际关系,尤其是同事,可以主动分享一些工作经验,会更容易获得... ...
  • 维密天使团海边拍大片 整排美好身材看不过来
    2017-05-29 / 热点 新晋维密天使天使团曝光最新内衣写真,碧海蓝天下尽情展示美好肉体,好不养眼!这组大片拍摄于迈阿密海滩,出镜的超模有Jasmine Tookes, Tayl ...
  • 热点MOST POPULAR
  • 高颜高效 无线自由 罗技K580多设备无线键盘轻薄来袭
    高颜高效 无线自由 罗技K580多设备无线
      (2019年8月12日,上海讯)键盘噼啪作响,手机疯狂弹窗,iPad又有新邮件……办公时间异常烦恼,怎么办?罗技全新K580轻薄多设备无线键盘正式发布,轻松扫清办公障碍 ...
  • Lady Gaga科切拉唱多曲 《Telephone》致敬碧昂斯
    Lady Gaga科切拉唱多曲 《Telephone》
    Gaga一口气演唱了自己的多首新老流行金曲,以及她与碧昂斯合唱过的单曲《电话》(Telephone),向这位准妈妈致敬。 gaga 据外媒报道,4月15日星期六晚,替代碧昂斯(Beyonce)成 ...
  • 秦俊杰《龙珠传奇》搞事情 整顿朝纲气场全开
    秦俊杰《龙珠传奇》搞事情 整顿朝纲气
    秦俊杰饰演康熙 秦俊杰饰演康熙 由秦俊杰饰演的清宫浪漫传奇剧《龙珠传奇》正在北京卫视、安徽卫视每周一至周三晚22点两集连播,优酷视频、腾讯视频每周日零点会员更新12集。 ...
  • 品潮时尚网官方首页
    关于我们 版权声明 媒体合作 广告合作 联系方式 友情链接 网站地图
    Copyright © 2012-2021 品潮时尚网版权所有 PINCHAO.ORG   All Rights Reserved.
    鄂ICP备17010990号-8      
  • 返回顶部
  • 流行 FASHION
  • 美容 BEAUTY
  • 型男 MEN
  • 名流 CELEBRITY
  • 生活 LIFESTYLE