第十届ASC超算总决赛:挑战179亿参数大模型训练

2023-05-11 13:20:00     来源:光明网


【资料图】

5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算性能奖。

正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。

据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致性能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战性。

南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学习如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”

据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。

随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越性的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越性。

本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路,并计算谷歌实验中采样出来的1024个末态比特串样本的严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的性能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越性有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。

在HPL计算基准性能测试中,浙江大学以每秒109万亿次浮点运算性能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W总功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算性能。

ASC超算竞赛采用国际最通用的超级计算机浮点性能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在总功耗3000W约束下正确完成包括HPL计算性能基准测试在内的各项计算任务。

ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)

标签:

猜你喜欢

第十届ASC超算总决赛:挑战179亿参数大模型训练
奢侈品电商“抄底”日本-天天最新
外媒:玻总统对用人民币进行贸易持开放态度,“情况在发生变化”
当西方名画相遇上海③|引进之外,如何真正对话世界
生成型人工智能、量子机器学习......2023年八大人工智能技术趋势预测
今日播报!首款自主研发、自主零部件!矿山智能机器人正式上岗
到2033年,计算机视觉市场将达到260亿美元
今头条!开业!南通“菜篮子”升级了
越来越多的单身女性开始买房 超6成认为可激励自己|世界即时看
工控速递(安浦鸣志、禾川科技、赛威传动、全球制造业采购经理指数)-环球今日讯
今日讯!工控速递(丹佛斯、快克智能、德国订单下滑、印度工业机器人等)
兰州市城关区多形式开展2023年知识产权宣传周活动
全球观点:拉萨市城关区文旅局对宾馆饭店开展安全检查
岷县文体广旅局2023年应急广播系统运行维护经费政府采购项目成交
深圳南山文广旅体局2023年上半年公开招聘编外人员公告拟聘人员公 天天快看点
今亮点!中国信通院联合山东通管局举办首届“新绿杯”大赛总决赛
当前报道:京东城市旗舰店滁州店将于京东618正式营业
华为也拉不动赛力斯了?_前沿资讯
沪惠保2023介绍?_天天播资讯
广州公益种牙-广东省爱牙工程公益补贴让更多群众省钱种上好牙
立足协作机器人“普及者”,法奥意威赋能“智能制造”终端落地
国色添“湘”·视频丨铁建重工带着世界级的“挖呀挖”来报到 天天热议
最资讯丨中央财政下达资金100亿元,支持春耕生产—— “百亿补贴”送给种粮农民
披萨可以多次加热吃吗(披萨可以放几个小时)
无息借款助力员工买房 每人最多700万!这家公司放大招 要满足这些条件 环球速看料
广州免费种牙真的吗?广东省爱牙工程公益种牙公益补贴惠及百万缺牙群众
【时快讯】前4个月陕煤入渝713万吨 同比增长28%
环球快资讯丨不用说来表达的句子(表达秋意渐浓的句子)
Hi视频丨威海市环翠区行政审批服务局:这里的政务专区很智慧 每日速讯
人活着,少说这六句话!(精辟)