免费发布

【了不起的开发者】开源专场:OneFlow让大规模分布式深度学习变得更方便

Thursday, September 09, 2021 7:00 PM ~ Thursday, September 09, 2021 8:00 PM
线上活动 (支持回放)
了不起的开发者

收起

活动站点
活动票种
    付费活动,请选择票种

    第三方登录:

    展开活动详情

    活动内容收起

    近些年,诸如GPT-3等大规模预训练模型备受关注,训练此类模型,一方面需要借助大规模GPU集群,另一方面对分布式深度学习框架的效率和分布式易用性也提出了严峻挑战。特别是,训练这样的超大规模模型需要模型并行、流水并行等现有通用深度学习框架(如TensorFlow和PyTorch)官方版本尚不支持的功能。


    开发者不得不转而寻求各种定制化方案的帮助,诸如基于MXNet和PyTorch上开发的InsightFace, NVIDIA为广告推荐场景专门开发的HugeCTR,NVIDIA基于PyTorch为大规模预训练模型开发的Megatron-LM等。这些定制方案通常都是为某个特定需求开发的,无法方便地应用到另一个类似的需求上去。


    那么,从开发者的需求出发,是否有可能令通用深度学习框架灵活而高效的支持大规模预训练模型所需要的技术?



    9月9日,我们有幸邀请到一流科技OneFlow创始人袁进辉将介绍“一致性视角”背后的核心思想以及新的编程接口,并通过几个与InsightFace, HugeCTR和Megatron-LM的对比案例来展现OneFlow方案的优点。



    #01直播主题

    OneFlow让大规模分布式深度学习变得更方便


    #02直播时间

    9月9日19:00---20:00


    #03分享嘉宾

       袁进辉

    • 一流科技OneFlow创始人

    • 清华大学计算机博士、博士后

    • 原微软亚洲研究院主管研究员(院长特别奖获得者),之江实验室天枢开源开放平台架构师,北京智源人工智能研究院大模型技术委员会委员。


    “了不起的开发者”直播专场,是活动行联合国内外优秀研发人才,技术团队,以线上直播的形式对外输出他们的技术实践。面向所有的开发者,技术行业从业者,提供更多的资源和更开阔的视野,在工作上获得更大的提升。一起来看看接下来的开发者分享吧~


    96日~910日,每晚19:00--20:30,从技术到认知,每周干货不重样!锁定在线直播,多场超干货实战、一线重磅嘉宾分享,观看直播还可以跟大咖线上交流,探讨。


    往期活动:


    五嘉宾图.png





    举报活动

    活动标签

    最近参与

    您还可能感兴趣

    您有任何问题,在这里提问!

    全部讨论

    还木有人评论,赶快抢个沙发!

    活动主办方更多

    了不起的开发者

    了不起的开发者

    “了不起的开发者”直播专场,是活动行联合国内外优秀研发人才,技术团队,以线上直播的形式对外输出他们的技术实践。面向所有的开发者,技术行业从业者,提供更多的资源和更开阔的视野,在工作上获得更大的提升。一起来看看接下来的开发者分享吧~

    微信扫一扫

    分享此活动到朋友圈