您查看的活动已结束

​

近些年，诸如GPT-3等大规模预训练模型备受关注，训练此类模型，一方面需要借助大规模GPU集群，另一方面对分布式深度学习框架的效率和分布式易用性也提出了严峻挑战。特别是，训练这样的超大规模模型需要模型并行、流水并行等现有通用深度学习框架（如TensorFlow和PyTorch）官方版本尚不支持的功能。

开发者不得不转而寻求各种定制化方案的帮助，诸如基于MXNet和PyTorch上开发的InsightFace, NVIDIA为广告推荐场景专门开发的HugeCTR，NVIDIA基于PyTorch为大规模预训练模型开发的Megatron-LM等。这些定制方案通常都是为某个特定需求开发的，无法方便地应用到另一个类似的需求上去。

那么，从开发者的需求出发，是否有可能令通用深度学习框架灵活而高效的支持大规模预训练模型所需要的技术？

9月9日，我们有幸邀请到一流科技OneFlow创始人袁进辉，将介绍“一致性视角”背后的核心思想以及新的编程接口，并通过几个与InsightFace, HugeCTR和Megatron-LM的对比案例来展现OneFlow方案的优点。

#01直播主题

#02直播时间

9月9日19：00---20：00

#03分享嘉宾

   袁进辉

• 一流科技OneFlow创始人

• 清华大学计算机博士、博士后

• 原微软亚洲研究院主管研究员（院长特别奖获得者），之江实验室天枢开源开放平台架构师，北京智源人工智能研究院大模型技术委员会委员。

​

“了不起的开发者”直播专场，是活动行联合国内外优秀研发人才，技术团队，以线上直播的形式对外输出他们的技术实践。面向所有的开发者，技术行业从业者，提供更多的资源和更开阔的视野，在工作上获得更大的提升。一起来看看接下来的开发者分享吧~

9月6日～9月10日，每晚19：00--20：30，从技术到认知，每周干货不重样！锁定在线直播，多场超干货实战、一线重磅嘉宾分享，观看直播还可以跟大咖线上交流，探讨。

往期活动：