6月5日上午10点，本学期上海交通大学信息与电子工程学院（集成电路学院）校企共建本科生课程“微纳电子科技前沿讲座”第九讲在东上院101教室顺利展开，由孙亚男老师和杨志老师共同主持，本学期本科生校企共建系列讲座由新思科技支持。
课程介绍
本次课程邀请到NVIDIA公司朱斐文专家，为同学们带来有关深度学习模型端到端优化有关知识的讲解。
上半场讲座，朱斐文专家首先从“主流计算架构”这一话题引入，指出了架构设计在深度学习模型端到端优化中的重要性。随后，朱斐文提到了多维优化问题，包括弱扩展和强扩展两种模式，并指出弱扩展旨在通过增加处理器来提升系统吞吐量，而强扩展则关注在固定问题规模下减少解决方案时间。
下半场讲座，朱斐文专家从Scale Out的挑战以及影响Scale Out效率的因素开始讲解，包括内核可扩展性差、CPU开销、抖动（Jitter）、通信开销和串行执行等。随后，朱斐文分享了无CPU训练（CPU-less training）的概念和方法，并指出同步自由（Sync-free）可以消除CPU和GPU之间的同步，让CPU不再阻塞GPU的执行，并且完整的迭代CUDA图（Full iteration CUDA graph）会将整个迭代过程作为单一的CUDA图来捕获，以优化执行。
