【学术沙龙】利用低维动态空间的深度神经网络训练加速与扩展性提升

文:|图:信通学院| 发布时间: 2023-06-20 13:48:30|

   教师发展中心“学术沙龙”活动特别邀请上海交通大学黄晓霖副教授来校作学术交流。具体安排如下,欢迎广大师生参加。

一、主  题:利用低维动态空间的深度神经网络训练加速与扩展性提升

二、主讲人:上海交通大学 黄晓霖 副教授

三、时 间:202373日下午14:30

四、  点:清水河校区 宾诺咖啡

五、主持人:刘翼鹏 副教授

  六、内容简介

深度神经网络的参数量极大,产生了很多冗余的特征,这也是神经网络存在对抗样本的根本原因之一。找到有效的低维结构、有效地去除冗余有望很好地控制神经网络、提升其稳健性。通过分析神经网络的动态特性,我们提出了神经网络动态低维结构,发展了新的降维方法,第一次证实了深度神经网络超低维动态空间的存在性。进一步,我们围绕超低维动态空间的机理和实际工业应用展开研究,发展了低维高阶算法、历史组合可训练权重方法、局部优化方法等,提升了训练性能并从新的角度解释了对抗攻击样本的存在性。相应成果近期相继发表在IEEE TPAMI, ICLR, CVPR等期刊和会议上,并通过与华为的合作研究在实际应用展现出了良好的性能。

七、主讲人简介:


黄晓霖副教授,本科毕业于西安交通大学、博士毕业于清华大学,博士后工作于比利时鲁汶大学,并在德国埃尔朗根-纽伦堡大学任洪堡学者,现为上海交通大学电子信息与电气工程学院副教授、博士生导师,研究方向为机器学习理论与算法,特别是核学习与深度学习中的稳健性。发表论文五十余篇,其中十余篇发表于领域重要期刊《Journal of Machine Learning Research》《IEEE Transactions on Pattern Analysis and Machine Intelligence》《Applied and Computational Harmonic Analysis》,并在《Nature Reviews Methods Primers》发表综述一篇。近年来,主持国家自然科学基金面上项目、JWKJW创新专项、上海市科技创新行动计划项目;参与“2030新一代人工智能重大专项和人工智能前沿基础理论与关键技术上海市科技重大专项。2017年入选国家特聘专家(青年项目)。

  八、主办单位:教师发展中心

    承办单位:信息与通信工程学院

 

 

清水河校区地址:成都市高新区(西区)西源大道2006号 电子科技大学清水河校区科研楼B区

邮编:611731 Email: xintong@uestc.edu.cn

电话:028-61830156 传真:028-61831665

学院官微

分享