学术沙龙:深度神经网络的训练动态分析:泛化性与反学习

文:|图:信通学院| 发布时间: 2024-06-14 10:28:20|

 

教师发展中心“学术沙龙”活动特别邀请上海交通大学黄晓霖教授来校作学术交流。具体安排如下,欢迎广大师生参加。

一、主 题:深度神经网络的训练动态分析:泛化性与反学习

二、主讲人:上海交通大学黄晓霖教授

三、时 间:2023年06月17日下午14:00 – 16:00

四、 点:清水河校区科研楼KC-108会议室

五、主持人:信息与通信工程学院刘翼鹏教授

六、内容简介

过参数化是深度神经网络具有良好性能的基础保证,但过参数化使得神经网络的训练损失可以非常小,这些具有相似损失误差的局部解却具有截然不同的泛化性。这使得仅关注训练终态无法分析泛化性,必须考虑整个的训练动态。在之前神经网络的训练动态的低维子空间的基础上,我们深入分析了低维训练、锐度敏感训练等方法以提升神经网络的泛化性,同时训练动态的分析也为反学习等任务提供了新的视角。

七、主讲人简介:

 

 

黄晓霖,上海交通大学教授,博士生导师。2006年在西安交通大学获得学士学位、2012年在清华大学获得博士学位。此后,在比利时鲁汶大学任博士后研究员,2015年作为洪堡学者在德国埃尔朗根-纽伦堡大学开展工作并任研究组组长。2016年加入上海交通大学任副教授,2024年晋升教授,现任上海交通大学自动化系副主任。

八、主办单位:教师发展中心

承办单位:信息与通信工程学院、通信抗干扰全国重点实验室

清水河校区地址:成都市高新区(西区)西源大道2006号 电子科技大学清水河校区科研楼B区

邮编:611731 Email: xintong@uestc.edu.cn

电话:028-61830156 传真:028-61831665

学院官微

分享