会议：ICML 2023
作者：问海涛；程浩洋；邱荷茜；王岚晓；潘力立；李宏亮
论文简介：类增量学习(Class incremental learning, CIL)是持续学习中最具挑战性的场景之一。现有的工作主要集中在内存重放、正则化或动态架构等策略上，但忽略了一个关键方面:模式连接。最近的研究表明，不同的最小值可以通过低损耗谷连接起来，并且在谷上集成可以提高性能和鲁棒性。受此启发，该论文尝试研究CIL中的连通性，并发现沿两个相邻连续极小值之间的线性连接存在高损耗脊。为了避开脊线，该论文提出了基于傅里叶级数和梯度投影的参数节省优化连通性(OPC)来寻找最小值之间的低损耗路径。优化后的路径提供了无限的低损耗解决方案。该论文进一步提出EOPC集成局部弯曲圆柱体内的点，以提高学习任务的性能。该论文的方案可以作为一个插件单元，在CIFAR-100、ImageNet-100和ImageNet-1K上进行的大量实验表明，当EOPC适应现有的代表性CIL方法时，有一致的改进。
