会议：ICCV 2023
作者：程浩洋；问海涛；张效良；邱荷茜；王岚晓；李宏亮
论文简介：自监督学习最近引起了人们的广泛关注，它能够在不需要任何人工注释的情况下学习强大的表示。然而，自我监督学习需要培养持续学习的能力，以应对各种现实挑战，即持续自我监督学习(continuous self-supervised learning, CSSL)。灾难性遗忘是CSSL中一个非常严重的问题，即模型容易忘记所学的知识。在实践中，简单的排练或正则化在缓解CSSL灾难性遗忘的同时会带来额外的负面影响，如排练样本的过拟合或阻碍模型编码新信息。为了在不过度拟合的情况下解决灾难性遗忘问题，本文提出了增强稳定性排练(ASR)，通过估计排练的增强稳定性来选择最具代表性和判别性的样本。同时，我们设计了一种匹配策略来动态更新预演缓冲区。此外，我们进一步提出了基于ASR的增强稳定性排练(c2asr)的对比连续性。我们表明，c2asr是信息瓶颈(IB)原则的上界，这表明c2asr本质上保留了尽可能多的信息在看到的任务流之间共享，以防止灾难性的遗忘，并消除了以前的任务流和当前任务流之间的冗余信息，以释放编码新信息的能力。在各种CSSL基准测试中，与最先进的CSSL方法相比，我们的方法取得了很大的成就。
