|相关新闻

团队博士生尚超赴温哥华参加国际人工智能顶级会议CVPR 2023

文:|图:信通学院| 发布时间: 2023-06-28 18:37:21|

近日,以博士生尚超为第一作者,李宏亮教授为通讯作者共同完成的研究论文《Incrementer: Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class》被人工智能顶级会议CVPR 2023接收,并评选为Highlight论文。CVPR(IEEE Conference on Computer Vision and Pattern Recognition)是计算机视觉领域全球最有影响力的会议,受到业界的广泛关注。

类增量语义分割的目标时在增量学习新类的同时保持分割旧类的能力,但由于旧类标签不可用,因此会造成灾难性遗忘的问题。大多数现有方法都是基于卷积网络构建的并通过知识蒸馏来防止遗忘。这些方法需要添加额外的卷积层来预测新类别,而且在知识蒸馏过程中忽略区分新旧类别对应的不同区域,并且粗略地蒸馏所有特征,从而限制了模型对新类别的学习。 基于上述观察,该论文提出了一种新颖的基于Transformer的框架用于类增量语义分割,称为Incrementer,它只需要向Transformer解码器添加新的类标记向量即可进行对新类学习。 基于Incrementer,提出了一种新的知识蒸馏方案,来重点关注对旧类区域的蒸馏,减少了旧模型对当前模型学习新类的约束,从而提高了可塑性。 此外,该论文提出了一种类解混淆策略,以减轻对新类的过度拟合和相似类别的混淆。