持续学习（continual learning， CL）是机器学习领域的一个关键问题，旨在使模型在不断学习新任务的同时，避免灾难性遗忘，保持对先前任务的记忆。持续学习已在多个实际应用中扮演重要角色，如自动驾驶、机器人控制和医疗诊断系统等。本文旨在为学界提供持续学习领域的最新研究进展综述，并对未来可能的研究方向进行展望。为实现持续学习中新旧知识学习的“可塑性—稳定性”平衡，国内外研究者们提出多种方法，根据方法的发展路径可以分为传统持续训练方法和基于预训练模型的方法。首先，本文介绍了传统持续训练的关键技术和方法，包括记忆重放法、正则化法和动态结构法。记忆重放法通过将先前任务的样本存储并重放，以帮助模型回忆过去的知识。正则化法则通过对模型参数的更新进行约束，防止新任务对旧任务的干扰。动态结构法通过调整模型结构或引入新的模型模块以应对新任务的挑战，避免灾难性遗忘的发生。接着，本文进一步探讨了基于预训练模型的持续学习方法的进展。随着大规模预训练模型的广泛应用，这类预训练模型展示了强大的泛化能力和知识迁移能力。基于预训练模型的持续学习方法可以分为基于微调和基于提示的方法。微调方法可以通过冻结部分预训练模型参数，仅对特定层进行更新，或采用学习率调节等技术，避免对预训练模型的过度修改。基于提示的方法通过设计和输入提示来引导模型处理新任务，而无需大规模调整模型参数。本文提供的实验结果建议，当前持续学习任务应优先考虑采用基于预训练模型的方法。最后，本文对当前持续学习领域的挑战与未来发展方向进行了展望，重点讨论了各种实际约束条件下，如何结合预训练模型和经典持续学习方法，构建新的架构设计和优化策略，以应对日益复杂的现实任务需求。

目的多标签类增量学习旨在学习多标签分类任务时，能够持续学习新任务中的新标签信息，同时保持对之前学习任务的良好性能。不同于单标签连续学习中的标签互斥性假设，多标签连续学习中的跨任务标签无法被补全。因此，样本的大量标签缺失使得跨任务之间的关联被完全阻断，模型无法区别新类与旧类，导致相似类别的混淆。方法为了解决类别混淆问题，提出一种类激活图回放和最小熵采样的多标签类增量学习，以实现跨任务的监督信息传递。具体地，首先在传统经验回放策略的基础上，开辟一块新的存储区用于存储样本正类的类激活图。其次，基于交叉熵的数值对当前任务样本进行采样，以挑选那些拥有精确类激活图的样本放入存储区作为回放样本。最后，在后续任务中回放样本，对当前模型的正类激活图输出进行正向监督，并将存储的正类的激活图作为其他类别激活图的反向监督，使其显著区域不重合。结果在PASCAL VOC（pattern analysis，statistical modeling and computational learning visual object classes）数据集上进行广泛实验，验证了所提出方法的有效性和鲁棒性。对比实验结果表明，类激活图监督回放方法显著提升了模型在多标签连续学习中的性能。结论本文所提出的类激活图监督回放法为跨任务类别补充了监督信息，缓解了多标签类增量学习中的标签缺失问题。

目的图像超分辨率任务旨在从低分辨率图像中恢复出高分辨率图像。传统方法通常将研究范畴限定于实验室封闭环境下采集的、内容与退化类型均较为单一的静态域图像，并且假设训练环境与测试环境的数据分布相近。因此，当处于开放环境，面对诸如噪声、模糊以及光照变化等域漂移问题时，传统方法的性能会急剧下降。为提升超分辨率模型在持续变化的开放环境中的适应性和鲁棒性，提出持续测试动态自适应图像超分辨率新框架——CTDA-SR（continuous testing with dynamic adaptive super-resolution）。方法该框架通过动态域自适应策略应对复杂场景中的域漂移问题。具体而言，通过自监督双学生网络的设计，在测试阶段深度挖掘并有效利用图像的局部特征和全局结构特征，使其能够更好地学习不同尺度下的共性模式。此外，为了保持图像在不同分辨率下的一致性，提出多层次转换的循环一致性损失，提高模型对不同分辨率图像的适应性和知识转移的有效性和稳定性，以及学生网络的模型泛化能力。结果实验结果表明，所提方法在多个动态域超分辨任务（如持续退化场景）中优于对比算法，能够提高重建图像的PSNR（peak signal to noise ratio）和SSIM（structural similarity index measure），并表现出稳定性和鲁棒性。实验在8个数据集上与10种方法进行比较，相比于性能第2的模型，在U-Test1数据集中，PSNR提升0.22 dB，SSIM提升0.03；在U-Test3数据集中，PSNR提升0.23 dB，SSIM降低0.01；在B-Test1数据集PSNR提升0.11 dB，SSIM提升0.01。同时，在Urban100（urban scene 100）数据集上的实验结果表明，所提算法在持续退化环境中改善了退化图像的超分辨率的效果。结论本文提出的框架为连续变化环境下的图像超分辨任务提供了一种创新解决方案。通过高效的自适应能力、自监督双学生网络和损失函数的设计，CTDA-SR显著改善了超分任务在动态域条件下的表现，为解决域漂移问题提供了新的研究方向。

目的持续测试时适应（continual test-time adaption， CTTA）旨在不使用任何源数据情况下，使源预训练模型适应持续变化的目标域。目前持续测试时适应主要依赖于自训练方法，在基于平均教师模型框架下将数据增强后样本的预测值作为伪标签，构建一致性损失函数实现模型的自训练。然而，现有方法中使用随机数据增强策略忽视了域间差异的重要性，导致模型稳定性和泛化性失衡等问题，使得在某些域间进行知识转移变得更具挑战性。为此，提出一种面向域间差异的持续测试时适应方法，聚焦于计算机视觉领域中的图像分类任务，探讨如何通过持续测试时适应技术提升模型对新域的适应能力。方法首先，提出一种基于域间差异的弹性数据增强策略。通过构建表示域间特征风格的Gram矩阵，计算相邻域间的差异，选取合适的弹性因子控制数据增强的强度，在数据预处理层面考虑域间差异性，使模型能更好地适应域复杂多变的情况。其次，提出一种全局弹性对称交叉熵损失函数。将基于域间差异计算取得的弹性因子应用于伪标签生成以及一致性损失函数的构建中，在模型优化层面考虑域间差异性，增强模型对不同域变化下的理解和适应能力。最后，提出一种基于置信度的伪标签自纠错策略。在弹性数据增强下，强数据增强通过对原始数据进行较大程度的变换来实现，模型在预测过程中可能面临预测偏差的问题，而弱数据增强涉及较小程度的变换，不会显著改变基本特征，模型对其预测的置信度较高。该策略利用高置信度的弱数据增强预测值对强数据增强的预测值进行自纠错，减少误差积累现象。结果在CIFAR10-C、CIFAR100-C和ImageNet-C 3个数据集上与多种先进算法进行比较，相较于基线方法CoTTA，错误率分别降低了约2.3%、2.7%和3.6%。在CIFAR10-C数据集中进行了消融实验，进一步验证了各个模块的有效性。为了符合更实际的域变化场景，在CIFAR100-C设计了域随机输入实验，结果显示本文方法在域随机输入的情况下错误率低于现有方法，对比基线平均错误率降低了3.9%，证明了本文方法可以有效地评估域间关系，并部署灵活策略以提升模型对持续变化目标域的适应能力。结论本文算法平衡了模型在持续测试时适应场景中的泛化性和稳定性，有效减少了误差积累现象。

目的传统异常检测方法在工业产品缺陷判别中仅关注当前任务，从而导致在接受新任务训练时会灾难性地遗忘以前学过的知识。鉴于现实工业场景中对异常检测模型的灵活性和持续适应性的需求，结合连续学习方法提出一种适配器增强的双阶段连续缺陷判别方法（adapter-enhanced two-stage continual defect detection，AETS）以实现连续异常检测任务。方法1）在AdaptFormer基础上引入外部注意力机制，增强模型对顺序任务中的全局依赖关系的捕捉能力，以提升对新任务的泛化性能。2）在视觉转换器（vision Transformer，ViT）预训练模型的基础上结合高效微调技术，采用双阶段训练策略，即在适应阶段，通过全量微调缓解自然图像与工业图像之间的域差异；在高效微调阶段，通过适配器增强模块提升模型对新任务的适应性，同时冻结大部分参数以保留对旧任务的记忆，从而缓解灾难性遗忘问题。3）提出遗忘波动率（forgetting fluctuation rate，FFR）这一新的连续学习评价指标，用于量化模型在整个学习过程中遗忘波动情况，以检验模型在工业场景中的适用性和稳定性。结果在MVTec-MCIL、MVTec-SCIL和MVTec+MTD数据集上进行实验，AETS的ACC（average accuracy）值分别达到84.21%、89.16%和78.49%，相较于5种连续学习方法，AETS具有最佳的ACC、FM（forgetting measure）值和最小的训练参数量，相较于6种先进高效微调方法，其FFR值达到最佳。消融实验选取缩放因子及确定适配器增强模块结构，以实现模型可塑性与稳定性的最佳平衡。结论所提出的AETS方法通过构建适配器增强模块，充分利用预训练模型的特征表达能力，双阶段训练策略能够捕捉与任务相关的特征，显著增强模型在连续工业缺陷判别任务中的适应性和泛化性。