探索对抗训练中的记忆现象

以深度学习为代表的人工智能模型在诸多任务上取得了优异的性能，但是其在对抗样本攻击下的鲁棒性存在严重不足。为了提升深度学习模型的鲁棒性，对抗训练通过采用对抗样本作为一种数据增强方式，成为目前最为主流的防御方式。

 

然而，对抗训练算法仍存在很多问题，包括鲁棒泛化误差较大、鲁棒过拟合（robust overfitting）等。目前，仍然缺乏对深度学习对抗训练的机理的深入理解与分析。本文从对抗训练的记忆现象（memorization effect）角度分析对抗训练中存在的收敛性、泛化性、过拟合等问题，试图进一步理解并提升对抗训练。