高斯过程的自监督学习研究

2022年11月18日，Yunshan Duan 与 Sinead Williamson 合作的研究论文《利用高斯过程进行自监督学习》（Self-Supervised Learning with Gaussian Processes）在 NeurIPS 大会“自监督学习——理论与实践”工作坊上被接受。这项研究关注了当前自监督学习（SSL）的核心问题：通过对输入数据进行特定转换，以提取与任务相关的信息。论文特别探讨了近年来迅速发展的等变深度学习领域，将结构引入深度神经网络的特征空间。这一方法旨在优化模型在信息选择和表征方面的能力，为自监督学习算法的发展提供了新的思路。

2022年11月15日，《弹性权重整合提升自监督学习方法在迁移场景中的鲁棒性》（Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer）同样在NeurIPS大会“自监督学习——理论与实践”工作坊上被接受。这项研究致力于解决自监督表征学习（Self-supervised representation learning）方法在无标签数据环境中的应用问题。自监督表征学习方法为模型下游任务的微调提供了高效的初始条件，但在许多实际场景中，由于目标标签分布的不均衡性，可能导致微调后的模型后验分布偏离初始状态。论文提出通过弹性权重整合（Elastic Weight Consolidation）技术，有效提升这些模型在迁移学习环境中的鲁棒性，为解决标签分布偏差问题提供了创新方向。