[LG]《LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics》R Balestriero, Y LeCun [Brown University & New York University] (2025)

LeJEPA：无监督预训练新范式，摆脱繁琐启发式，理论驱动，稳定高效

本文提出一个全新自监督学习框架LeJEPA，彻底解决了联合嵌入预测架构（JEPA）训练中的核心难题。

核心贡献：
1. 理论突破： 证明了理想的嵌入分布是“各向同性高斯分布”，唯一最小化下游任务的最坏风险，首次给出了JEPA嵌入应遵循的唯一分布设计原则。
2. SIGReg正则化： 引入“Sketched Isotropic Gaussian Regularization”(SIGReg)，一种基于统计假设检验的分布匹配方法，具备可微分、可扩展、理论可证、实现简洁等优点，有效避免表示坍缩。
3. 简洁实用： LeJEPA只需一个超参数，无需复杂启发式（无止梯度、无教师学生网络等），且支持多架构（ViT、ResNet、ConvNet等）和大规模模型训练（最高达18亿参数）。
4. 训练损失信息丰富： LeJEPA训练损失与下游线性探测性能高度相关，达到99% Spearman相关度，实现无标签的模型选择和交叉验证。
5. 小样本与领域适应优势显著： 在Galaxy10等领域特定数据集上，LeJEPA直接在目标域预训练，全面超越DINOv2/v3等前沿模型的迁移学习，打破了“通用大模型+迁移”的瓶颈。
6. 语义结构自然涌现： 通过PCA可视化，LeJEPA学习的特征展现出清晰的语义聚类；注意力机制自动分割视频中前景目标，表现出强时序一致性，无需监督。

技术亮点：
- 理论最优性： 对线性和非线性探针均证明各向同性高斯分布最优，避免偏置和方差放大。
- 统计测试为训练准则： 利用高维随机投影，将复杂多维分布匹配转化为多个一维分布测试，规避维度灾难，保证训练稳定。
- Epps-Pulley统计量： 采用基于特征函数的统计测试，梯度有界且易分布式计算，提升训练效率和收敛稳定性。
- 训练稳定无启发式： 不依赖stop-gradient、teacher-student等复杂机制，训练过程简洁且适应多种规模和架构。

实验验证：
- 在ImageNet-1k上，ViT-H/14模型线性探测准确率达79%，展现强大泛化能力。
- 超过60个不同架构均能稳定训练，表现优异。
- 小规模领域数据（如Galaxy10）上，LeJEPA训练时间缩短3倍以上，性能领先。
- 大规模模型（近18亿参数）训练平稳，且训练损失可直接用于模型调优。
- 语义视觉特征自然显现，支持无监督视频目标分割。

总结：
LeJEPA以严谨理论为基础，设计出一套简单、统一、可扩展的自监督预训练框架，消除了过去JEPA训练的诸多不稳定因素，开创了无需标签的高效模型选择新途径。它不仅提升了预训练效果，更为领域适应、小样本学习等实际应用提供了强有力支持，推动自监督学习回归AI研究核心。

论文链接：arxiv.org/abs/2511.08544