表示学习与学习范式¶
这一页解决什么
特征是怎样学出来的，监督信号从哪里来。现代 AI 的大部分能力来自"先在大量无标注数据上学到好的表示，再迁移到具体任务"。P0 必修迁移学习，P1 认识自监督。
知识地图¶
| 层次 | 主题 | 需要理解什么 |
|---|---|---|
| P0 | 表示、嵌入与迁移 | 特征、相似度、冻结编码器、线性探测、微调、域偏移 |
| P1 | 自监督与对比学习 | 增强视图、正负样本、表示坍塌 |
| P1 | 掩码、教师与预测式表示 | MAE、DINO、JEPA 的目标差异 |
| P2 | 持续、主动、少样本、联邦学习 | 遗忘、标注预算、分布式隐私；按任务选择 |
核心机制¶
表示与迁移：好的表示让相似的输入在向量空间中靠近，下游任务只需在上面加一个简单分类头。线性探测（冻结编码器只训线性层）衡量表示本身的质量；完整微调效果通常更好，但需要更多数据和算力，也更容易过拟合。
对比学习：同一张图的两个增强视图是正样本，要拉近；不同图是负样本，要推远（SimCLR）。CLIP 把同样的思路用在图文配对上。关键风险是表示坍塌——所有输入映射到同一点，损失也能很低。
掩码预测：遮住输入的一部分让模型补全。BERT 遮词、MAE 遮图像块（遮 75% 仍能学好）。不需要负样本。
教师-学生与自蒸馏：DINO 让学生网络匹配动量更新的教师网络在不同视图上的输出，不用负样本也不坍塌，学到的特征有很好的语义分割性。
预测式表示（JEPA）：在表示空间而不是像素空间预测被遮挡部分，避免浪费容量去重建无关细节，与世界模型思路相通。
域偏移：训练和部署数据分布不同（光照、设备、场景），表示迁移会失效。你的结构监测从实验室到现场就是典型的域偏移问题。
精选资源¶
跟随实验 · AI-2 · 冻结特征与完整微调¶
- 运行迁移学习原例，确认预训练权重与数据增强。
- 在相同数据划分上比较冻结编码器与完整微调。
- 减少训练标签或改变图像条件，观察效果与训练成本。
- 解释为什么效果改善不能单独证明学到了因果或完整语义。
验收：训练曲线、验证效果、耗时与失败样例；已有 F1 后可做，小规模 GPU 更方便。
自测¶
标注数据很少时，应该冻结编码器还是完整微调？
通常先冻结（或只微调最后几层），参数少、不易过拟合；数据增多后再逐步解冻。
对比学习中的表示坍塌是什么？怎么避免？
所有输入被映射到同一个向量，对齐损失为零却没有信息。用负样本推远（SimCLR）、非对称结构加动量教师（BYOL、DINO）或方差正则（VICReg）避免。
MAE 为什么可以遮掉 75% 的图像块？
图像冗余度高，低遮挡率时靠周围像素插值就能补全；高遮挡率迫使模型学到更高层的结构，同时编码器只处理可见块，训练更快。