迁移学习
一种机器学习技术，利用在大型数据集上预训练的模型知识来提升不同但相关任务的性能，尤其在标注数据稀缺时效果显著。
迁移学习将一个任务 (源) 的知识复用到相关任务 (目标) 上以提升性能。在计算机视觉中，标准做法是取一个在 ImageNet 上预训练的 CNN，在领域特定数据上进行微调，从而减少所需标注数据量和训练时间。
与从头训练相比，迁移学习提供更快的收敛速度、更少的数据需求和更好的泛化能力 - 在难以获取大量标注数据集的领域 (如医学影像) 尤为有价值。
- 特征提取：冻结预训练卷积层，仅替换最终分类头。在目标数据极其有限时效果良好
- 微调：解冻全部或部分层，以较低学习率继续训练。在有适量目标数据时可达到更高精度
- 域适应：通过对抗训练或域不变特征学习来弥合源域和目标域之间的分布差距
CLIP、DINOv2 和 SAM 等基础模型提供了以最少适应即可泛化到多种任务的表示。LoRA 和适配器层等参数高效方法仅更新少量参数即可实现有效迁移。