迁移学习
一种机器学习技术，利用在大型数据集上预训练的模型知识来提升不同但相关任务的性能，尤其在标注数据稀缺时效果显著。
迁移学习将一个任务 (源) 的知识复用到相关任务 (目标) 上以提升性能。在计算机视觉中，标准做法是取一个在 ImageNet 上预训练的 CNN，在领域特定数据上进行微调，从而减少所需标注数据量和训练时间。
与从头训练相比，迁移学习提供更快的收敛速度、更少的数据需求和更好的泛化能力 - 在难以获取大量标注数据集的领域 (如医学影像) 尤为有价值。
- 特征提取：冻结预训练卷积层，仅替换最终分类头。在目标数据极其有限时效果良好
- 微调：解冻全部或部分层，以较低学习率继续训练。在有适量目标数据时可达到更高精度
- 域适应：通过对抗训练或域不变特征学习来弥合源域和目标域之间的分布差距
CLIP、DINOv2 和 SAM 等基础模型提供了以最少适应即可泛化到多种任务的表示。LoRA 和适配器层等参数高效方法仅更新少量参数即可实现有效迁移。
迁移学习 (Transfer Learning) 在图像识别中的标准做法，是把在 ImageNet 的 1400 万张图像上预训练的 CNN 权重作为初始值，再用少量领域数据微调。与从零训练相比，其优势有 3 点：缩短训练时间、减少所需数据量、提升泛化性能。CLIP 与 DINOv2 这类大规模基础模型 (Foundation Model) 进一步提高了跨任务的迁移能力。