对比学习与掩码图像建模
概念解释
自监督学习从数据自身构造训练目标。对比学习让同一图像的不同增强视图表示接近,并按目标设计处理其他样本;掩码图像建模则隐藏部分 patch,训练模型利用可见内容预测被遮挡的信息。
核心方法与条件
增强策略决定表示需要保留或忽略哪些变化,评价时可固定骨干训练线性分类器,或在统一预算下微调。掩码比例、预测目标和可见 token 数应与结构一起分析,重建质量与下游能力分别评估。
例题或应用
224×224 图像切成 196 个 16×16 patch,遮挡 75% 时剩余 49 个可见 patch。若两张不同图像恰好都是同一品类,却在对比训练中被当作负例,就可能出现语义上的假负例。
常见易错点
不使用人工类别标签不等于没有数据偏差。颜色增强可能丢掉任务关键线索,重建纹理很好也不能直接证明模型具备计数、定位或跨域识别能力。
自检
请尝试不用原文解释“对比学习与掩码图像建模”解决什么问题,再设计一个属于“视觉表征与多模态”的实例,并说明适用条件和判断依据。