CLIP、图文对齐与开放词汇识别
概念解释
CLIP 一类模型将图像和文本编码到可比较的表示空间，通过匹配的图文对学习语义对齐。识别时可把候选类别写成文本，与图像表示计算相似度，因此类别集合能够由文本描述构造。
核心方法与条件
将图像向量 v 与文本向量 t 归一化后，可用 v·t 计算余弦相似度。明确候选集合、提示模板和负例，用独立数据选择拒识阈值，并通过裁剪或定位方法验证相似度对应的区域。
例题或应用
一张图片对“猫”和“狗”的相似度分别为 0.28、0.25，只表示在当前表示与候选中更偏向前者；加入“狐狸”等候选后排序或归一化分数可能变化，0.28 不能解释成 28% 的真实正确概率。
常见易错点
全局语义相似不保证计数、左右关系和局部属性正确。提示措辞、背景共现和训练数据分布都可能影响结果，开放词汇也不意味着模型能可靠识别任意新概念。
自检
请尝试不用原文解释“CLIP、图文对齐与开放词汇识别”解决什么问题，再设计一个属于“视觉表征与多模态”的实例，并说明适用条件和判断依据。