Vision Transformer 与图像 Patch
概念解释
Vision Transformer 将图像切成固定大小的 patch，投影为 token，再通过自注意力建模 token 之间的关系。位置编码为网络提供空间顺序信息，分类输出可来自类别 token 或特征聚合。
核心方法与条件
先计算 token 数 N=(H/P)×(W/P)，这里假设图像尺寸可被 patch 边长 P 整除。标准全局自注意力的注意力矩阵含 N² 个位置，因此提高分辨率时应重新估算显存和计算开销。
例题或应用
224×224 图像使用 16×16 patch，得到 14×14=196 个图像 token。若宽高各加倍，图像 token 变成 784，注意力矩阵的元素数约增加 16 倍；此处未计额外的类别 token。
常见易错点
更小的 patch 会增加 token 数，但不能保证小目标识别一定改善。输入分辨率、位置编码处理和预训练方式共同影响迁移效果，不能只按模型名称比较能力。
自检
请尝试不用原文解释“Vision Transformer 与图像 Patch”解决什么问题，再设计一个属于“视觉网络与分类”的实例，并说明适用条件和判断依据。