跳转到内容

视觉语言模型与空间定位

视觉语言模型通常把视觉编码器产生的特征,通过连接模块交给语言模型,再根据图像与文本生成回答。图像理解、OCR、定位和推理依赖不同证据,流畅的描述不能代替像素级或坐标级验证。

记录原图到模型输入的缩放、裁剪与填充参数;需要边界框时,验证模型是否按约定坐标输出,并映射回原图。若缩放比例为 s、左侧填充为 pₓ,则横坐标还原为 x=(x′−pₓ)/s。

1920 像素宽的原图等比例缩为 640 像素且不填充,s=1/3。模型输入中的 x′=50 对应原图 x=150;若漏掉还原步骤,框的位置和大小都会缩小三倍。

小文字、拥挤目标、镜像关系与被裁掉的区域可能导致错误回答。语言模型可能补全图中并不存在的细节,因此计数、坐标、读数等结果要使用标注或独立视觉证据核对。