UZ3DVG:生成式空间监督与推理链蒸馏驱动的零样本三维视觉定位

6830 字
18 分钟

UZ3DVG:生成式空间监督与推理链蒸馏驱动的零样本三维视觉定位

发布于

三维视觉定位(3D Visual Grounding,3DVG)依据自然语言描述,在三维场景中定位目标物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别通过定位链、多锚点几何上下文和结构化多视角交互,增强模型对复杂空间关系的理解。这些研究持续推进了一个核心问题:如何将语言中的关系信息转化为可计算的三维定位约束。

UZ3DVG: Unaided Zero-Shot 3D Visual Grounding with Generated Language Conditions 将这一问题进一步延伸到监督来源与部署方式。作者利用视觉语言模型(VLM)自动生成空间描述和结构化推理链,再将其训练为轻量三维定位网络,使模型在推理阶段直接根据点云和查询完成定位。

该方法的关键在于将大模型的空间知识转化为训练监督,并通过特征蒸馏和显式几何建模固化到专用网络中。MSAG-RC 负责构造物体框、空间描述与推理链;Reasoning Chain Distillation(RCD)将结构化推理迁移到学生网络;Geometry-Aware Spatial Modeling(GeoSM)则为推理提供全局位置和局部几何依据。三者共同建立了从自动数据生成到高效空间推理的完整路径。

论文信息

项目内容
标题UZ3DVG: Unaided Zero-Shot 3D Visual Grounding with Generated Language Conditions
作者Wenbin Tan、Jiawen Lin、Yuan Xie、Yachao Zhang、Yanyun Qu
会议CVPR 2026,9547–9557
研究设定使用自动生成的三维框、空间描述与推理链训练定位网络
核心设计MSAG-RC、RCD、TSVDE、GeoSM
推理输入三维点云与自然语言查询
实验数据集ScanRefer、Nr3D
主要结果ScanRefer Acc@0.5 为 41.08%,推理速度 7.69 FPS,采用 Mask3D 框细化

本文公式、图像与实验数值依据论文正文整理。对于输入点云 PP 和查询 QQ,可以将推理过程表示为:

b^=fθ(P,Q),\hat b=f_\theta(P,Q),

其中,b^\hat b 为预测目标的三维边界框。参数 θ\theta 通过自动生成的空间监督训练得到。

论文中的 Zero-Shot 对应摆脱人工实例级指代表达标注的训练设定,定位器使用生成数据进行优化;Unaided 强调推理阶段由专用三维网络完成定位,无需调用 LLM/VLM 或输入额外二维图像。实验分别报告纯定位网络与附加 Mask3D 框细化的结果,后文按配置展开。

问题背景:将大模型推理能力迁移到三维网络

在线大模型推理的计算代价

ZSVG3D、SeeGround 等零样本方法利用大模型的语言理解和关系推理能力,将三维场景转化为对象信息、二维投影或多视角图像,再通过模型交互确定目标。这条路线能够充分调用基础模型知识,但场景表示转换、视觉编码和多轮交互也会进入每次查询的执行流程。

对于机器人导航和连续场景交互,查询会反复发生,在线推理成本随调用次数持续累积。UZ3DVG 因此重新分配了大模型与专用网络的职责:VLM 在训练数据构建阶段提供开放词汇语义与空间推理,三维网络在部署阶段执行点云与语言之间的直接映射。基础模型知识由此成为可重复利用的训练资源。

从物体描述到关系监督

自动生成“这是一把蓝色椅子”能够提供类别和颜色信息,但同一场景中的多把椅子仍需要关系条件完成消歧。有效的训练样本应进一步表达“桌子旁边、靠近棕色椅子的蓝色椅子”,并给出支持该判断的参照对象和推理步骤。

这里存在两项紧密关联的要求。首先,语言描述需要建立在三维几何之上,使距离、方位和场景位置具有一致的空间依据。其次,训练监督需要呈现目标选择的关系结构,使网络同时学习定位结果及其依赖的参照信息。

UZ3DVG 通过生成空间描述与配套推理链,将对象级语义、关系条件和三维位置组织到同一训练样本中。

框架总览

UZ3DVG 整体框架:MSAG-RC 生成空间监督,教师向学生蒸馏推理知识,TSVDE 与 GeoSM 增强三维定位

图 1:UZ3DVG 的训练与推理框架,来自原论文图 2。

阶段输入与输出主要作用
MSAG-RCRGB-D 或点云投影 → 三维伪框、空间描述、推理链与置信度自动构造具备几何依据的定位监督
RCD-Teacher空间描述、结构化推理链、视觉特征 → 推理增强的跨模态特征提取参照信息及其逻辑依赖
RCD-Student空间描述与视觉特征 → 伪推理组件、增强文本和视觉表示将教师推理能力迁移到轻量网络
TSVDE文本语义与低层视觉特征 → 语义相关的细节增强特征保留查询所需的局部视觉信息
GeoSM对齐视觉特征与三维坐标 → 几何增强表示联合建模全局布局和局部邻域关系
定位预测头跨模态与几何增强特征 → 目标三维框完成目标识别与边界框回归

训练时,生成器和教师网络提供监督,学生网络学习空间定位。推理时,学生网络根据实际查询生成内部推理表示,并结合点云特征完成预测。这种阶段划分使复杂知识生成过程与高频定位计算各自承担明确职责。

MSAG-RC:构造具有三维依据的语言监督

开放词汇检测与实例掩码

MSAG-RC 的完整名称为 Open-Vocabulary Multi-Source Spatial Annotation and Reasoning Chain Generator。其处理流程首先从 RGB-D 序列均匀采样图像与对应深度图,再利用开放词汇二维检测器获得物体候选框。论文以 Grounding DINO 为检测器示例,并通过 SAM2 将候选框转化为像素级实例掩码:

Mi,j=SAM2⁡(Ii,bi,j2D).M_{i,j}=\operatorname{SAM2}(I_i,b^{\mathrm{2D}}_{i,j}).

其中,ii 表示采样帧,jj 表示该帧中的目标实例。实例掩码将深度采样限制在物体区域,使后续三维几何恢复能够围绕具体对象进行。

从二维掩码恢复三维伪框

对掩码内有效深度像素 (u,v)(u,v),使用深度相机内参 KdK_d、相机到世界坐标变换 Tc2w(i)T^{(i)}_{c2w} 和场景轴对齐矩阵 AA,将其反投影到三维场景中:

p~i,j(u,v)=A Tc2w(i)[Di(u,v)Kd−1(u,v,1)⊤].\widetilde p_{i,j}(u,v)= A\,T^{(i)}_{c2w} \left[D_i(u,v)K_d^{-1}(u,v,1)^\top\right].

上式省略齐次坐标扩展。对恢复的目标点集计算逐轴最小值与最大值,可得到轴对齐伪框的中心和尺寸:

ci,j=pi,jmax⁡+pi,jmin⁡2,si,jraw=pi,jmax⁡−pi,jmin⁡.c_{i,j}=\frac{p^{\max}_{i,j}+p^{\min}_{i,j}}{2},\qquad s^{\mathrm{raw}}_{i,j}=p^{\max}_{i,j}-p^{\min}_{i,j}.

这一流程将二维基础模型提供的实例边界转化为三维对象位置,使空间语言生成能够使用物体中心、尺寸和场景坐标。三维伪框因此同时承担目标定位标签与语言生成条件两项功能。

由对象几何生成空间描述

对每个有效目标,生成器组织类别 κi,j\kappa_{i,j}、三维框 bi,j3Db^{\mathrm{3D}}_{i,j} 和目标相关空间上下文 Ci,jC_{i,j},并在 RGB 图像中用二维框和编号突出目标。VLM 根据图像与这些结构化信息生成空间描述:

di,j=VLM⁡(I~i,j;ci,j,si,j,κi,j,Ci,j).d_{i,j}=\operatorname{VLM} \left(\widetilde I_{i,j};c_{i,j},s_{i,j},\kappa_{i,j},C_{i,j}\right).

这里的关键是将视觉属性与三维关系共同作为语言生成条件。图像提供外观、颜色和类别线索,几何信息提供场景位置及对象之间的关系依据,两者共同支持具有定位价值的表达。

从监督构造角度看,MSAG-RC 建立了“物体实例—几何状态—空间语言”之间的对应。描述的作用也随之从对象命名扩展到目标消歧,为模型学习关系约束提供直接输入。

生成配套的结构化推理链

在空间描述生成后,VLM 继续输出相应的推理链。提示模板要求包含三个组件:

组件表达内容在训练中的作用
Anchor推理所围绕的对象线索提供对象级语义组织
References参照信息与关系条件明确目标选择依赖的上下文
Reasoning依据关系条件完成定位的推理内容呈现对象与空间条件之间的逻辑联系

生成器还通过提示约束执行一致性检查,校正描述与推理链中的定位问题,并返回自评置信度。其联合输出可以写为:

(di,j,Ri,j,γi,j)=G(I~i,j,bi,j3D,κi,j,Ci,j),(d_{i,j},R_{i,j},\gamma_{i,j})= \mathcal G\left(\widetilde I_{i,j},b^{\mathrm{3D}}_{i,j},\kappa_{i,j},C_{i,j}\right),

其中,Ri,jR_{i,j} 为推理链,γi,j\gamma_{i,j} 为置信度。推理链为描述和目标框之间补充了中间结构,使学生网络获得对象角色、关系条件和推理依赖等更丰富的监督。

RCD:将推理链蒸馏为轻量网络的内部表示

教师网络:解析、筛选与跨模态对齐

RCD-Teacher 首先解析推理链中的 Anchor、Reference 和 Reasoning 组件,并利用冻结的 RoBERTa 分别编码,得到组件级表示 CchainteaC^{\mathrm{tea}}_{\mathrm{chain}}。

由于生成链中的不同片段具有不同的相关性,教师网络根据原始空间描述特征 TovsdT_{\mathrm{ovsd}},通过质量门控筛选和增强组件表示:

Cchainfilt=Gate⁡(Cchaintea,Tovsd).C^{\mathrm{filt}}_{\mathrm{chain}}= \operatorname{Gate}\left(C^{\mathrm{tea}}_{\mathrm{chain}},T_{\mathrm{ovsd}}\right).

随后,自注意力建模组件之间的逻辑依赖;交叉注意力将组件信息与描述特征关联,再通过门控融合得到推理增强的文本表示 TfusteaT^{\mathrm{tea}}_{\mathrm{fus}}。这一过程使关系信息能够沿着“组件解析—依赖建模—文本注入”的路径参与表示学习。

教师最后使用三层双向跨模态注意力对齐视觉与文本特征,输出 VoutteaV^{\mathrm{tea}}_{\mathrm{out}} 和 ToutteaT^{\mathrm{tea}}_{\mathrm{out}},作为学生学习的特征目标。

学生网络:由查询预测伪推理组件

学生网络以空间描述特征为输入,通过掩码全局平均池化得到描述上下文,再利用轻量查询生成器和注意力提取器预测三个伪推理组件,分别对应教师中的 Anchor、Reference 和 Reasoning。组件进一步聚合为全局推理表示 RstuR^{\mathrm{stu}}。

这种设计将显式推理链转化为学生可预测的潜在结构。部署时,模型从实际查询中提取对象角色和关系信息,生成内部组件表示,进而增强文本与视觉特征。

推理表示在组件和全局两个层面接受教师监督:

Lr=Lrcomp+Lrglobal.\mathcal L_r= \mathcal L_r^{\mathrm{comp}}+ \mathcal L_r^{\mathrm{global}}.

组件级约束保留局部语义角色,全局约束保持整体推理内容。随后,学生将 RstuR^{\mathrm{stu}} 与原始文本特征拼接,通过 MLP 和置信度加权残差融合增强文本,并使用两层轻量双向跨模态编码器完成视觉—语言对齐。

推理增益蒸馏:学习教师如何增强文本

RCD 进一步定义推理前后的文本特征差值:

Gtea=Touttea−Tovsd,Gstu=Toutstu−Tovsd.G^{\mathrm{tea}}=T^{\mathrm{tea}}_{\mathrm{out}}-T_{\mathrm{ovsd}},\qquad G^{\mathrm{stu}}=T^{\mathrm{stu}}_{\mathrm{out}}-T_{\mathrm{ovsd}}.

这两个差值表示教师和学生相对于原始描述所引入的表示增益。论文通过以下目标对齐它们:

Lg=Lcos+Lmse+Lmag.\mathcal L_g= \mathcal L_{\mathrm{cos}}+ \mathcal L_{\mathrm{mse}}+ \mathcal L_{\mathrm{mag}}.

三个分量分别约束增益方向、归一化增益幅度和整体增强强度。其设计重点是学习推理过程如何改变语言表示:哪些语义应被突出,增强应沿何种方向发生,以及增强强度如何保持一致。

此外,视觉蒸馏分别匹配前景和背景特征:

Lv=Lfg(Voutstu,Vouttea)+Lbg(Voutstu,Vouttea).\mathcal L_v= \mathcal L_{\mathrm{fg}} \left(V^{\mathrm{stu}}_{\mathrm{out}},V^{\mathrm{tea}}_{\mathrm{out}}\right) +\mathcal L_{\mathrm{bg}} \left(V^{\mathrm{stu}}_{\mathrm{out}},V^{\mathrm{tea}}_{\mathrm{out}}\right).

前景对应目标相关的局部证据,背景保留参照物和场景布局等上下文。推理组件、文本增益和视觉特征共同构成 RCD 的知识迁移路径,使教师的结构化空间知识能够落实到学生的跨模态表示中。

TSVDE 与 GeoSM:为语言推理提供视觉和几何支撑

TSVDE:保留文本相关的局部细节

Text-Semantic-Guided Visual Detail Enhancement(TSVDE)在上采样过程中,结合文本语义和推理增强后的视觉特征,利用相似度引导采样与细节增强。

对于“靠近桌子的蓝色椅子”,定位依赖椅子的外观、桌子的参照位置以及两者邻近区域的结构。TSVDE 将描述相关性引入低层视觉信息的选取,使后续网络能够获得查询所需的细粒度证据。

这一机制连接了语言推理和点云表征:推理决定关注什么,语义引导采样则提供相应的视觉信息。

GeoSM:融合全局位置与局部关系

稀疏卷积能够高效提取点云特征,空间谓词还需要明确的位置和邻域结构。GeoSM 因此在对齐视觉特征中加入两类几何表示。

首先,对场景坐标进行逐轴归一化:

p^i=2pi−pmin⁡pmax⁡−pmin⁡+ε−1.\widehat p_i= 2\frac{p_i-p_{\min}}{p_{\max}-p_{\min}+\varepsilon}-1.

归一化坐标经过正弦位置编码与线性映射,得到全局位置特征 fiposf_i^{\mathrm{pos}}。这一表示提供对象在整个场景中的位置参考,有助于理解角落、中部和边界等布局信息。

其次,建立 K 近邻,并计算相对位移:

Δpij=pj−pi,j∈NK(i).\Delta p_{ij}=p_j-p_i,\qquad j\in\mathcal N_K(i).

邻域特征与相对位移共同输入 MLP,经最大池化得到局部关系特征 firelf_i^{\mathrm{rel}}。全局位置与局部关系拼接为几何表示:

gi=[fipos,firel],g_i=[f_i^{\mathrm{pos}},f_i^{\mathrm{rel}}],

并通过残差连接注入原始视觉特征。全局分支提供场景级参照,局部分支表达邻近结构,两者共同增强语言关系与三维布局之间的对应。

从整体架构看,RCD 传递关系知识,TSVDE 提供语义相关细节,GeoSM 提供几何结构。三者分别解决推理信息的学习、视觉证据的保留与空间依据的编码,使结构化语言能够有效指导目标框预测。

训练目标

论文将定位损失与三项蒸馏损失联合优化:

Ltotal=λrecLrec+λgLg+λvLv+λrLr.\mathcal L_{\mathrm{total}}= \lambda_{\mathrm{rec}}\mathcal L_{\mathrm{rec}} +\lambda_g\mathcal L_g +\lambda_v\mathcal L_v +\lambda_r\mathcal L_r.
目标监督内容
Lrec\mathcal L_{\mathrm{rec}}包括分类与三维边界框回归,学习指代定位任务
Lr\mathcal L_r对齐组件级与全局推理表示
Lg\mathcal L_g对齐推理带来的文本特征增益
Lv\mathcal L_v匹配前景与背景视觉特征

定位损失将自动生成的描述与三维框关联起来,蒸馏损失则将推理结构和跨模态增强过程引入参数优化。最终形成的学生网络同时具备任务输出能力与关系表征能力。

实验结果

数据集与评价配置

项目配置与含义
ScanRefer基于 800 个 ScanNet 场景,验证集包含 9,508 条描述;报告 Acc@0.25 与 Acc@0.5
Unique / Multiple按目标类别在场景中是否存在其他同类实例划分
Nr3D验证集包含 7,904 条描述;报告目标选择准确率与难度、视角子集结果
数据隔离生成训练监督所用 RGB-D 图像与 ScanRefer 验证场景分离
Nr3D 迁移直接使用 ScanRefer 伪标注训练的同一检查点,无 Nr3D 微调
速度测量采用 TSP3D 的测量方式,NVIDIA RTX 3090,batch size 为 1
Mask3D 配置UZ3DVG 在预测后使用 Mask3D 进行边界框细化

ScanRefer 的 Acc@0.25 与 Acc@0.5 分别统计预测框与真实框 IoU 达到对应阈值的样本比例。后文准确率以百分数表示,差值统一以百分点表示。

ScanRefer:增益集中在同类实例消歧

EXPERIMENT RESULTS

ScanRefer:Mask3D 配置下的 Acc@0.5

Grounding accuracy · %

ZSVG3DSeeGroundUZ3DVG

UZ3DVG · 表 1(PDF 第 6 页):Mask3D-Based 三组结果;UZ3DVG 使用 Mask3D 进行预测后的边界框细化。

实验数据
ScanRefer:Mask3D 配置下的 Acc@0.5 — Grounding accuracy(%)
评估子集ZSVG3DSeeGroundUZ3DVG
Unique
Multiple
Overall

论文表 1 的 Mask3D-Based 配置中,UZ3DVG 的 Overall Acc@0.25/0.5 达到 45.42%/41.08%,较 SeeGround 的 44.10%/39.40% 提高 1.32/1.68 个百分点。

更突出的改善出现在 Multiple 子集。UZ3DVG 的 Acc@0.25/0.5 为 40.49%/36.33%,较 SeeGround 的 34.00%/30.00% 提高 6.49/6.33 个百分点。当类别信息不足以唯一确定目标时,空间描述、参照信息和几何关系的联合建模带来了更强的消歧能力。

Unique 子集则呈现不同的表现:UZ3DVG 的 Acc@0.5 为 68.15%,SeeGround 为 68.90%,前者低 0.75 个百分点。结合两个子集,UZ3DVG 的性能优势主要体现在需要关系判断的多实例场景,这与推理链蒸馏和几何建模的设计重点一致。

无 Mask3D 配置:直接定位网络的性能

EXPERIMENT RESULTS

ScanRefer:无 Mask3D 的定位准确率

Grounding accuracy · %

ZSVG3DUZ3DVG

UZ3DVG · 表 1(PDF 第 6 页):Non-Mask3D 配置;ZSVG3D 为 0.21 FPS,UZ3DVG 为 9.43 FPS。

实验数据
ScanRefer:无 Mask3D 的定位准确率 — Grounding accuracy(%)
评价指标ZSVG3DUZ3DVG
Overall Acc@0.25
Overall Acc@0.5

在 Non-Mask3D 配置中,UZ3DVG 的 Overall Acc@0.25/0.5 为 43.13%/35.05%,ZSVG3D 为 20.00%/17.60%,对应 23.13/17.45 个百分点的提升。该结果展示了由生成监督训练的专用三维网络直接完成定位的能力。

加入 Mask3D 框细化后,UZ3DVG 的 Acc@0.5 从 35.05% 提升到 41.08%,增加 6.03 个百分点。较严格的 IoU 阈值对框边界精度更敏感,实例分割提供的边界信息因此能进一步改善定位结果。

推理效率:将大模型知识转化为固定网络计算

配置方法Overall Acc@0.5FPS
Mask3D-BasedZSVG3D32.70%0.14
Mask3D-BasedSeeGround39.40%0.20
Mask3D-BasedUZ3DVG41.08%7.69
Non-Mask3DZSVG3D17.60%0.21
Non-Mask3DUZ3DVG35.05%9.43

采用 Mask3D 配置时,UZ3DVG 相较 SeeGround 的速度比为 7.69/0.20=38.457.69/0.20=38.45,即约 38 倍。无 Mask3D 时,相较 ZSVG3D 的速度比为 9.43/0.21≈44.909.43/0.21\approx44.90,即约 45 倍。

速度提升来自推理流程的整体变化:VLM 调用和推理链生成在训练阶段完成,部署时执行专用点云网络与轻量跨模态交互。模型将开放词汇知识和空间推理压缩为固定的网络计算,从而同时改善查询吞吐与本地部署效率。

论文表 1 另列的 VLM-Grounder 使用 250 条验证样本,UZ3DVG 的上述结果对应完整 ScanRefer 验证集;本节以表中同配置的 ZSVG3D、SeeGround 作为主要比较对象。

Nr3D:跨数据集直接迁移

EXPERIMENT RESULTS

Nr3D:跨数据集直接推理的定位性能

Grounding accuracy · %

ZSVG3DSeeGroundUZ3DVG

UZ3DVG · 表 2(PDF 第 7 页):UZ3DVG 沿用 ScanRefer 伪标注训练的检查点,无 Nr3D 微调,采用 Mask3D 细化;图中三种方法均为完整验证集结果。

实验数据
Nr3D:跨数据集直接推理的定位性能 — Grounding accuracy(%)
评估子集ZSVG3DSeeGroundUZ3DVG
Easy
Hard
View Dep.
View Indep.
Overall

论文表 2 使用 ScanRefer 伪标注训练的同一检查点,在 Nr3D 上直接推理。UZ3DVG 的 Overall 准确率为 46.5%,较 ZSVG3D 的 39.0% 和 SeeGround 的 46.1% 分别提高 7.5 和 0.4 个百分点。

Hard 子集上,UZ3DVG 达到 40.8%,较 SeeGround 提高 2.5 个百分点;View Indep. 子集达到 50.1%,提高 1.9 个百分点。这两项结果说明,生成式空间监督与推理蒸馏能够将关系知识迁移到另一种自然语言描述分布中,尤其有利于困难候选条件下的定位。

Easy 与 View Dep. 子集的结果分别为 52.2% 和 39.3%,低于 SeeGround 的 54.5% 和 42.3%。结合 Hard 与 View Indep. 的提升,后续优化的重点较为明确:在保留多实例消歧能力的同时,进一步增强方向词与观察参照系之间的对应。

组件消融:推理蒸馏与几何建模相互补充

EXPERIMENT RESULTS

ScanRefer:语义采样、推理蒸馏与几何建模

Grounding accuracy · %

Acc@0.25Acc@0.5

UZ3DVG · 表 3(PDF 第 7 页):按原论文转录;数值为准确率(%),文中增益以百分点表示。

实验数据
ScanRefer:语义采样、推理蒸馏与几何建模 — Grounding accuracy(%)
模型配置Acc@0.25Acc@0.5
Baseline
+ TSVDE
+ TSVDE + RCD
+ TSVDE + GeoSM
UZ3DVG

论文表 3 中,基础配置的 Acc@0.25/0.5 为 40.75%/37.18%。加入 TSVDE 后变为 41.83%/38.21%,提高 1.08/1.03 个百分点,说明文本相关的细节采样能够为定位提供有效视觉证据。

在 TSVDE 基础上,加入 RCD 得到 43.26%/39.65%,加入 GeoSM 得到 43.15%/39.47%。推理知识迁移与几何结构增强均能提升模型表现。

完整模型达到 45.42%/41.08%,相较基础配置提高 4.67/3.90 个百分点。在已有 TSVDE 与 GeoSM 时,RCD 带来 2.27/1.61 个百分点的提升;在已有 TSVDE 与 RCD 时,GeoSM 带来 2.16/1.43 个百分点的提升。推理链提供语义和逻辑组织,显式几何提供空间依据,二者共同增强了语言条件向三维位置的映射。

标注生成:三维空间信息的作用

EXPERIMENT RESULTS

ScanRefer:空间伪标注与推理链的作用

Grounding accuracy · %

Acc@0.25Acc@0.5

UZ3DVG · 表 4(PDF 第 8 页):按原论文转录;数值为准确率(%),文中增益以百分点表示。

实验数据
ScanRefer:空间伪标注与推理链的作用 — Grounding accuracy(%)
标注生成配置Acc@0.25Acc@0.5
2D Info
MSAG-RC w/o RC
MSAG-RC

论文表 4 直接比较空间描述的构造方式。仅从二维信息生成描述时,Acc@0.25/0.5 为 34.16%/22.83%。使用 MSAG-RC 的空间描述、保留无推理链配置时,结果提升至 43.15%/39.47%,增加 8.99/16.64 个百分点。

这一增益突出体现了三维几何对训练语言质量的价值。二维图像中的像素邻近与三维场景中的实际距离、深度和方位存在差异,将物体位置及场景上下文纳入生成条件,能够显著增强描述对三维定位的指导作用。

进一步加入配套推理链后,结果达到 45.42%/41.08%,再提高 2.27/1.61 个百分点。空间描述建立目标与关系条件的对应,推理链则补充关系如何组织为定位过程,两层监督共同改善网络训练。

VLM 选择与伪标注规模

EXPERIMENT RESULTS

ScanRefer:伪标注生成 VLM 的选择

Grounding accuracy · %

Acc@0.25Acc@0.5

UZ3DVG · 图 3(a)(PDF 第 8 页):按原论文转录;数值为准确率(%),文中增益以百分点表示。

实验数据
ScanRefer:伪标注生成 VLM 的选择 — Grounding accuracy(%)
标注生成模型Acc@0.25Acc@0.5
Qwen3-VL-Plus
Doubao-seed-1.6

论文图 3(a) 中,Qwen3-VL-Plus 生成监督对应的 Acc@0.25/0.5 为 43.87%/39.62%,Doubao-seed-1.6 对应 45.42%/41.08%,后者高出 1.55/1.46 个百分点。生成器对空间描述和推理链的表达质量,会传递到学生网络的定位性能中。

EXPERIMENT RESULTS

ScanRefer:空间描述伪标注的数据规模

Grounding accuracy · %

Acc@0.25Acc@0.5

UZ3DVG · 图 3(b)(PDF 第 8 页):横轴为训练伪标注数量(10K–40K),各点为对应数据规模下的验证准确率。

实验数据
ScanRefer:空间描述伪标注的数据规模 — Grounding accuracy(%)
伪标注数量Acc@0.25Acc@0.5
10K
20K
30K
40K

图 3(b) 显示,伪标注数量从 10K 增加至 40K 时,Acc@0.25 从 25.71% 提高至 45.42%,Acc@0.5 从 21.14% 提高至 41.08%。在 10K 到 20K 阶段,两个指标提高 11.17 和 9.51 个百分点;20K 到 30K 阶段提高 6.48 和 8.87 个百分点;30K 到 40K 阶段提高 2.06 和 1.56 个百分点。

该趋势呈现出明显的边际收益递减。作者将后期增益收窄与伪标注噪声联系起来,这也使数据构建的优化方向从扩大数量进一步转向质量控制:优先保留几何一致、关系清晰且具有消歧价值的训练样本,提高每条生成监督的有效信息量。

定性结果:关系条件如何影响目标选择

UZ3DVG 与 ZSVG3D、SeeGround 的定性定位比较,包含桌子、柜子和椅子右侧门的空间描述

图 2:目标框定性比较,来自原论文图 4。各列分别展示桌子、柜子与门的定位结果。

图中第一类描述同时包含物体颜色、墙面位置和周围椅子等线索;第二类描述结合房间中部位置与柜子的外观;第三类描述通过紫色椅子限定其右侧的门。这些样例覆盖了全局布局、局部参照与同类实例消歧,直观展示了关系建模在目标选择中的作用。

与 ViewSRD、CoT3DRef 的比较

维度CoT3DRefViewSRDUZ3DVG
核心问题如何利用中间对象组织有序定位如何解耦多关系描述并关联观察视角如何自动构造空间监督并实现高效零样本定位
关系组织有序对象路径与定位链以目标和锚点为中心的关系简化句描述与 Anchor、Reference、Reasoning 组件
大模型作用生成路径伪标签生成和筛选关系改写句生成空间描述、推理链与置信度
知识进入网络的方式中间对象监督与链式细化语言增强与共享视角 Token组件、文本增益与视觉特征蒸馏
空间表示重点目标与中间对象的定位依赖跨模态一致的多视角表示全局位置、局部邻域几何与语义相关细节
训练监督重点定位样本与路径、锚点信息定位样本、关系改写与联合监督自动生成的三维框、空间描述和推理链

三种方法展示了结构化语言在三维定位中的不同作用。CoT3DRef 将关系组织为定位过程,ViewSRD 将复杂描述拆解为便于编码的局部条件,UZ3DVG 则将结构化推理作为教师监督,迁移到学生的内部表示中。

ViewSRD 与 UZ3DVG 都将部分大模型计算安排在预处理或训练阶段,但二者关注的知识迁移层次不同。ViewSRD 通过改写改善输入语言的结构,并以共享视角 Token 关联文本与场景;UZ3DVG 进一步自动生成定位训练样本,并通过蒸馏学习推理组件及其对跨模态特征的增强方式。

因此,UZ3DVG 的主要贡献体现在监督生成与推理能力迁移的联合设计:语言结构既用于构造训练数据,也用于塑造网络的中间表示,最终服务于高效三维定位。

方法讨论与后续方向

生成式监督成为三维定位的数据接口

UZ3DVG 将二维检测、分割、深度恢复与语言生成串联起来,使开放词汇视觉知识能够转化为三维定位样本。其价值在于建立了一套可扩展的数据接口:给定场景观测,即可生成对象位置、空间描述和推理依据,并进一步训练专用定位器。

表 4 中,加入三维空间信息后 Acc@0.5 提高 16.64 个百分点,说明数据生成过程中的几何约束对训练效果具有关键作用。后续可以进一步通过跨视角实例一致性、框与点云的几何吻合度,以及描述关系的可执行验证,构造更强的数据筛选机制。

推理链从文本输出转化为表示学习目标

RCD 将推理链中的组件、全局语义和特征增益分别纳入蒸馏目标,使结构化推理能够在轻量网络中保留可学习的中间形式。这种做法为推理知识迁移提供了更细的粒度:网络既学习关注哪些对象与关系,也学习如何利用这些信息调整文本和视觉表示。

进一步可将 Reference 组织为显式对象关系图,并将组件监督与实例级对应结合。这样能够把潜在推理组件关联到具体参照物,使模型内部的推理结构具备更明确的空间落点。

视角建模与关系蒸馏的结合

Nr3D 的 View Dep. 结果表明,方向语义仍是重要的提升方向。left、right、front、behind 需要观察方向与空间参照系共同参与解释;GeoSM 提供了位置和邻域结构,ViewSRD 的共享视角表示则提供了另一条可结合的建模路径。

一个直接的研究方向是在推理链中显式标注参照系,将视角条件与关系组件共同蒸馏到学生网络。由此,关系推理能够同时获得对象依据、几何依据和观察方向依据,进一步增强复杂方向描述下的定位能力。

面向部署的精度与速度选择

UZ3DVG 的两种配置形成了清晰的部署选择:纯定位网络达到 9.43 FPS,附加 Mask3D 框细化后达到 7.69 FPS,并将 Acc@0.5 提升至 41.08%。前者强调直接点云推理的效率,后者通过实例边界信息提高框定位精度。

这一结果进一步说明,部署优化可以沿着两条相互衔接的路线推进:通过生成监督与蒸馏提高专用网络的基础定位能力,再以轻量几何细化改善边界精度。将更强的边界约束直接融入训练,也有望继续缩小两种配置之间的精度差距。

论文与相关阅读