ViewSRD:结构化关系拆解与跨模态多视角三维视觉定位

6115 字
16 分钟

ViewSRD:结构化关系拆解与跨模态多视角三维视觉定位

发布于

三维视觉定位(3D Visual Grounding,3DVG)旨在依据自然语言描述,在三维场景中识别并定位对应的目标物体。此前讨论的 CoT3DRef(ICLR 2024) 与 MiKASA(CVPR 2024) 分别从推理过程与空间关系建模的角度研究这一任务:CoT3DRef 构建有序定位链,通过参照物的逐步定位推断目标;MiKASA 则融合多锚点相对几何关系与场景上下文,以区分外观相似的候选物体。

本文讨论的 ViewSRD: 3D Visual Grounding via Structured Multi-View Decomposition 聚焦于两个问题:复杂描述中多个关系的解耦,以及语言方向语义与场景观察视角的关联。为此,作者设计了两个核心模块:Simple Relation Decoupling(SRD)将复杂描述分解为若干简化关系句;Multi-view Textual-Scene Interaction(Multi-TSI)通过文本与场景共享的视角表示,融合多视角信息以完成目标定位。

本文依据 ICCV 2025 论文正文及官方补充材料整理。图表数值均引自原论文实验表格,未开展模型训练或独立复现。下文区分作者报告的结果、基于表格的观察与本文的方法分析;示意图仅用于说明概念。

论文信息

项目内容
标题ViewSRD: 3D Visual Grounding via Structured Multi-View Decomposition
作者Ronggang Huang、Haoxin Yang、Yan Cai、Xuemiao Xu、Huaidong Zhang、Shengfeng He
会议ICCV 2025,9726–9736
核心模块SRD、Multi-TSI、Textual-Scene Reasoning
数据集Nr3D、Sr3D、ScanRefer
默认配置BERT、PointNet++、4 个视角、共享可学习 CCVT

对于给定候选物体集合的定位任务,可以将最终预测写为:

m^=arg⁡max⁡m∈{1,…,M}sm(P,Q),\hat m=\arg\max_{m\in\{1,\ldots,M\}}s_m(\mathcal P,Q),

其中,QQ 为语言描述,P\mathcal P 为场景候选物体集合,sms_m 表示第 mm 个实例与描述的匹配分数。Nr3D 与 Sr3D 主要采用目标实例选择准确率进行评价;ScanRefer 则进一步依据预测框与真实框的交并比(IoU),评估不同阈值下的定位准确率。

问题背景:关系耦合与视角依赖

多锚点描述中的关系耦合

以“床右边、靠近挂画所在墙面的床头柜”为例,床头柜是目标物体,床、墙面与挂画共同提供参照信息。模型需要识别目标类别,并同时解析床头柜相对于床的方向关系、相对于墙面的邻近关系,以及挂画对墙面的限定关系。

将上述信息编码为统一的句子表示,可能面临两类困难:其一,目标与参照物的语义角色发生混淆,模型过度关注床或挂画等语义显著的对象;其二,多个关系的表征相互干扰,导致部分必要定位条件未被充分利用。

SRD 围绕目标与参照物分解描述,使各简化句集中表达局部关系。其中,原始描述保留完整语境,简化描述突出具体定位条件,二者共同参与后续编码。

方向语义的视角依赖

描述“The bedside table is on the right side of the bed”中的 right 依赖于观察方向。当观察方向反转时,同一空间布局下的床头柜可被描述为位于床的左侧。

床 床头柜
视角 A:床头柜在右侧
床 床头柜
视角 B:床头柜在左侧

图 1:不同观察视角下的相对方向关系示意。

因此,多视角场景编码还需要结合描述与视角之间的相关性建模。ViewSRD 引入共享视角 Token,以建立语言方向语义与场景视角之间的关联。

框架总览

ViewSRD:SRD、Multi-TSI 与 Textual-Scene Reasoning 的整体框架

图 2:ViewSRD 整体结构。

阶段输入与输出主要作用
SRD原始 Query → 原句与关系简化句减少语言内部的关系耦合
Textual Aggregation多条语言特征 → 聚合语言序列联合利用原始描述与简化描述
Multi-TSI语言、各视角物体特征、共享 CCVT在两种模态中注入关联的视角线索
Textual-Scene Reasoning视角增强语言与物体特征 → 定位分数跨模态交互、视角聚合与联合对象预测

SRD:复杂查询的结构化关系解耦

目标类别与锚点提取

SRD 首先识别描述所指向的目标类别。目标分类器 ClasClas 以预训练 BERT 的 [CLS] 表示为输入,经 MLP 与 Softmax 预测类别:

h=BERT⁡(Q)CLS,c^=arg⁡max⁡cSoftmax⁡(MLP⁡(h))c.h=\operatorname{BERT}(Q)_{\mathrm{CLS}},\qquad \hat c=\arg\max_c\operatorname{Softmax}(\operatorname{MLP}(h))_c.

该分类器采用交叉熵损失训练,其预测结果用于确定描述中的目标词(Target)。此阶段的预测粒度为物体类别,具体实例由后续定位网络确定。

随后,作者利用数据集预定义的类别集合匹配描述中的其他物体词,提取锚点(Anchor)。原始描述、目标与锚点共同构成后续关系改写的输入。

基于锚点的候选关系句生成

作者将原始查询(Query)、Target、Anchor 与模板示例输入大语言模型(LLM),为每个锚点生成 kk 条候选改写,并保留匹配得分最高的候选句。补充材料采用 k=6k=6,提示示例涵盖 close to、far away from、left、right、in front of 与 behind 六种关系。

上述关系用于构造提示示例,候选句的关系语义仍应以原始描述为依据。例如,当原句仅表达邻近关系时,改写应保留该关系,避免引入额外的方向约束。

Sentence Matching:筛选改写句

Sentence Matching 根据目标类别一致性、词汇相似度与长度权重对候选改写进行排序,为每个锚点筛选一条关系句。具体实现见补充材料 D 节。

评分项计算方式含义
SconsistS_{\mathrm{consist}}原句与候选句经 ClasClas 预测的目标伪类别相同取 1,否则取 0保留目标类别
SsimilarS_{\mathrm{similar}}根据共享词数量与两句长度计算衡量词汇重合程度
长度权重 ww根据原句长度、锚点数量及期望改写长度调节偏向适当长度的简化句

补充材料式(6)和(7)为:

Ssimilar=Nco_wordlog⁡Nq+log⁡Ns,Score=wSsimilar+Sconsist.S_{\mathrm{similar}}= \frac{N_{\mathrm{co\_word}}}{\log N_q+\log N_s},\qquad \mathrm{Score}=wS_{\mathrm{similar}}+S_{\mathrm{consist}}.

其中,Nq,NsN_q,N_s 分别表示原句与候选句的长度,Nco_wordN_{\mathrm{co\_word}} 为共享词数量。该评分综合考虑目标类别的保持程度、候选句与原句的词汇重合程度,以及简化句长度的适宜性。

文本聚合:保留原句与局部关系

对于包含 II 个锚点的描述,SRD 生成 II 条简化句,与原句共同构成 I+1I+1 条文本输入。经 BERT 编码后得到:

FT={FT0,FT1,…,FTI}.\mathcal F_T=\{F_{T_0},F_{T_1},\ldots,F_{T_I}\}.

其中,FT0F_{T_0} 对应原句,其余各项对应简化句。每个 FTiF_{T_i} 均为 Token 特征序列,下文以 FTi0F_{T_i}^{0} 表示其中第 0 个 Token 的特征。

论文式(1)从上述特征中随机选取一项作为主特征,其余 II 项作为辅助特征,并进行加权聚合:

Fagg=αFmain+(1−α)1I∑i=1IFauxi.F_{\mathrm{agg}}=\alpha F_{\mathrm{main}} +(1-\alpha)\frac{1}{I}\sum_{i=1}^{I}F_{\mathrm{aux}_i}.

训练阶段,α\alpha 从 {0,0.1,0.3,0.5}\{0,0.1,0.3,0.5\} 中均匀采样;验证阶段固定为 0.50.5。上述公式适用于包含锚点的描述,即 I>0I>0。

该聚合机制将完整语境与局部关系整合为统一的语言表示,其作用可从以下三个方面理解。

首先,原始复杂描述与简化描述被同时保留,因此关系拆解不会直接丢弃原始查询(Query),完整语境仍可参与后续的特征聚合。

其次,每条简化描述能够突出特定的空间关系,使局部定位条件更加明确,有助于减轻多种语义耦合带来的表征学习困难。

最后,随机选择主特征并调整融合权重,使模型在训练过程中接触不同的信息组合。这一机制可视为特征层面的随机增强,有助于提高表示的稳健性。

Multi-TSI:共享的视角表示

Cross-modal Consistent View Tokens

作者定义 NN 个可学习向量:

V={V1,…,VN},Vn∈RD.\mathcal V=\{V_1,\ldots,V_N\},\qquad V_n\in\mathbb R^D.

论文默认设置 N=4N=4。每个 VnV_n 对应一个视角,该组向量由文本与场景模块共享,并随网络参数联合优化。

推理阶段,CCVT 的参数保持固定,但语言分支赋予各视角的权重随输入描述动态变化。因此,CCVT 提供跨模态共享的视角表示,而描述与视角之间的相关性通过训练学习。

文本分支:描述与视角的相关性建模

文本分支首先估计当前描述与各视角的相关程度。作者提取每条描述的第 0 个 Token 特征,计算其与各 CCVT 的归一化点积,并聚合不同描述的相关性得分。按视角展开可表示为:

sn=1I∑i=0IFTi0⋅Vn∥FTi0∥∥Vn∥,wn=exp⁡(sn)∑j=1Nexp⁡(sj).s_n=\frac{1}{I}\sum_{i=0}^{I} \frac{F_{T_i}^{0}\cdot V_n} {\lVert F_{T_i}^{0}\rVert\lVert V_n\rVert},\qquad w_n=\frac{\exp(s_n)}{\sum_{j=1}^{N}\exp(s_j)}.

此处保留论文正文中的 1/I1/I 系数;求和范围包含原句及 II 条简化句,共 I+1I+1 项。

随后,正文式(2)依据 wnw_n 对视角表示进行加权,以调节各视角信息的贡献。将加权后的视角表示记为 V~\widetilde V。

以聚合文本为 Query、加权视角表示为 Key 和 Value,通过交叉注意力(Cross-Attention)将视角信息注入语言序列:

Hq=Softmax⁡((FaggWq)(V~Wk)⊤D)(V~Wv).H_q=\operatorname{Softmax}\left( \frac{(F_{\mathrm{agg}}W_q)(\widetilde VW_k)^\top}{\sqrt D} \right)(\widetilde VW_v).

上式采用 Token 按行排列的形式,展示正文式(3)的主要运算,省略多头拼接、输出映射与残差连接等结构。经后续自注意力(Self-Attention)等操作,得到视角增强的文本特征 Fq′F_q'。

该过程使语言序列能够从共享视角表示中提取相关信息,在物体类别与空间关系语义的基础上融入视角线索。

场景分支:视角 Token 与物体特征的联合编码

场景分支通过 PointNet++ 提取各视角的物体级表示,并在物体序列中加入对应的视角 Token。第 nn 个视角的输入及更新过程表示为:

Xn=[Fo1(n),…,FoM(n),Vn],Zn(0)=Xn,X_n=[F_{o_1}^{(n)},\ldots,F_{o_M}^{(n)},V_n],\qquad Z_n^{(0)}=X_n, Zn(l+1)=Trans⁡(l)(Zn(l)).Z_n^{(l+1)}=\operatorname{Trans}^{(l)}(Z_n^{(l)}).

序列经 Transformer 编码后,物体之间以及物体与视角 Token 之间通过自注意力进行信息交互。例如,床头柜的表示可同时融合床、墙面等场景上下文与当前视角信息。经过多层更新后,移除辅助视角 Token,仅保留物体特征:

FVn′=[Fo1′(n),…,FoM′(n)].F'_{V_n}=[F_{o_1}'^{(n)},\ldots,F_{o_M}'^{(n)}].

两个分支通过共享 CCVT 参数建立联系:文本分支利用 CCVT 估计视角相关性并增强语言表示,场景分支则将对应的 CCVT 纳入物体序列进行联合编码。参数共享构成 Cross-modal Consistent View Tokens 的核心设计。

跨模态推理与联合监督

Textual-Scene Reasoning 对两个分支的输出进行跨模态融合。该模块以场景特征为 Query、视角增强后的文本特征为 Key/Value,使候选物体提取与自身相关的描述条件,并通过自注意力更新物体间的关系表示。

各视角的交互特征随后通过平均聚合与最大聚合进行融合:前者综合多视角响应,后者保留各视角中的强响应。最终,预测头(Prediction Head)输出候选物体的定位分数。

总体目标为正文式(7):

L=λObjLObject+λRefLRefP+λSentLSent.\mathcal L= \lambda_{\mathrm{Obj}}\mathcal L_{\mathrm{Object}} +\lambda_{\mathrm{Ref}}\mathcal L_{\mathrm{Ref}}^P +\lambda_{\mathrm{Sent}}\mathcal L_{\mathrm{Sent}}.
损失监督内容
Object Loss投影物体特征与类别名语言特征产生类别 logits,以交叉熵监督物体类别
Parallel Referential Loss对 II 个锚点及 1 个目标,并行监督正确的候选实例索引
Sentence Loss对语言侧锚点与目标类别序列进行交叉熵监督

论文默认 λRef=1.0\lambda_{\mathrm{Ref}}=1.0,λObj=λSent=0.5\lambda_{\mathrm{Obj}}=\lambda_{\mathrm{Sent}}=0.5,这里采用正文及补充材料表 1 的配置。

其中,Parallel Referential Loss 借鉴 CoT3DRef 的锚点监督机制,同时约束目标与参照物的实例选择。由此,锚点信息同时参与语言表示与实例级定位监督。

实验结果

数据集、指标与实现条件

数据集论文报告规模与描述特点指标
Nr3D约 4.15 万条人类自由描述,包含复杂语言正确目标实例选择比例(%)
Sr3D83,572 条模板生成描述正确目标实例选择比例(%)
ScanRefer51,583 条描述,11,046 个物体,800 个场景Acc@0.25、Acc@0.5(%)

Easy/Hard 依据同类干扰物所形成的消歧难度划分,View Dep./View Indep. 分别对应视角依赖与视角无关描述。ScanRefer 的 Unique/Multiple 依据目标是否存在同类候选物体划分;下文 Nr3D 的 Multi-Anc/Single-Anc 则依据描述中的锚点数量划分。

定位网络基于 PyTorch 实现,使用单张 RTX 4090 训练,优化器为 AdamW,学习率设为 5×10−45\times10^{-4},默认采用四视角配置。SRD 默认使用 DeepSeek-R1 生成改写句,并通过对照实验评估其他 LLM 的效果。

ReferIt3D:复杂描述与困难候选条件下的性能

EXPERIMENT RESULTS

Nr3D:三种方法的分组比较

Grounding accuracy · %

MiKASACoT3DRefViewSRD

ViewSRD · 表 1(PDF 第 7 页):数值来自论文实验表格,单位为 %。

实验数据
Nr3D:三种方法的分组比较 — Grounding accuracy(%)
评估子集MiKASACoT3DRefViewSRD
Overall
Easy
Hard
View Dep.
View Indep.

论文表 1 显示,ViewSRD 在 Nr3D 上的 Overall 准确率为 69.9%,较 MiKASA 与 CoT3DRef 的 64.4% 提高 5.5 个百分点。在 Hard 子集上,ViewSRD 达到 64.8%,高于两者的 59.4% 与 59.2%。这些结果表明,在同类候选较多、消歧难度较高的条件下,ViewSRD 仍保持较高的定位准确率。

在视角依赖子集上,ViewSRD 的准确率为 68.6%,分别较 MiKASA 与 CoT3DRef 提高 3.2 和 6.7 个百分点。

论文正文将 Overall 增益表述为 5.2%,与表 1 中 69.9−64.4=5.569.9-64.4=5.5 的计算结果存在差异。本文依据表格数值报告百分点差值。

EXPERIMENT RESULTS

Sr3D:三种方法的分组比较

Grounding accuracy · %

MiKASACoT3DRefViewSRD

ViewSRD · 表 1(PDF 第 7 页):数值来自论文实验表格,单位为 %。

实验数据
Sr3D:三种方法的分组比较 — Grounding accuracy(%)
评估子集MiKASACoT3DRefViewSRD
Overall
Easy
Hard
View Dep.
View Indep.

相较于 Nr3D,ViewSRD 在 Sr3D 上的总体增益较小。其 Overall 准确率为 76.0%,较 MiKASA 的 75.2% 提高 0.8 个百分点;Hard 子集准确率为 70.6%,分别较 MiKASA 与 CoT3DRef 提高 3.3 和 2.7 个百分点。

在 Easy 与 View Dep. 子集上,ViewSRD 的准确率则低于 MiKASA,分别为 78.3% 对 78.6%、69.0% 对 70.4%。综合两个数据集的结果,ViewSRD 在复杂描述与困难候选条件下的改善更为突出,但其增益具有子集差异。

多锚点描述:相对于基线的性能增益

EXPERIMENT RESULTS

Nr3D:多锚点与单锚点描述

Grounding accuracy · %

MVTCoT3DRefViewSRD

ViewSRD · 表 2(PDF 第 7 页):数值来自论文实验表格,单位为 %。

实验数据
Nr3D:多锚点与单锚点描述 — Grounding accuracy(%)
评估子集MVTCoT3DRefViewSRD
Multi-Anc
Single-Anc
Overall

论文表 2 中,ViewSRD 在 Nr3D Multi-Anc 子集上的准确率达到 71.5%,CoT3DRef 与 MVT 分别为 63.1% 和 52.6%。相较于 CoT3DRef,ViewSRD 在多锚点子集上提高 8.4 个百分点,在单锚点子集上提高 69.5−65.2=4.369.5-65.2=4.3 个百分点。多锚点条件下更大的性能增益,与 SRD 面向多关系描述的设计动机一致。

ViewSRD 在多锚点子集上的准确率亦高于单锚点子集的 69.5%。这一观察反映了模型在两个子集上的表现差异;由于子集构成不同,不能据此将准确率差异直接归因于锚点数量。

组件消融:共享视角表示与语言解耦的作用

EXPERIMENT RESULTS

Nr3D:组件消融

Grounding accuracy · %

OverallView Dep.

ViewSRD · 表 4(PDF 第 8 页):数值来自论文实验表格,单位为 %。

实验数据
Nr3D:组件消融 — Grounding accuracy(%)
模型配置OverallView Dep.
w/o CCVTs
w/o Textual M.
w/o Scene M.
w/o SRD M.
w/o Weight
LLM-Aug.
ViewSRD

论文表 4 显示,移除 CCVT 后,Overall 准确率由 69.9% 降至 62.2%,下降 7.7 个百分点,为所列组件移除设置中的最大降幅。移除 Scene Module 或 Textual Module 后,准确率分别降至 64.6% 和 68.0%,对应 5.3 和 1.9 个百分点的下降。这些结果支持共享视角表示及两个分支在当前框架中的有效性。

相比之下,移除 SRD 后的 Overall 准确率为 68.6%,较完整模型下降 1.3 个百分点;Hard 子集准确率保持 64.8% 不变。移除视角权重后,Overall 为 69.0%,下降 0.9 个百分点。就这些消融设置而言,模型对 CCVT 的移除最为敏感;各组件之间可能存在交互,因此上述差值应理解为相应配置下的性能变化。

通用语言增强配置 LLM-Aug. 的准确率为 69.1%,采用结构化关系解耦的完整模型为 69.9%。在该对照设置下,围绕目标与锚点组织改写,较通用增强提高 0.8 个百分点。

ScanRefer:SRD 的跨架构适用性

EXPERIMENT RESULTS

ScanRefer:SRD 接入前后的 Overall

Acc@IoU threshold · %

Acc@0.25Acc@0.5

ViewSRD · 表 3(PDF 第 7 页):原表照录。BUTD-DETR+SRD 的 Overall 与分组加权值不一致,正文增益分析采用 MVT 和 EDA 两组结果。

实验数据
ScanRefer:SRD 接入前后的 Overall — Acc@IoU threshold(%)
方法Acc@0.25Acc@0.5
MVT
MVT+SRD
BUTD-DETR
BUTD-DETR+SRD
EDA
EDA+SRD
ViewSRD

SRD 作用于语言预处理阶段,可集成至其他定位网络。论文表 3 中,MVT 引入 SRD 后,Overall 的 Acc@0.25 由 40.8% 提高至 42.1%,Acc@0.5 由 33.3% 提高至 34.3%,分别增加 1.3 和 1.0 个百分点。EDA 的对应指标由 43.6%/32.3% 提高至 44.4%/35.3%,分别增加 0.8 和 3.0 个百分点。

原表红色括号中的 3.2%、3.0% 等表示相对增长率,应与百分点增量区分。以 MVT 的 Acc@0.25 为例,1.3 个百分点的增量对应约 1.3/40.8≈3.2%1.3/40.8\approx3.2\% 的相对增长。

表 3 的 BUTD-DETR+SRD 行存在汇总值不一致的问题:若按表头约 19%/81% 的比例对 Unique 与 Multiple 加权,得到的结果约为 52.8%/40.3%,与表中 Overall 的 57.9%/45.7% 不一致。本文图表保留原始数值,增益分析则采用 MVT 与 EDA 两组结果。

完整 ViewSRD 在 ScanRefer 上的 Overall 指标为 45.4%/36.0%,低于 BUTD-DETR 的 50.4%/38.6%。因此,这组实验主要支持 SRD 的跨架构适用性:其语言预处理机制可独立于 Multi-TSI,在所评估的其他定位架构中产生性能增益。

视角数量对定位性能的影响

EXPERIMENT RESULTS

Nr3D:视角数量与准确率

Grounding accuracy · %

训练与测试视角数相同固定训练 4 视角

ViewSRD · 表 5(PDF 第 8 页):两条曲线对应不同训练协议;固定训练 4 视角、测试 8 视角未报告,保留 null,无插值。

实验数据
Nr3D:视角数量与准确率 — Grounding accuracy(%)
测试视角数量训练与测试视角数相同固定训练 4 视角
1
2
4
8

固定采用四视角训练时,测试视角数由 1、2 增加至 4,Overall 准确率依次为 66.0%、68.9%、69.9%。在该实验范围内,增加测试视角与定位准确率的提高相对应。

当训练与测试采用相同视角数时,1、2、4、8 个视角对应的准确率分别为 64.4%、67.7%、69.9%、68.4%。四视角配置在所比较的设置中表现最佳,八视角较其下降 1.5 个百分点。该结果为论文采用四视角配置提供了实验依据,也表明增加视角数量并不必然改善定位性能。

两条曲线对应不同的训练条件:前者固定采用四视角训练,后者同步调整训练与测试的视角数。论文未报告四视角训练、八视角测试的结果,因此图中保留空缺。

LLM 选择与损失权重的敏感性

EXPERIMENT RESULTS

Nr3D:更换 SRD 语言模型

Grounding accuracy · %

ViewSRD

ViewSRD · 表 6(PDF 第 8 页):数值来自论文实验表格,单位为 %。

实验数据
Nr3D:更换 SRD 语言模型 — Grounding accuracy(%)
LLM decouplerViewSRD
OpenChat
DeepSeek-R1
Qwen-Plus
Qwen-Turbo

论文表 6 中,使用 OpenChat、DeepSeek-R1、Qwen-Plus 与 Qwen-Turbo 生成改写时,定位准确率分别为 69.6%、69.9%、70.5%、70.7%。四种配置的准确率均超过 69%;其中,Qwen-Turbo 对应的结果最高,较默认采用的 DeepSeek-R1 提高 0.8 个百分点。

EXPERIMENT RESULTS

Nr3D:辅助损失权重

Grounding accuracy · %

λObj = λSent

ViewSRD · 补充材料表 1(第 3 页):采用补充材料表 1 的配置,固定 λRef=1.0,比较不同辅助损失权重。

实验数据
Nr3D:辅助损失权重 — Grounding accuracy(%)
λObj = λSent(固定 λRef = 1.0)λObj = λSent
0.25
0.5
0.75
1.0

补充材料表 1 固定 λRef=1.0\lambda_{\mathrm{Ref}}=1.0,将 λObj=λSent\lambda_{\mathrm{Obj}}=\lambda_{\mathrm{Sent}} 分别设为 0.25、0.5、0.75、1.0,对应准确率为 68.4%、69.9%、69.6%、69.8%。默认权重 0.5 在所评估的取值中表现最佳,但与权重 1.0 的结果仅相差 0.1 个百分点。该实验表明,不同辅助损失权重配置下的性能存在差异,而较优配置之间的差距有限。

当物体损失权重为 0、句子损失权重为 1 时,准确率为 63.9%;交换两项权重后,准确率为 69.1%。由于这两组设置同时改变了两项辅助权重,结果反映的是权重组合的整体影响,不能直接作为单项损失独立贡献的估计。

与 CoT3DRef、MiKASA 的比较

维度CoT3DRef(ICLR 2024)MiKASA(CVPR 2024)ViewSRD(ICCV 2025)
主要问题中间对象定位与有序依赖对象识别、多锚点相对几何与融合多锚点语言耦合、跨模态视角关联
关系表示显式对象路径与定位链候选对象—潜在锚点相对空间图LLM 改写得到的目标中心关系句集合
锚点处理预测类别、顺序、实例,并进行链式细化语言引导聚合多个潜在锚点SRD 提取锚点,并行监督目标与锚点
视角处理可接入 MVT 等多视角架构已包含多视角旋转与视角聚合文本与场景共享 CCVT
LLM 作用离线生成路径伪标签核心网络不依赖 LLM 查询改写生成和筛选简化查询,属于预处理
可观察的信息中间路径与对象预测类别/空间分支及锚点注意力改写句、视角相关权重与对象预测
潜在限制伪标签噪声、路径歧义、误差传播成对关系计算规模、参照系歧义改写保真度、隐式视角一致性、预处理成本

三种方法的主要差异体现在关系信息的组织方式上。CoT3DRef 将关系组织为有序定位过程,通过中间对象逐步推断目标;MiKASA 为候选物体构建多参照物空间上下文,并由语言引导相关关系的选择;ViewSRD 则在语言编码之前重组描述,分别编码局部关系,再通过共享视角表示关联文本与场景。

从方法联系看,ViewSRD 延续了 CoT3DRef 的锚点定位监督思路,并采用并行预测机制。MiKASA 已引入多视角旋转与聚合,而 ViewSRD 进一步将共享视角 Token 纳入语言与场景两个分支,其设计重点在于跨模态视角信息的联合利用。

跨方法数值比较还需考虑监督条件。ViewSRD 表 1 引用的 CoT3DRef Nr3D 准确率 64.4%,对应原论文使用人工锚点标签的参考实验;MVT+CoT 采用自动伪标签时的结果为 60.4%。本文图表沿用 ViewSRD 表 1 的 64.4%,比较时应结合相应的标签来源解释结果。

方法讨论

SRD:语言编码之前的关系显式化

从信息表示的角度看,SRD 将部分关系解析工作前移至语言编码阶段之前。围绕目标与锚点构造的改写句显式呈现局部关系,并与原始描述共同编码,从而为模型学习多关系表征提供更具结构性的输入。

这一设计保留了现有定位网络的大部分结构,为 SRD 集成至 MVT、EDA 等方法提供了条件。LLM 承担范围明确的语言预处理任务,其改写结果也可作为检查关系保真度的中间输出。

CCVT:语言与场景的共享视角建模

多视角场景特征包含不同观察方向的信息,关键问题在于如何使语言表示有效利用这些信息。CCVT 同时参与文本相关性计算与场景物体编码,通过参数共享,使语言和物体表示在后续跨模态交互之前均融入视角线索。

共享视角表示是 ViewSRD 的关键结构设计之一。移除 CCVT 后,Nr3D Overall 下降 7.7 个百分点,为其在当前模型配置中的作用提供了实验支持。

参照物信息的结构化利用

CoT3DRef 侧重推理顺序,MiKASA 侧重相对几何,ViewSRD 侧重描述解耦与视角关联。三者共同研究如何将语言中的参照物信息转化为有效的目标定位约束。

ViewSRD 将语言改写、共享视角表示与锚点定位监督整合至统一流程:SRD 对输入关系进行结构化处理,Multi-TSI 建立语言与场景之间的视角关联,联合监督约束目标和参照物的实例级预测。三者分别作用于输入表示、跨模态交互与训练目标,共同构成该方法的主要设计。

局限与后续方向

层级关系的保留

作者在第 5 节指出,复杂查询中的关系可能相互重叠,难以完全分解为独立关系句。原论文图 2 与图 3 中的部分改写亦保留了限定关系。

例如,在“靠近窗户的桌子旁边的椅子”中,窗户首先限定桌子,桌子再限定椅子,形成明确的层级依赖。基于这一局限,本文认为可进一步探索具有层级结构的关系表示:通过关系图保留物体间依赖,再结合定位链逐步解析。这为 SRD 的语言解耦机制与 CoT3DRef 的有序推理提供了潜在的结合方向。

自适应视角选择

在训练与测试视角数一致的实验中,四视角配置的准确率高于单视角、双视角与八视角配置。作者据此提出自适应视角选择的后续研究方向。进一步可依据查询中的方向关系选择参与交互的视角,并联合评估定位准确率与计算成本,以分析不同选择策略的性能与效率权衡。

论文与相关阅读