ORD:物体—关系解耦与几何驱动的三维视觉定位

6793 字
17 分钟

ORD:物体—关系解耦与几何驱动的三维视觉定位

发布于

三维视觉定位(3D Visual Grounding,3DVG)根据自然语言描述,在三维场景中识别目标物体。当场景包含多个同类实例时,物体类别和外观只能缩小候选范围,目标与参照物之间的空间关系才是完成消歧的关键。例如,“离桌子最近的椅子”要求模型同时确定桌子实例、识别椅子候选,并根据距离关系完成选择。

此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别从定位链、多锚点空间上下文、结构化语言拆解与跨模态视角关联出发,研究参照信息的组织方式。ORD: Object-Relation Decoupling for Generalized 3D Visual Grounding 将问题推进到表示学习层面:当物体名称与空间谓词被共同编码时,网络容易利用实体共现规律完成匹配,空间关系本身的几何含义则被弱化。

ORD 围绕这一问题建立了三项相互衔接的设计:以物体对为基本单元构造显式相对几何;通过谓词掩码与对比学习建立关系语义和几何的对应;预测并采样锚点特征,指导目标定位。其核心思想是赋予空间关系独立的表示与监督路径,再将关系知识用于具体实体的定位。

论文信息

项目内容
标题ORD: Object-Relation Decoupling for Generalized 3D Visual Grounding
作者Ronggang Huang、Fansen Meng、Huaidong Zhang、Xuemiao Xu
会议CVPR 2026,30964–30973
研究问题物体语义与空间关系耦合所引入的语义捷径
核心设计相对几何编码、谓词解耦对齐、锚点引导定位
实验数据Nr3D 及 CoT3DRef 锚点标注、Sr3D 及锚点辅助信息
主要指标目标实例选择准确率,以及 MRR、MR、MedR 排序指标

对于候选实例集合 O={O1,…,ON}\mathcal O=\{O_1,\ldots,O_N\} 和查询 QQ,目标预测可写为:

t^=arg⁡max⁡j∈{1,…,N}s(Oj,Q,O).\hat t=\arg\max_{j\in\{1,\ldots,N\}}s(O_j,Q,\mathcal O).

ORD 在上述实例选择过程中进一步引入目标—锚点结构。模型同时学习哪些实例承担参照角色,以及目标与这些实例之间应满足何种关系。下文公式、框架图与实验数值依据论文正文整理。

问题背景:实体语义如何掩盖空间关系

从类别匹配到关系判断

考虑两条查询:“离桌子最近的椅子”和“离门最近的垃圾桶”。两句话中的实体类别不同,但 closest to 对应相同的距离比较操作。理想的关系表示应将这一共同结构提取出来,使“最近”的几何含义能够在不同目标和锚点组合之间复用。

如果将整句语言表示直接与物体特征融合,模型会同时接收到椅子、桌子、垃圾桶、门等实体信息,以及 closest to 的关系信息。由于训练数据中的物体类别、场景布局与关系词存在相关性,网络可以依靠类别组合和常见布局获得较低的训练损失。这类语义捷径降低了模型对实际物体间几何结构的依赖。

ORD 的切入点十分明确:关系分支应直接学习谓词与几何之间的联系,实体分支则负责识别这些关系作用于哪些物体。 这种职责划分为跨实体组合的空间推理提供了结构基础。

关系词对应不同的几何计算

不同空间谓词对几何信息的需求并不相同。left、right、front、behind 关注参照系下的相对方向;closest、farthest 需要比较多个候选与锚点的距离;between 涉及目标与多个参照物的联合布局;above、under 则突出垂直位置和场景层次。

因此,关系建模需要同时解决两个问题:在视觉侧提供可供计算的物体间几何结构,在语言侧提取决定计算方式的关系语义。ORD 将这两部分显式对应起来,使空间推理具备清晰的输入、表示和优化目标。

框架总览

ORD 整体框架:相对几何建模、谓词与全局对齐、空间和绝对信息增强,以及锚点引导定位

图 1:ORD 整体框架,来自原论文图 2。

阶段主要操作作用
物体与文本编码编码实例点云和完整查询,通过自注意力、交叉注意力融合建立对象识别与完整语言理解的基础表示
空间关系建模根据物体中心构造方向、距离与场景级几何先验显式表示候选物体之间的空间结构
空间特征对齐 SFAM谓词—关系对齐与融合特征—关系对齐将语言关系、几何关系和对象语义关联起来
空间与绝对信息增强SIEM 与 AIEM 分别处理关系信息和对象信息将关系约束与实例语义共同注入定位特征
锚点引导定位 AGRM预测锚点、采样特征、解码锚点与目标槽位利用具体参照实例完成目标消歧

框架中保留了完整查询分支,同时为关系词设置专门的语言输入。前者负责类别、属性、指代与上下文,后者集中学习空间谓词。相对几何成为两个分支之间的共享结构,使关系语义最终落实到场景中的对象对。

相对几何:将物体集合组织为关系图

有向物体对的方向与距离

设第 ii 个物体的中心为 ci∈R3c_i\in\mathbb R^3。ORD 将候选实例构成有向图 G=(V,E)G=(V,E),对物体对 (i,j)(i,j) 定义:

ℓij=∥ci−cj∥2,dij=ci−cjℓij.\ell_{ij}=\lVert c_i-c_j\rVert_2,\qquad \mathbf d_{ij}=\frac{c_i-c_j}{\ell_{ij}}.

其中,ℓij\ell_{ij} 表示物体中心间的距离,dij\mathbf d_{ij} 为单位方向向量。沿用论文的符号约定,ci−cjc_i-c_j 表示从 jj 指向 ii 的位移。将 jj 视作锚点时,该表示描述候选目标相对于锚点的位置。

方向与距离分别刻画空间结构的两个方面。单位方向使网络直接获得方向分量,距离则为邻近、远离以及最近、最远等关系提供度量依据。物体对的双向表示满足:

ℓji=ℓij,dji=−dij.\ell_{ji}=\ell_{ij},\qquad \mathbf d_{ji}=-\mathbf d_{ij}.

这种显式结构让同一组物体在交换目标与锚点角色时呈现明确的几何变化,有助于学习 left/right 等具有方向性的关系。

场景级 Hyper-object 几何先验

局部物体对之外,ORD 进一步对场景中的边进行聚合,构造场景级几何先验。论文将其称为 hyper-object 或 ultra-object:

ℓˉ=1∣E∣∑(i,j)∈Eℓij,dˉ=1∣E∣∑(i,j)∈Edij,\bar\ell=\frac{1}{|E|}\sum_{(i,j)\in E}\ell_{ij},\qquad \bar{\mathbf d}=\frac{1}{|E|}\sum_{(i,j)\in E}\mathbf d_{ij}, gglobal=[dˉ⊤,ℓˉ]⊤∈R4.g_{\mathrm{global}}= \left[\bar{\mathbf d}^{\top},\bar\ell\right]^{\top}\in\mathbb R^4.

平均距离提供当前场景的整体空间尺度,聚合方向则提供由边集合定义的全局几何上下文。该向量作为共享先验附加到各物体对,使局部距离和方向能够结合场景背景进行编码。

例如,在不同尺度的房间中,相同的绝对距离具有不同的布局意义。将局部距离与场景平均距离同时输入编码器,为网络学习这种尺度相关性提供了直接依据。

八维几何输入与关系特征张量

每个物体对的初始表示由三维方向、一维距离和四维全局先验拼接而成:

rij=[dijx,dijy,dijz,ℓij,gglobal⊤]⊤∈R8.r_{ij}= \left[d_{ij}^{x},d_{ij}^{y},d_{ij}^{z},\ell_{ij}, g_{\mathrm{global}}^{\top}\right]^{\top}\in\mathbb R^8.

经过由线性层组成的 Relative Position Encoder,得到:

Rij=RPE⁡(rij),R∈RN×N×d.R_{ij}=\operatorname{RPE}(r_{ij}),\qquad R\in\mathbb R^{N\times N\times d}.

此时,场景在对象特征之外还具有一个成对关系张量。对象特征描述“是什么”,关系张量描述“相对于其他对象处于什么位置”,后续模块可以分别处理并联合利用这两类信息。

相对坐标还带来清晰的变换性质。对所有中心施加共同平移 ci′=ci+tc_i'=c_i+t,物体间位移保持不变;在共同旋转 UU 下,方向向量随之变换为 dij′=Udij\mathbf d_{ij}'=U\mathbf d_{ij}。因此,ORD 在表示层消除了全局平移的影响,并将方向语义的学习建立在显式的相对几何上。

谓词解耦:建立语言关系与空间几何的直接对应

仅保留承担关系语义的 Token

ORD 的 Predicate-decoupled Alignment Module(PAM)首先构造空间谓词集合 Crel\mathcal C_{\mathrm{rel}},涵盖方位、距离、比较级、最高级及相关短语,例如 left of、right of、in front of、between、closest 和 farthest。

给定查询 Si={wk}k=1MS_i=\{w_k\}_{k=1}^{M},掩码算子保留承担空间关系语义的词,其余位置替换为 MASK:

Sirel=Mpred(Si;Crel).S_i^{\mathrm{rel}}= \mathcal M_{\mathrm{pred}}(S_i;\mathcal C_{\mathrm{rel}}).

以“the nightstand to the right of the bed”为例,物体名称 nightstand、bed 被遮蔽,关系短语 right of 被保留。关系分支因此直接处理方向条件,物体类别仍由完整查询分支提供。

与将实体替换为 target、anchor 等角色词相比,谓词掩码进一步压低了非关系词在该分支中的作用,使对齐目标集中于空间语义。

谓词位置上的掩码平均池化

掩码查询经文本编码器后得到 Token 特征。设 mk∈{0,1}m_k\in\{0,1\} 标记第 kk 个位置是否属于保留的谓词,则 MaskedMean 可展开为:

Tirel=∑k=1MmkEtext(Sirel)k∑k=1Mmk.T_i^{\mathrm{rel}}= \frac{\sum_{k=1}^{M}m_k E_{\mathrm{text}}(S_i^{\mathrm{rel}})_k} {\sum_{k=1}^{M}m_k}.

该表示保留上下文编码后的谓词信息,并在池化时聚焦关系位置。不同物体组合只要表达相同的空间条件,就能通过这一分支学习具有共同几何含义的语言表示。

T2R:谓词与关系特征对齐

ORD 谓词解耦与特征—关系对齐:掩码文本、成对几何与物体文本融合特征之间的对比学习

图 2:谓词解耦对齐与特征—关系对齐,来自原论文图 3。

Text-to-Relation(T2R)将谓词表示与对应的几何关系表示进行对比学习。以下以 ρi\rho_i 表示从关系张量中取得、用于相似度计算的关系嵌入,BB 表示批次内配对样本数:

sijt2r=cos⁡(Tirel,ρj),Qijt2r=exp⁡(sijt2r/τ)∑k=1Bexp⁡(sikt2r/τ).s_{ij}^{\mathrm{t2r}}= \cos(T_i^{\mathrm{rel}},\rho_j),\qquad Q_{ij}^{\mathrm{t2r}}= \frac{\exp(s_{ij}^{\mathrm{t2r}}/\tau)} {\sum_{k=1}^{B}\exp(s_{ik}^{\mathrm{t2r}}/\tau)}. Lt2r=−1B∑i=1Blog⁡Qiit2r.\mathcal L_{\mathrm{t2r}}= -\frac{1}{B}\sum_{i=1}^{B}\log Q_{ii}^{\mathrm{t2r}}.

其中,τ\tau 为温度参数。同一配对中的谓词和几何表示作为正样本,批次内未配对组合作为负样本。优化目标将正确对应的表示拉近,使关系词在嵌入空间中获得明确的几何指向。

这一设计是 ORD 解耦思想的核心。关系分支的训练信号直接来自谓词—几何匹配,减少了实体类别对关系学习的干扰。

F2R:将完整语义重新接入关系结构

仅有谓词表示还不足以完成实例定位。“床右侧的床头柜”和“床头柜右侧的床”共享方向词,但目标和锚点角色不同。ORD 通过 Global Alignment Module(GAM)中的 Feature-to-Relation(F2R)对齐,将完整语言与物体信息重新接入几何关系。

设 FiF_i 为原始查询与场景物体经跨模态融合后的特征,则:

sijf2r=cos⁡(Fi,ρj),Qijf2r=exp⁡(sijf2r/τ)∑k=1Bexp⁡(sikf2r/τ),s_{ij}^{\mathrm{f2r}}=\cos(F_i,\rho_j),\qquad Q_{ij}^{\mathrm{f2r}}= \frac{\exp(s_{ij}^{\mathrm{f2r}}/\tau)} {\sum_{k=1}^{B}\exp(s_{ik}^{\mathrm{f2r}}/\tau)}, Lf2r=−1B∑i=1Blog⁡Qiif2r,Lc=Lt2r+Lf2r.\mathcal L_{\mathrm{f2r}}= -\frac{1}{B}\sum_{i=1}^{B}\log Q_{ii}^{\mathrm{f2r}},\qquad \mathcal L_c=\mathcal L_{\mathrm{t2r}}+\mathcal L_{\mathrm{f2r}}.

T2R 学习空间谓词所表达的几何规则,F2R 将规则与具体物体及完整语境关联。两个目标共同形成“关系语义—几何结构—实体上下文”的对齐体系,使解耦后的关系表示能够服务于最终定位。

特征融合与锚点引导定位

相对关系与绝对信息的互补

ORD 使用 Spatial Information Enhancement Module(SIEM)处理相对关系,并通过 Absolute Information Enhancement Module(AIEM)增强物体与文本融合后的信息。按照框架图,两路输出合并为定位所用的特征 FfuseF_{\mathrm{fuse}}。

相对关系侧重物体之间的结构,绝对信息和对象语义则保留具体实例的外观、位置及查询上下文。这种双路组织使目标定位同时具备对象识别能力和关系判别能力。例如,当多个床头柜外观接近时,类别特征负责召回候选,床与床头柜的相对位置负责进一步筛选。

预测锚点并采样实例特征

Anchor-Guided Regression Module(AGRM)首先基于融合特征预测辅助锚点。为统一表示锚点与目标,以下用 kk 表示锚点槽位数,输出阶段共有 k+1k+1 个槽位。

锚点预测头为各候选实例产生锚点分数:

Laux=FC⁡obj(Ffuse).L_{\mathrm{aux}}=\operatorname{FC}_{\mathrm{obj}}(F_{\mathrm{fuse}}).

模型根据预测结果选取参照实例,并从聚合特征中采样对应表示:

Fsampled=Gather⁡(Fagg,Panc)∈Rk×d.F_{\mathrm{sampled}}= \operatorname{Gather}(F_{\mathrm{agg}},P_{\mathrm{anc}}) \in\mathbb R^{k\times d}.

这里,PancP_{\mathrm{anc}} 表示预测锚点的实例索引。锚点从语言中的抽象类别转化为可供后续注意力直接使用的场景实例,因而能够对目标预测施加具体的空间约束。

联合解码锚点与目标槽位

采样锚点特征与聚合场景特征共同输入 Transformer 解码器:

Fref=Decoder⁡(Fagg,Fsampled)∈R(k+1)×d.F_{\mathrm{ref}}= \operatorname{Decoder}(F_{\mathrm{agg}},F_{\mathrm{sampled}}) \in\mathbb R^{(k+1)\times d}.

最终预测头产生各槽位对应的候选实例分数:

Lref∈R(k+1)×N.L_{\mathrm{ref}}\in\mathbb R^{(k+1)\times N}.

锚点槽位负责定位描述中的参照物,目标槽位输出最终目标。论文将该模块称为 Regression,但正文给出的输出与监督形式对应候选实例上的分类式定位。

这一机制与 CoT3DRef 的锚点辅助监督具有联系。ORD 将锚点预测、特征采样和几何关系建模衔接起来,使参照实例在解码阶段直接参与目标表示更新。

联合监督:从对象类别到关系结构

目标与锚点的实例监督

设 yanchory_{\mathrm{anchor}} 为 kk 个锚点实例标签,ytargety_{\mathrm{target}} 为目标标签,将二者拼接为:

yref=[yanchor;ytarget]∈Rk+1.y_{\mathrm{ref}}= [y_{\mathrm{anchor}};y_{\mathrm{target}}]\in\mathbb R^{k+1}.

槽位级定位损失写为:

Lref=−1k+1∑p=1k+1log⁡exp⁡(Lref,p,yref,p)∑j=1Nexp⁡(Lref,p,j).\mathcal L_{\mathrm{ref}}= -\frac{1}{k+1}\sum_{p=1}^{k+1} \log\frac{\exp(L_{\mathrm{ref},p,y_{\mathrm{ref},p}})} {\sum_{j=1}^{N}\exp(L_{\mathrm{ref},p,j})}.

对锚点和目标同时施加实例级约束,使网络学习完整的目标—参照结构,降低参照物选择错误造成的定位偏移。

关系监督与对称正则化

ORD 进一步使用关系损失 Lr\mathcal L_r 监督目标—锚点对应,并对物体对的关系响应矩阵施加对称正则化:

Lsym=λMSE⁡(FR⊤,FR),λ=0.1,\mathcal L_{\mathrm{sym}}= \lambda\operatorname{MSE}(F_R^{\top},F_R),\qquad \lambda=0.1, LTA=Lr+Lsym.\mathcal L_{\mathrm{TA}}=\mathcal L_r+\mathcal L_{\mathrm{sym}}.

这里,FRF_R 是物体对上的 softmax 之前的关系响应矩阵。对称正则化作用于配对响应,促使相互关联的物体形成一致的联系强度;前述有向几何仍通过 dji=−dij\mathbf d_{ji}=-\mathbf d_{ij} 保留方向差异。两种约束分别对应“对象之间是否建立联系”和“联系具有怎样的空间方向”。

总体优化目标

最终目标为:

L=LObject+Lref+LSent+Lc+LTA.\mathcal L= \mathcal L_{\mathrm{Object}}+ \mathcal L_{\mathrm{ref}}+ \mathcal L_{\mathrm{Sent}}+ \mathcal L_c+ \mathcal L_{\mathrm{TA}}.
损失监督重点
LObject\mathcal L_{\mathrm{Object}}物体实例的语义类别
LSent\mathcal L_{\mathrm{Sent}}语言侧的类别信息,沿用 CoT3DRef 的监督思路
Lref\mathcal L_{\mathrm{ref}}锚点与目标槽位的实例选择
Lt2r\mathcal L_{\mathrm{t2r}}谓词表示与几何关系的对应
Lf2r\mathcal L_{\mathrm{f2r}}完整对象—文本语义与几何关系的对应
LTA\mathcal L_{\mathrm{TA}}目标—锚点关系及配对响应的一致性

这些目标覆盖类别识别、实体定位和关系对齐三个层次,使几何结构在训练中获得独立而持续的约束。

实验结果

数据、指标与实现配置

论文在 Nr3D 和 Sr3D 上开展实例级定位实验,并引入锚点辅助信息。Nr3D 部分结合 CoT3DRef 的锚点标注,表 1 汇总了九种空间关系,共 25,367 条关系标注样本,其中训练集 20,177 条、测试集 5,190 条。Sr3D 包含 83,572 条模板化描述,实验进一步使用锚点类别和位置作为辅助信号。

配置项论文设置
物体输入每个实例均匀采样 1,024 个点
场景候选上限52 个物体
文本长度上限24 个 Token
隐藏维度768
训练设置110 个 epoch,batch size 为 18
初始学习率5×10−45\times10^{-4}
硬件两张 NVIDIA GeForce RTX 4090
场景划分训练与测试场景分离,比例为 70%/30%

Grounding accuracy 统计最终目标实例预测正确的比例。Easy/Hard 对应不同的同类干扰难度,View Dep./View Indep. 分别对应视角依赖和视角无关描述。以下比较采用 ORD 论文各表报告的结果。

Nr3D:困难实例消歧的提升最为突出

EXPERIMENT RESULTS

Nr3D:整体与分组定位性能

Grounding accuracy · %

CoT3DRefMiKASAViewSRDORD

ORD · 表 3(PDF 第 7 页):按原论文表格转录,单位为 %;方法顺序与图例一致。

实验数据
Nr3D:整体与分组定位性能 — Grounding accuracy(%)
评估子集CoT3DRefMiKASAViewSRDORD
Overall
Easy
Hard
View Dep.
View Indep.

论文表 3 中,ORD 的 Overall 准确率达到 71.6%,较 ViewSRD 的 69.9% 提高 1.7 个百分点,较 MiKASA 和 CoT3DRef 的 64.4% 提高 7.2 个百分点。

相对 ViewSRD,ORD 在 Easy、Hard、View Dep. 和 View Indep. 上分别提高 1.1、2.2、1.2 和 1.9 个百分点。其中,Hard 子集从 64.8% 提升至 67.0%,体现出显式关系建模对同类实例消歧的价值。当类别信息难以区分候选时,物体间的方向与距离提供了更强的判别依据。

这组结果也呈现出 ORD 与 ViewSRD 的方法联系:ViewSRD 通过语言拆解和共享视角表示增强关系理解,ORD 则进一步为关系建立独立几何表示和对齐目标,在复杂自然语言条件下获得持续收益。

Sr3D:总体改善较小,方向子集呈现明显差异

EXPERIMENT RESULTS

Sr3D:模板化关系描述下的定位性能

Grounding accuracy · %

CoT3DRefMiKASAViewSRDORD

ORD · 表 2(PDF 第 7 页):按表 2 列序转录:ORD Overall 为 76.2%,View Indep. 为 76.8%。

实验数据
Sr3D:模板化关系描述下的定位性能 — Grounding accuracy(%)
评估子集CoT3DRefMiKASAViewSRDORD
Overall
Easy
Hard
View Dep.
View Indep.

按照表 2,ORD 在 Sr3D 上的 Overall 为 76.2%,较 ViewSRD 的 76.0% 提高 0.2 个百分点;Hard 为 71.0%,提高 0.4 个百分点;View Indep. 为 76.8%,提高 0.6 个百分点。Easy 为 78.4%,接近 ViewSRD 的 78.3%,略低于 MiKASA 的 78.6%。

Sr3D 的 View Dep. 准确率为 64.2%,低于 ViewSRD 的 69.0% 与 MiKASA 的 70.4%。因此,ORD 在该数据集上的总体优势主要体现在困难候选和视角无关描述,方向依赖子集仍是进一步优化的重点。模板化语言减少了复杂句式带来的解析负担,也使关系解耦的收益与 Nr3D 呈现出不同分布。

数值按表 2 的列序整理:76.2% 对应 Overall,76.8% 对应 View Indep.;正文实验分析中将 76.8% 写作 Overall 的位置在此统一按表格处理。

细粒度谓词:方向关系的提升具有一致性

EXPERIMENT RESULTS

视角依赖关系:左、右、前、后

Grounding accuracy · %

CoT3DRefViewSRDORD

ORD · 表 4(PDF 第 7 页):按原论文表格转录,单位为 %;方法顺序与图例一致。

实验数据
视角依赖关系:左、右、前、后 — Grounding accuracy(%)
空间谓词CoT3DRefViewSRDORD
Left
Right
Front
Behind

在表 4 单独列出的四类视角依赖关系中,ORD 的 Left、Right、Front、Behind 准确率分别为 71.5%、70.6%、71.7%、70.5%,均高于 ViewSRD。其中 Behind 从 63.3% 提升至 70.5%,增幅达到 7.2 个百分点;Front 与 Right 分别提高 3.2 和 2.5 个百分点。

Behind 是这组结果中改善最显著的关系。此类判断要求模型确定参照实例,并结合观察方向解释前后位置。ORD 将方向向量与谓词语义直接对齐,再通过锚点特征参与定位,使方向条件能够更充分地约束候选选择。

距离与上下关系:优势集中在 Closest、Between 和 Under

EXPERIMENT RESULTS

视角无关关系:距离、夹持与上下关系

Grounding accuracy · %

CoT3DRefViewSRDORD

ORD · 表 5(PDF 第 7 页):按原论文表格转录,单位为 %;方法顺序与图例一致。

实验数据
视角无关关系:距离、夹持与上下关系 — Grounding accuracy(%)
空间谓词CoT3DRefViewSRDORD
Closest
Farthest
Between
Above
Under

表 5 中,ORD 在 Closest、Between 和 Under 上分别达到 73.4%、74.7% 和 83.0%,较 ViewSRD 提高 1.8、3.3 和 7.8 个百分点。相对 CoT3DRef,Between 和 Under 分别提高 7.8 和 19.8 个百分点,说明成对几何与锚点信息在多对象布局和垂直结构判断中具有较强作用。

Farthest 和 Above 的结果则分别为 59.7% 和 70.5%,低于 ViewSRD 的 64.6% 和 80.4%。各谓词呈现出鲜明的性能分布:ORD 对最近、位于两者之间和下方关系表现突出,最远和上方关系仍存在较大提升空间。细粒度结果进一步说明,空间关系建模需要针对距离排序、垂直方向与多锚点结构分别设计有效约束。

排序指标:提高正确目标在候选列表中的位置

方法MRR ↑MR ↓MedR ↓
MVT0.555.762.45
CoT3DRef0.654.291.96
ViewSRD0.693.111.08
ORD0.811.851.01

表 1:候选排序指标,来自原论文表 6。

MRR 衡量正确目标名次倒数的平均值,MR 和 MedR 分别反映平均名次与中位名次。相对 ViewSRD,ORD 将 MRR 从 0.69 提高至 0.81,同时将 MR 从 3.11 降至 1.85。这说明关系约束改善了候选间的分数组织,使正确目标更集中地出现在排序前部。

组件消融:关系表示与对齐构成主要性能支撑

EXPERIMENT RESULTS

Nr3D:组件消融与困难子集表现

Grounding accuracy · %

OverallHardView Dep.

ORD · 表 7(PDF 第 8 页):按原论文表格转录,单位为 %;方法顺序与图例一致。

实验数据
Nr3D:组件消融与困难子集表现 — Grounding accuracy(%)
模型配置OverallHardView Dep.
w/o Anchors & ROR
w/o SFAM (G & P)
w/o SFAM G
w/o SFAM P
w/o SIEM & AIEM
w/o AGRM
ORD

移除锚点信息与 Relative Object–Relation 特征后,Overall 从 71.6% 降至 62.2%,下降 9.4 个百分点;Hard 从 67.0% 降至 56.1%,下降 10.9 个百分点。这组联合移除实验表明,锚点与相对关系共同构成了 ORD 的关键结构基础。

移除整个 SFAM 后,Overall 降至 69.1%;分别移除 GAM 和 PAM 后,准确率为 69.8% 和 70.8%。其中 GAM 对应完整对象—文本融合特征与关系的全局对齐,PAM 对应谓词解耦对齐。两条路径共同连接几何与语义,完整配置取得最高的 Overall。

移除 SIEM 与 AIEM 后,Overall 为 70.9%,Hard 为 65.1%;移除 AGRM 后,Overall 为 71.0%,Hard 为 65.0%,View Dep. 为 67.0%。AGRM 在整体准确率上带来 0.6 个百分点增益,在 Hard 和 View Dep. 上分别带来 2.0 和 2.8 个百分点的改善,说明显式采样参照实例对困难关系定位具有更明显的作用。

融合与辅助模块的收益也有分组差异。移除 SIEM 与 AIEM 时,Easy 和 View Dep. 分别达到 76.9% 和 70.4%,略高于完整模型;完整模型则在 Overall、Hard 和 View Indep. 上更优。ORD 的优化重点集中于整体表现与困难候选的关系消歧。

损失消融:关系监督显著强化定位能力

定位 Lref\mathcal L_{\mathrm{ref}}关系 Lr\mathcal L_r对称 Lsym\mathcal L_{\mathrm{sym}}F2RT2ROverall(%)
—————62.2
✓————64.3
✓✓———70.4
✓—✓——70.1
✓✓✓✓—71.1
✓✓✓—✓71.3

表 2:损失组合消融,来自原论文表 8。各行均保留物体类别与句子监督;完整模型的 71.6% 见表 7。

仅保留对象与句子监督时,Overall 为 62.2%;加入实例定位损失后提高至 64.3%。在此基础上加入关系损失 Lr\mathcal L_r,准确率达到 70.4%,增加 6.1 个百分点。关系结构监督为特征学习提供了强约束,显著提升了模型利用参照信息的能力。

同时包含定位、关系与对称项,并分别加入 F2R 或 T2R 时,准确率达到 71.1% 和 71.3%;完整模型为 71.6%。对齐目标进一步将几何关系与语言、对象上下文结合,形成完整的优化闭环。

定性结果:参照实例与观察方向的联合消歧

ORD 与 MiKASA、CoT3DRef、ViL3DRel、MVT 的定位结果比较,展示灯具与枕头的参照关系消歧

图 3:定位结果比较,来自原论文图 4。蓝色为正确预测,绿色为真实目标,红色为错误预测。

图中的灯具描述同时涉及床、浴室和壁炉所定义的关系与观察方向;枕头描述则以床为参照,并通过窗户限定观察方向。此类查询将实体选择和方向解释紧密联系在一起。ORD 在展示案例中正确定位目标,体现出相对几何、谓词对齐和锚点特征联合工作的效果。

与 ViewSRD、MiKASA、CoT3DRef 的联系

维度CoT3DRefMiKASAViewSRDORD
核心切入点将目标定位组织为有序推理链融合多锚点相对空间与场景上下文拆解复杂描述并关联多视角表示分离实体语义与空间关系的表示学习
关系的主要载体对象顺序与中间定位结果多参照物空间关系特征目标中心关系句与共享视角 Token显式物体对几何与谓词嵌入
语言处理提取目标、锚点和推理路径语言引导的跨模态交互LLM 生成简化关系句,再进行聚合完整查询与谓词掩码查询双路径
锚点作用中间监督与链式定位提供多对象空间上下文关系拆解与并行实例监督关系监督、辅助预测与特征采样
关键约束定位路径与实例监督对象识别和空间信息融合共享视角参数及联合定位监督T2R、F2R 与目标—锚点结构监督

ViewSRD 与 ORD 均围绕关系解耦展开,但二者的操作层次不同。ViewSRD 在输入语言层面拆分多个目标—锚点条件,并通过 CCVT 建立文本与场景的视角关联;ORD 在特征与优化层面分离实体和谓词,为几何关系建立独立表示,再通过对比学习对齐。

MiKASA 强调多个潜在参照物与场景上下文的共同作用,ORD 则进一步规定了关系分支应接收哪些语言信息,以及几何与语义应通过何种目标关联。CoT3DRef 强调定位过程中的对象依赖,ORD 延续锚点辅助监督,并将其与关系张量和锚点特征采样结合。

从这条研究路径看,三维视觉定位逐渐形成了三个相互补充的建模层次:语言条件的结构化、物体关系的几何化,以及中间实体的显式定位。ORD 将后两者与谓词级对齐结合,使关系从跨模态融合中的隐含信息发展为可单独编码和优化的结构单元。

方法讨论与研究启发

解耦的关键在于监督路径

ORD 的价值体现在输入限制、表示结构和训练目标的协同设计。谓词掩码控制关系分支可见的信息,相对几何提供明确的学习对象,T2R 将两者直接关联;完整文本与 F2R 则保留实体角色和场景语境,使几何规则能够作用于具体实例。

这种设计为关系学习提供了明确的分工。共享关系表示负责提取跨物体类别复用的空间规律,实例语义负责确定规律作用于哪些对象。对于需要组合泛化的视觉语言任务,控制各分支的信息来源,是构建有效归纳偏置的重要手段。

几何先验与关系类型需要共同设计

单位方向和距离为基本空间谓词提供了紧凑输入,而 Closest、Between、Under 与 Farthest、Above 之间的性能差异,进一步指向关系专属计算结构的价值。距离排序可引入相对次序约束,多锚点关系可显式表示三元组或超边,方向谓词则可结合观察者参照系进行建模。

这一方向能够在 ORD 的成对关系张量上自然扩展:首先保留通用的几何编码,再根据谓词类型选择对应的关系聚合方式,使语言真正决定几何计算的组织形式。

从共享几何表示走向查询条件化关系图

ORD 对候选物体构建成对关系,张量规模随对象数呈 O(N2d)O(N^2d) 增长。在更大场景中,可以利用查询中的目标类别和参照类别筛选相关实例,再对局部子图执行精细对齐。这样既保留显式几何建模,也将计算集中于具有语言依据的对象关系。

对于多锚点或层级描述,还可以将 ViewSRD 的关系句拆解、CoT3DRef 的对象依赖与 ORD 的谓词—几何对齐结合:以语言结构确定关系图的组织方式,以显式几何约束边的含义,再通过锚点定位逐步收缩候选集合。这为复杂三维场景中的组合式空间推理提供了一条清晰的研究路径。

论文与相关阅读