AmbiRefer3D:面向指代歧义的交互式三维视觉定位

5989 字
15 分钟

AmbiRefer3D:面向指代歧义的交互式三维视觉定位

发布于

三维视觉定位(3D Visual Grounding,3DVG)旨在依据自然语言描述,在三维场景中定位对应物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别通过定位链、多锚点几何关系以及结构化语言拆解,增强模型对复杂指代表达的理解。它们共同关注如何充分利用描述中的定位线索。

AmbiRefer3D: 3D Visual Grounding with Referential Ambiguity 将研究重点推进到另一个更基础的问题:当描述本身缺少区分目标所需的信息时,模型应当如何完成定位?例如,场景中有三把棕色椅子,用户只说“那把棕色椅子”,此时多个对象都满足描述。模型需要主动询问“是桌子左边的那把吗?”,通过新增约束逐步确定用户意图。

AmbiRefer3D 围绕这一问题提出指代歧义下的三维视觉定位任务,构建多轮澄清数据集,并设计“候选生成—约束选择—候选筛选—停止决策”的交互框架。其核心思想是将语言信息的获取纳入定位过程,使模型同时学习如何定位目标,以及如何提出有助于定位的问题。

论文信息

项目内容
标题AmbiRefer3D: 3D Visual Grounding with Referential Ambiguity
作者Rongjiang Zhu、Wei Kang、Zeqi Liu、Junyu Chen、Shuo Yang、Xinxiao Wu
论文版本本文所读 ICML 2026 版本,正文与附录共 28 页
研究任务含指代歧义的三维视觉定位与多轮交互消歧
数据来源ScanNet / ScanRefer 真实场景、3D-FRONT 合成场景
数据规模7,316 个场景、47,085 个样本、141,255 条初始查询标注
候选生成骨干M3DRef-CLIP、D-LISA
关键模块Constraint Selector、Candidate Mask Head、Stopping Head

下文公式、原图和实验数值依据所提供论文的正文及附录整理。

问题背景:从关系理解到信息获取

复杂描述与不充分描述

复杂描述通常包含足够的约束,但这些约束具有较强的组合性。例如,“靠近窗户的桌子左侧、旁边有落地灯的椅子”同时涉及多个参照物和空间关系。ViewSRD 通过 SRD 拆解局部关系,并利用共享视角表示关联方向语言与场景特征,降低复杂关系的建模难度。

不充分描述则缺少决定性的约束。“那把椅子”可以同时对应多个实例;即使模型准确识别所有椅子,也仍然需要知道用户具体指向哪一个。AmbiRefer3D 将这种情况定义为指代歧义,并通过交互获取额外的颜色、形状、位置或参照物关系。

这里需要区分多个合法输出目标与一个尚未确定的意图目标。多目标定位可以要求返回“所有椅子”;指代歧义任务则保留一个用户意图目标,只是初始表达与多个候选相容。因此,返回完整候选集合是消歧的起点,后续仍需收敛到具体对象。

任务形式化

设三维场景点云为 P∈RN×DP\in\mathbb R^{N\times D},场景实例集合为 O\mathcal O,初始描述为 TT。与描述相容的候选集合为:

C={o∈O∣o 在场景 P 中满足 T}.\mathcal C=\{o\in\mathcal O\mid o\text{ 在场景 }P\text{ 中满足 }T\}.

当 ∣C∣>1|\mathcal C|>1 时,初始语言尚未形成唯一指代。引入额外约束 EE 后,目标预测写为:

o∗=arg⁡max⁡oi∈CF(oi∣P,T,E).o^*=\arg\max_{o_i\in\mathcal C}F(o_i\mid P,T,E).

在交互框架中,EE 随问答逐轮积累。例如,初始查询“椅子”产生多个候选;“棕色”排除颜色不同的实例;“桌子左侧”进一步区分剩余对象。定位由此成为一个持续更新约束与候选集合的过程。

框架总览

AmbiRefer3D 原论文图 2:候选生成、多视角特征提取与交互消歧框架

图 1:AmbiRefer3D 整体框架,取自原论文图 2。

阶段主要输入与输出作用
Candidate Generation场景与初始描述 → 候选对象集合保留与描述相容的潜在目标
Visual Representation候选对象多视角图像 → 对象特征表达候选间的外观差异
Constraint Selection当前候选状态与语言 → 澄清约束选择有区分力的提问内容
Candidate Filtering对象、语言与约束 → 更新后的候选集合排除不满足新增条件的实例
Stopping Head当前消歧状态 → 停止判断平衡定位准确率与交互成本

这一框架把候选召回与交互决策分成两个阶段。前者负责建立可靠的搜索范围,后者围绕当前仍然存在的歧义组织提问。随着候选集合变化,具有区分力的属性和关系也随之变化,因此约束选择需要逐轮更新。

候选生成:为消歧保留搜索空间

第一阶段采用已有多目标三维定位网络。模型首先提取对象 proposals,再根据它们与初始表达的语义相关性筛选候选。设相关性得分为 qiq_i,则初始集合可表示为:

C(0)={oi∣qi>τ},τ=0.1.\mathcal C^{(0)}=\{o_i\mid q_i>\tau\},\qquad \tau=0.1.

论文分别采用 M3DRef-CLIP 与 D-LISA 作为骨干,并在 AmbiRefer3D 训练集上进行微调。保留多个候选,使后续模块能够比较对象间的差异,再决定需要补充何种信息。

候选召回在这里具有明确的系统意义:后续筛选只在已有集合内进行,初始阶段遗漏的目标无法通过删除操作恢复。因此,论文使用 Target Survival(TS)单独衡量真实目标是否进入候选集合,将候选生成质量与交互定位结果同时纳入评价。

交互消歧:问什么、保留谁、何时结束

多视角对象表示

对每个候选物体,作者从 M=3M=3 个视角渲染图像,使用 ViT-B/32 编码,再通过平均池化获得对象级特征:

vi=1M∑m=1MEnc⁡img(Ii(m)).v_i=\frac{1}{M}\sum_{m=1}^{M}\operatorname{Enc}_{\mathrm{img}}(I_i^{(m)}).

不同视角提供对象形状、颜色和局部外观信息。原始描述则通过候选生成模型中的文本编码器获得句子表示 tt。图像特征与语言特征共同参与后续的约束选择和候选评估。

约束空间:将提问转化为结构化决策

论文将澄清内容组织为离散约束空间 Gcons\mathcal G_{\mathrm{cons}},每个约束采用 (type, slot, value) 形式,覆盖对象属性与空间关系。例如,颜色条件可以对应“属性—颜色—棕色”;关系条件则可以表达对象相对参照物的位置。

结构化约束把“问一个问题”落实为可监督的选择问题。模型需要比较当前候选的差异,从约束集合中选择适合当前轮次的条件,并将其用于澄清与筛选。整个任务按问答过程组织;核心网络通过约束选择及约束条件下的对象评分实现这一过程。

一个有效问题必须针对当前候选的差异。如果剩余椅子颜色相同,继续询问颜色就没有区分作用;如果它们分布在桌子两侧,位置关系则能够直接缩小候选范围。约束的价值因此由当前状态决定。

Selector:结合集合上下文与目标假设

作者对当前候选特征进行均值池化,获得集合级上下文,并结合查询构建全局状态 s(r)s^{(r)}。在此基础上,引入目标表示 vtargetv_{\mathrm{target}}、平均差异 μdiff(r)\mu_{\mathrm{diff}}^{(r)} 与最大差异 δmax⁡(r)\delta_{\max}^{(r)},共同预测澄清约束:

c(r)=Selector⁡(s(r),t,v(r),vtarget,μdiff(r),δmax⁡(r)).c^{(r)}=\operatorname{Selector}\left( s^{(r)},t,v^{(r)},v_{\mathrm{target}}, \mu_{\mathrm{diff}}^{(r)},\delta_{\max}^{(r)} \right).

其中,v(r)v^{(r)} 表示当前候选的视觉特征集合;平均差异刻画目标假设与其余候选的整体区分程度,最大差异突出最显著的候选间差别。

vtargetv_{\mathrm{target}} 采用当前最高分候选的特征作为近似。 论文表 5 专门比较了最高分选择、随机选择和均值聚合。由此,Selector 同时利用两类信号:候选集合整体提供场景上下文,最高分对象提供具体的目标假设,差异特征则引导模型寻找能够检验这一假设的条件。

这一设计保持了对象级特征的具体性。候选均值适合描述集合的共同状态,而具体对象与其他候选之间的差异更适合组织判别性问题。

Mask Head:约束条件下的候选筛选

选定澄清约束后,Mask Head 根据对象特征、原始语言与约束表示评估每个候选的相容性。对象特征通过交叉注意力读取查询和约束的联合表示:

mi(r)=MaskHead⁡(vi,t,g(r)),m_i^{(r)}=\operatorname{MaskHead}(v_i,t,g^{(r)}),

其中 g(r)g^{(r)} 为本轮约束的语义嵌入。经 Sigmoid 映射后,根据阈值更新候选集合:

C(r+1)={oi∈C(r)∣σ(mi(r))≥α},α=0.4.\mathcal C^{(r+1)}= \left\{o_i\in\mathcal C^{(r)}\mid \sigma(m_i^{(r)})\geq\alpha\right\},\qquad \alpha=0.4.

候选集合满足 C(r+1)⊆C(r)\mathcal C^{(r+1)}\subseteq\mathcal C^{(r)},逐轮收缩形成了清晰的消歧轨迹。每一轮都可以检查新增了什么条件,以及哪些对象因此被排除,这也使交互过程具有可追踪的中间状态。

Stopping Head:学习交互预算的使用

当停止头预测的置信度超过 β=0.5\beta=0.5,或者达到最大轮数 R=6R=6 时,交互终止。停止判断将交互成本直接纳入模型设计:区分容易的对象可以较早结束,复杂歧义则保留更多澄清机会。

这一机制的作用在消融中非常明确。去掉停止损失后,准确率略有提高,但成功定位所需的平均轮数也增加。停止头因此承担了精度与效率之间的调节功能。

联合监督:学习完整的消歧决策

正文将训练目标写为:

L=LG+λselLsel+λcandLcand+λstopLstop.\mathcal L=\mathcal L_G+ \lambda_{\mathrm{sel}}\mathcal L_{\mathrm{sel}}+ \lambda_{\mathrm{cand}}\mathcal L_{\mathrm{cand}}+ \lambda_{\mathrm{stop}}\mathcal L_{\mathrm{stop}}.

其中,LG\mathcal L_G 沿用候选生成骨干的定位目标。附录 B 对第二阶段采用单轮监督,并设置 λsel=1.0\lambda_{\mathrm{sel}}=1.0、λcand=1.0\lambda_{\mathrm{cand}}=1.0、λstop=0.2\lambda_{\mathrm{stop}}=0.2。

损失监督内容对应能力
LG\mathcal L_G检测、指代表达匹配及跨模态对齐等骨干目标建立候选集合
Lsel\mathcal L_{\mathrm{sel}}约束集合上的多分类交叉熵选择有区分力的澄清条件
Lcand\mathcal L_{\mathrm{cand}}候选集合上的目标分类交叉熵提高真实目标相对干扰物的得分
Lstop\mathcal L_{\mathrm{stop}}当前轮是否终止的预测控制交互长度

约束选择与候选判别分别写为:

Lsel=−log⁡exp⁡(sc∗)∑c∈Kexp⁡(sc),Lcand=−log⁡exp⁡(so∗)∑o∈Cexp⁡(so).\mathcal L_{\mathrm{sel}}=-\log \frac{\exp(s_{c^*})}{\sum_{c\in\mathcal K}\exp(s_c)},\qquad \mathcal L_{\mathrm{cand}}=-\log \frac{\exp(s_{o^*})}{\sum_{o\in\mathcal C}\exp(s_o)}.

前者监督下一步应该关注哪种差异,后者监督新增信息如何落实为对象间的判别。二者分别作用于信息获取与信息利用,共同支撑多轮消歧。

数据集:从完整描述构造可澄清的歧义

AmbiRefer3D 原论文图 3:完整描述构造、同类对象筛选、语义消融及场景驱动澄清生成

图 2:AmbiRefer3D 数据生成流程,取自原论文图 3。

完整描述与场景结构

真实场景使用 ScanRefer 的人工指代表达作为原始查询。合成场景来自 3D-FRONT:作者渲染单个对象,使用视觉语言模型提取属性,再结合渲染器中的精确位置、类别和边界框构建场景图,通过受约束的语言生成得到唯一指向目标的表达。

随后,多对象过滤器保留场景中至少存在一个同类对象的查询,为构造指代歧义提供条件。

受控语义消融

数据构建通过移除完整查询中的判别信息,形成三类歧义:

歧义类型移除的信息需要补充的线索
Attribute颜色、形状等视觉属性对象外观与尺寸差异
Spatial Relation相对位置、邻近关系等目标与参照物的空间关系
Attribute + Spatial Relation属性和空间关系多种互补约束

以“茶几旁边的白色柜子”为例,去掉颜色得到“茶几旁边的柜子”,去掉关系得到“白色柜子”,同时去掉两类信息得到“柜子”。这些表达仍然描述真实目标,但可兼容更多场景实例。

场景驱动的验证与澄清

真实场景采用 generate–verify–synthesize 流程,结合对象渲染图、场景图语义关系、三维布局和标注视角构造澄清信息。验证阶段先根据歧义查询进行定位;当匹配到的多个对象中包含真实目标时,确认该查询存在歧义,再围绕候选差异生成澄清条件。

这一步使“语言变短”与“确实产生多实例歧义”建立对应关系。生成的条件还需要能够在场景中得到验证,并推动候选集合收缩。

论文表 1 报告了 141,255 条初始歧义查询、113,904 个澄清步骤,平均每个查询包含 2.89 个候选对象,平均每个对象对应 2.42 个澄清步骤。作者还抽取约 5% 的生成场景进行人工核验,检查候选集合是否完整,以及应当提问时的问题是否有效、无需提问时是否直接定位。

实验结果

评价指标与实现配置

指标定义评价重点
TS初始候选集合包含真实目标的样本比例目标召回
Acc交互结束后正确定位的样本比例最终准确率
S@K至多经过 KK 轮澄清即成功定位的样本比例给定交互预算下的成功率
AvgR成功定位样本所需轮数的均值成功交互的轮数成本

默认最多交互 6 轮,因此主实验中的 S@6 与最终 Acc 相同。训练采用 AdamW,学习率为 3×10−63\times10^{-6},权重衰减为 10−410^{-4},batch size 为 32。下文 Mixture 表示在所有歧义类型上联合训练的设置。

完整、歧义与澄清查询:信息补充的效果

EXPERIMENT RESULTS

查询信息完整性对定位准确率的影响

Acc@0.5 · %

完整查询歧义查询澄清查询

AmbiRefer3D · 附录表 7:数值转录自用户提供的 ICML 2026 论文 附录表 7;链接指向论文所列代码仓库。

实验数据
查询信息完整性对定位准确率的影响 — Acc@0.5(%)
方法完整查询歧义查询澄清查询
UniVLG
TSP3D
ConcreteNet
M3DRef-CLIP
ScanRefer

附录表 7 使用三种查询条件评估单目标定位方法。UniVLG 的 Acc@0.5 从完整查询下的 44.3% 降至歧义查询下的 33.8%;补入澄清信息后恢复至 43.0%。TSP3D、ConcreteNet、M3DRef-CLIP 与 ScanRefer 也表现出相同趋势。

这组实验直接揭示了输入信息对定位结果的影响。对于多个实例同时满足的表达,补充一个有效的判别条件就能够显著改善定位表现,也为主动获取澄清信息提供了实验依据。

真实场景:交互框架带来的性能提升

EXPERIMENT RESULTS

真实场景下的交互定位结果

Acc · %

M3DRef-CLIPM3DRef-CLIP + OursD-LISAD-LISA + Ours

AmbiRefer3D · 正文表 3:数值转录自用户提供的 ICML 2026 论文 正文表 3;链接指向论文所列代码仓库。

实验数据
真实场景下的交互定位结果 — Acc(%)
实验设置M3DRef-CLIPM3DRef-CLIP + OursD-LISAD-LISA + Ours
属性
空间关系
属性 + 空间关系
Mixture

正文表 3 中,M3DRef-CLIP 在 Mixture 设置下由 36.15% 提升至 40.03%,增加 3.88 个百分点;D-LISA 则由 9.81% 提升至 41.57%,增加 31.76 个百分点。

在 Attribute、Spatial Relation、Attribute + Spatial Relation 三种设置下,D-LISA 接入交互框架后的准确率分别达到 39.02%、36.88%、34.02%,相较直接定位分别提高 24.34、27.33、28.81 个百分点。不同歧义来源下均出现提升,说明通过额外约束区分候选是一条有效的技术路径。

两种骨干接入相同框架后,在 Mixture 上分别达到 40.03% 与 41.57%。交互机制显著改善了 D-LISA 对初始歧义表达的处理,使其能够利用后续条件完成定位。

多轮成功率与候选召回

Mixture 设置TS(%)S@1(%)S@3(%)S@6 / Acc(%)AvgR
M3DRef-CLIP + Ours65.027.8536.2040.033.51
D-LISA + Ours72.126.0736.1541.573.39
Ours†—30.4140.3549.513.12

数据来源:正文表 3。Ours† 为训练时提供真实候选集合的上界参考设置。

D-LISA + Ours 在一轮内成功定位 26.07% 的样本,三轮内达到 36.15%,六轮内达到 41.57%。前几轮解决了大量歧义,后续交互继续处理更困难的对象组合。原论文图 5 也显示,候选集合在早期迅速缩小,随着允许轮数增加,准确率逐渐趋于饱和。

与此同时,D-LISA + Ours 的 TS 为 72.1%,明显高于最终准确率。系统既需要提高初始目标召回,也需要提升目标已经进入候选集合之后的筛选与决策质量。Ours† 的 49.51% 进一步展示了更可靠候选监督带来的提升空间。

损失消融:选择有效问题是关键

EXPERIMENT RESULTS

交互监督的损失消融

成功率 · %

AccS@1S@3

AmbiRefer3D · 正文表 4:数值转录自用户提供的 ICML 2026 论文 正文表 4;链接指向论文所列代码仓库。

实验数据
交互监督的损失消融 — 成功率(%)
实验设置AccS@1S@3
移除停止损失
移除候选损失
移除选择损失
完整模型

正文表 4 中,移除约束选择损失后,Acc 从 41.57% 降至 24.47%,下降 17.10 个百分点;S@1 从 26.07% 降至 7.40%,AvgR 从 3.39 增至 5.16。问题选择质量同时影响最终准确率和早期消歧效率,是该框架最关键的训练环节。

移除候选判别损失后,Acc 降至 38.13%,AvgR 增至 4.12。这一结果体现了对象级判别监督的作用:有效条件还需要准确转换为候选间的得分差异。

移除停止损失后,Acc 提高至 42.36%,AvgR 同时增加至 3.74。完整模型以 0.79 个百分点的准确率差异换取更少的交互轮数,说明停止监督承担了明确的效率调节功能。

目标表示:具体候选优于均值聚合

目标表示策略Acc(%)S@1(%)S@3(%)AvgR
随机选择28.9210.4116.884.16
候选均值聚合21.095.7111.144.34
最高分候选41.5726.0736.153.39

数据来源:正文表 5。

最高分候选相较随机选择提高 12.65 个百分点,相较均值聚合提高 20.48 个百分点。集合均值容易弱化对象间的属性差异,而提问恰恰需要利用这些差异。围绕具体候选建立目标假设,再比较它与其他对象的区别,更符合判别性澄清的需要。

约束策略:逐轮适应与一次性施加的比较

约束选择策略Acc(%)S@1(%)S@3(%)AvgR
随机选择23.318.539.164.88
启发式选择33.7624.4830.212.76
Top-K,K=3K=337.8830.4235.691.89
自适应多轮选择41.5726.0736.153.39

数据来源:正文表 6;Top-K 配置采用第 6.4 节说明。

Top-K 将三个高分约束在同一轮施加,首轮成功率达到 30.42%,平均轮数也最低。自适应选择则在每轮重新观察剩余候选,最终达到 41.57%,比 Top-K 高 3.69 个百分点。

两种策略体现了不同的交互预算分配方式:集中施加约束能够加速早期筛选,逐轮更新则可以根据剩余歧义调整后续条件。AmbiRefer3D 的优势集中体现在后者,即利用反馈改变下一步的信息获取决策。

与多模态大模型交互基线的比较

附录表 10 在真实场景 Mixture 设置下比较了 Inst3D-LMM、Video-3D LLM 与本文方法。两个大模型基线逐轮生成澄清问题,再由 Qwen3-VL-32B 根据目标对象提供回答,最多交互六轮。

方法Acc(%)S@1(%)S@3(%)AvgR
Inst3D-LMM26.8010.5518.704.85
Video-3D LLM22.358.1015.425.24
Ours41.5726.0736.153.39

结构化交互框架分别领先 14.77 和 19.22 个百分点,并使用更少的成功交互轮数。这组结果表明,将候选集合、澄清条件和停止决策显式纳入训练,对场景消歧具有直接价值。

推理开销:多视角渲染占据主要成本

附录表 11 报告,M3DRef-CLIP 的单次定位延迟为 82 ms;加入交互框架后,总延迟为 3,306 ms,其中多视角渲染占 3,102 ms,第一阶段占 82 ms,第二阶段占 122 ms。

渲染约占总时延的 93.8%。因此,工程优化的首要方向是复用对象图像、缓存视觉特征,或直接利用机器人已有的观测图像。减少重复渲染能够显著改善系统响应速度,交互轮数则决定进一步的模型计算与用户等待成本。

与 ViewSRD、CoT3DRef 和 MiKASA 的联系

维度CoT3DRefMiKASAViewSRDAmbiRefer3D
主要问题对象间的有序定位依赖多锚点几何与场景融合复杂关系拆解与跨模态视角关联初始表达缺少判别信息
信息组织参照物到目标的定位链候选与多个锚点的相对空间表示原句与简化关系句逐轮积累的澄清约束
中间状态路径与对象预测几何关系及注意力改写句与视角表示候选集合、约束与停止判断
主要决策按何种依赖定位关注哪些参照关系如何拆解和融合已有语义下一轮补充什么信息

ViewSRD 与 AmbiRefer3D 在语言处理上形成了自然联系。SRD 将复杂表达中的既有关系显式化,AmbiRefer3D 则通过交互引入原始表达缺失的条件。一个值得探索的组合是:先将初始描述拆解为结构化约束,检索满足条件的候选;当候选仍有歧义时,再选择新的属性或关系进行询问。

CoT3DRef 的定位链也能够为关系型提问提供支持。例如,在“桌子左侧的椅子”中,首先确定作为参照物的桌子,再判断椅子的相对位置,可以让新增关系条件获得更明确的空间依据。MiKASA 的多锚点几何表示则适合用于比较不同参照物的区分能力,帮助模型选择更有效的关系问题。

这些联系指向一个统一的研究方向:将语言解析、场景关系建模与主动澄清结合,使系统既能够利用用户已经表达的条件,也能够有针对性地获取仍然缺失的信息。

方法讨论与后续方向

以候选差异组织信息获取

AmbiRefer3D 将提问建立在候选集合之上,使问题选择具有明确的判别目标。颜色、尺寸、形状和空间关系的价值来自它们对当前候选的区分能力。这为交互式定位提供了可操作的设计原则:先确定尚未解决的差异,再获取能够消除差异的不确定信息。

从信息论角度,可以进一步将这一过程理解为降低候选目标分布的不确定性。本文认为,一个自然的扩展是联合考虑预期信息增益、问题理解难度与用户回答成本,学习更符合实际交流需求的提问策略。

从单调筛选走向可修正的候选管理

当前框架通过阈值筛选逐轮删除候选,流程简洁,计算状态明确。实际交互还会遇到模糊回答、识别错误和用户修正,因此后续可以引入候选概率更新与回退机制:在证据不足时保留低置信度对象,在回答改变时恢复相关候选,使系统能够处理多轮交流中的信息修正。

将停止决策与任务成本结合

停止损失的消融揭示了一个重要问题:定位精度与交互成本需要共同优化。不同应用对于错误和等待的容忍度不同,物品检索可以追求快速确认,机器人操作则需要更强的目标确认。后续可以依据任务风险与用户偏好动态调整停止策略,使有限的交互预算优先用于最有价值的澄清。

AmbiRefer3D 的主要贡献在于把“获取定位所需的信息”正式纳入三维视觉定位任务,并通过数据、模型和指标支持这一过程。约束选择、候选判别与停止决策构成完整的交互闭环,使三维定位从一次性语言匹配扩展为可逐步澄清用户意图的场景理解过程。

论文与相关阅读