S²-MLLM:结构监督驱动的多模态大模型三维空间推理

7542 字
19 分钟

S²-MLLM:结构监督驱动的多模态大模型三维空间推理

发布于

三维视觉定位(3D Visual Grounding,3DVG)要求模型依据自然语言描述,在三维场景中确定对应物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别从定位链、多锚点几何关系以及语言关系拆解与视角关联出发,研究复杂描述如何转化为有效的定位约束。随着多模态大语言模型(MLLM)的引入,这一问题进一步延伸到视觉表示本身:主要从二维图文数据中学习的模型,如何形成足以支撑三维定位的空间结构理解?

S²-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance 给出了一条清晰的技术路线:训练阶段引入前馈三维重建目标,让共享视觉编码器学习场景结构;推理阶段移除重建分支,在潜在表示中完成空间推理。同时,通过 Structure-enhanced Module(SE)结合视图内与视图间注意力、三维坐标编码和相机射线编码,将外观、位置与观察方向整合到同一视觉表示中。

这篇工作的关键在于重建监督与定位表示的联合优化。三维重建提供密集几何约束,位置编码建立显式空间参照,MLLM 负责将语言条件与场景信息结合,最终通过候选对象匹配输出目标三维框。以下结合论文正文、原图与实验表格展开分析。

论文信息

项目内容
标题S²-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
作者Beining Xu、Siting Zhu、Zhao Jin、Junxian Li、Hesheng Wang
机构上海交通大学、南洋理工大学
论文版本CVPR 2026,所读正文与参考文献共 13 页
基础模型LLaVA-Video-7B
几何引导来源Fast3R 的融合 Transformer 与重建解码头
关键设计Spatial Guidance(SG)、Structure-enhanced Module(SE)、Language Guidance(LG)
训练数据ScanRefer、Nr3D、Sr3D 联合训练
域外评估MultiScan、ARKitScenes
训练配置单张 A100 80GB,LoRA 微调,1 个 epoch,batch size 为 8

问题背景:多视角输入如何形成三维理解

二维语义与三维关系之间的表示缺口

二维图文预训练为 MLLM 提供了丰富的类别、属性和语言语义知识。模型可以识别椅子、桌子与柜子,也可以理解“靠近”“左侧”和“背对”等表达。但在三维定位中,这些能力需要与统一的场景结构关联。

例如,“坐在黑色双人沙发上,面向边桌时右侧的矮书架”包含由参照物确定的观察方向。模型既要识别沙发与边桌,又要建立相应的观察坐标系,再解释书架的相对位置。同一物体从不同视角出现时,还需要维持对象身份的一致性,避免把多次观测当作多个独立对象。

因此,三维定位所需的表示至少包含三个层次:物体是什么、物体在三维场景中的什么位置、不同观察方向下的证据如何对应。S²-MLLM 分别通过语义预训练、显式几何编码与结构监督,将这些信息整合进视觉特征。

从推理期重建转向训练期结构学习

部分基于 VLM 的三维定位方法先重建场景点云,再渲染多视角图像或鸟瞰图,为模型提供可直接读取的场景结构。这类流程将几何理解组织为推理阶段的外部处理,重建、视角选择与渲染共同构成计算开销,图像中的遮挡和视角差异也会影响关系判断。

S²-MLLM 将结构学习前移到训练阶段。视觉编码器一方面支持语言条件下的目标定位,另一方面通过重建分支预测三维点图。两类目标共同作用于视觉表示,使其既保留物体语义,也编码多视角观测中的几何结构。训练完成后,定位网络直接使用这种结构感知特征。

这里的“隐式空间推理”对应于几何结构在潜在特征中的表达与使用。模型推理仍接收 RGB-D、相机参数和候选三维框;深度与位姿用于计算位置线索,重建分支则仅在训练阶段提供辅助监督。这一输入与训练设计共同支撑模型的空间推理能力。

框架总览

S²-MLLM 原论文图 2:训练期空间引导、结构增强模块与三维定位框架

图 1:S²-MLLM 整体框架,取自原论文图 2。左侧重建分支仅参与训练;右侧展示结构增强模块、对象特征提取与定位头。

给定多视角 RGB-D 图像、相机内外参与候选对象集合:

I={(Iv,Dv,Kv,Tv)}v=1V,O={oj}j=1M,\mathcal I=\{(I_v,D_v,K_v,T_v)\}_{v=1}^{V},\qquad \mathcal O=\{o_j\}_{j=1}^{M},

以及语言查询 QQ,模型学习候选对象与描述之间的匹配关系。以 sjs_j 表示匹配分数,可将目标选择概括为:

j^=arg⁡max⁡j∈{1,…,M}sj(I,Q,O),b^=bj^.\hat j=\arg\max_{j\in\{1,\ldots,M\}}s_j(\mathcal I,Q,\mathcal O),\qquad \hat b=b_{\hat j}.

其中,bjb_j 为第 jj 个候选对象的三维框。论文将定位建模为候选对象分类,定位头选择对象索引并返回对应框;语言头同时生成目标类别。

阶段输入与输出主要作用
视频视觉编码多视角 RGB 帧 → Patch 特征继承 MLLM 的外观与语义表征
Spatial Guidance共享视觉特征 → 局部与全局点图训练阶段引入密集三维结构监督
Structure-enhanced Module多视角特征、坐标与射线 → 结构增强特征联合建模视角交互、空间位置与观察方向
Video LLM视觉 Token 与查询 Token → 查询相关隐状态融合场景证据与语言条件
Grounding Head对象特征与定位 Token → 候选索引及三维框完成实例级定位
Language Head语言隐状态 → 目标类别文本约束语义类别与定位目标的一致性

Spatial Guidance:通过重建目标塑造视觉表示

共享语义编码器与几何解码器

Fast3R 从多视角图像直接预测三维结构,其网络由视觉编码器、融合 Transformer 与解码头组成。S²-MLLM 保留 Fast3R 的融合 Transformer 和解码头,并使用 MLLM 自身的视觉编码器替换原有编码器,从而让重建与定位共享视觉特征空间。

设共享视觉编码器为 EvE_v,特征投影层为 PP,重建解码器为 D\mathcal D,则论文式(1)写为:

(XL,XG)=D(P(Ev(IRGB))).(X_L,X_G)=\mathcal D\bigl(P(E_v(\mathcal I_{\mathrm{RGB}}))\bigr).

XLX_L 与 XGX_G 分别表示局部点图与全局点图。点图(Pointmap)为图像位置关联三维坐标:局部点图描述局部坐标下的几何,全局点图则在共同参照中表达多视角结构。两种监督共同约束单视图的形状感知与跨视图的几何组织。

投影层承担语义视觉特征与重建特征之间的适配。MLLM 的预训练特征偏重语义对齐,而点图预测需要密集的几何信息;通过可训练投影,重建分支能够在保留语义编码基础的同时,对共享编码器施加结构约束。

冻结重建解码器,更新共享特征

训练阶段,作者冻结重建解码器,微调投影层、视觉编码器和语言模型,其中视觉与语言骨干采用 LoRA。固定的几何解码器提供稳定的结构约束,重建误差通过投影层向共享视觉编码器反向传播,推动视觉特征适应三维结构表达。

这一设计具有明确的表示学习意义。若视觉特征仅能区分类别,却无法保留物体间的深度、布局与多视角结构,就难以支持准确点图预测;重建目标因此将这些信息纳入编码器的学习过程。定位任务随后直接使用被几何目标塑造的特征。

作者观察到,重建损失在训练早期便趋于收敛,为后续定位优化持续提供稳定的结构监督。重建与定位共享编码器,使几何学习直接服务于最终任务。

三维监督的密集性

定位监督主要告诉模型哪一个候选对象与描述匹配;点图监督则在大量图像位置上提供三维坐标约束。前者围绕目标实例进行判别,后者覆盖场景中的局部表面与整体布局。二者的结合,使训练信号从“选择哪个对象”扩展到“如何组织场景中的几何信息”。

从方法分析看,SG 可以理解为面向定位的几何正则化:通过重建任务约束共享特征,使其保留对空间推理有用的结构,同时由定位与语言目标维持任务相关性和语义对齐。

结构增强模块:视图内与视图间的信息交互

分解多视角注意力

设多视角视觉特征表示为:

F∈RB×V×N×d,N=HW,F\in\mathbb R^{B\times V\times N\times d},\qquad N=H W,

其中,BB 为 batch size,VV 为视图数量,NN 为每个视图的 Patch 数量,dd 为特征维度。SE 使用分解式注意力,分别沿视图轴与图像空间轴组织信息交互。

对于固定的 Patch 索引 ss,跨视图收集特征:

Fsinter=F[:,:,s,:]∈RB×V×d.F_s^{\mathrm{inter}}=F[:,:,s,:]\in\mathbb R^{B\times V\times d}.

经过 LayerNorm 与 Query、Key、Value 映射后,在这组特征上计算视图间注意力:

Attn⁡inter(Fs)=Softmax⁡(QsKs⊤dk)Vs.\operatorname{Attn}_{\mathrm{inter}}(F_s) =\operatorname{Softmax}\left(\frac{Q_sK_s^\top}{\sqrt{d_k}}\right)V_s.

视图内注意力则固定视图 vv,在该视图的 NN 个 Patch 之间进行同类运算。两种交互分别为模型提供跨视角信息整合与单视图上下文建模能力。

论文的跨视图分组依据相同的 Patch 索引建立;几何对应关系通过特征学习与位置线索共同建模。以这一分组为起点,模型逐步结合多视角外观、视图内上下文和三维坐标,形成面向场景结构的表示。

分解式交互的计算结构

若将 VNVN 个视觉 Token 直接放入全局自注意力,注意力矩阵的规模为 (VN)2(VN)^2。按论文的两个维度分解后,视图内与视图间交互的注意力计算规模分别为 VN2VN^2 与 NV2NV^2,合计可概括为:

O(VN2+NV2).\mathcal O(VN^2+NV^2).

这一表达从注意力矩阵规模解释了分解设计的计算特点。它让模型以两个互补的交互过程处理多视角场景:先整合不同视角的观测,再恢复视图内各区域之间的上下文关系。论文框架图采用 Inter-view Attention 后接 Intra-view Attention 的组织方式。

多层级位置编码:将外观放入三维参照系

从 RGB-D 反投影到世界坐标

对于深度图中的像素 (u,v)(u,v),深度值为 d=D(u,v)d=D(u,v),相机内参为 KK,由相机坐标到世界坐标的变换为 TT。按齐次坐标表示,论文式(2)为:

[pworld1]=T[dK−1[u,v,1]⊤1].\begin{bmatrix}p_{\mathrm{world}}\\1\end{bmatrix} =T\begin{bmatrix}dK^{-1}[u,v,1]^\top\\1\end{bmatrix}.

将每个 Patch 对应的三维点求平均,可以得到该 Patch 的空间位置 pip_i。作者使用正弦位置编码 ϕ(pi)\phi(p_i),将这一坐标信息加入视觉特征。

世界坐标提供了跨视角共享的参照。即使同一物体在不同图像中的位置和尺度发生变化,它在三维场景中的位置仍为模型提供一致的结构线索。相邻、远近及相对排列等关系由此具有可供网络使用的几何基础。

相机射线编码观察方向

仅有物体位置,还需要表达当前观测来自哪个方向。设相机中心为 oworldo_{\mathrm{world}},则指向三维点的单位射线方向为:

ri=pi−oworld∥pi−oworld∥2.r_i=\frac{p_i-o_{\mathrm{world}}} {\lVert p_i-o_{\mathrm{world}}\rVert_2}.

SE 通过 MLP 实现可学习编码 ψ(ri)\psi(r_i),为视觉特征加入观察方向信息。三维坐标回答“该区域位于哪里”,射线方向回答“该区域是从什么方向被观察到的”。两者共同帮助模型解释同一空间布局在不同视角下的外观变化与方向表达。

细粒度位置注入与聚合后方向注入

论文式(4)将两级几何信息整合为:

fivis=AvgPool⁡(fi+ϕ(pi))+ψ(ri).f_i^{\mathrm{vis}} =\operatorname{AvgPool}\bigl(f_i+\phi(p_i)\bigr)+\psi(r_i).

其中,三维位置编码在邻域 Patch 平均池化之前加入,射线编码在聚合后加入。前者使较细粒度视觉特征在压缩前携带空间信息,后者为聚合表示补充观察方向。

从整体设计看,SG 与多层级位置编码分别解决两个问题:SG 通过训练目标提高视觉特征对结构的表达能力,位置编码则把实际观测中的三维坐标与方向直接引入网络。结构监督负责学习如何表达几何,位置编码负责提供当前场景的几何参照。 二者共同构成 S²-MLLM 的空间表示基础。

目标定位与联合训练

对象级特征与定位 Token 匹配

论文依据 Patch 对应的三维点与候选框之间的包含关系提取对象特征,采用超过 50% 覆盖的筛选条件,并通过平均池化聚合属于该对象的 Patch 特征。对象中心的三维位置编码随后加入对象表示。

设第 jj 个候选框对应的 Patch 集合为 Pj\mathcal P_j,则这一过程可以概括为:

fjobj=1∣Pj∣∑i∈Pjfipatch+ϕ(cj),f_j^{\mathrm{obj}} =\frac{1}{|\mathcal P_j|}\sum_{i\in\mathcal P_j}f_i^{\mathrm{patch}} +\phi(c_j),

其中,cjc_j 为候选框中心。MLLM 联合处理视觉输入与语言查询,生成特殊定位 Token ⟨ground⟩ 的隐状态 hh。定位头比较 hh 与各对象表示,以确定目标实例。

论文采用 InfoNCE 进行对象匹配监督。将候选对象上的对比目标展开,可表示为:

Lground=−log⁡exp⁡(sim⁡(h,fj∗obj)/τ)∑j=1Mexp⁡(sim⁡(h,fjobj)/τ),τ=0.07.\mathcal L_{\mathrm{ground}} =-\log\frac{\exp(\operatorname{sim}(h,f_{j^*}^{\mathrm{obj}})/\tau)} {\sum_{j=1}^{M}\exp(\operatorname{sim}(h,f_j^{\mathrm{obj}})/\tau)}, \qquad\tau=0.07.

j∗j^* 为真实目标。对象集合在这里构成对比学习的判别空间:与查询匹配的目标被拉近,同场景中的其他候选形成负样本,促使模型利用类别、属性与空间关系完成消歧。

重建监督与语言类别监督

重建分支同时预测局部点图与全局点图。作者采用尺度归一化的点图回归与置信度加权,将两部分损失相加:

Lrecon=LXL+LXG.\mathcal L_{\mathrm{recon}} =\mathcal L_{X_L}+\mathcal L_{X_G}.

语言头通过交叉熵监督目标类别文本,训练响应包含目标类别与定位 Token。这样,模型在学习空间匹配的同时,还需要保持对所指对象类别的正确理解。例如,描述中的“椅子”与“凳子”可能出现在相近位置,语言类别监督为这类语义区分提供额外训练信号。

总体目标为:

L=λgLground+λrLrecon+λlLlang.\mathcal L =\lambda_g\mathcal L_{\mathrm{ground}} +\lambda_r\mathcal L_{\mathrm{recon}} +\lambda_l\mathcal L_{\mathrm{lang}}.
目标主要监督内容对表示学习的作用
Grounding Loss查询与目标候选实例的匹配强化对象级判别与指代消歧
Reconstruction Loss局部、全局点图的几何预测学习密集结构与多视角几何组织
Language Loss目标类别文本生成保持语义类别与定位结果的一致性

三类损失分别从实例判别、密集几何与类别语义约束共享网络。推理阶段保留结构增强、语言推理与对象匹配流程,关闭重建分支。

实验结果

训练与评价设置

S²-MLLM 在 ScanRefer、Nr3D 与 Sr3D 的联合训练集上微调,并分别在各验证集评估。ScanRefer 使用 Acc@0.25 与 Acc@0.5,即预测框与真实框的 IoU 达到相应阈值时计为正确。

ReferIt3D 同时报告两种协议:Pred 使用预测候选框,并按 IoU 阈值 0.25 评价;GT 使用真实对象框,衡量实例选择准确率。训练阶段采用真实框作为候选,推理阶段的预测框由 Mask3D 提供。两种协议分别考察检测噪声下的定位与已知对象集合中的语言匹配。

模型基于 LLaVA-Video-7B 进行 LoRA 微调,使用单张 A100 80GB,训练 1 个 epoch,batch size 为 8,warmup ratio 为 0.05。主结果采用 16 帧输入,消融实验进一步比较 24 帧设置。下文数值来自原论文实验表格。

ScanRefer:结构增强改善实例消歧

EXPERIMENT RESULTS

ScanRefer:总体定位准确率

Accuracy · %

Acc@0.25Acc@0.5

S²-MLLM · 表 1:数值来自 CVPR 2026 论文表 1;链接为论文所列官方代码仓库。

实验数据
ScanRefer:总体定位准确率 — Accuracy(%)
实验设置Acc@0.25Acc@0.5
TSP3D
MCLN
Video-3D-LLM (LoRA)
Video-3D-LLM (Full)
S²-MLLM

论文表 1 中,S²-MLLM 的总体 Acc@0.25 / Acc@0.5 达到 59.2% / 52.7%。与采用相同基础模型的 Video-3D-LLM(LoRA)相比,分别提高 5.1 和 4.8 个百分点;与全参数微调版本的 58.1% / 51.7% 相比,分别提高 1.1 和 1.0 个百分点。结构引导使参数高效微调获得了超过该全参数基线的总体定位结果。

EXPERIMENT RESULTS

ScanRefer:同类干扰物条件下的定位

Acc@0.5 · %

Video-3D-LLM (LoRA)Video-3D-LLM (Full)S²-MLLM

S²-MLLM · 表 1:数值来自 CVPR 2026 论文表 1;链接为论文所列官方代码仓库。

实验数据
ScanRefer:同类干扰物条件下的定位 — Acc@0.5(%)
实验设置Video-3D-LLM (LoRA)Video-3D-LLM (Full)S²-MLLM
Unique
Multiple
Overall

在存在同类干扰物的 Multiple 子集上,S²-MLLM 的 Acc@0.5 为 46.6%,高于 LoRA 基线的 42.0% 与全参数基线的 45.3%,分别增加 4.6 和 1.3 个百分点。在 Unique 子集上,对应结果为 77.8%,与全参数基线的 78.3% 接近。

这一结果突出了结构表示对于实例消歧的价值。当场景中存在多把外观相似的椅子时,类别识别主要用于缩小搜索范围,最终选择还需要结合“桌子旁”“朝向烤箱”“靠近栏杆”等条件。SG 与几何编码为这些关系提供了更充分的视觉依据,使性能改善集中体现于含干扰物的定位过程。

ReferIt3D:预测框条件下的自然语言定位

EXPERIMENT RESULTS

ReferIt3D:预测候选框下的定位

Acc@0.25 · %

Sr3D · PredNr3D · Pred

S²-MLLM · 表 2:数值来自 CVPR 2026 论文表 2;链接为论文所列官方代码仓库。

实验数据
ReferIt3D:预测候选框下的定位 — Acc@0.25(%)
实验设置Sr3D · PredNr3D · Pred
BUTD-DETR
EDA
MCLN
S²-MLLM

在 Pred 协议下,S²-MLLM 的 Sr3D / Nr3D 准确率为 53.9% / 50.6%。其中,Sr3D 与 MCLN 持平;Nr3D 较 MCLN 的 46.1% 提高 4.5 个百分点,较 BUTD-DETR 的 43.3% 提高 7.3 个百分点。自然语言描述与预测候选框共同引入的复杂性,是该模型较有优势的应用条件。

方法Sr3D · GTNr3D · GT
BUTD-DETR67.0%54.6%
EDA68.1%52.1%
MCLN68.4%59.8%
S²-MLLM63.2%59.8%

GT 协议下,S²-MLLM 的 Nr3D 准确率为 59.8%,与 MCLN 持平;Sr3D 为 63.2%,低于 MCLN 的 68.4%。结合 Pred 结果,这组实验说明 S²-MLLM 的性能特点更偏向自然语言理解与噪声候选条件下的场景定位。相比之下,专门面向固定模板与真实对象集合优化的网络,在 Sr3D GT 上仍然具有优势。

组件消融:显式几何与结构监督构成主要支撑

EXPERIMENT RESULTS

组件消融:几何编码与重建监督的作用

Accuracy · %

Acc@0.25Acc@0.5

S²-MLLM · 表 5:数值来自 CVPR 2026 论文表 5;链接为论文所列官方代码仓库。

实验数据
组件消融:几何编码与重建监督的作用 — Accuracy(%)
实验设置Acc@0.25Acc@0.5
w/o SG
w/o MPE
w/o Attn
w/o LG
Full

论文表 5 的完整模型在 16 帧下达到 59.18% / 52.67%,分别对应 Acc@0.25 与 Acc@0.5。移除多层级位置编码(MPE)后,结果降至 44.13% / 38.49%,下降 15.05 和 14.18 个百分点,是所列组件消融中最大的性能损失。

这组结果直接表明,实际观测中的三维位置与观察方向,是该框架完成准确定位的基础。MLLM 的语义能力与重建监督需要通过几何参照落实到具体场景,位置编码在这一过程中承担关键作用。

移除空间引导(SG)后,结果降至 54.40% / 48.45%,下降 4.78 和 4.22 个百分点。因此,在已有位置编码的条件下,重建目标仍然显著改善定位,说明“提供几何坐标”与“学习结构感知特征”具有互补作用。

移除语言引导(LG)后,结果为 57.75% / 50.85%,下降 1.43 和 1.82 个百分点,显示类别语义监督有助于减少目标类别混淆。移除视图内与视图间注意力后,结果为 59.13% / 52.30%,降幅为 0.05 和 0.37 个百分点,其作用较几何编码与 SG 更小。

从消融结果看,这篇论文的主要性能来源集中在显式几何参照与训练期结构监督的结合,分解式注意力进一步补充跨视角与视图内的信息交互。各项结果也为方法设计提供了清楚的优先级:先建立可靠的位置表示,再用结构目标改善共享视觉特征。

输入帧数:结构监督提高稀疏观测的利用率

EXPERIMENT RESULTS

输入帧数与空间引导的协同作用

Accuracy · %

Acc@0.25Acc@0.5

S²-MLLM · 表 5:数值来自 CVPR 2026 论文表 5;链接为论文所列官方代码仓库。

实验数据
输入帧数与空间引导的协同作用 — Accuracy(%)
实验设置Acc@0.25Acc@0.5
16 帧 · w/o SG
24 帧 · w/o SG
16 帧 · Full
24 帧 · Full

将输入由 16 帧增加至 24 帧,完整模型由 59.18% / 52.67% 提升至 60.59% / 53.66%,增益为 1.41 和 0.99 个百分点。移除 SG 时,相同的帧数增加带来 2.06 和 1.43 个百分点的增益。

更有代表性的比较是:16 帧完整模型仍高于 24 帧无 SG 模型,Acc@0.25 高出 2.72 个百分点,Acc@0.5 高出 2.79 个百分点。增加观测数量能够补充视觉信息,而结构监督提高了模型从已有观测中提取空间证据的能力。在这组实验中,改善表示质量比单纯增加输入帧数带来了更大的收益。

这一结果也解释了作者采用 16 帧作为主配置的原因:24 帧继续提高准确率,同时增加显存与训练成本;SG 则使较少输入帧也能形成有效的结构表示。

跨数据集评估:结构感知表示的迁移能力

EXPERIMENT RESULTS

跨数据集泛化:MultiScan 与 ARKitScenes

Accuracy · %

MCLNSeeGroundS²-MLLM

S²-MLLM · 表 4:数值来自 CVPR 2026 论文表 4;链接为论文所列官方代码仓库。

实验数据
跨数据集泛化:MultiScan 与 ARKitScenes — Accuracy(%)
实验设置MCLNSeeGroundS²-MLLM
MultiScan @0.25
MultiScan @0.5
ARKitScenes @0.25
ARKitScenes @0.5

论文在 ScanNet 来源的三个训练集上完成训练后,直接迁移至 MultiScan 与 ARKitScenes,不进行域外微调。S²-MLLM 在 MultiScan 上达到 59.13% / 53.62%,在 ARKitScenes 上达到 43.26% / 39.84%。

与 SeeGround 相比,MultiScan 的 Acc@0.25 提高 5.72 个百分点,Acc@0.5 提高 0.21 个百分点;ARKitScenes 上分别提高 4.44 和 1.41 个百分点。与 MCLN 相比,两组数据上的提升更为明显。

从方法角度看,密集几何约束为跨域迁移提供了有价值的训练信号。场景布局、物体组合与描述风格发生变化时,位置、观察方向和多视角结构仍然是目标定位所需的基本信息。S²-MLLM 将这些信息纳入共享特征学习,在两个域外数据集上保持了较强的定位能力。

训练成本与推理效率

方法训练成本(GPU hours)可训练参数存储量(MB)推理延迟(s)
Video-3D-LLM,全参数微调2568078.791.04
S²-MLLM,移除 SG651763.531.16
S²-MLLM,完整模型721767.501.16

论文表 3 显示,完整模型的训练成本为全参数基线的 28.1%,可训练参数存储量约为其 21.9%。在此基础上,S²-MLLM 取得了更高的 ScanRefer 总体准确率,体现了结构目标与参数高效微调结合的价值。

SG 本身使训练成本从 65 增至 72 GPU hours,增加约 10.8%;可训练参数存储量增加 3.97 MB,推理延迟保持 1.16 秒。这种成本分配十分明确:训练阶段支付几何学习的开销,推理阶段直接使用学习后的表示。

论文还报告 SeeGround 的推理时间为 3.97+t03.97+t_0 秒,其中 t0t_0 为额外点云重建时间,该计时采用 Qwen2-VL-7B;主精度表中的 SeeGround 使用 Qwen2-VL-72B。S²-MLLM 的推理时间略高于 Video-3D-LLM 的 1.04 秒,其效率收益主要体现在较低的微调成本,以及省去重建分支和额外渲染的在线执行。

定性结果:从局部外观到组合空间条件

S²-MLLM 原论文图 3:布局、视角依赖、遮挡、相似物体、多锚点和相对顺序六类案例

图 2:S²-MLLM 与 SeeGround 的定性比较,取自原论文图 3。青色框为正确预测,洋红色框为错误预测;下方示意图展示关键空间关系。

论文展示了场景布局、指定观察方向、遮挡、同类干扰物、多锚点以及相对顺序六类案例。它们共同体现了三维定位中的组合性:模型需要同时使用对象语义、场景结构和语言关系。

例如,遮挡案例中的电脑主机由桌子、椅子与门的相对关系共同限定;多锚点案例中的窗户位于书架与沙发之间;指定视角案例则要求根据沙发和边桌确定观察方向。这些描述涉及的证据分布在多个对象和视角中,结构增强表示为模型整合它们提供了基础。

与 CoT3DRef、MiKASA、ViewSRD 的联系

维度CoT3DRefMiKASAViewSRDS²-MLLM
核心问题如何组织中间对象定位过程如何利用多个参照物的几何关系如何拆解语言关系并关联观察视角如何使 MLLM 学习三维结构感知表示
主要机制有序定位链多锚点相对空间建模与场景上下文SRD 与共享视角 Token训练期重建监督与结构增强模块
语言处理提取与监督定位路径语言引导几何关系选择LLM 生成目标中心的简化关系句Video LLM 联合处理查询与视觉 Token
几何利用中间对象与目标之间的定位依赖对象级相对几何多视角物体特征与共享 CCVTPatch 三维坐标、相机射线与点图监督
视角建模结合所接入的定位骨干多视角旋转与聚合文本、场景共享的视角表示多视角注意力与显式射线方向
监督重点目标及中间参照物类别、几何与定位关系改写及目标、锚点联合监督对象匹配、密集几何与类别文本

这几条路线分别作用于空间定位流程的不同层次。CoT3DRef 将参照物关系组织为推理顺序,MiKASA 强化对象间几何建模,ViewSRD 在语言输入与跨模态视角关联上进行结构化处理,S²-MLLM 则进一步将几何学习落实到 MLLM 的共享视觉表示中。

与 ViewSRD 相比,S²-MLLM 对视角信息的利用更直接地关联实际相机几何。ViewSRD 通过共享 CCVT 建立文本与场景分支的视角联系;S²-MLLM 则从 RGB-D 和相机参数计算 Patch 的世界坐标与观察射线,并用重建目标训练特征的结构表达能力。前者突出语言方向语义与多视角场景的关联,后者强调多视角观测在统一三维参照中的组织。

这些机制也具有互补性。语言拆解可以为 MLLM 提供更清楚的局部关系条件,结构感知视觉表示可以为这些关系提供几何依据,定位链则可进一步组织中间参照物的识别过程。从这一角度看,三维定位的发展正在将语言结构、几何表示与实例推理更紧密地结合起来。

方法讨论:三维重建如何服务于定位

用任务目标塑造表示,而非仅增加输入信息

S²-MLLM 的启发在于,提升三维能力可以同时从输入与训练目标两端入手。位置编码提供场景的显式几何信息,重建监督则要求共享视觉特征具备表达这些结构的能力。

组件消融清楚地展示了这一分工:移除 MPE 带来最大的性能下降,移除 SG 则在几何信息仍然存在时继续造成显著损失。实际坐标与结构学习共同决定了空间表示的质量。对于需要距离、方向和多参照物推理的任务,这种结合比单纯依赖二维语义特征更有针对性。

训练期的密集几何目标与推理期的紧凑表示

SG 将密集点图预测作为训练约束,而最终定位只需使用经过学习的视觉特征、语言隐状态与对象候选。模型由此形成一种任务分工:训练时利用丰富几何监督建立表示,推理时围绕目标选择执行较紧凑的计算。

这种思路对具身应用具有吸引力。机器人能够在训练阶段利用深度、位姿与重建数据学习场景结构,再在在线交互中直接使用结构感知特征处理指令。几何能力被嵌入可重复使用的编码器,有利于将训练成本转化为后续多次推理的收益。

从对象级几何走向观测级结构学习

MiKASA 等方法显式建模对象之间的相对位置,S²-MLLM 则把几何约束进一步下沉到 Patch 与点图层面。对象级关系适合表达“椅子在桌子左侧”,观测级结构学习还覆盖表面、遮挡与跨视角布局,为对象关系提供更细粒度的表示基础。

最终的 Grounding Head 又将这些密集视觉信息聚合回对象级判别。整个流程连接了两个尺度:底层学习场景几何,上层根据语言选择实例。SG 的意义正是在这两个尺度之间建立可联合优化的联系。

进一步的研究方向

沿着这条路线,可以进一步研究与查询相关的几何学习,使结构监督重点覆盖当前定位所依赖的参照物、空间区域与关系;也可以结合自适应帧选择,在有限视觉 Token 预算下优先保留互补视角。

另一个方向是将密集结构表示与显式关系推理结合。利用语言生成局部关系条件,再通过结构感知特征定位参照物,逐步收敛到目标对象,有望将 ViewSRD 的语言拆解、CoT3DRef 的定位过程与 S²-MLLM 的几何表示整合到同一框架。候选框质量与深度、位姿噪声同样是值得系统研究的因素,它们直接影响对象特征提取和几何编码的可靠性。

S²-MLLM 展示了一条明确的方法路径:以 MLLM 的语义与语言能力为基础,通过显式三维参照和训练期重建目标建立空间表示,再将这种表示用于对象级定位。其核心贡献集中在让共享视觉特征同时承担语义理解与几何表达,并将结构学习的收益保留到无需执行重建分支的推理过程之中。

论文与相关阅读