S²-MLLM:结构监督驱动的多模态大模型三维空间推理
三维视觉定位(3D Visual Grounding,3DVG)要求模型依据自然语言描述,在三维场景中确定对应物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别从定位链、多锚点几何关系以及语言关系拆解与视角关联出发,研究复杂描述如何转化为有效的定位约束。随着多模态大语言模型(MLLM)的引入,…
Notes, thoughts, and what I am learning.
这里收录了所有的 9 篇文章 (第 1 / 1 页)
Article Calendar
三维视觉定位(3D Visual Grounding,3DVG)要求模型依据自然语言描述,在三维场景中确定对应物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别从定位链、多锚点几何关系以及语言关系拆解与视角关联出发,研究复杂描述如何转化为有效的定位约束。随着多模态大语言模型(MLLM)的引入,…
三维视觉定位(3D Visual Grounding,3DVG)旨在依据自然语言描述,在三维场景中定位对应物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别通过定位链、多锚点几何关系以及结构化语言拆解,增强模型对复杂指代表达的理解。它们共同关注如何充分利用描述中的定位线索。 AmbiRefer…
三维视觉定位(3D Visual Grounding,3DVG)依据自然语言描述,在三维场景中定位目标物体。此前讨论的 CoT3DRef、MiKASA 与 ViewSRD 分别通过定位链、多锚点几何上下文和结构化多视角交互,增强模型对复杂空间关系的理解。这些研究持续推进了一个核心问题:如何将语言中的关系信息转化为可计…
三维视觉定位(3D Visual Grounding,3DVG)旨在依据自然语言描述,在三维场景中识别并定位对应的目标物体。此前讨论的 CoT3DRef(ICLR 2024) 与 MiKASA(CVPR 2024) 分别从推理过程与空间关系建模的角度研究这一任务:CoT3DRef 构建有序定位链,通过参照物的逐步定位…
三维视觉定位(3D Visual Grounding,3DVG)根据自然语言描述,在三维场景中识别目标物体。当场景包含多个同类实例时,物体类别和外观只能缩小候选范围,目标与参照物之间的空间关系才是完成消歧的关键。例如,“离桌子最近的椅子”要求模型同时确定桌子实例、识别椅子候选,并根据距离关系完成选择。 此前讨论的 C…
三维视觉定位(3D Visual Grounding)要求模型根据自然语言描述,从三维场景的候选物体中确定所指向的目标实例。这个任务同时涉及物体识别、语言理解与空间关系建模:模型既需要判断哪些物体属于描述中的目标类别,也需要利用参照物及其相对位置,在多个相似实例之间完成消歧。 例如,“靠近窗帘的床前面的行李箱”包含相…
三维视觉定位(3D Visual Grounding)旨在根据自然语言描述,从三维场景中确定描述所指向的物体实例。该任务的难点不仅在于识别物体类别,还在于综合属性与空间关系,区分场景中多个同类别实例。例如,在“距离放有白色和红色盒子的书架最近的椅子”这一描述中,椅子的定位依赖于书架的识别,而书架又受到盒子属性及其空间…
强化学习(Reinforcement Learning, RL)研究的是一类典型的 序贯决策(Sequential Decision Making) 问题。 与监督学习中“给定输入 ,预测标签 ”的学习范式不同,强化学习所关心的并不是一次孤立的预测,而是: 一个智能体应该如何在不断变化的环境中连续做出决策,使其在较长…
EEGAgent:基于大语言模型的自动化 EEG 分析统一框架 现有的 EEG(Electroencephalography,脑电图)自动分析方法已经覆盖异常脑电识别、癫痫事件检测、睡眠分期、抑郁识别等多个任务。然而,这些方法大多围绕某一个预先定义的目标独立设计:一个模型负责一个任务,一个数据集对应一种标签体系,一个…