核心摘要
该论文旨在解决当前基于大语言模型的导航智能体与专门为视觉语言导航任务设计的模型之间存在的显著性能差距。同时，现有方法在集成LLM时，往往牺牲了LLM生成可解释性导航推理和与人交互的宝贵语言能力。为解决这些问题，论文提出了一个名为NavGPT-2的新框架。该框架巧妙地结合了一个冻结的大型视觉语言模型和一个专门的导航策略网络。其核心思想是，不直接微调整个LLM进行导航，而是利用VLM强大的内部表示作为导航策略网络的输入。通过这种方式，NavGPT-2不仅保留了LLM生成人类可读的导航推理的能力，而且在导航性能上成功消除了与领域内最先进（SOTA）的专门模型之间的差距，并展现出更高的数据效率。
研究背景与挑战
- 性能鸿沟：将LLM应用于VLN任务主要有两种方式：零样本和微调。零样本方法依赖复杂的提示工程，且性能与专门模型差距巨大（在R2R数据集上成功率差距约40%）。微调方法虽然能提升性能，但仍落后于专门模型，且通常会损害LLM原有的通用语言能力，使其变成一个“黑盒”模型。
- 语言能力未被充分利用：引入LLM到机器人领域的一个重要动机是利用其卓越的语言理解和生成能力，以实现更自然的人机交互。然而，现有的微调方法常常为了追求导航性能而牺牲了这一核心优势。
- 研究目标：找到一种平衡，既能利用LLM强大的多模态理解能力，又能达到与专门模型相媲美的导航性能，同时完整保留LLM的语言交互和推理能力。
主要贡献
提出一种新颖的集成流程：该流程将VLN专门模型与VLM相结合，且无需对LLM本身进行训练，从而保留了其通用能力。
消除性能差距：通过利用预训练VLM提供的强大特征，NavGPT-2在导航性能上成功消除了基于LLM的智能体与SOTA的VLN专门模型之间的差距。
保留并释放LLM的语言能力：该模型能够明确地用自然语言解释其每一步的导航决策，为构建实用、可交互的VLN智能体奠定了基础。
NavGPT-2方法详解
3.1 核心架构
NavGPT-2由两个主要部分构成：一个大型视觉语言模型和一个导航策略网络。
大型视觉语言模型：基于InstructBLIP架构，包含一个冻结的视觉编码器（ViT-g/14）和一个冻结的LLM（如FlanT5或Vicuna）。其主要职责是理解视觉观察和语言指令，并生成可解释的导航推理文本。
导航策略网络：这是一个相对较小的、专门用于动作预测的网络。它采用基于拓扑图的记忆机制来跟踪导航历史，并做出下一步的行动决策。
3.2 关键技术细节
视觉内容对齐（Q-former）：为了让冻结的LLM能够理解环境，NavGPT-2采用了Q-former机制。对于导航中的多视角图像，Q-former会将视觉编码器提取的特征，提炼成固定长度的、LLM能够理解的图像token。
VLM潜空间特征作为输入：NavGPT-2最核心的创新在于，它不使用原始的图像或文本特征来训练导航策略网络，而是从冻结的VLM编码器内部提取处理过后的隐藏层表示。这些特征是视觉和语言信息深度融合后的结果，为导航决策提供了更丰富、更高层次的上下文。
导航推理数据生成：为了训练VLM生成高质量的导航推理，研究者使用GPT-4V构建了一个包含10,000个样本的新数据集。他们向GPT-4V提供导航任务中的中间时刻图像和总指令，让其自动生成对当前环境的描述以及下一步的行动计划。
拓扑图导航策略：策略网络通过动态构建一个拓扑图来记忆已访问和未探索的节点。这使得智能体能够进行有效的长距离规划，并在走错路时进行回溯。
3.3 两阶段学习流程
第一阶段：冻结VLM中的视觉编码器和LLM，仅在GPT-4V生成的导航推理数据集上微调Q-former。此阶段的目标是教会模型如何理解导航场景并生成相关的解释性文本。
第二阶段：完全冻结第一阶段训练好的整个VLM。然后，使用VLM的潜空间特征作为输入，只训练下游的导航策略网络。此阶段在标准的VLN数据集上进行，使用行为克隆和DAgger损失函数来学习导航动作。
实验结果与分析
4.1 导航性能对比
消除性能差距：在R2R数据集上，NavGPT-2（5B模型）的性能显著优于所有之前的LLM-based方法，包括参数量更大的NaviLLM（7B模型）。与在同等数据规模上训练的SOTA专门模型（如DUET）相比，NavGPT-2在测试集上的成功率高出3%，成功消除了性能差距。
数据效率高：实验证明，NavGPT-2仅使用50%的训练数据，就能达到基线模型使用100%数据训练的性能水平。这得益于其利用了VLM强大的预训练表征能力。
泛化能力强：在没有经过任何微调的情况下，NavGPT-2在新的数据集（RxR和HM3D）上表现出强大的零样本泛化能力，显著优于基线模型，证明其学习到的表示更加鲁棒。
4.2 导航推理质量
人工评估：通过人工评估，NavGPT-2生成的导航推理在准确性、信息量和合理性方面获得了“可接受”的评分，证明了其具备生成有意义解释的能力。
定性示例：模型能够准确识别环境中的物体及其相对位置，并能结合指令推理出下一步的行动。
4.3 消融研究
策略网络的必要性：如果移除专门的导航策略网络，直接让冻结的LLM预测动作，模型性能会急剧下降。这证明了仅靠冻结的LLM无法有效完成VLN中的动作决策，专门的策略网络是必不可少的。
LLM类型的选择：实验发现，基于编码器-解码器架构的LLM（如FlanT5）在此任务上的表现优于仅解码器的模型（如Vicuna）。这可能是因为VLN的动作选择本质上是一个多选任务，更符合FlanT5的训练方式。
局限性与结论
局限性：模型的推理生成和动作预测由两个独立模块负责，二者之间没有严格同步。此外，模型仍然存在VLM中常见的“幻觉”问题（即生成不存在的物体或场景）。
结论：NavGPT-2成功地提出了一种新颖的框架，通过将冻结的VLM与专门的导航策略网络相结合，解决了LLM-based导航智能体性能不佳的问题。该方法证明了VLM的潜空间特征是一种更优越、更高效的多模态表示，它在实现SOTA导航性能的同时，完整保留了LLM的语言解释和交互能力，为开发更通用、更智能的导航机器人铺平了道路。