本研究提出了一种基于Transformer的跨模态融合架构，旨在提升多模态融合与全景场景感知的效果。通过失真感知模块处理对象变形，结合特征矫正和信息交换，测试结果显示在多个数据集上取得了显著的mIoU性能提升。此外，研究还介绍了多个新数据集和方法，推动了室内场景理解和3D视觉研究的发展。

本研究提出了一种基于Transformer的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试，达到了较好的性能。

本研究提出了一种基于Transformer的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试，达到了较高的性能。

本研究提出了一种基于Transformer的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试，达到了较高的mIoU性能。