本研究提出DenseVLM框架,旨在解决预训练视觉语言模型在密集预测任务中的不足,通过无监督区域语言对齐技术克服前景偏差,从而显著提升目标检测和图像分割的性能。
本文介绍了视觉提示调整(VPT)及其变体,强调其在大规模Transformer模型调整中的高效性。VPT通过引入少量可训练参数,提升了模型在图像分类和密集预测任务中的表现,优于传统的微调方法。研究还探讨了VPT在不同任务和数据集上的应用,展示了其在性能和存储成本上的优势。
本文介绍了开放词汇伪装物体分割(OVCOS)任务及其数据集OVCamo,包含11,483张图像和细粒度注释。通过结合类别语义知识和视觉结构线索,提出的方法有效捕捉伪装对象,并在OVCamo数据集上超越了现有的语义图像分割技术。该任务旨在推动开放词汇密集预测研究的发展。
本文介绍了一种灵活的多粒度时间聚合框架,利用最大池化和注意力等简单技术实现了最新的下一步行动和密集预测。在 Breakfast、50Salads和EPIC-Kitchens数据集上进行了实验,并与视频分割和动作识别兼容。
完成下面两步后,将自动完成登录并继续当前操作。