量子位
·
巧妙！一个传统技术让国产视觉基础模型直接上大分
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
格灵深瞳发布的Glint-MVT视觉基础模型在分类测试中表现优异，准确率超过CLIP和OpenCLIP。该模型采用间隔Softmax损失函数，提升了特征提取能力，并在图像理解和分割任务中表现出色。团队致力于技术创新，推动AI实际应用，展现国内计算机视觉实力。
🎯
关键要点
- 格灵深瞳发布的Glint-MVT视觉基础模型在分类测试中表现优异，准确率超过CLIP和OpenCLIP。
- 线性探测测试显示，Glint-MVT平均准确率比OpenCLIP高2.3%，比CLIP高1.1%。
- Glint-MVT采用间隔Softmax损失函数，提升特征提取能力，降低数据噪声影响。
- 团队针对引用表达分割和图像理解训练了Glint-RefSeg和MVT-VLM多模态模型。
- Glint-RefSeg在RES任务中取得了当前的SOTA，能够精准分割图像中的目标对象。
- Glint-MVT可应用于视频分割，能够稳定识别快速变化的场景中的目标。
- 格灵深瞳团队专注于视觉技术的研发与落地，致力于解决产业痛点。
- 公司坚持从业务需求出发，推动AI技术的实际应用，而非单纯追求学术指标。
- 格灵深瞳积极拥抱开源，鼓励团队勇于创新，形成良性循环。
- 团队在视觉基础大模型和多模态大模型等领域取得显著成就，推动技术进步。
❓
延伸问答
Glint-MVT视觉基础模型的主要优势是什么？
Glint-MVT在分类测试中表现优异，准确率超过CLIP和OpenCLIP，且采用间隔Softmax损失函数提升特征提取能力。
Glint-MVT如何提升图像理解和分割能力？
Glint-MVT通过引入间隔Softmax损失函数和构造百万级虚拟类别，显著降低数据噪声影响，提升泛化能力。
Glint-RefSeg模型的应用效果如何？
Glint-RefSeg在引用表达分割任务中取得了当前的SOTA，能够精准分割图像中的目标对象。
Glint-MVT在视频分割方面的表现如何？
Glint-MVT能够稳定识别快速变化场景中的目标，适用于视频分割任务。
格灵深瞳团队的研发理念是什么？
格灵深瞳团队坚持从业务需求出发，推动AI技术的实际应用，而非单纯追求学术指标。
Glint-MVT的训练方法有什么创新之处？
Glint-MVT采用基于大类别分类的间隔Softmax损失函数，并通过虚拟类别构造提升数据规模和训练效率。
➡️
