Cohere has launched Parse 5, a multimodal foundation model designed to extract structured data from complex enterprise documents. The 2.3-billion-parameter system converts visually rich PDFs into...

In this article, the author explores how hierarchical agentic RAG systems coordinate specialized workers through structured orchestration to improve accuracy, reliability, and explainability in...

本研究提出了一种新方法，结合外生时间序列特征与静态特征，以提升医疗领域时间序列预测模型的透明性和可解释性。实验结果表明，该方法在保持预测准确性的同时，增强了模型的可解释性和鲁棒性。

本研究针对语音LLM在上下文推理和副语言理解方面的不足，提出了一种新框架，通过实际语音数据生成问答数据集。研究结果显示，语音LLM在同理推理任务中的局限性，强调了对相关数据集和更强模型的需求。

本研究提出了一种新的跨模态对齐方法——结构引导跨模态对齐（SGCMA），旨在提升大型语言模型在时间序列预测中的应用。该方法通过学习状态转移图结构和语义对齐，显著提高了预测性能和泛化能力。

本研究提出了一种名为PI-VAD的框架，用于弱监督视频异常检测。通过引入五种附加模态来增强RGB特征，从而提高异常检测的可靠性。PI-VAD在多个数据集上表现出色，展示了有效整合多模态信息的潜力。

本研究提出了一种基于最佳运输的图匹配方法（GM-OT），旨在解决从预训练语言模型向声学特征学习转移语言知识时的对齐挑战。该方法通过将语言和声学序列建模为结构化图，提升了知识迁移效率，显著提高了自动语音识别模型的性能。

2025年NLPCC共享任务4旨在推动医学教学视频中的多模态、多语言和多跳问题回答研究。新挑战M4IVQA评估模型在处理视频与文本数据、理解多语言查询及合理回答方面的能力，促进医疗场景中的多模态推理系统创新，提高医疗教育平台的效率。

本研究提出了一种名为Biomed-DPT的双模态提示调优技术，旨在提升生物医学图像分类的提示学习效果。通过结合临床提示、领域适应提示和视觉提示中的零向量软提示，该方法显著提高了分类准确率。

本研究提出VITA-Audio，一种高效的大规模语音模型，解决了现有模型在流媒体生成首个音频令牌时的高延迟问题。通过引入轻量级的多模态交叉令牌预测模块，该模型显著提高了推理速度，具备实时对话能力，并在多个任务中表现优异。

本研究提出了一种多尺度跨模态融合网络（MSFNet-CPD），旨在提高农业害虫识别的准确性。该方法结合视觉和文本特征，并构建了两个新数据集（CTIP102和STIP102）。实验结果表明，MSFNet-CPD在多个检测基准上优于现有技术，展现出良好的应用潜力。

本研究提出了一种新训练目标，通过对语义表示施加约束，增强正样本对齐。同时，针对BERT模型的注意力沉没现象，提出交叉注意力结构，以提升CLS标签的注意力和池化质量。该方法在多个语义文本相似度任务中表现优异。

本研究提出CLIP-KOA框架，通过结合图像和文本信息，利用对称损失和一致性损失，提高膝关节骨关节炎（KOA）的诊断准确性。结果表明，该方法在KOA严重度预测中达到了71.86%的最佳准确率，增强了医疗预测的可靠性。

本研究提出了PolyTouch触觉传感器，旨在提高机器人在非结构化家庭环境中的灵巧操作能力。该传感器集成了视觉和听觉等多种感知功能，显著增强了家用机器人的灵活性和可靠性。

本研究提出了一种多模态超图对比学习框架（MMHCL），旨在解决多模态推荐系统中的数据稀疏和冷启动问题。通过构建用户和物品的超图，挖掘共享偏好和多模态语义相似性，显著提高了用户与产品之间的关联性。

本研究提出了一种多层融合与推理架构（MFRA），旨在解决视觉与语言导航中的复杂多模态交互问题。MFRA通过层次化机制显著提高了代理在导航场景中的决策准确性，优于现有方法。