Harvard University CIO Klara Jelinkova describes the “soft power” needed to make sure that IT is delivering value.

本文介绍了LLaVA-Octopus，这是一种新的视频多模态大型语言模型。该模型通过动态调整不同视觉投影器的特征权重，有效融合各投影器的优点，显著提升了多模态任务的性能，尤其在多模态理解、视觉问答和视频理解等领域具有广泛应用潜力。

该研究提出了一种新型多模态代理框架Octopus，利用大型语言模型提升软件API调用的性能和准确性。Octopus在处理复杂任务时优于GPT-4，适用于边缘设备。代理通过自主学习和知识库构建，能够模拟人类交互，扩展应用范围，推动人工智能与软件工程的结合。

Octopus 是一种新型视觉-语言模型，旨在提升人工智能的工具使用能力。通过 ToolLLM 框架，增强了自然语言模型的规划和推理能力。Gorilla 模型在 API 调用方面超越了 GPT-4，展示了 LLM 使用工具的潜力。研究提出了 API-Bank 基准测试，评估 LLM 的 API 调用能力，发现 GPT-4 在规划性能上有改进空间。整体框架有效提升了 LLM 的任务规划和工具使用能力。

本文探讨了大型语言模型（LLM）在软件API调用中的应用，提出了新的评估基准，证明微调模型Octopus在性能上优于GPT-4。研究展望了LLMs在移动设备上的应用，强调隐私保护和延迟消除的优势。此外，文章介绍了阿拉伯文本生成模型AraT5v2及其在多任务设置下的表现，推动了人机合作环境中LLM的整合与应用。

研究者提出了开放词汇伪装的物体分割任务（OVCOS），并构建了大规模数据集OVCamo。通过集成类别语义知识和视觉结构线索，该方法能够有效捕捉伪装对象，并在OVCamo数据集上超过了先前的方法。希望该任务能推动开放词汇密集预测任务的研究。