多模态大语言模型的能量 - 延迟操控：冗长样本

原文约300字，阅读约需1分钟。发表于：。

利用不可察觉的干扰产生高能耗和时延开销，作者提出了一种针对多模态大型语言模型的攻击方法，通过生成冗长样本并设计一系列损失函数来延长生成序列长度，并提出了一个时间加权调整算法来平衡这些损失。

本文揭示了攻击者使用视觉对抗样本来影响与大型语言模型连接的用户资源的机密性和完整性的能力。研究发现，这些攻击可以以接近真实语法的方式操控语言模型调用工具，并保持与原始图像的高相似度。这些攻击对用户与语言模型之间的对话没有显著影响。