弥合二进制盲区：面向npm包中LLM恶意软件分诊的领域知识注入
内容提要
Databricks研究扫描npm恶意包，发现3.8%捆绑二进制文件，此类包比纯源码包更难被LLM识别，失败率为14.4%对6.2%。测试九个模型发现四种系统性失败模式：合理化、忽视、含糊和虚构。引入能力配置文件注入领域知识后，检测失败率从50%降至4%，消除所有误判为良性的结果，使廉价模型达到昂贵模型的检测精度。
延伸解读
二进制包为何成为LLM分诊的盲区
文章指出，在npm恶意包中，仅3.8%捆绑二进制文件，但这类包比纯源码包更难被LLM识别，失败率高达14.4%对6.2%。原因在于二进制文件剥离符号且不透明，可嵌套在干净的源码和元数据中，诱导LLM做出良性判断。此外，二进制需针对不同目标机器编译，增加了攻击成本，但一旦成功，其隐蔽性更强。
LLM检测失败的四种系统性模式
研究识别出四种失败模式：合理化（用上下文线索构建良性解释）、忽视（不分析二进制直接判良性）、含糊（仅表示怀疑但不升级）、虚构（结论正确但理由捏造）。这些模式跨模型出现，且相互叠加，导致多数投票也无法解决。例如，在混淆的sysmon-native stealer上，九个模型的投票结果低于检测阈值。
能力配置文件如何提升检测效果
通过注入预计算的静态证据作为能力配置文件，检测失败率从50%降至4%，并消除了所有误判为良性的结果。配置文件以加权条件编码恶意技术，覆盖源码和二进制。在字节相同的输入上，Qwen3-Next对混淆的sysmon-native stealer从良性0.98转为恶意0.98。配置文件还减少了昂贵模型的令牌消耗，使廉价模型达到昂贵模型的检测精度。
实际部署中的性能与局限
在425个OSV确认的二进制恶意包上，扫描器达到精确率0.77、召回率0.81、F1值0.79。误报率为4.25%（104/2449），集中在6个包。20个漏报包中，约一半捆绑了未修改的第三方工具，恶意性在安装或JavaScript层。但OSV标签是包级别，不隔离恶意工件，因此指标反映的是对标签的性能，而非纯二进制检测。
Q&A
为什么npm包中捆绑的二进制文件比纯源码包更难被LLM检测出恶意？
捆绑二进制文件的包缺乏可读源码，且二进制常被剥离符号和混淆，LLM难以分析其结构证据。此外，干净的源码、元数据和安装脚本等上下文信号会误导模型，使其倾向于判定为良性。实验显示，此类包的检测失败率（14.4%）是纯源码包（6.2%）的两倍多。
LLM在检测npm恶意二进制时会出现哪些系统性失败模式？
四种失败模式：合理化（用上下文线索构建良性解释，占37%）、忽视（不分析二进制直接判良性，占22%）、含糊（仅表示怀疑但不升级为恶意，占16%）、虚构（结论正确但理由捏造，占23%）。这些模式跨模型出现，且会叠加，导致多数投票失效。
能力配置文件（capability profiles）是如何提升LLM检测恶意二进制的准确率的？
能力配置文件是在模型推理前注入的预计算静态证据，以加权条件形式编码恶意技术（如凭证窃取、持久化）。它提供二进制领域知识，帮助模型正确解读结构证据。实验表明，启用后预算模型的检测失败率从50%降至4%，且所有模型不再对恶意负载返回良性判定。
能力配置文件对检测成本和模型选择有什么影响？
配置文件为廉价模型增加少量输入令牌（约1800令牌的证据块，输入增加9-34%），但能大幅减少昂贵模型的令牌消耗（如Opus输入减少32%）。它使廉价模型达到昂贵模型的检测精度，帮助团队避免过度依赖高价模型，同时需注意测试集应包含混淆样本以暴露模型缺陷。
该研究构建的npm恶意包扫描器的检测性能如何？
在OSV确认的425个二进制恶意包上，扫描器在升级阈值下达到精确率0.77、召回率0.81、F1值0.79。在2449个良性包版本上误报率为4.25%（104个），其中仅6个包（2%）集中了误报。二进制能力配置文件驱动了74%的检测。
为什么简单的多数投票集成无法解决LLM检测二进制时的失败？
因为失败模式是系统性的且跨模型相关，不同模型可能同时出现合理化、忽视等错误，导致多数投票结果低于检测阈值。例如在混淆的sysmon原生窃密程序上，九个模型投票结果为3良性、2可疑、1高度可疑、3恶意，多数票未达检测标准，因此投票无法纠正错误。
