MALSIGHT：迭代二进制恶意软件摘要分析研究
内容提要
本文探讨了利用大型预训练源代码模型进行反编译二进制文件的自动摘要，提出了CAPYBARA数据集和BinT5模型，结合源代码结构生成准确注释。研究评估了大型语言模型在二进制代码理解中的潜力，并提出了PromptCS和EditSum等新方法，显著提升了代码摘要的生成效果和实用性。
延伸解读
二进制摘要的评估挑战
文章指出，评估代码摘要模型时，BLEU评估指标、代码预处理选择和数据集特征这三个因素对模型性能和排名有重要影响。这意味着在比较不同二进制摘要方法时，不能仅看单一指标，需考虑预处理方式和数据集特性，否则可能得出误导性结论。
大语言模型在二进制理解中的潜力与局限
研究对ChatGPT、GPT-4、Llama 2和Code Llama等知名LLMs进行了广泛评估，得出了10个关键见解，强调了LLMs在二进制代码理解领域的变革潜力以及尚待克服的挑战。这表明LLMs虽能提升摘要效果，但仍有局限，需进一步优化。
PromptCS与EditSum的实用优势
PromptCS训练提示代理生成连续提示，比离散提示更易被大语言模型理解，在CodeSearchNet上优于四个度量标准，且训练效率比微调更快。EditSum作为检索编辑方法，在预测模式化单词和关键词方面表现出色，人工评估显示其摘要更具信息量和实用性。
Q&A
CAPYBARA数据集的主要特点是什么？
CAPYBARA数据集包含多种编译器优化，旨在优化反编译二进制文件的自动摘要性能。
BinT5模型的作用是什么？
BinT5模型用于反汇编二进制代码，结合源代码的单词和结构生成准确的注释文档。
PromptCS方法与传统方法相比有什么优势？
PromptCS方法能够生成连续提示，提升了大语言模型在代码摘要中的理解能力，相比于传统的离散提示更易于理解。
EditSum方法的主要功能是什么？
EditSum是一种新型检索编辑方法，旨在自动生成源代码的自然语言描述，表现出色且信息量丰富。
大型语言模型在二进制代码理解中的潜力如何？
大型语言模型在二进制代码理解中展现出变革潜力，但仍面临一些挑战。
如何评估代码摘要模型的性能？
评估代码摘要模型的性能主要依赖于BLEU评估指标、代码预处理选择和数据集特征。
