增强隐写文本提取：评估自然语言处理模型对准确性和语义连贯性的影响
内容提要
自然语言隐写术利用语言模型隐藏秘密信息，兼顾数据安全与文本质量。研究涵盖基于BERT、掩码语言模型、LLaMA2及跨语言枢纽等方法，以提升嵌入负载、流畅度和抗隐写分析能力，并在Twitter、Enron等数据集上验证了安全性与加密效率。此外，还探索了LLM在临床语义相似度与推理任务中的表现及模型参数隐写容量。
延伸解读
技术演进：从规则到模型驱动
文章梳理了自然语言隐写术的演进脉络：早期基于LSTM的系统（2017年）依赖神经网络生成隐写文本，而2021年后转向掩码语言模型和BERT，克服了传统编辑方法的规则构建繁琐问题。2024年LLaMA2微调方案进一步提升了长篇隐写任务的表现。这一趋势表明，隐写术正从手工规则向数据驱动的模型化方法迁移，模型能力成为决定隐写质量的关键因素。
安全与负载的权衡策略
文章多次强调隐写系统需在嵌入负载、文本流畅度和抗隐写分析之间取得平衡。基于BERT和一致性编码的方法通过自回归填充掩码位置，在提高流畅度的同时保证安全性并增加负载；掩码语言模型方法则更易于控制安全性与负载的权衡。跨语言枢纽方法通过语言间转换实现高负载嵌入，同时保持语义一致性。这些方案显示，不同技术路径对权衡的处理各有侧重，读者需根据应用场景选择。
LLM在语义任务中的能力与局限
文章提及一项对大型语言模型在临床语义相似度（STS）和自然语言推理（NLI）任务的评估。研究发现，零样本ChatGPT的准确性与微调BERT-base相当，但采样变异性较大，集成结果最佳。LLM虽能生成语义相似内容或个性化描述，却难以做出个性化判断或决策。这提示在临床等专业领域，LLM的置信度与人类集体意见存在差距，实际应用需谨慎对待其输出稳定性。
模型参数隐写的容量探索
文章介绍了一项针对学习模型参数隐写容量的研究，测试了LR、SVM、MLP、CNN、LSTM、VGG16、DenseNet121、InceptionV3、Xception和ACGAN等模型。研究确定了可替换参数中的低位数目及各模型层的隐写容量，发现大多数情况下可替换大部分参数位数。这为利用模型参数隐藏信息提供了量化依据，但具体容量因模型结构而异，未来需进一步探索其安全含义。
Q&A
自然语言隐写术（NLS）是什么？它主要解决什么问题？
自然语言隐写术（NLS）是一种在自然语言系统中执行信息隐藏的方法，旨在实现数据安全和保密。它主要解决隐写文本质量等挑战，以构建更具弹性的NLS模型，并实现自然语言整合安全性的目标。
基于BERT和一致性编码的自回归语言隐写算法有什么改进？
该算法通过使用一致性编码来弥补块编码的缺点，并通过自回归方式填充掩码位置以提高文本质量，从而在嵌入负载和系统安全之间取得更好的平衡。实验结果表明，它提高了隐写文本的流畅度，同时保证了安全性，并在一定程度上增加了嵌入负载。
LLaMA2在语言隐写中是如何应用的？它有什么优势？
LLaMA2被用于LLsM方案中，通过微调代表语言模型的LLM LLaMA2，并结合特定信息生成具有特定话语特征的控制性隐写文本。该方案在文本质量、统计分析、话语匹配和反隐写分析等方面优于主流基准，特别是在长篇隐写任务中具备潜在优势。
跨语言枢纽的语言隐写方法是如何工作的？它有什么性能表现？
该方法通过在两种不同的语言之间枢纽给定文本，应用类似GLS的信息编码策略来嵌入秘密数据，从而实现高负载的嵌入，同时保持语义信息的一致性和抵抗语言隐写分析方面表现出卓越的性能。
基于LSTM神经网络的语言隐写系统有什么特点？在哪些数据集上进行了验证？
基于LSTM神经网络的语言隐写系统可以让两个用户在不被攻击者察觉的情况下交换加密信息，并且在Twitter和Enron邮件数据集上实现了高质量的隐写文本，显著提高了加密位数。
大型语言模型在临床语义相似度（STS）和自然语言推理（NLI）任务上的表现如何？
研究发现，零样本ChatGPT在临床和生物医学STS/NLI上的准确性与Fine-tuned BERT-base相当，但采样存在较大的变异性，集成结果最好。此外，LLMs可能能够为特定主题提供个性化描述，或以不同语调生成语义上相似的内容，但目前的LLMs很难做出个性化的判断或决策。
模型参数隐写容量的研究发现了什么？
通过测试LR、SVM、MLP、CNN、LSTM、VGG16、DenseNet121、InceptionV3、Xception和ACGAN等模型，研究确定了可替换学习模型参数中的低位数目，以及各模型的层的隐写容量。在大多数情况下，可替换大部分参数位数，并探讨了研究结果的含义和未来研究的可能方向。
