本研究提出了一种新基准，通过n-gram统计和规则评估大型语言模型（LLMs）的开放式文本生成，避免了人工判断的依赖。该基准与GPT-4o评估高度相关，显著降低了计算资源消耗，展示了其有效性。

本研究提出了De-mark框架，通过随机查询策略有效去除语言模型中的n-gram水印，并评估其强度。实验表明，De-mark在流行语言模型上表现出色，对未来内容生成有重要影响。

研究表明，语言模型在预训练中先生成短重复短语，再逐步学习生成更长文本。高频标记更早被学习，惊奇度低且不易遗忘。n-gram概率增强了这些效果。短频上下文有助于快速习得，词类影响小，但名词习得较晚且不稳定。这有助于理解语言模型的预训练动态。

研究提出了MelodyGLM，一个多任务预训练框架，用于生成具有长期结构的旋律。通过melodic n-gram和长跨度抽样策略，模型能够有效建模旋律的局部和全局结构。研究使用40万旋律片段的数据集进行预训练和n-gram词典构建。评估结果显示，MelodyGLM在旋律连续性、节奏性、结构性和整体质量方面优于以往方法，接近人类创作水平。

本研究使用多语言BERT作为编码器，将n-gram信息融入词表示学习中，提出了一种中文文本到可视化的数据集。实验结果表明该数据集具有挑战性，值得进一步研究。

BLEU是评估机器翻译质量的指标，通过比较机器翻译与人工翻译的n-gram重合度、加权和长度惩罚来计算翻译的准确性。

转载自简书本文链接地址: Elasticsearch通过ngram分词机制实现搜索推荐