本研究提出了一种新基准，通过n-gram统计和规则评估大型语言模型（LLMs）的开放式文本生成，避免了人工判断的依赖。该基准与GPT-4o评估高度相关，显著降低了计算资源消耗，展示了其有效性。

本研究提出了De-mark框架，通过随机查询策略有效去除语言模型中的n-gram水印，并评估其强度。实验表明，De-mark在流行语言模型上表现出色，对未来内容生成有重要影响。

本研究提出了一种改进的 Transformer 模型，结合 n-gram 语言模型与神经网络，以提升自然语言处理任务的性能。实验证明该方法优于传统模型，并强调了 n-gram 在文本分析中的重要性。此外，研究探讨了 Transformer 在抽象符号推理任务中的能力及其在不同行业的应用潜力。

本文探讨了在无参考文本情况下的文本简化质量估计方法，比较了多种评估指标，发现基于 n-gram 的度量最能反映语法正确性和意义保留。研究提出了新的文档级简化任务和自动评估指标 D-SARI，分析了基准模型的缺点，并引入 SAMSA 方法评估结构简化质量，显示其与人类判断的相关性显著。

本研究使用多语言BERT作为编码器，将n-gram信息融入词表示学习中，提出了一种中文文本到可视化的数据集。实验结果表明该数据集具有挑战性，值得进一步研究。

BLEU是评估机器翻译质量的指标，通过比较机器翻译与人工翻译的n-gram重合度、加权和长度惩罚来计算翻译的准确性。

转载自简书本文链接地址: Elasticsearch通过ngram分词机制实现搜索推荐