本研究构建了NPN构式的语义标注数据集，发现BERT能够有效区分构式及其意义，表明其编码了超越表面句法的语义知识。

本研究解决了句法网络比较中语言和属性数量不足的问题，通过增加语言数量与分析特征，采用新颖的网络分析方法深入探讨特定语言的网络特征。研究发现，不同语言的句法网络中存在普遍保留的结构模式，这为理解语言间的句法联系提供了新的视角。

本研究旨在探讨人们在不同生命阶段（从青少年到老年）语言风格的动态变化。通过运用语言分析工具和方法，研究揭示了个体如何随时间调整和修改语言使用的复杂性，发现对语言学、心理学和传播学有重要影响，阐明了年龄与语言之间的复杂关系。

本研究针对商品评价中特征标签提取的低鲁棒性问题，提出了一种融合依赖解析与情感极性分析的新方法。这一方法显著提高了提取的准确性，实验结果显示准确度达到0.7，召回率和F-score稳定在0.8，表明其有效性。然而，该方法仍依赖于匹配词典，且提取特征标签的范围有限，需在未来研究中进一步探讨。

该研究通过引入句法先验，提出了一种新的句法平滑方法，解决语言模型预训练中频率偏差和各向异性导致的泛化能力不足问题。此方法改善了稀有英语Token的表现，并降低了各向异性。

本研究探讨了多语言预训练语言模型在捕捉跨语言抽象语言表示方面的能力。发现模型在多语言文本上进行训练后仍存在语言特定的差异，句法结构并不共享。

研究发现，书写句子的语法与词汇复杂度存在回报关系。与口语不同，书写可以使用更复杂的词汇，但会牺牲语法结构的复杂度。易于接近的句子成分是驱动语法与词汇数量关系的因素。

该研究介绍了一种用于提升视觉幽默理解能力的图像数据集，并通过评估幽默性进行量化。研究展示了视觉语言模型的有希望结果，并将该数据集作为大型多模态模型的零样本基准。

我们提出通过中间预训练来增强 Transformer 的结构归纳偏差，以执行在给定转换描述的情况下合成生成的依存树的语法转换，实验证明这有助于进行少样本学习和结构化推断。

我们引入了一种创新模型：句法依赖增强的多任务交互架构 (SDEMTIA)，用于全面的基于方面的情感分析 (ABSA)。我们的方法创新地利用了句法知识，并使用专门的句法依赖嵌入交互网络。我们还在多任务学习框架内结合了一种新颖高效的信息传递机制，以增强学习效果。我们在基准数据集上的广泛实验证明了我们模型的优越性，明显超越了现有方法。此外，引入 BERT 作为辅助特征提取器进一步提高了我们模型的性能。

本文提出了一种生成模型，通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决跨语言迁移的问题。该方法在10种语言中获得了平均5.2％和8.3％的绝对改善。

本文介绍了一种基于预训练语言模型的多语言词汇简化方法，通过生成释义来提供词语选择的多样性，并保持句子的意义。实验结果表明，该方法在英语、西班牙语和葡萄牙语上优于其他方法。

本文提出了一种新的否定三元组抽取（NTE）任务，通过生成预训练语言模型（PLM）的SSENE模型，结合句法依赖树和辅助任务学习，提取否定主语、提示和范围。在美团真实平台上的评估结果表明，SSENE实现了最佳的NTE性能。消融实验和案例研究证明，将句法信息纳入PLM有助于识别主语和提示之间的远程依赖关系，辅助任务学习有助于提取具有更多语义一致性的否定三元组。

本文提出使用挖掘和释义的自动化方法生成高质量多样化的提示语，并通过模型集成改进语言模型中的关系知识查询。LAMA基准测试表明，该方法将LM准确性从31.1%提升至39.6%，为LM的知识提供了更严格的下限估计。

本研究测试了大型语言模型的鲁棒性，发现预训练语料库和监督方法对模型的影响更大。同时，发现在代码上进行预训练的模型更好地推广，并受到思维链提示的益处。

通过研究不同解释方法对词汇重要性的选择差异，发现选择不同类别的词汇会导致方法的分歧。通过在句法范围级别上比较可以减少方法间的差异，通过动态预估最重要的范围而不是依赖于固定的部分，方法间的一致性较高。提出了一种改进的配置来选择重要的词汇。

本研究测试了大型语言模型的鲁棒性，发现预训练语料库和监督方法对模型变异性的影响更大。同时，发现在代码上进行预训练的模型更好地推广，并受到思维链提示的益处。

本文通过对BERT和RoBERTa中的attention heads进行定量和定性分析，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。Fine-tuning任务后attention heads的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均CGI能力，而自然语言推理任务增加了其能力。探讨了CGI能力与QQP和MNLI任务的自然语言理解能力之间的联系。

该文章介绍了使用观测和干预实验数据的组合来研究因果关系的问题，并采用贝叶斯方法进行因果发现。通过图形特征化和兼容先验的贝叶斯推断，保证了不可区分结构的分数等价性。

本文介绍了使用大规模预训练结构转换器的句法语言模型（SLM）来弥补以前的限制，并证明了Generative Pretrained Structured Transformers（GPST）在多个任务中具有优越性。