本文探讨了预训练语言模型在气候变化领域的应用，提出了CLIMATEBERT和ClimateGPT模型，显著提升了气候文本处理效果。研究建立了气候变化基准ClimaBench，评估了大型语言模型的知识时效性，并强调了环境影响与模型性能的平衡，为气候变化提供了更可靠的信息和决策支持。

该论文提出了一种基于 transformer 的方法来解决生物医学领域中监督命名实体识别（NER）的挑战，包括零样本和少样本 NER。该方法在更多数据集和医学实体上预训练，具有识别有限样本中的新实体的能力，对于零样本 NER 的平均 F1 得分达到 35.44％，对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94％和 79.51％。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。