制造业数字化转型的核心系统包括ERP（企业资源计划）、PLM（产品生命周期管理）和MES（制造执行系统）。ERP负责订单和库存管理，PLM管理产品图纸和BOM，MES执行生产计划和数据采集。这三者相互连接，确保数据共享，消除信息孤岛，为数字化转型奠定基础。

本研究解决了蛋白质语言模型（PLMs）在生物解释和可操作性方面的局限性，提出了一种可解释的适配器层PLM-eXplain（PLM-X），通过将PLM嵌入划分为基于生化特征的可解释子空间和保留模型预测能力的残差子空间来实现。研究表明，PLM-X在多个蛋白质分类任务中有效，能够在不牺牲准确性的情况下，提供对模型决策的生物学解释，从而为计算生物学的深度学习模型与生物学洞察之间搭建桥梁。

蛋白质的功能与其三维结构密切相关。科学家们开发了预训练的蛋白质语言模型ProSST，结合结构信息以提高预测准确性。ProSST在1,880万蛋白质结构数据上预训练，采用解耦注意力机制，显著提升了热稳定性和金属离子结合等任务的预测性能，成为蛋白质研究的重要工具。

现代自回归语言模型在自然语言处理上表现出色，但存在一些局限性。本文评估了得分熵离散扩散（SEDD）方法，发现其是自回归生成的有效替代方案，尽管在短提示生成上略逊于GPT-2，但在推理延迟方面更为高效。

在「Meet AI4S」直播中，周子宜博士介绍了蛋白质语言模型（PLM）在蛋白质工程中的应用。PLM通过建模蛋白质序列的共进化信息来预测突变的适应性，并生成蛋白质。研究重点包括检索增强型、多模态PLM和小样本学习方法FSFP。FSFP通过排序学习、LoRA和元学习提升性能，适用于不同PLM。未来方向包括AI辅助定向进化中的主动学习策略。

该研究提出了一个高效的建模框架，用于在半结构化文本数据中进行跨语言命名实体识别。通过知识蒸馏和一致性训练，利用预训练的大型语言模型在源语言上的知识，将其传递到低资源目标语言。实验结果表明，仅使用30个标记样本，就能在低资源语言中达到合理的性能。该框架对于开发多语言应用程序具有重要意义。

本文介绍了一种基于数据生成的零样本学习框架FuseGen，通过引入新的子集选择标准，提高了合成数据集的质量，从而提升了小任务特定模型的性能。该方法在各种任务上的实验证明了其有效性。

本文研究了PLM的few-shot学习，通过调参生成大量新训练样本，使用加权最大似然度量进行训练，取得了比现有方法更好的结果。在GLUE基准测试中超过了无增加方法5+平均点数和增加方法3+平均点数。

本文介绍了ElitePLM对预训练语言模型进行大规模实证研究，设计了四个评估维度来衡量PLMs的能力。实验结果显示PLMs在不同测试中表现出色，微调对数据敏感，具有可转移性。该论文可指导未来工作选择和设计特定任务的PLMs。

通过优化传统技术，实现了改进的无监督PCA技术，解决了日志数据中未知事件问题，提升了表示效果。研究比较了七种异常检测方法，结果显示优化PCA在数据和资源效率上与先进DL方法相似，证明了传统技术的适应性和优势。

本研究提出了一种名为Mix Prompt Tuning (MPT)的半监督学习方法，通过多个低资源科学分类任务的实验证实了该方法的有效性。与微调算法相比，MPT平均提高了5％的Macro-F1分数。MPT是一种通用方法，可轻松应用于其他低资源科学分类任务。

本文介绍了制造行业的五大核心系统MES、ERP、WMS、PLM和SCADA之间的关系，它们分别用于订单管理、产品制造、仓库管理、产品管理和设备管理。这些系统的集成形成工厂的大脑，驱动工厂的订单执行和产品开发工作。