本研究使用多器官数据集为乳腺肿瘤分割任务预训练模型，通过对比学习提高性能。结果显示，对比学习预训练可以提高性能，并且使用一半标记数据进行微调也能达到相当性能。预训练多器官数据可以提高下游任务性能。

预训练语言模型（PLMs）生成的句子嵌入维度高，限制了在内存或计算受限设备中的使用。研究发现，使用主成分分析等简单方法可以将维度降低近50%，而不会对下游任务性能造成显著损失。在某些任务中，进一步降低维度可以提高某些PLMs生成的句子嵌入性能。

本文通过主成分分析研究了词嵌入，发现方差解释率与下游任务性能无关。同时，证明基于方差的嵌入后处理在句子分类和机器翻译任务中产生反效果。提供了预防性准则，并解释了非各向同性几何可能是词嵌入性能的原因。

SES-Adapter通过结合PLM嵌入和结构序列嵌入，显著提高了下游任务性能。相比普通的PLMs，SES-Adapter最大程度地提高了下游任务性能，平均提高了3%。同时，训练速度也显著提高，最高达1034%，平均提高了362%。

研究发现大型语言模型中少数参数对性能有巨大影响，提出了一种新的参数优化方法CherryQ，通过高精度保存关键参数，将其他参数量化为低精度。实验证明CherryQ在困惑度和下游任务性能方面优于现有方法，3位量化模型性能与16位量化模型相媲美。显示了CherryQ在提高语言模型部署效率方面的潜力。

本文通过主成分分析研究了词嵌入，发现方差解释率与下游任务性能无关。同时，证明了基于方差的嵌入后处理在句子分类和机器翻译任务中产生反效果。提供了预防性准则，并解释了非各向同性几何可能是词嵌入性能的原因。

该研究提出了一种基于窗口的事件去噪方法，通过时间和空间域的概率分布进行理论分析，实验证明了该方法在复杂场景中实现了实时去噪，并能提高下游任务的性能。

本文研究了词嵌入的主成分分析，发现方差解释率与下游任务性能无关。同时，证明基于方差的嵌入后处理在句子分类和机器翻译任务中产生反效果。提供了预防性准则，并解释了非各向同性几何可能是词嵌入性能的原因。

作者构建了一个日本指令数据集，并将其应用于预训练基础模型。通过对现有模型进行低秩调整，结果证实了该数据集的有效性，并指出指令调整可以提高下游任务性能。数据集、模型和代码已公开提供。

本文研究了词嵌入的主成分分析，发现方差解释率并不代表下游任务性能，调查了基于方差的嵌入后处理的局限性，并提供了预防性准则。同时，解释了非各向同性几何可能是词嵌入性能的一部分的原因。

该研究构建了一个日本指令数据集，并将其应用于预训练基础模型。通过低秩调整现有模型，证实了数据集的有效性。研究发现，即使在较小的大语言模型中，通过指令调整也能提高下游任务性能。研究成果已在网上公开提供。