本研究探讨大型语言模型（LLMs）在对话中的语言适应行为，发现其语法选择会随着对话进展而趋同，表明LLMs能够适应对话伙伴的语言使用，从而提升对话能力。

本研究探讨了小型语言模型在中等资源语言中的适应性，特别是如何有效利用语言特定知识。通过冰岛语的案例研究，提出在前馈层和瓶颈适配器中使用LoRA以增加可训练参数，从而显著提升语言适应性能，尤其在0-shot摘要任务中表现优异。

本研究提出两种新方法，以提高多轮意图分类的准确性和效率，解决数据稀缺和对话上下文复杂性的问题。通过使用大型语言模型进行符号调优和语言适应检索增强，分类准确率提升5.09%，标注成本降低40%，对低资源多语言系统具有重要意义。

研究探讨如何通过调整现有大语言模型来创建特定语言模型。实验分析了基础模型选择、词汇扩展和持续微调对模型效率和任务表现的影响。结果表明，初始性能不一定代表最终性能，简单的词汇扩展和微调可以提高效率，适应方法因语言而异。以英语为中心的模型在资源稀缺语言上表现更好。该研究为高效构建语言专属模型提供了基础。

该研究基于稀疏专家混合（SMoE）语言模型的 Mixtral，提出了 Chinese-Mixtral 和 Chinese-Mixtral-Instruct，通过预训练和微调改进了中文语言能力，保留了英语能力。研究讨论了语言适应的关键问题，并提供了实证结果和分析。研究资源在 https://github.com/ymcui/Chinese-Mixtral 公开提供。