本研究探讨了生物医学语言模型的改进方法，包括更准确的分词器和领域特定词汇。结果表明，尽管某些方法未能提升模型表现，但通过知识蒸馏和上下文嵌入等技术，开发的轻量级模型在多个临床文本挖掘任务中表现优异，超越了传统模型。此外，研究提出的新自动标注模型显著提高了临床概念提取的准确性，为数字医疗记录的实用性提供了新工具。