本研究探讨了通过过采样和大语料库预训练提升医学领域BERT模型在信息提取中的性能，提出了MDBERT和KG-MTT-BERT等新模型以解决医学文本多样性问题。同时，总结了生物医学文本摘要的进展与挑战，强调领域特定词汇的重要性，并开发了Fine-tuned DistilBERT方法以提升模型性能。