本研究提出了现代GBERT系列德国编码器模型，旨在满足资源有限时对编码器模型的需求。该模型在自然语言理解、文本嵌入和长上下文推理任务上表现优异，推动了德国NLP生态系统的发展。

G-BERT是一种结合图神经网络和BERT的医疗代码表示和药物推荐模型，通过在EHR数据上进行预训练和微调，实现了对药物推荐任务的最新成果。