本研究构建了一个大型航空激光扫描（ALS）点云数据集，评估其对下游应用的影响。通过地理空间抽样，选择多样的地形和土地覆盖类型，结果表明预训练模型在多个任务中显著优于随机初始化模型，验证了数据集的有效性及抽样策略的贡献。

本研究探讨了词义消歧（WSD）在实际文本中的应用难题，提出了词义链接（WSL）任务，并采用基于变换器的架构以提升消歧义效果，研究表明该方法有助于更好地整合词汇语义于下游应用。

本研究发现遮盖语言模型评估指标间相关性弱，MLM在精调期间仍会重新学习社会偏见。研究结果强调现有MLM偏见评估措施的局限性，并提出了在下游应用中部署MLM的问题。