该文章讨论了基于Transformer的架构在自然语言处理中的输入大小限制问题，并提出了一种解决方案。通过将长文档分块并保持全局上下文，以查询定义话题，开发的系统使用预训练的BERT模型来估计给定文本跨度形成关键短语的概率。实验结果表明，在长文档上，使用查询的较短上下文大小胜过没有查询的较长上下文。