本文探讨了词嵌入的发展及其在自然语言处理中的重要性。词嵌入将离散词转换为连续向量，解决了传统one-hot编码的维度灾难和稀疏性问题。通过分析Firth的分布假设、word2vec和GloVe等方法，强调了词嵌入在捕捉语义相似性和类比关系中的作用。现代NLP模型如BERT和ELMo推动了上下文化词嵌入的发展，使同一词在不同上下文中具有不同表示。

本研究提出了PeerQA数据集，包含579个科学文档的问答对，旨在解决评审过程中的问题与回答不足。实验结果表明，去上下文化的方法提升了文档检索性能，为长上下文建模提供了具有挑战性的基准。