技术的涟漪效应：RAG与Long Context的认知冲突
内容提要
谷歌的Gemini 1.5 Pro在信息检索中实现了99.7%的召回率。RAG技术结合了信息检索和文本生成，而长上下文技术允许大型语言模型使用整个知识库回答问题。然而，长上下文技术的高成本阻碍了其商业化。理解不同群体的需求和认知差异对于推动技术创新和应用至关重要。文章还讨论了结合RAG和长上下文的潜在好处。
延伸解读
认知差异的根源：视角与利益
文章指出，LLM厂商与企业客户对RAG和Long Context的认知差异，源于各自视角和利益的不同。厂商面向未来、资金充足，更看重Long Context的潜力；而企业用户关注实际效果和成本，且RAG的数据与LLM分离较好，能保护企业数据，因此更倾向RAG。这种差异导致了对技术价值和趋势的不同判断。
Long Context的商业化瓶颈
尽管Long Context能解决RAG的痛点，但当前成本高昂，一次十万字的问答费用超过1元，难以商业化落地。文章认为，随着推理成本指数性下降，未来Long Context会便宜10倍，届时企业认知将改变。但现阶段，成本仍是阻碍其普及的关键因素。
技术普及的涟漪效应
文章用“涟漪效应”描述技术普及过程：从一小部分人开始，逐渐扩散到更广泛群体，但普及速度和认知改变速度不同步。RAG从出现到应用间隔了半年到一年。当Long Context成本下降、案例丰富时，企业认知也会逐渐改变。这反映了技术发展与社会接受之间的复杂互动。
RAG与Long Context的结合潜力
文章在结语中提出一个值得思考的新话题：如何结合RAG和Long Context以实现更好结果？并推荐了相关文章《Towards Long Context RAG》。这表明两者并非完全替代关系，未来可能通过融合发挥各自优势，但具体方案需进一步探讨。
Q&A
Gemini 1.5 Pro的召回率是多少？
Gemini 1.5 Pro在信息检索中实现了99.7%的召回率。
RAG技术的主要优势是什么？
RAG技术结合了信息检索和文本生成，能够提高LLM的企业私域知识问答能力。
Long Context技术的商业化面临什么挑战？
Long Context技术的高成本阻碍了其商业化，问答费用高昂。
为什么企业客户更倾向于使用RAG技术？
企业客户关注技术的实际应用效果和成本效益，因此更倾向于使用RAG技术。
RAG技术被视为过渡性技术的原因是什么？
RAG技术存在数据格式多样性和知识片面性的问题，被认为会被更先进的Long Context技术取代。
技术普及的涟漪效应是如何表现的？
技术的普及往往从一小部分人开始，逐渐扩散到更广泛的群体，普及速度与认知改变速度不同步。
