SVIP：迈向可验证的开源大型语言模型推理
原文中文，约500字，阅读约需2分钟。发表于：。本研究针对开源大型语言模型（LLMs）推理过程中的可验证性问题，提出了一种新的协议SVIP。该协议利用LLM的中间输出作为模型身份标识，通过要求计算服务提供商返回生成的文本和处理后的中间输出，用户可以可靠地验证服务提供商的诚信。研究表明，SVIP在准确性、通用性和计算效率方面表现优异，显著降低了误报和漏报率。
研究表明，大规模语言模型（LLMs）存在softmax瓶颈，少量API查询即可获取大量非公开信息。这一现象可用于分析模型特征和输出，估计OpenAI的gpt-3.5-turbo嵌入大小约为4,096。建议LLM供应商采取措施以提高透明度和责任。
