研究表明，大规模语言模型（LLMs）存在softmax瓶颈，少量API查询即可获取大量非公开信息。这一现象可用于分析模型特征和输出，估计OpenAI的gpt-3.5-turbo嵌入大小约为4,096。建议LLM供应商采取措施以提高透明度和责任。