大模型调研
原文中文，约1200字，阅读约需3分钟。发表于：。背景 ChatGPT 2022.11 月问世之后引起的轰动一直在上升，但类似的做法和能力，在bert 2018年出现的时候基本就有了，一般认为 ChatGPT 的出现，是大模型大到一定程度后，能容纳的知识更加丰富，能力产生了质变，能应用几乎所有的对话类任务。 ChatGPT的训练成本过高，传言预训练一次需要200w美金，这应该也是openai...
ChatGPT 2022.11引起轰动，但类似能力在2018年的bert已有。ChatGPT训练成本高，不是每个公司都能负担。开源项目Auto-GPT、Open-Assistant、AgentGPT、llama、stanford_alpaca、lm-sys FastChat提供大模型的使用和研究。非公开项目有ChatGPT插件、GPT4、Claude。大模型发展快，呼吁暂停研究。大模型输出准确性不是100%，架构不支持AGI。大模型需要解决逻辑能力问题，否则需要新架构。个人倾向于自动驾驶项目。
