大模型对AI研究有害？
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
大模型对AI研究有害，进展缓慢，可能导致领域停滞。大量不了解机器学习的人加入，只为利用现有技术开发有利可图的服务。大模型是否是人工智能存在争议。工具在文本挖掘中有用，展示了数据驱动方法的价值。
🔎
延伸解读
大模型进展缓慢的隐忧
文章指出，GPT-4之后大模型性能和设计改进进展相对较少，主要方法仍是扩大规模，而替代Transformer的架构被证明不合格，转移了注意力和投资。这可能导致领域停滞，因为社区满足于平庸修正，忽视幻觉、上下文长度等明显问题。
学术界抱怨背后的动机
网友讨论认为，学术界或研发部门抱怨“X正在扼杀/损害Y的研究”时，往往可改写为“X正在扼杀/损害我的研究”。这提示读者，对大模型的批评可能源于对自身研究保护的立场，而非完全客观的技术判断。
大模型与真正人工智能的争议
有观点认为，以象牙塔院校研究机构主导的机器学习工作原理可能不是真正人工智能，而大模型以算力弥补算法不足，依靠扩展性和大数据实现了人工智能。图灵奖获得者Hinton认为语言模型可以推理，尽管存在争议，但并非荒谬。
数据驱动方法的实际价值
作者通过构建结合SERT嵌入、聚类和LLM生成摘要的工具，在文本挖掘中取得有用效果，让更多人认识到数据驱动方法的价值，并为团队争取资源改进经典预测领域。这表明大模型工具在特定应用中仍有积极意义。
❓
Q&A
大模型对AI研究的影响是什么？
大模型的进展缓慢，可能导致整个领域停滞，且大量不懂机器学习的人涌入，影响研究质量。
为什么大模型的替代架构被认为是不合格的？
替代transformer的架构被证明低劣，未能有效推动技术进步，反而转移了注意力和投资。
学术界对大模型的抱怨反映了什么？
学术界的抱怨往往是出于对自身研究的保护，而非真正关注技术进步。
Hinton对语言模型的看法是什么？
Hinton认为语言模型可以推理，尽管这一观点存在争议。
大模型如何依赖算力弥补算法不足？
大模型通过扩展性和大数据来弥补算法的不足，依赖算力实现人工智能。
数据驱动方法在文本挖掘中的价值是什么？
数据驱动方法在文本挖掘中展示了其有效性，帮助人们认识到其在其他领域的应用潜力。
🏷️
