德国法院判处四名前大众汽车高管因柴油排放造假入狱。开源社会大学提供免费计算机科学教育。谷歌用户隐私泄露引发担忧。新材料可从空气中被动收集水分。乔姆斯基对AI理解能力表示谨慎。

本研究解决了语言模型在自然语言获取中存在的正式语言预训练效果不清晰的问题。通过结合语言学和复杂性理论的见解，提出了有效转移的假设，即正式语言能同时捕捉自然语言中的依赖结构并符合模型架构的计算限制。研究发现，形式语言的预预训练能显著降低模型在自然语言上的损失，并提高语言模型的语言泛化能力，尤其在模型规模较小的情况下，效果更为显著。

ChatGPT已经推动AI转向，从统计模型（理科）转变为语言模型（文科），只有理科背景的人工智能专家已经被职场抛弃： 当前的智能模型建立在图灵测试的基础上。但是还有其他的智能模型：尤其是路德维希·维特根斯坦和诺姆·乔姆斯基。  让我们从乔姆斯基 2012 年的这篇文章开始——   诺姆乔姆斯基关于人工智能出了什么问题 关键思想之一如下： 可以从三个不同的层次理解一个复杂的生物系统： ...

大型语言模型的兴起和成功几乎破坏了生成语言学所提出的每一个关于语言的先天性的有力主张。 现代机器学习已经颠覆并绕过了乔姆斯基方法的整个理论框架，包括其对特定见解、原则、结构和过程的核心主张。 我描述了现代语言模型在何种意义上实现了真正的语言理论，包括句法和语义结构的表述。 我强调了当代语言模型和以前的语言学方法之间的关系，即那些基于梯度计算和记忆结构的方法。 ...