苹果研究人员提出了ParaRNN框架，显著提高了非线性递归神经网络（RNN）的训练效率，实现了大规模并行训练。该方法使得7亿参数的RNN在语言建模任务中表现出与变换器相当的性能，且通过引入牛顿法，ParaRNN在保持非线性表达能力的同时实现了高效的并行计算。这一进展为RNN的广泛应用和进一步研究提供了新的可能性。

ParaRNN是一个新框架，突破了非线性递归神经网络（RNN）的序列并行化限制。它通过将非线性递归关系转化为单一方程组，并利用牛顿迭代法进行并行求解，实现了高达665倍的速度提升。该框架支持训练7B参数的LSTM和GRU模型，表现出与同规模的Transformer相当的困惑度。ParaRNN的开源代码库将促进高效序列建模的研究。