介绍了使用谷歌的新架构的开放语言模型Griffin,结合了线性递归和局部注意力,表现出色。具有固定大小的状态,减少内存使用并在长序列上实现高效的推理。提供了预训练的模型,包含2B个非嵌入参数和调整的指令变种。性能与Gemma-2B相当。
完成下面两步后,将自动完成登录并继续当前操作。